imported>Arodomanov: /* Семинары */

2018-03-23T09:07:13Z

Семинары

Новая страница

__NOTOC__
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

'''Лектор''': Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.

'''Семинаристы''':
{| class="wikitable"
! Группа !! Семинарист !! Расписание !! Инвайт для anytask
|-
| 151 (МОП) || Родоманов Антон Олегович || вторник, 15:10 – 16:30, ауд. 503 || align="center"|91aHb6E
|-
| 152 (МОП) || Дойков Никита Владимирович || вторник, 15:10 – 16:30, ауд. 618 || align="center"|tHxrPO6
|-
| 155 (РС) || Шаповалов Никита Анатольевич || вторник, 15:10 – 16:30, ауд. 301 || align="center"|xtdRi1f
|-
| 156 (ТИ) || Тюрин Александр Игоревич || вторник, 18:10 – 19:30, ауд. 306 || align="center"|j2OlXCE
|}

Группа в Telegram для вопросов по курсу: https://t.me/joinchat/CzWHMFEeRHIDcNVdHfWTug.

Таблица с оценками по курсу: https://docs.google.com/spreadsheets/d/1i744zsMejvdS_xjtJSQIXccX9g0ywrklNRIURG23K0M/edit?usp=sharing.

Список вопросов к экзамену: https://yadi.sk/i/TN2h4SEm3TV2VT.

'''Внимание! Консультация к экзамену состоится в ближайшую субботу, 24 марта, в ауд. 509. Начало в 14-00.'''

== Система выставления оценок по курсу ==
# В рамках курса предполагается три практических задания, некоторое количество проверочных работ на семинарах и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
# В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
# В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах.

== Практические задания ==

[https://yadi.sk/i/vjFPyVNU3Rk6rB Практическое задание 1].

[https://yadi.sk/i/OJs5-vLM3SRfZJ Практическое задание 2].

[https://yadi.sk/i/d0Nh4iX63T7WDb Практическое задание 3].

== Правила сдачи заданий ==
В рамках курса предполагается сдача нескольких практических заданий. Практические задания сдаются в систему anytask. Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день.

Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

== Лекции ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 9 января 2018
| Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. ||
|-
| align="center"|2
| 16 января 2018
| Точная одномерная оптимизация. ||
|-
| align="center"|3
| 23 января 2018
| Неточная одномерная оптимизация. Метод градиентного спуска. ||
|-
| align="center"|4
| 30 января 2018
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. ||
|-
| align="center"|5
| 6 февраля 2018
| Метод сопряжённых градиентов для решения СЛАУ. ||
|-
| align="center"|6
| 13 февраля 2018
| Неточный метод Ньютона. Разностные производные. ||
|-
| align="center"|7
| 20 февраля 2018
| Квазиньютоновские методы. Метод L-BFGS. ||
|-
| align="center"|8
| 27 февраля 2018
| Задачи условной оптимизации: условия ККТ. ||
|-
| align="center"|9
| 6 марта 2018
| Выпуклые задачи оптимизации. Двойственность. Метод барьеров. ||
|-
| align="center"|10
| 13 марта 2018
| Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. ||
|-
| align="center"|11
| 20 марта 2018
| Стохастическая оптимизация. ||
|-
|}

== Семинары ==
{| class = "wikitable"
|+
! № п/п
! Дата
! Занятие
! Материалы
|-
| align="center"|1
| 9 января 2018
| Скорости сходимости. Матричные вычисления. || [https://yadi.sk/i/u-vZMLT73RLwuX Конспект] [https://yadi.sk/i/OZ2uWEaf3RHvao Домашнее задание]
|-
| align="center"|2
| 16 января 2018
| Матрично-векторное дифференцирование (часть 1) || [https://yadi.sk/i/SSWQ8b3x3RGuPr Конспект] [https://yadi.sk/i/bcnpUhS63RWxhC Домашнее задание]
|-
| align="center"|3
| 23 января 2018
| Матрично-векторное дифференцирование (часть 2). Градиентный спуск. || [https://yadi.sk/i/6hCRRQcb3RGuQT Презентация] [https://yadi.sk/i/YOHsq_cP3Rk7nS Домашнее задание]
|-
| align="center"|4
| 30 января 2018
| Выпуклые множества || [https://yadi.sk/i/15LKx1bT3RxumB Конспект] [https://yadi.sk/i/WK_d5SMY3RxqrA Домашнее задание]
|-
| align="center"|5
| 6 февраля 2018
| Выпуклые функции || [https://yadi.sk/i/BqwOdQn33SGvDT Конспект] [https://yadi.sk/i/a4yVlrv13SC3RR Домашнее задание]
|-
| align="center"|6
| 13 февраля 2018
| Стандартные классы выпуклых задач. Эквивалентные преобразования. || [https://yadi.sk/i/9G2y4lsR3Sap5E Конспект] [https://yadi.sk/i/V7xlytX93SUddj Домашнее задание]
|-
| align="center"|7
| 20 февраля 2018
| Квазиньютоновские методы || [https://yadi.sk/i/RHJYF7gI3RGuTr Конспект] [https://yadi.sk/i/y_QCtCdy3Sdosy Домашнее задание]
|-
| align="center"|8
| 27 февраля 2018
| Условия Каруша--Куна--Таккера. || [https://yadi.sk/i/DYtdnO-l3RGuUZ Конспект] [https://yadi.sk/i/zUVlI_1S3St5ye Домашнее задание]
|-
| align="center"|9
| 6 марта 2018
| Двойственность. Сопряженные функции. || [https://yadi.sk/i/kPd5GjNr3TD5cH Конспект] [https://yadi.sk/i/qhSbMO4z3T7WNt Домашнее задание]
|-
| align="center"|10
| 13 марта 2018
| Субдифференциалы || [https://yadi.sk/i/JBX1tO4X3Tg3fs Конспект] [https://yadi.sk/i/EjfW516-3Tg3jM Домашнее задание]
|-
| align="center"|11
| 20 марта 2018
| Вычисление проекций и проксимальных отображений ||
|-
|}

== Литература ==
# J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006.
# A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013.
# Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003.
# Ю.Е. Нестеров. [https://mipt.ru/dcam/upload/abb/nesterovfinal-arpgzk47dcy.pdf Методы выпуклой оптимизации], МЦНМО, 2010
# S. Boyd, L. Vandenberghe. [http://www.stanford.edu/~boyd/cvxbook/ Convex Optimization], Cambridge University Press, 2004.
# D. Bertsekas. [http://libgen.io/book/index.php?md5=D0DDDF4CF756D16AE5AA77C87ECDEDDA Convex Analysis and Optimization], Athena Scientific, 2003.
# Б.Т. Поляк. [http://premolab.ru/sites/default/files/polyak-optimizationintro.djvu Введение в оптимизацию], Наука, 1983.
# J. Duchi. [https://stanford.edu/~jduchi/PCMIConvex/Duchi16.pdf Introductory Lectures on Stochastic Optimization], Graduate Summer School Lectures, 2016.
# S. Sra et al.. [http://libgen.io/book/index.php?md5=9799B67D2A9C45DCAC9D323252054DAF Optimization for Machine Learning], MIT Press, 2011.

Непрерывная оптимизация - История изменений

imported>Arodomanov: /* Семинары */