imported>Esokolov: Новая страница: «== О курсе == left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»

2017-08-31T20:35:37Z

Новая страница: «== О курсе == 280px|borderless|left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»

Новая страница

== О курсе ==

[[Файл:ML_surfaces.png|280px|borderless|left]]

Курс читается для студентов 3-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 1-2 модулях.

Проводится с 2016 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят по вторникам, 10:30 - 11:50, ауд. 317.

=== Полезные ссылки ===

[https://www.hse.ru/ba/ami/courses/184763700.html Карточка курса и программа]

[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+141@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_course

[https://docs.google.com/spreadsheets/d/1BhzeronD6_DUcH1l0W2ohN4wU97DobLj0tp9-nELNSY/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде [https://github.com/esokolov/ml-course-hse/issues Issue] в [https://github.com/esokolov/ml-course-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| 141 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || Козловская Наталия || || вторник, 12:10 - 13:30, ауд. 513
|-
| 142 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || Егоров Евгений || || вторник, 12:10 - 13:30, ауд. 503
|-
| 143 (АПР) || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || Потапенко Анна || || вторник, 12:10 - 13:30, ауд. 505
|-
| 144 (АДИС) || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Сафин Александр || [https://github.com/nadiinchi/HSE_FCS_seminars семинары]|| вторник, 13:40 - 15:00, ауд. 503
|-
| 145 (РС) || [https://www.hse.ru/org/persons/141880775 Умнов Алексей Витальевич] || Грачев Артем || [http://wiki.cs.hse.ru/Машинное_обучение_1/Группа_145_РС семинары] || пятница, 12:10 - 13:30, ауд. 501
|-
|}

=== Консультации ===

Консультации с преподавателями и учебными ассистентами (если иное не оговорено на странице семинаров конкретной группы) по курсу проводятся по предварительной договорённости ввиду невостребованности регулярных консультаций.

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и выполнение теоретических домашних заданий
* Практические домашние работы на Python
* Соревнования по анализу данных
* Устный коллоквиум в конце 1-го модуля
* Устный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Околлоквиум

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

Также за каждое практическое задание и соревнование можно получить дополнительные баллы, которые влияют на выставление оценки за курс автоматом. Необходимым условием для получения автомата является накопленная оценка, равная 8 или выше.

=== Правила сдачи заданий ===

Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работа не принимаются.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1''' (6 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture01-intro.pdf Конспект]]

'''Лекция 2''' (13 сентября). Линейная регрессия. Метрики качества регрессии. Градиентный спуск и способы оценивания градиента. Переобучение и регуляризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture02-linregr.pdf Конспект]]

'''Лекция 3''' (20 сентября). Переобучение и регуляризация. Разреженные линейные модели. Квантильная регрессия. Подготовка признаков. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture03-linregr.pdf Конспект]]

'''Лекция 4''' (27 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture04-linclass.pdf Конспект]]

'''Лекция 5''' (4 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. Метод опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture05-linclass.pdf Конспект]]

'''Лекция 6''' (11 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Классификация с пересекающимися классами. Метрики качества многоклассовой классификации. Категориальные признаки: хэширование и счётчики. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture06-linclass.pdf Конспект]]

'''Лекция 7''' (18 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture07-trees.pdf Конспект]]

'''Лекция 8''' (1 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture08-ensembles.pdf Конспект]]

'''Лекция 9''' (8 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture09-ensembles.pdf Конспект]]

'''Лекция 10''' (15 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture10-ensembles.pdf Конспект]]

'''Лекция 11''' (22 ноября). Графы вычислений, их обучение и метод обратного распространения ошибки. Полносвязные, свёрточные и рекуррентные слои. Возможности аппроксимации. Transfer learning. Глубинное обучение. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture11-dl.pdf Конспект]]

'''Лекция 12''' (29 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture12-unsupervised.pdf Конспект]]

'''Лекция 13''' (20 декабря). Ядровые методы. Теорема Мерсера и способы построения ядер. Полиномиальные и гауссовские ядра. Метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture13-features.pdf Конспект]]
== Семинары ==

'''Семинар 1'''. Библиотеки для анализа данных: numpy, pandas, matplotlib. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb Notebook]]

'''Семинар 2'''. Векторное дифференцирование. Линейная регрессия, аналитическое и численное решение. Scikit-learn. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem02-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-01-linregr.pdf Домашнее задание]]

'''Семинар 3'''. Подготовка признаков (масштабирование, категориальные признаки, нелинейные признаки, заполнение пропусков). Выбросы и устойчивые к ним модели. Квантильная регрессия. Vowpal Wabbit. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem03-linregr.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-02-linregr.pdf Домашнее задание]]

'''Семинар 4'''. Линейная классификация. Обучение линейных классификаторов в scikit-learn. Метрики качества классификации. Особенности кросс-валидации, стратификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem04-linclass.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-03-linclass.pdf Домашнее задание]]

'''Семинар 5'''. Линейная классификация. Построение ROC-кривых. Явная формула для AUC-ROC. Интерпретации AUC-ROC. Функции потерь, корректно оценивающие вероятности классов. Метод опорных векторов и его гиперпараметры. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem05-linclass.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem05-linclass-viz.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-04-linclass.pdf Домашнее задание]]

'''Семинар 6'''. Разреженные матрицы и их форматы. Работа с текстами, их предобработка. Векторизация. Классификация текстов. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem06-texts.ipynb Notebook]]

'''Семинар 7'''. Критерии информативности и их свойства. Неустойчивость деревьев. Подбор гиперпараметров. Краткое введение в композиции деревьев. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem07-trees.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-05-trees.pdf Домашнее задание]]

'''Семинар 8'''. Разложение ошибки на смещение и разброс для линейных моделей. Бэггинг. Композиции с простым голосованием. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem08-ensembles.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-06-ensembles.pdf Домашнее задание]]

'''Семинар 9'''. Градиентный бустинг. Примеры использования. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem09-ensembles.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-07-ensembles.pdf Домашнее задание]]

'''Семинар 10'''. Градиентный бустинг над деревьями. Особенности решающих деревьев и композиций над ними. XGBoost. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem10-ensembles.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-08-ensembles.pdf Домашнее задание]]

'''Семинар 11'''. Метод обратного распространения ошибки. Полносвязные слои. Операция свёртки, примеры фильтров. Свёрточные слои. VGG19 и TensorFlow. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem11-dl.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-09-dl.pdf Домашнее задание]]

'''Семинар 12'''. Визуализация данных. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem12-visualization.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-10-unsupervised.pdf Домашнее задание]]

'''Семинар 13'''. Методы понижения размерности. Метод главных компонент. Ядра. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem13-kernels.pdf Конспект]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem13-pca.ipynb Notebook]] [[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-theory/homework-theory-11-features.pdf Домашнее задание]]

== Практические задания ==

'''Задание 1.''' Numpy, pandas, scikit-learn и градиентный спуск.

Дата выдачи: 16.09.2016

Дедлайн: 30.09.2016 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-practice/homework-practice-01-linregr.ipynb Условие]

'''Задание 2.''' Линейная классификация, категориальные и текстовые данные.

Дата выдачи: 11.10.2016

Дедлайн: 24.10.2016 23:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-practice/homework-practice-02-linclass.ipynb Условие]

'''Задание 3.''' Разложение ошибки на смещение и разброс, решающие деревья и случайные леса.

Дата выдачи: 14.11.2016

Дедлайн: 28.11.2016 05:59MSK

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-practice/homework-practice-03-ensembles.ipynb Условие]

'''Задание 4.''' Обучение без учителя.

Дата выдачи: 06.12.2016

Дедлайн: 18.12.2016 05:59MSK '''(продлён до 18.12.2016 23:59MSK)'''

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/homeworks-practice/homework-practice-04-unsupervised.ipynb Условие]

== Соревнования ==

Правила участия в соревнованиях зависят от специализации:

1. Для студентов специализации МОП участие обязательное, оценка учитывается в накопленной наряду с остальными домашними заданиями.

2. Для студентов других специализаций участие является опциональным. Баллы, заработанные за соревнование, можно добавить к баллам за самостоятельную работу или за практическое домашнее задание (при этом сумма не должна превышать 10 баллов).

'''В течение недели''' после окончания соревнования на почту курса необходимо прислать:
* краткий отчёт с описанием решения (достаточно нескольких предложений с описанием использованных признаков и методов);
* код, с помощью которого можно получить ответы, отправленные в качестве решения на Kaggle.

Также студентам, занявшим в рамках пределах группы первые три места, необходимо выступить на семинаре с рассказом о своём решении.

Оценка за соревнование в случае преодоления всех бейзлайнов вычисляется по формуле

10 - 9 * (i - 1) / (n - 1),

где i — номер студента в таблице результатов среди своих одногруппников, n — количество студентов в группе. В противном случае студент получает за соревнование 0 баллов.

Также за первое, второе и третье место в пределах группы студент получет 3, 2 или 1 дополнительный балл соответственно. За лучшие места в общем рейтинге также могут быть выставлены дополнительные баллы. Напоминаем, что дополнительные баллы не влияют на накопленную оценку, однако влияют на возможность получения оценки автоматом по курсу.

Если решения всех участников окажутся тривиальными или участников будет слишком мало, то преподаватели имеют право
снизить максимальную оценку или сделать шкалу более разреженной.

Студент, набравший менее 6 баллов (но при этом преодолевший бейзлайны), имеет право написать подробный отчёт по итогам соревнования и повысить свою оценку до 6 баллов (при выполнении всех требований к отчёту).

Регистрируясь на соревнование, выбирайте осмысленное имя. Рекомендованный формат: ''Иванов Иван (ПМИ ФКН ВШЭ, группа 141)''.

=== Соревнование 1: Оценка вероятности победы в матче Dota 2 ===

Дата выдачи: 09.10.2016

Дедлайн: 06.11.2016 (на самом деле 07.11.2016 03:00 MSK)

Соревнование на Kaggle InClass: https://inclass.kaggle.com/c/hse-dota2-win-prediction

Ссылка для участия: https://kaggle.com/join/cshse161

'''Ограничение''': можно использовать только линейные модели для построения предсказаний

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/contests/contest01-dota-statement.ipynb Подробное описание задачи]

[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/contests/contest01-report-requirements.pdf Требования к отчёту]

=== Альтернативное соревнование: Sberbank Data Science Contest ===

Соревнование: https://sdsj.ru/contest.html

Дедлайн: 06.11.2016, 23:59 MSK

Если вам неинтересно участвовать в учебных контестах, то в качестве альтернативы можно заняться соревнованием от Сбербанка.
Никаких ограничений на методы и подходы нет, главное — решить задачу как можно лучше.

Правила оценивания такие же, как и в учебных соревнованиях.
Если решения всех участников окажутся тривиальными или участников будет слишком мало, то преподаватели имеют право
снизить максимальную оценку или сделать шкалу более разреженной.
Данное соревнование можно засчитать вместо любого из учебных.
За высокие места в соревновании могут быть выданы очень большие бонусы!

== Коллоквиум ==

Дата: 12.11.2016

[https://docs.google.com/document/d/1C4kHPdo-ZzDzomslEJEOIpgcNEubesXx0Y_-joTOWac/edit?usp=sharing Вопросы к коллоквиуму]

Коллоквиум устный. Каждому студенту задаётся несколько вопросов из теоретического минимума (за незнание ответа на любой из них выставляется оценка 0), несколько вопросов из основной части, а также даются задачи по темам семинаров и домашних заданий.

Общее начало в 15:00, сбор в аудитории 509. Группам рекомендуется подходить по следующему расписанию:
{| class="wikitable"
|-
! Время начала !! Группы
|-
| 15:00 || 143, 144
|-
| 16:30 || 141, 142
|-
| 17:30-18:00 || 145
|}

== Экзамен ==

Дата: 26.12.2016

Место: ауд. 509

[https://docs.google.com/document/d/1M76smlFtJ_Omrc7MdXV8Waa-KZDpACrKH2DHl6LKzJw/edit?usp=sharing Вопросы к экзамену]

Во время ответа студент сдаёт три части: теоретический минимум, теорию и задачи.
За теоретический минимум можно набрать до 2 баллов, за теорию до 4 баллов, за задачи — до 4 баллов.
За отсутствие ответа на хотя бы один вопрос из теоретического минимума студент получает 0 баллов за экзамен.
Если у студента не менее 4 дополнительных баллов, то он освобождается от задач и получает баллы за них автоматически (при условии успешной сдачи теоретического минимума).

{| class="wikitable"
|-
! Время начала !! Группы
|-
| 10:30 || 145
|-
| 12:30 || 142
|-
| 14:30 || 141
|-
| 16:00 || 143, 144
|}

== Полезные материалы ==
===Книги===
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
* Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
* Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]

Машинное обучение 1/2016 2017 - История изменений

imported>Esokolov: Новая страница: «== О курсе == left Курс читается для студентов 3-го курса [https://cs.hse.ru/…»