Просмотр кода страницы Прикладная статистика в машинном обучении 20/21

== О курсе ==

Курс читается для студентов 3-го курса в 1-2 модулях.

'''Лектор:'''  [https://t.me/boris_demeshev Демешев Борис Борисович]

Лекции проходят по пятницам (09:30 - 10:50) онлайн на вышкинской [https://vr360.hse.ru/account/broadcasts vr360].

'''Семинарист:''' [https://t.me/vsomelyusik Владимир Омелюсик]

Семинары проходят по вторникам в 13:00 - 14:20 в ауд. G115 и в 14:40 - 16:00 в D504

'''Учебные ассистенты:''' [https://t.me/allikam Камилла Бахтиева] (181), [https://t.me/mercivboku Наталия Бондаренко] (182)

=== Полезные ссылки ===

[https://t.me/joinchat/DtwHDEwQxyDfcQHfOxxz4Q Телеграм-чат курса] 

[https://github.com/V-Marco/psmo_20_21 GitHub курса]

[https://docs.google.com/spreadsheets/d/14AXPTOShR_x323-AhI-jubwXuEuRKr7YjDZzgZmR4_A/edit#gid=0 Таблица с баллами]

== Боевой листок ==

=== Лекции ===

[10 сентября] Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки. 
* [https://vr360.hse.ru/account/broadcasts/164 видео]
* Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] 
* [https://drive.google.com/file/d/1ec6TRZ3hLunb85KkVVNbj2ydmzFHDp9U/view?usp=sharing/ Тех-конспект лекции] 

[17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда. 
* [https://vr360.hse.ru/account/broadcasts/323  видео]
* Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests]
* [https://drive.google.com/file/d/13iTEdhwyWNb7EC7T3fpH6FT8-WwIFyOM/view?usp=sharing/ Тех-конспект лекции]

[24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия.
* [https://vr360.hse.ru/account/broadcasts/443 видео]
* Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information]
* [https://drive.google.com/file/d/1jOWpdL-y71ehiTUn_vp8-qu6hgZwTUhS/view?usp=sharing/ Тех-конспект лекции]

[1 октября] Лекция 4: EM-алгоритм.
* [https://vr360.hse.ru/account/broadcasts/544 видео]
* Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm]
* [https://drive.google.com/file/d/1n99-Fj_N2pH8xtNuGD0MVxvfZY9kvclu/view?usp=sharing/ Тех-конспект лекции]

[8 октября] Лекция 5: EM-алгоритм и Bootstrap.
* [https://www.youtube.com/watch?v=nofJ8TxC2ZA&feature=youtu.be видео]
* Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI]
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект]
* [https://drive.google.com/file/d/17smGIhK20-w7cVCv1w_gz67tRyQzx-4-/view?usp=sharing/ Тех-конспект лекции]

[15 октября] Лекция 6: Регрессия и нормальное распределение.
* Почитать: [https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf Stahl, Evolution of the Normal distribution], [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Jaynes, Normal distribution (chapter from Probability: the logic of Science]
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект]
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] 
* [https://drive.google.com/file/d/1QnTcHvFJGL_onWmCkGPLlU_f-JWxos5u/view?usp=sharing/ Тех-конспект лекции]

[22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест.
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31]
* [https://drive.google.com/file/d/1mdG7v7eRB4i9fnOwc13B6RoACcGD8VMX/view?usp=sharing/ Тех-конспект лекции]

[29 октября] Лекция 8: Повтор про F-распределение, t-распределение.
* [https://drive.google.com/file/d/1hpTXfHXLoimaWhC40KDJ0IR5FAHZHOn2/view?usp=sharing/ Конспект от руки]

[5 ноября] Лекция 9: Гетероскедастичность и бутстрэп
* Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk]
* [https://drive.google.com/file/d/1G-XHPo6hFJpTFfiq4uu6RFmchew03tt4/view?usp=sharing/ Тех-конспект лекции]

[13 ноября] Лекция 10: разбор задач из контрольной
* [https://www.youtube.com/watch?v=uxUjBlIMTJ4&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=3/ Видео лекции]
* [https://drive.google.com/file/d/187wsU3vDVI0MH89EKd_5Qm4ztT0RoIvj/view?usp=sharing/ Конспект от руки]
* [https://drive.google.com/file/d/1jHfClh1k7Mo-MvkThajzJmfkg9UU-79M/view?usp=sharing/ Тех-конспект лекции]

[20 ноября] Лекция 11: Гостевая лекция: метрики, MDE, бутстрэп.
* [https://drive.google.com/file/d/1DxJFiKYvrwcC8YNuitHQrRGTP5sSU2Ha/view?usp=sharing/ Презентация лектора-гостя]
* [https://www.youtube.com/watch?v=cWmS-ws4z9I&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=6/ Видео лекции]
* [https://drive.google.com/file/d/1J9-NokteDQAP7ALrCmD8e7Bfi9ngIPu6/view?usp=sharing/ Тех-конспект лекции]

[27 ноября] Лекция 12: Байесовский подход
* [https://www.youtube.com/watch?v=ckDRLsvQOOM&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=7/ Видео лекции]
* [https://drive.google.com/file/d/1nrKXvnj6-qu73u5yFpFxp27LOotiCGaJ/view?usp=sharing/ Конспект от руки]
* [https://drive.google.com/file/d/1YurUDL-XJVsf0b0YUR-62mgccTzxxRYk/view?usp=sharing/ Тех-конспект лекции]

[4 декабря] Лекция 13: Байесовский подход: продолжение
* [https://www.youtube.com/watch?v=qX4yWGN6mPA&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=5/ Видео лекции]
* [https://drive.google.com/file/d/1hrTGi-I7fgzG_d8flhS-ntQJxKUoRN_h/view?usp=sharing/ Конспект от руки]
* [https://drive.google.com/file/d/1e5cxx0Y2oRAzOBD3xgKEV1RiFR15V1yf/view?usp=sharing/ Тех-конспект лекции]

[11 декабря] Лекция 14: Алгоритм Метрополиса-Гастингса
* [https://www.youtube.com/watch?v=eMih7kNAmdk&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=4/ Видео лекции]
* [https://drive.google.com/file/d/11bF3eQO6eqC9zzLh6uqcXsFDllfHVeJw/view?usp=sharing/ Конспект от руки]
* [https://drive.google.com/file/d/1SJnHh2D06aqpM622rQgOr3RGtAnT3I-u/view?usp=sharing/ Одна версия тех-конспекта] и [https://drive.google.com/file/d/1ymKrhRrT5Qr12YUo62OGobLd1ZR4giXu/view?usp=sharing/ вторая]

[18 декабря] Лекция 15:
* [https://drive.google.com/file/d/1q8Og_3lB2XxfIsOGubHpID1JrDu2kGoT/view?usp=sharing/ Конспект от руки]
* [https://drive.google.com/file/d/1ATlrmdvaNd-XxioiADhy-kw4O37s5FyK/view?usp=sharing/ Тех-конспект лекции]

Если что, все тех-конспекты и конспекты от руки, что указаны здесь, лежат в [https://drive.google.com/drive/folders/17djgKYxeuoa1h_FOJXQA552wSVZkgvZ5?usp=sharing/ этой] папке, поэтому если мы ошиблись со ссылками (а мы могли), то ищите нужный файл в ней

=== Семинары === 
Семинар 1: Метод максимального правдоподобия. 
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem1/PSMO_Sem1.pdf Конспект]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem1/sem1.ipynb Код]
* [https://www.youtube.com/watch?v=1OqPRX_wj_Y Видео]

Семинар 2: Тесты LR, LM и Wald. 
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem2/PSMO_Sem2.pdf Конспект]
* [https://www.youtube.com/watch?v=pGPi7xBbYgk Видео]

Семинар 3: Энтропия и дивергенция Кульбака-Лейблера.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem3/PSMO_Sem3.pdf Конспект]
* [https://youtu.be/LPJhUHoCpWI Видео]
* [https://github.com/V-Marco/econometrics/blob/master/pro_files/pro_themes/pro_themes.pdf Заметки (стр. 16)] NB: Кульбак!

Семинар 4: EM-алгоритм.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem4/PSMO_sem4.ipynb Кодспект]
* [https://www.youtube.com/watch?v=Pp5895IFxpU Видео]

Семинар 5: EM-алгоритм и Bootstrap.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_Sem5.pdf Конспект (EM)]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_sem5.ipynb Кодспект (Bootstrap)]
* [https://www.youtube.com/watch?v=eUY0_Ct1Vnk&list=PLEwK9wdS5g0ossOlR-LPShQTnrH0oYzMC&index=1 Видео]

Семинар 6: Геометрия МНК.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem6/PSMO_Sem6.pdf Конспект]
* [https://youtu.be/udDCM9o4pWU Видео]

Семинар 7: Распределения.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem7/sem7_task.pdf Задачи]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem7/PSMO_Sem7.pdf Конспект]
* [https://youtu.be/ZIw4xcTcquI Видео]

Семинар 8: Тестирование гипотез в линейной регрессии.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem8/sem8_task.pdf Задачи]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem8/PSMO_Sem8.pdf Конспект]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem8/psmo_sem8.ipynb Код]
* [https://youtu.be/jpD2bjrMsIY Видео]

Семинар 9: Гетероскедастичность.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem9/psmo_sem9.ipynb Кодспект]
* [https://youtu.be/cdb_c53r6rk Видео]

Семинар 10: Мультиколлинеарность. Отбор регрессоров.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem10/psmo_sem10.ipynb Кодспект]
* [https://youtu.be/TzBmIz1cC1g Видео]

Семинар 11: Эндогенность.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem11/sem11_task.pdf Задачи]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem11/PSMO_Sem11.2.pdf Конспект]
* [https://youtu.be/5vgxlH57p3M Видео]

Семинар 12: Множественное тестирование. Байесовские методы.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem12/psmo_sem12_to_solve.ipynb Задачи]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem12/PSMO_sem12.pdf Конспект (множественное тестирование)]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem12/psmo_sem12.ipynb Кодспект (байесовские методы)]
* [https://youtu.be/z0FiFrfFhLE Видео]

Семинар 13: Байесовские методы.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem13/sem13_task.pdf Задачи]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem13/sem13.pdf Конспект]
* [https://youtu.be/3Y6J1TCEOXg Видео]

Семинар 14: Байесовские методы.
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem14/PSMO_sem14.pdf Конспект]
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem14/psmo_sem14.ipynb Кодспект]
* [https://youtu.be/xc3tbaWThU4 Видео]

=== Домашние задания ===

'''Домашнее задание 1.''' Метод максимального правдоподобия.

Дедлайн: 11.10.2020, 23:59 МСК

[[https://github.com/V-Marco/psmo_20_21/blob/master/hw/hw1/psmo_hw1.pdf Условие]]

'''Домашнее задание 2.''' EM-алгоритм. Линейная регрессия.

Дедлайн: 01.12.2020, 23:59 МСК

[[https://github.com/V-Marco/psmo_20_21/blob/master/hw/hw2/psmo_hw2.ipynb Условие]]

'''Домашнее задание 3.''' Тестирование гипотез. Байесовский подход.

Дедлайн: 17.12.2020, 23:59 МСК

[[https://github.com/V-Marco/psmo_20_21/blob/master/hw/hw3/psmo_hw3.pdf Условие]]

'''Бонусное домашнее задание'''

Дедлайн: 17.12.2020, 23:59 МСК

[[https://github.com/V-Marco/psmo_20_21/blob/master/hw/hw_bonus/psmo_hw_bonus.pdf Условие]]

=== Задания для подготовки ===

'''Квиз 2.''' Дивергенция Кульбака-Лейблера. EM-алгоритм.

[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/quiz2_prep.pdf Условие]]

'''Квиз 3.''' Проверка гипотез в линейной модели. Гетероскедастичность.

[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/quiz3_prep.pdf Условие]]

'''Квиз 4.''' Тестирование гипотез. Байесовский подход.

[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/quiz4_prep.pdf Условие]]

=== Консультации ===

Консультация 25.10.2020.
* [https://github.com/V-Marco/psmo_20_21/blob/master/misc/PSMO_Cons_25_10.pdf Конспект]
* [https://youtu.be/j1vvy9fCeDo Видео]

===Отчётность по курсу и критерии оценки===

==== Домашние задания ====

Домашние задания загружаются в личный репозиторий в GitHub Classroom. 

Правила оформления решений находятся на первой странице каждого домашнего задания.

====Контрольная работа====
Контрольная работа состоится онлайн 7-го ноября с 18:00 до 21:00. В контрольную работу войдут задачи по темам лекций и семинаров.

[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Список тем и примеры задач]]

[[https://github.com/V-Marco/psmo_20_21/blob/master/midterm/midterm.pdf Задание]]

====Экзамен====

Экзамен состоится онлайн 21 декабря с 13:00 до 16:00. По формату экзамен будет похож на контрольную работу. Вопрос об автоматах уточняется. 

====Написание пропущенных работ====

19 декабря (время уточняется) можно будет:
# Написать неограниченное число пропущенных по уважительной причине квизов или контрольную.
# Написать один любой пропущенный по любой причине квиз.
# Переписать один любой квиз со штрафом: максимум можно будет получить 8 баллов (выставляется минимум из количества набранных баллов и 8).

====Итоговая оценка за курс====

Итоговая оценка за курс рассчитывается по следующей формуле: Итог = 0.3 × ДЗ + 0.3 × КР + 0.2 × К + 0.2 × Э,
где<br /> 
ДЗ — усреднённая оценка за все домашние задания,<br /> 
КР — оценка за контрольную работу,<br />
Э — оценка за экзамен,<br />
К — усреднённая оценка за все квизы на семинарах.<br />
Округление арифметическое, округляется только итоговая оценка.