https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F%29Анализ данных (Программная инженерия) - История изменений2026-06-06T11:26:13ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://wikicshse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=797&oldid=previmported>Arbabenko: Migrated current public revision from wiki.cs.hse.ru2015-05-30T07:31:56Z<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br />
<br />
'''Контакты: ''' cshse.ml@gmail.com<br />
<br /><br />
<br /><br />
== Краткое описание ==<br />
В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br />
<br />
== Отчётность по курсу и критерии оценки ==<br />
'''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br />
<br />
'''Формальные критерии:'''<br />
<br />
Оценки за различные активности:<br />
* O<sub>theory</sub> - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br />
* O<sub>practice</sub> - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br />
* O<sub>colloquium</sub> - оценка за устный коллоквиум (max = 5)<br />
* O<sub>exam</sub> - оценка за устный экзамен (max = 50)<br />
<br />
Общее число баллов:<br />
<br />
O<sub>all</sub> = 0.2 * O<sub>theory</sub> + 0.4 * O<sub>practice</sub> + 0.2 * O<sub>exam</sub> + O<sub>colloquium</sub><br />
<br />
Критерии оценки:<br />
<br />
O<sub>max</sub> = max_possible_value_of(O<sub>all</sub>)<br />
<br />
При подсчете O<sub>max</sub> не учитываются дополнительные баллы за задания со звездочкой.<br />
<br />
'''Оценка 5''': O<sub>all</sub> >= 0.8 * O<sub>max</sub><br />
<br />
'''Оценка 4''': O<sub>all</sub> >= 0.6 * O<sub>max</sub><br />
<br />
'''Оценка 3''': O<sub>all</sub> >= 0.45 * O<sub>max</sub><br />
<br />
''Критерии в 10-бальной шкале будут вывешены позднее. ''<br />
<br />
За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br />
<br />
(0.2 * O<sub>theory</sub> + 0.4 * O<sub>practice</sub>) >= 0.9 * max_possible_value_of(0.2 * O<sub>theory</sub> + 0.4 * O<sub>practice</sub>)<br />
<br />
Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br />
<br />
'''Меры при обнаружении плагиата'''<br />
<br />
''Для лабораторных 1-7:''<br />
<br />
* По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br />
* Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br />
<br />
''Для всех последующих лабораторных:''<br />
<br />
* Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br />
Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br />
<br />
Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br />
<br />
'''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br />
<br />
== Коллоквиум ==<br />
<br />
На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br />
[https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br />
<br />
== Темы лекций ==<br />
<br />
'''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br />
<br />
Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br />
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br />
Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br />
<br />
[https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br />
[https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br />
<br />
'''Лекция 2. Метрическая классификация.'''<br />
Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br />
<br />
[https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br />
[https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br />
<br />
'''Лекция 3. Логическая классификация.'''<br />
Логические закономерности и решающие деревья. Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br />
<br />
[https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br />
<br />
'''Лекция 4. Линейные методы классификации.'''<br />
Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br />
<br />
[https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br />
<br />
'''Лекция 5. Линейный SVM.'''<br />
<br />
[https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br />
<br />
'''Лекция 6. Ядерный SVM.'''<br />
<br />
'''Лекция 7. Линейная регрессия и PCA.'''<br />
Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br />
<br />
[https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br />
<br />
'''Лекции 8-9. Байесовская классификация.'''<br />
<br />
[https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br />
<br />
'''Лекции 12. Выбор моделей и отбор признаков.'''<br />
<br />
[https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br />
<br />
'''Лекции 13. Кластеризация.'''<br />
[https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br />
<br />
'''Лекции 14. Композиции алгоритмов.'''<br />
[https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br />
<br />
'''Лекции 15. Нейронные сети.'''<br />
[https://www.dropbox.com/s/dfu7ykkj8psourh/slides-NeuralNets.pdf?dl=0, Слайды]<br />
<br />
'''Лекции 16. Ранжирование.'''<br />
[https://www.dropbox.com/s/4jz8k9ch10vuiyl/slides-Ranking.pdf?dl=0, Слайды]<br />
<br />
'''Лекции 17. Коллаборативная фильтрация.'''<br />
[https://www.dropbox.com/s/gc6umd44g86whn7/slides-Collaborative.pdf?dl=0, Слайды]<br />
<br />
== Семинары ==<br />
=== Правила сдачи заданий cеминаров === <br />
* На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br />
* Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br />
* Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br />
* Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br />
* Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br />
* По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br />
=== Семинар 1. Инструментарий === <br />
Знакомство с языком Python. <br />
[https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br />
<br />
[http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br />
=== Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br />
[https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br />
<br />
=== Семинар 3. Решающие деревья ===<br />
[https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br />
<br />
[http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br />
<br />
=== Семинар 4. Линейные методы классификации ===<br />
[https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br />
<br />
=== Семинар 5. Линейный SVM ===<br />
[https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br />
<br />
=== Семинар 6. Ядерный SVM ===<br />
[https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br />
<br />
=== Семинар 7. PCA + регрессия ===<br />
[https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br />
<br />
=== Семинар 9. Параметрическая Байесовская классификация ===<br />
[https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br />
<br />
=== Семинар 10. Разделение смеси распределений ===<br />
[https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br />
<br />
=== Семинар 12. Оценивание моделей ===<br />
[https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br />
<br />
=== Семинар 13. Кластеризация ===<br />
Дедлайны:<br />
<br />
Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br />
<br />
Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br />
<br />
[https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br />
[https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br />
<br />
=== Семинар 14. Композиции классификаторов ===<br />
[https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br />
<br />
<br />
=== Семинар 15. Нейронные сети ===<br />
[https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br />
[https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br />
<br />
=== Семинар 16. Ранжирование ===<br />
[https://www.dropbox.com/s/x2nulcih02l32qf/sem16.pdf?dl=0, Задачи с семинара]<br />
<br />
=== Семинар 17. Коллаборативная фильтрация ===<br />
[https://www.dropbox.com/s/sfyby2r9kugwhiv/lab17.pdf?dl=0, Лабораторная]<br />
[https://www.dropbox.com/s/5as2k79dhajtw7n/data.zip?dl=0, Данные]<br />
<br />
== Оформление писем ==<br />
Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br />
На почту присылайте письма со следующими темами:<br />
* Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"<br />
* Для ''лабораторных'': "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"<br />
Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br />
<br />
Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br />
== Полезные ссылки ==<br />
=== Машинное обучение ===<br />
* [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br />
* Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br />
=== Python ===<br />
* [http://python.org Официальный сайт]<br />
* Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br />
* Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br />
* Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br />
* Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br />
* Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br />
* [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br />
<br />
=== Установка и настройка Python ===<br />
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br />
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br />
* [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>imported>Arbabenko