imported>SavelyProkhorov: add hw4

2022-10-24T09:12:56Z

add hw4

Новая страница

== О курсе ==

'''Преподаватель:'''

[[Файл:MariaTikhonova.jpg|250px|thumb|right|Мария Тихонова, Senior Data Scientist (SberDevices, Sber), преподаватель (НИУ ВШЭ), руководитель курсов по МО (OTUS)]]
[https://www.hse.ru/org/persons/218372994 Тихонова Мария Ивановна]: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS)

=== Семинары ===
Канал курса в Telegram:
[https://t.me/+A9calM9TztZiNWIy Присоединиться к каналу в Телеграм]

Чат курса: [https://t.me/+NQSO Присоединиться к чату]

----
'''Занятия в пятом модуле проводятся на [https://events.webinar.ru/54933491/556672756 Webinar.ru] ''по вторникам с 18:00 до 19:20'' '''
----

Занятия в четвертом модуле проводились в Zoom по средам в 18:00:
[https://us06web.zoom.us/j/89194606293?pwd=K3hhQTFBZVBpM1pweUZRbWRDSFZZdz09]

Все материалы занятий находятся здесь: [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22 Ссылка на GitHub-репозиторий курса]

Репозиторий с материалами прошлого года: [https://github.com/pet67/hse_mlds_deep_learning_course Ссылка на GitHub-репозиторий курса]

=== Материалы к курсу (перед семинарами) ===

==== Модуль 5 ====
# К первому занятию (06.09.22) посмотреть [https://youtu.be/P5wNb9Mt9RE лекцию Жени Соколова про механизм внимания и трансформеры] и [https://youtu.be/4Bdc55j80l8 краткое интро в архитектуры трансформеров]
# Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше
# К третьему (15.09.22): [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_11_speech видео со страницы соответствующей недели курса на GitHub]
# К четвёртому (20.09.22 с Ильдаром Сафило), по RecSys: отдыхайте :)
# К пятому (27.09.22 с Ильдаром), по RecSys:
# К шестому (11.10.22 снова с Эльдаром Валитовым):

==== Модуль 4 ====
Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube]

# Посмотреть к первому занятию (12.04.22): [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 Lecture 1, Введение], [https://www.youtube.com/watch?v=aSTwlPjJfso&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=3 Lecture 2. Backprop, Convolutions]
# Ко второму (20.04.22): [https://www.youtube.com/watch?v=i8W_ZgiajOs&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=770s Всё то же введение от Е. Соколова], [https://www.youtube.com/watch?v=7ljQTZ8HT-A&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=29 Lecture 4. CNNs, Оптимизация в DL]
# К третьему (27.04.22): [https://youtu.be/aSTwlPjJfso?list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=2665 Lecture 2. CNN-1], [https://www.youtube.com/watch?v=4nKWQno1vG8&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=11 Lecture 3. CNN-2], [https://youtu.be/7ljQTZ8HT-A?list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=3639 Lecture 5. ConvNets Augmentation, Dropouts and Normalization]
# К четвёртому (11.05.22): [https://www.youtube.com/watch?v=yL0KLqEwfv4&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=31 Lecture 6, ConvNets Architectures], [https://www.youtube.com/watch?v=vWl-vlmsomI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=40 Lecture 7. CV tasks], [https://www.youtube.com/watch?v=Z-e_71h1Oew&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=41 Lecture 8. CV]
# К пятому (16.05.22):
# К шестому (19.05.22): [https://www.coursera.org/learn/intro-to-deep-learning/home/week/4 Coursera, Week4. Autoencoders and GANs], [https://www.youtube.com/watch?v=rZufA635dq4 Лекция MIT (дополнительно, если осталось время)], [https://towardsdatascience.com/understanding-variational-autoencoders-vaes-f70510919f73 Хорошая статья по VAE]
# К седьмому (25.05.22): [https://www.youtube.com/watch?v=_Gnh8Z2Pn_o, Lecture 9.Word Embeddings]
# К восьмому (01.06.22): [https://www.youtube.com/watch?v=bAnx1E45rrE&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=48, Lecture 10. Recurrent neural networks], [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ освежаем теорию по LSTM]

=== Материалы по курсу (во время семинаров) ===
==== Модуль 5 ====

==== Модуль 4 ====
# Занятие 1: [https://ruder.io/optimizing-gradient-descent/index.html Статья про разные методы оптимизации]
# Занятие 2: [https://drive.google.com/file/d/1sEhgwRlyaWmGFZ23F0KYZp6MojXp_IxE/view?usp=sharing Colab-Ноутбук], [https://github.com/torch/torch7/wiki/Torch-for-Numpy-users Cheatsheet "Torch equivalents of numpy functions"]
# Занятие 3: [https://distill.pub/ Distill - Latest articles about ML (Clear, Dynamic and Vivid)]
# Занятие 4: [https://cs231n.github.io/convolutional-networks/ Подробнейшая статья про Свёртки для CV]
# Занятие 5:
# Занятие 6:
# Занятие 7: [https://ods.ai/competitions/mcs_car_verification Соревнование по CV от ods.ai]
# Занятие 8: [https://habr.com/ru/company/sberdevices/blog/666420/ Статья про суммаризатор текстов], [https://sbercloud.ru/ru/datahub/rugpt3family/summarizer демо-бета версия на ML-space]

=== Ссылки на видеозаписи занятий ===
Записи занятий:
[https://www.youtube.com/playlist?list=PLmA-1xX7IuzDdHJ9mRoydJBweP9YkB7Gn Записи занятий на YouTube]

=== Расписание ===
{| class="wikitable"
|-
| Группа || Ссылка || Преподаватель || Учебный ассистент || Инвайт в anytask
|-
| Время || [https://www.youtube.com/watch?v=dQw4w9WgXcQ Zoom] || Мария Тихонова || [https://t.me/arorlov Артем Червяков] || PKivb1Q
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:

* Первое обязательное домашнее задание;
* Второе обязательное домашнее задание;
* Третье обязательное домашнее задание;
* Лол, четвертое обязательное домашнее задание;

В каждом модуле оценка выставляется отдельно.

'''O4_модуль = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2'''


'''O5_модуль = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен'''; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка

== Семинары ==
Материалы семинаров: [https://github.com/pet67/hse_mlds_deep_learning_course GitHub]

== Домашние задания ==

Все домашние работы необходимо сдавать в [https://anytask.org/ Anytask].

{| class="wikitable"
|-
| Инвайт для Anytask || PKivb1Q
|}

=== Модуль 5 ===
==== Домашнее задание №3 ''(Обязательное)'' ====
''' ''Автоэнкодеры и трансформеры'' '''

Задание состоит из 3-х частей:
* дописать код для реализации простой Encoder-Decoder модели (''1 балл'');
* реализовать сеть с кастомным Attention слоем (''7 баллов'');
* поэкспериментировать с различными моделями для получения лучшего скора (''2 балла'').

Предусмотрена '''Бонусная часть''' (''до +3 баллов'')

Ноутбук с заданием: [https://www.dropbox.com/s/ohkes28sq6nwrlw/hometask_encoders_transformers.ipynb on Dropbox]

Мягкий дедлайн: '''02 октября 23:59'''. После него каждые 3 дня снимаем 1 балл

Жесткий дедлайн: '''11 октября 23:59'''. После него работы не принимаются

==== Домашнее задание №4 ''(Обязательное)'' ====
''' ''Глубинное обучение в рекомендательных системах'' '''

За это домашнее задание вы можете получить до 14 баллов - своеобразная компенсация сложности предыдущего

Тетрадка с заданием: [https://colab.research.google.com/drive/103gFV79wsjhi7k9HEzxga_jDNNM4j8da?usp=sharing in Colab]

Дедлайн (очень жёсткий): '''6 ноября (Вс), 23:59'''

=== Модуль 4 ===
==== Домашнее задание №1 ''(Обязательное)'' ====

Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). [https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ссылка на ноутбук с заданием.], [https://www.dropbox.com/s/ewf7m59iksdezbk/dataset.zip данные]

Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.

Части оцениваются совместно - максимум за работу 10 баллов.

'''Жесткий дедлайн - 26.05 (Чт) 9:00'''

==== Домашнее задание №2 ''(Обязательное)'' ====

Крайнее в четвёртом модуле задание

Вся необходимая информация собрана в [[https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_08_rnn репозитории]], ссылки для скачивания датасета: [[https://www.dropbox.com/s/oq4ksm3a14pljm6/train.csv train]], [[https://www.dropbox.com/s/5imsmsxy8ptt2ke/test.csv test]]

'''Дедлайн''': 23 июня 2022, 9:00

Глубинное обучение-МОиВС-2022 - История изменений

imported>SavelyProkhorov: add hw4