imported>Ekononova: /* Лекции */

2025-03-24T18:04:18Z

Лекции

Новая страница

== О курсе ==

Курс посвящен Большим Языковым Моделям a.k.a. LLM и затрагивает темы от базовой теории до практических применений.

Проводится экспертами из VK, с вопросами можно приходить к [http://vk.com/boss boss @ VK].

=== Полезные ссылки ===

* Чат в Telegram для обсуждений: https://t.me/+IBNeDR0xOec1NWJi
* AnyTask: https://anytask.org/course/1164, инвайт: g6Xinxx
* [https://docs.google.com/spreadsheets/d/1NndEqrR6GKwN54RyvXHNH0hl265pBPfdN7UfY1aojiU/edit Оценки]
* [https://disk.yandex.ru/d/phkqmuuTDcXwAg Видеозаписи лекций]

=== Организационное ===

В курсе планируется 10 лекций, по 9 из них (кроме последней) будет летучка в начале следующего занятия.
Летучка - это 5 вопросов на 10 минут по мотивам лекций.

Иногда мы будем проводить практические занятия, это могут быть
* Вспомогательные лекции, например, вспомнить PyTorch
* Дополнительный полезный материал, например, как масштабировать модели на кластерах
* Семинары или reading club - возможность выступить с разбором статьи на полезную тему
* QA сессии и философские разговоры - по необходимости

В качестве практики, будет 4 домашних работы, на них будет действовать стандартная система с дедлайнами - мягкий через 2 недели и жесткий через месяц.
После мягкого дедлайна оценка за ДЗ уменьшается в 2 раза.

'''Выставление оценок'''

Активности за баллы:
* Домашняя работа - каждая оценивается от 0 до 10 баллов
* Летучка - каждая летучка из 5 вопросов, полностью решенная приносит 10 баллов (по 2 балла за вопрос)
* Выступление на семинаре - 10 баллов

Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

== Лекции ==

1. [https://drive.google.com/file/d/1E-Hyjxzfui6P4hMg7bgYVBbrTfQUKKGQ/view?usp=sharing Введение в Языковое Моделирование]

2. [https://drive.google.com/file/d/1lAYKmeaTwiNg10ujYdq6OxzUZrrqKwdY/view?usp=sharing Архитектура Трансформера]

3. [https://drive.google.com/file/d/1CxMO_W1L6PAUcJoL1tJXh_RjOMOrlvST/view?usp=sharing Transformers and beyond]

4. [https://drive.google.com/file/d/1ghccfQpj71nrlSbPn09iYdWE2b5lpXoZ/view?usp=sharing Alignment]

5. [https://drive.google.com/file/d/1iQ10JWA-UP7xwSGDrfBJV7xPELr6Isvb/view?usp=sharing Benchmarks]

6. [https://drive.google.com/file/d/1buFq8xBd3tt41kwFAFVy9E6-TbcOt7b8/view?usp=sharing Effective LLM]

7. [https://drive.google.com/file/d/103pA-HdprKj2mNBbNElffMCTSd0tpfWI/view?usp=sharing LLM Agents]

8. [https://drive.google.com/file/d/1XtpigmJGbBRDIkc4rtmS1PkauJvHkYCH/view?usp=sharing RAG]

9. [https://drive.google.com/file/d/1qx_I8-wQU9AsYroDyzmrTJ--XB4LDaFW/view?usp=sharing LLM in Nature]

== Семинары ==

1. [https://drive.google.com/file/d/1d7XxSY4Cnb4vjt8XOQBZikbF9j-rNWes/view?usp=sharing Learning Torch]

Практика [https://drive.google.com/drive/folders/1WL_yptqP6yROLgutMu5YnqaHoBf0GZ90?usp=sharing совсем простая] и [https://drive.google.com/drive/folders/1wFIFwlY56qPQbzTHry68WxHhXALTSKwg?usp=sharing чуть посложнее].

2. [https://drive.google.com/file/d/1LYVTg8-ak-vsG6xwh7lHnAxqFc3w6iEk/view?usp=sharing Dealing with LARGE Models]

3. [https://drive.google.com/file/d/1XrdwDEuIX0_v2FBHYVqHVJHjZnUQ36ip/view?usp=sharing Efficiency in practice]

== Домашние работы ==

1. [https://colab.research.google.com/drive/1rmRlg8Pdxc40b5ohlovpC6C1vibyycdi BPE & Transformers]

Мягкий дедлайн: 18.02.25

Жесткий дедлайн: 04.03.25

2. [https://colab.research.google.com/drive/124ly2KftrQqb81b4beqDbV-7x2zLtZKF DPO & PPO]

Мягкий дедлайн: 09.03.25

Жесткий дедлайн: 23.03.25

3. [https://colab.research.google.com/drive/12idlb-POqGfRmLW5SpzYtkBdXhhYtu-K PEFT]

Мягкий дедлайн: 28.03.25

Жесткий дедлайн: 28.03.25

Большие Языковые Модели 2025 - История изменений

imported>Ekononova: /* Лекции */