https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2020Основы обработки больших данных 2020 - История изменений2026-06-06T12:36:07ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://wikicshse.ru/index.php?title=%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_2020&diff=1556&oldid=previmported>A: /* Практическое домашнее задание */2020-03-14T17:15:48Z<p><span class="autocomment">Практическое домашнее задание</span></p>
<p><b>Новая страница</b></p><div>== О курсе ==<br />
<br />
Курс читается для студентов 4-го курса [https://cs.hse.ru/ami ПМИ ФКН ВШЭ] в 3 модуле.<br />
<br />
'''Лектор:''' [https://www.hse.ru/org/persons/175396509 Зимовнов Андрей Вадимович]<br />
<br />
Лекции, которые вы смотрите в онлайне бесплатно, вот тут: https://www.coursera.org/learn/big-data-essentials<br />
<br />
Канал в telegram для объявлений: <br />
<br />
<br />
=== Вебинары ===<br />
<br />
Все вебинары начинаются в 19:30.<br />
<br />
*'''Вебинар 1.''' 4 февраля — "Базовый спарк + скринкаст в колаб на простых примерах" Зимовнов Андрей Вадимович<br />
*'''Вебинар 2.''' 18 февраля — "SQL + Spark SQL + скринкаст в колаб на логах" Бардуков Анатолий Андреевич<br />
*'''Вебинар 3.''' 3 марта — "Hashing trick и большие линейные модели + скринкаст в колаб на датасете с оф. сайта" Космачев Алексей Дмитриевич<br />
<br />
Ассистенты: Анвардинов Шариф Ринатович<br />
<br />
=== Консультации ===<br />
<br />
Консультации с преподавателями и учебными ассистентами (если иное не оговорено на странице семинаров конкретной группы) по курсу проводятся по предварительной договорённости ввиду невостребованности регулярных консультаций.<br />
<br />
При необходимости, можно писать на почту или в Telegram:<br />
<br />
Анатолий - @sindb<br />
<br />
Алексей - @adkosm<br />
<br />
Шариф - @shedx<br />
<br />
=== Правила выставления оценок ===<br />
<br />
Оценка за курс выставляется по оценке за практическое домашнее задание.<br />
<br />
=== Правила сдачи заданий ===<br />
<br />
Присылайте jupyter notebook, если сдаёте несколько раз в названии указывайте дату версии.<br />
<br />
Для сдачи: https://www.dropbox.com/request/n4WtzIbtObuLE8kCwbLU<br />
<br />
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.<br />
<br />
Возможна сдача после срока, штраф: -1 балл за день просрочки<br />
<br />
== Практическое домашнее задание ==<br />
<br />
Суть задания:<br />
с помощью Spark SQL посчитать различные статистики по данным, собрать датасет для VW и запустить обучение.<br />
<br />
По ссылке найдёте подробное описание, разбалловку и помощь в настройке окружения в колабе https://bit.ly/BDEHOME<br />
<br />
Уменьшенный датасет доступен здесь: https://sindhdphdistorage.blob.core.windows.net/bdesome/zipfile.zip<br />
<br />
Дата выдачи - '''18 февраля'''<br />
<br />
Дедлайн - '''14 марта 23:59'''<br />
<br />
Возможна сдача после срока, штраф: -1 балл за день просрочки<br />
<br />
== Экзамен ==<br />
<br />
Дата: -<br />
<br />
== Полезные материалы ==<br />
===Книги===<br />
# Ron Bekkerman, Mikhail Bilenko, John Langford. Scaling up Machine Learning: Parallel and Distributed Approaches, Cambridge University Press, 2011.<br />
# Jure Leskovec, Anand Rajaraman, Jeff Ullman. Mining of Massive Datasets, Cambridge University Press, 2014.<br />
# Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning (Adaptive Computation and Machine Learning series), The MIT Press, 2016.<br />
# Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills. Advanced Analytics with Spark: Patterns for Learning from Data at Scale, O'Reilly Media, 2015.</div>imported>A