https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_%28%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%29Репозиторий автоматизированного парсинга (командный проект) - История изменений2026-06-06T16:23:24ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://wikicshse.ru/index.php?title=%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_(%D0%BA%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%BD%D1%8B%D0%B9_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=2448&oldid=previmported>Ilya Kuzminov: /* Контактная информация */2017-10-16T20:03:44Z<p><span class="autocomment">Контактная информация</span></p>
<p><b>Новая страница</b></p><div>{{Карточка_командного_проекта<br />
|name=Репозиторий автоматизированного парсинга<br />
|company=ИСИЭЗ НИУ ВШЭ<br />
|semester=Осень 2017<br />
|course=3<br />
|number_of_students=3-5<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Это проект по созданию единого репозитория для автоматизированного парсинга сайтов одной тематики, с целью дальнейшего использования извлеченной информации в аналитике и прогнозах.<br />
<br />
С сайтов должны быть извлечены все максимально полезные метаданные о публикациях, статьях, грантах и т.п., например, время создания, авторство, категория, теги и т.п. параметры. Извлеченные данные должны будут автоматически загружены в унифицированном для всех их источников формате в облачное хранилище в виде таблиц баз данных (мы используем PostgreSQL).<br />
Задача по извлечению изначально может показаться достаточно простой, но на практике это далеко не так. В случаях с некоторыми сайтами можно будет применить инструменты разработанного у нас фреймворка на базе Scrapy для извлечения данных. Однако, скорее всего, придется работать также с такими инструментами как Selenium.<br />
<br />
В итоге у команды, работающей над этим проектом, должен будет получится набор скриптов-парсеров, осуществляющих задачи, собственно, парсинга, а также загрузки данных в БД, запускаемых в рамках единого проекта (т.е. так, чтобы обработка группы сайтов могла быть запущена единой командой управления, без ручного вмешательства разработчиков).<br />
<br />
=== Чему научатся студенты? Что самое интересное в проекте? ===<br />
Анализировать и приводить к стандартному виду большие объемы совершенно разрозненных данных.<br />
Разрабатывать и дорабатывать платформенные механизмы (фреймворки) автоматизированного сбора данных с веб-сайтов.<br />
Работать с базами данных, разрабатывать алгоритмы автоматизированного их пополнения, изменения и пр.<br />
Работать с облачными сервисами БД (например, AWS).<br />
Командной работе (не только с программистами, но и с аналитиками и пр. специалистами).<br />
Гибкости ума и прочим навыкам парсинга (т. к. для извлечения некоторых данных приходится использовать весьма нетривиальные пути).<br />
<br />
=== Организация работы (Как студенты будут работать в команде?) ===<br />
Работа над проектом будет состоять из следующих этапов:<br />
* Самостоятельное ознакомление с базовыми возможностями основных инструментами и библиотек, используемых для разработки проекта;<br />
* Ознакомление с разработанным у нас фреймворком; обсуждение возможности использования определенных инструментов на каждой группе сайтов в отдельности;<br />
* Распределение обязанностей и начало разработки над проектом (тестовое)<br />
* Консультирование по первому (пробному) этапу работы над проектом, обсуждение проблем (технических, командных и пр.), установка плана работ над проектом (milestones и пр.)<br />
* Периодическая проверка на соответствие текущего состояния проработанности проекта обозначенному плану.<br />
* Финальная проверка реализации проекта.<br />
<br />
=== Компоненеты (Из каких частей состоит проект?) ===<br />
* Разработанный в ИСИЭЗ фреймворк для извлечения данных (база для создания репозитория);<br />
* Разработанные самими студентами скрипты-парсеры на основании фреймворка (в случае возможности применения фреймворка для назначенных сайтов);<br />
* Разработанные самими студентами скрипты-парсеры на основании других библиотек парсинга (в случае '''не''' возможности применения фреймворка для назначенных сайтов);<br />
* Дополнения к фреймворку для обработки неформатных данных, упрощения процесса загрузки в БД и пр., написанные самими студентами, в случае необходимости создания таковых.<br />
<br />
=== Какие будут использоваться технологии? ===<br />
Python 3, Scrapy, Selenium, PostgreSQL, lxml, Pandas, собственный фреймворк организации на Python + Scrapy для парсинга сайтов<br />
Amazon Web Services<br />
<br />
=== Какие начальные требования? ===<br />
Знание Python на уровне, достаточном для быстрого освоения новых библиотек (для парсинга и пр.).<br />
Желательно знание Selenium, lxml, Scrapy или прочих библиотек.<br />
Наличие как минимум минимальных компетенций в работе с базами данных (в идеале — опыт работы с PostgreSQL)<br />
<br />
=== Темы вводных занятий ===<br />
* Особенности парсинга на Python (в случае, если будут студенты, которые никогда не занимались решением подобного рода задач).<br />
* Особенности парсинга с помощью библиотеки Scrapy.<br />
* Особенности нашего фреймворка.<br />
<br />
=== Критерии оценки ===<br />
''0-3'': Написанные парсеры не работают или не извлекают большую часть доступных для извлечения данных, или данных извлекаются плохо и не в нужном формате, или распарсено по необъективным причинам менее 50% обозначенных сайтов, а также не организован доступ данных на общее хранилище (сбор данных производился на локальные устройства). Нет возможности проверить код, полностью отсутствуют комментарии и пояснения по проекту.<br />
<br />
''4-5'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате. По необъективным причинам распарсены не все сайты (до 65%) и некоторая часть данных, доступная для извлечения, не была извлечена или была извлечена неправильно. А также сбор данных производился на локальные устройства или проект написан на плохо читабельном коде, без комментариев.<br />
<br />
''6-7'': Написанные парсеры работают, извлекая все или большую часть доступных данных с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсены не все сайты или некоторая часть данных, доступная для извлечения, не была извлечена. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. В коде присутствуют комментарии, достаточные для его понимания.<br />
<br />
''8-10'': Написанные парсеры работают, извлекая все доступные данные с сайтов, данные загружаются в правильном формате на единое общедоступное облачное хранилище. Распарсено как минимум 90% сайтов. В части кода проекта, опирающейся на одни и те же инструменты, присутствует консистентность. Код проекта полностью закомментирован (опуская комментирование встроенных функций, подключение библиотек и пр. очевидные вещи).<br />
<br />
=== Похожие проекты ===<br />
<br />
<br />
=== Контактная информация ===<br />
<br />
Ментор: [[Участник:Ilya Kuzminov|Кузьминов Илья Филиппович]]<br />
<br />
Email: ''ikuzminov@hse.ru''<br />
<br />
Рабочий телефон: +7 (495) 772-9590 доб. 12022<br />
<br />
'''Технические\организационные и пр. вопросы: ''Юлия Исаева'' '''<br />
<br />
Email: ''yisaeva@hse.ru''<br />
<br />
Тел.: +7 (495) 772 9590 доб. 22543</div>imported>Ilya Kuzminov