https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A2%D0%B5%D1%81%D1%82_%28%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%29Тест (проект) - История изменений2026-06-06T14:46:20ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://wikicshse.ru/index.php?title=%D0%A2%D0%B5%D1%81%D1%82_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=1803&oldid=previmported>AntonioRodriges: Migrated current public revision from wiki.cs.hse.ru2018-10-20T07:32:13Z<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>{{Карточка_командного_проекта<br />
|name=Исследование производительности систем обработки больших векторных геоданных<br />
|company=НИУ ВШЭ<br />
|semester=Осень 2018<br />
|course=3-4<br />
|number_of_students=15<br />
|categorize=yes<br />
}}<br />
<br />
=== Что это за проект? ===<br />
Геопространственные данные (геоданные) это такие данные, у которых есть географическая привязка. <br />
В современном мире, около 80% всех данных содержат географическую привязку: <br />
[https://www.forbes.com/sites/truebridge/2016/05/06/how-imaging-technologies-are-changing-the-world-part-2/ ссылка 1],<br />
[https://carto.com/blog/eighty-data-visualizations-examples-using-location-data-maps/ ссылка 2].<br />
<br />
Векторные геоданные - точка, линия, полигон, мультиполигон и другие виды объетов, которые имеют географическую привязку. <br />
Эти данные встречаются в картах Google, Yandex, Bing и любых подобных сервисах. <br />
При обработке этих данных мы встречаемся с такими основными проблемами:<br />
* большие данные: этих данных очень много (представьте себе только одну Москву с миллионами объектов)<br />
* особый workload: обработка запросов к геоданным не является тривиальной (нужны индексы, специальные алгоритмы и подходы)<br />
* облачные системы: для обработки больших данных нужно использовать компьютерные кластеры и распределенные системы<br />
<br />
Системы обработки больших векторных геоданных могут отвечать на такие вопросы:<br />
* '''Пользователь мобильной связи''': где находится ближайшая автозаправочная станция? Могу ли я по дороге домой купить корм для домашних животных?<br />
* '''Командующий армией''': произошли ли значительные передвижения войск противника по сравнению со вчерашним вечером?<br />
* '''Менеждер по страховым рискам''': какие постройки на берегу реки с наибольшей вероятностью пострадают от очередного большого наводнения?<br />
* '''Специалист по транспорту''': как следует расширить сеть автодорог, чтобы до минимума сократить заторы?<br />
* и многие другие вопросы: Spatial Databases: A Tour http://www.spatial.cs.umn.edu/Book/<br />
<br />
Например, треки ураганов позволяют страховым компаниям [https://eigenrisk.com/news/real-time-event-response/ спрогнозировать ущерб]:<br />
[[Файл:NCEP_CFSR_AND_IBTRACKS_HURRICANE_KATRINA_28August2005.png|центр|600px|link=http://www.wikience.org/|Треки ураганов позволяют страховым компаниям спрогнозировать ущерб]]<br />
<br />
Исследование производительности систем обработки больших векторных геоданных заключается в следующем:<br />
* развернуть систему обработки данных в облаке либо на локальной машине<br />
* импортировать данные в систему<br />
* разработать запросы для системы с учетом ее особенностей (это поможет сделать ментор), чтобы выявить сильные и слабые стороны системы (с какими задачами система справляется лучше, а с какими хуже)<br />
* выполнить исследование системы: запустить запросы на системе с разным количеством узлов кластера, разным объемов данных, модифицировать запросы, чтобы улучшить или ухудшить производительность системы, найти данные на которых система работает лучше/хуже и т.п.<br />
<br />
'''Цель работы''' -- познакомиться с геоданными, изучить системы и особенности работы с ними. Это позволит существенно улучшить Ваше резюме. Например, многие системы основаны на Apache Spark, который является одной из самых популярных и востребованных работодателями систем работы с Большими Данными.<br />
<br />
''' Свежая статья об исследовании систем обработки больших векторных геоданных''': How Good Are Modern Spatial Analytics Systems? [http://www.vldb.org/pvldb/vol11/p1661-pandey.pdf PDF] <br />
<br />
Ментор этого проекта лично выступал на VLDB 2018 - одной из самых значимых в мире конференций по Большим Данным, Распределенным Системам, и Базам Данных: ChronosDB: Distributed, File Based, Geospatial Array DBMS [http://www.vldb.org/pvldb/vol11/p1247-zalipynis.pdf PDF]. Это единственный устный доклад от РФ за последние 10 лет. <br />
<br />
'''При командной работе задачи распределяются так''': студент берет себе одну из систем. <br />
<br />
Системы:<br />
* GeoMesa https://www.geomesa.org/<br />
* GeoTrellis https://geotrellis.io/<br />
* PostgreSQL/PostGIS https://postgis.net/<br />
* GIS Tools for Hadoop http://esri.github.io/gis-tools-for-hadoop/<br />
* Spatial Hadoop http://spatialhadoop.cs.umn.edu/<br />
* Hadoop-GIS http://bmidb.cs.stonybrook.edu/hadoopgis/index<br />
* GeoSpark https://github.com/DataSystemsLab/GeoSpark<br />
* Magellan https://github.com/harsha2010/magellan<br />
* Asterix-DB https://asterixdb.apache.org/<br />
* MongoDB https://www.mongodb.com/<br />
* Couchbase https://www.couchbase.com/<br />
* ваши предложения (почти любая современная база данных поддерживает векторные геоданные)<br />
<br />
Перечень остальных подходов и систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]<br />
<br />
=== Чему вы научитесь? ===<br />
* работе с облачными сервисами Azure либо Amazon<br />
* работе с системами обработки векторных геоданных<br />
* основам новых языков программирования: некоторые (не все) системы используют Python/Scala/... для своего API, их знание не является обязательным для работы над проектом, они легко осваиваются по ходу работы<br />
* принципам работы алгоритмов обработки векторных геоданных<br />
<br />
=== Какие начальные требования? ===<br />
* технический английский (для чтения статей)<br />
* язык программирования - любой, новый осваивается по ходу работы в зависимости от системы либо облачного сервиса<br />
* желание разбираться с геопространственными данными, системами и алгоритмами их обработки, облачными сервисами<br />
<br />
=== Какие будут использоваться технологии? ===<br />
Перечень технологий доступен на сайте курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]<br />
<br />
Перечень систем (не исчерпывающий): The Era of Big Spatial Data [http://www.vldb.org/pvldb/vol10/p1992-eldawy.pdf PDF]<br />
<br />
=== Темы вводных занятий ===<br />
Мы возьмем некоторые темы из курса [http://rgeo.wikience.org/index2017.html Разработка геоприложений]<br />
<br />
* что такое геопространственные данные, какие они бывают и какие особенности работы с ними<br />
* системы для обработки больших геопространственных данных<br />
* виды запросов и их особенности для обработки векторных геоданных<br />
<br />
=== Направления развития ===<br />
* исследование производительности новейших систем, напр. Rheem http://da.qcri.org/rheem/<br />
* исследование производительности машинного обучения с использованием геоданных<br />
* модификация систем для изменения поведения при ответе на запросы<br />
* комбинация в запросах не только векторных, но и растровых геоданных, данных других баз данных<br />
* использование данных из различных источников (города, треки, ...) для исследования системы<br />
* публикация статьи в следующем году по результатам исследований: напр., Суперкомпьютерные дни в России http://www.russianscdays.org/, AIST https://aistconf.org<br />
<br />
=== Критерии оценки ===<br />
4-5:<br />
* подготовить тестовые геоданные<br />
* реализовать импорт геоданных в выбранную систему<br />
* составить 10 одноэтапных (выполняющих какую-то одну пространственную операцию) запросов к системе <br />
* уметь с помощью API системы выполнять к ней запросы<br />
* построить диаграммы, графики и другие необходимые отчетные материлы иллюстрации производительности системы<br />
<br />
6-7: <br />
* все пункты '''4-5''', кроме запросов<br />
* уметь разворачивать систему на компьютерном кластере в облаке Azure/Amazon (если бесплатная версия системы это позволяет)<br />
* составить 10 (можно больше) сложных запросов к системе (запрос должен проверять сразу несколько аспектов работы системы)<br />
* уметь измерять время выполнения различных этапов работы системы (напр., подготовка данных, shuffling между узлами кластера, ...)<br />
<br />
8-10:<br />
* все пункты '''6-7'''<br />
* уметь создавать компьютерный кластер в облаке c помощью API Azure/Amazon (если это будет необходимо)<br />
* проверить работу системы на различных данных, их объемах и конфигурациях оборудования (кластера, если система распределенная)<br />
* подготовить UDF (User Defined Functions) для выполнения системой пользовательских запросов<br />
* научиться задавать расположение исходных данных на узлах кластера с помощью API системы<br />
* самостоятельно предлагать запросы, которые позволят выявить слабые и сильные стороны системы (на 10 баллов)<br />
<br />
Дополнительные баллы можно также получить при выполнении пунктов из раздела "Направления развития"<br />
<br />
=== Ориентировочное расписание занятий ===<br />
По договоренности. Ориентировочно ВТ 16.40-18.10 (по четной неделе)</div>imported>AntonioRodriges