https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81_%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B0%D0%BD%D0%BD%D0%BE%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D1%80%D0%B0%D0%B7%D0%BD%D0%BE%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%BD%D1%8B%D1%85_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%E2%80%9CLarge_Data_Inventory%E2%80%9D 2026-06-06T17:15:20Z История изменений этой страницы в вики MediaWiki 1.45.3 https://wikicshse.ru/index.php?title=%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81_%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B0%D0%BD%D0%BD%D0%BE%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D1%80%D0%B0%D0%B7%D0%BD%D0%BE%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%BD%D1%8B%D1%85_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%E2%80%9CLarge_Data_Inventory%E2%80%9D&diff=1793&oldid=prev 2022-08-26T06:36:12Z

<p>Откат правок <a href="/%D0%A1%D0%BB%D1%83%D0%B6%D0%B5%D0%B1%D0%BD%D0%B0%D1%8F:%D0%92%D0%BA%D0%BB%D0%B0%D0%B4/Seosky" title="Служебная:Вклад/Seosky">Seosky</a> (<a href="/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Seosky&amp;action=edit&amp;redlink=1" class="new" title="Обсуждение участника:Seosky (страница не существует)">обсуждение</a>) к версии <a href="/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Aapoludnitsin&amp;action=edit&amp;redlink=1" class="new" title="Участник:Aapoludnitsin (страница не существует)">Aapoludnitsin</a></p> <p><b>Новая страница</b></p><div>{{Карточка_проекта<br /> |name=Сервис хранения аннотированных разноформатных данных “Large Data Inventory”<br /> |mentor=Космачев Алексей<br /> |mentor_login={{URLENCODE:akosmachev|WIKI}}<br /> |semester=Осень 2018<br /> |course=3-4<br /> |number_of_students=2-3<br /> |categorize=yes<br /> }}<br /> ===Что за проект?===<br /> Биоинформатические алгоритмы анализа данных пациента генерируют огромное количество различных файлов (порядка 50-100 Гб на каждого пациента). Для хранения таких объемов информации используются различные облачные хранилища, такие как Rackspace Cloud Files, Amazon S3 и тд. <br /> Основная проблема - это понять принадлежность того или иного объекта в хранилищах: к какому пациенту относится, к какому dataset, когда и кто данный объект загрузил, какой биоинформатический инструмент сгенерировал файл (название, версия и прочие метаданные), какие данные (мутации, экспрессии и т.п.) и какой формат данных, как долго нужно хранить данный объект и так далее.<br /> Важно отметить, что в хранилище помещаются данные пациентов из госпиталей, которая является PHI-информацией. Это означает, что необходим гибкий и надежный механизм разграничения прав доступа к распределенному хранилищу.<br /> Помимо этого, необходимо обеспечивать консистентность данных, хранимых в системе - не должно быть фантомных объектов, которых на самом деле не существует, не должно оставаться файлов в реальном хранилище после удаления и тд. <br /> Каждый объект, помещаемый в LDI (Large Data Inventory), снабжается минимально необходимым набором атрибутов и мета-данных. Атрибуты могут быть заданы как пользователем, так и встроенными в систему. Атрибуты и значения будут использоваться при выборке и отображении хранимым в системе объектов. Метаданные - некоторый системный набор атрибутов, например, кто загрузил объект, когда, какой размер объекта, mime-тип данных и т.п.<br /> Необходимо разработать прототип компоненты, которая на основе облачного хранилища общего назначения предоставит RESTful API для интеграции в платформу, CLI для доступа пользователя к хранилищу. <br /> ===Начальные требования===<br /> * Умение работать с англоязычной технической литературой<br /> * Базовое знание Python<br /> * Готовность изучать новые технологии<br /> ===Чему вы научитесь===<br /> * Обеспечивать гибкий авторизованный доступ к данным в распределенной системе<br /> * Реализовывать свой язык запросов и производить эффективный поиск по нему<br /> * Реализовывать клиентское приложение для работы с системой<br /> * Разворачивать самостоятельно и работать с существующими облачными решениями для хранения больших данных<br /> ===Какие будут использоваться технологии===<br /> * Python, Golang<br /> * Amazon S3 (Minio)<br /> * MongoDB<br /> * Yacc\Lex<br /> ===Критерии оценивания===<br /> * 4 - Реализован сервис, предоставляющий RESTApi с возможностью добавления записи о файле и его поиска<br /> * +2 - Реализован domain-specific language запросов<br /> * +3 - Реализован CLI c возможностью загружать реальные данные<br /> * +3 - Реализована авторизация<br /> ===Контакты===<br /> Космачев Алексей adkosmachev@edu.hse.ru‎</div>

imported>Mednik