https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A3%D1%82%D0%B8%D0%BB%D0%B8%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B8_%D0%BA%D0%BE%D1%80%D0%BF%D1%83%D1%81%D0%B0_%D0%BE%D1%82_%D0%B4%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D0%B2_%28%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%29 2026-06-06T14:50:04Z История изменений этой страницы в вики MediaWiki 1.45.3 https://wikicshse.ru/index.php?title=%D0%A3%D1%82%D0%B8%D0%BB%D0%B8%D1%82%D0%B0_%D0%B4%D0%BB%D1%8F_%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B8_%D0%BA%D0%BE%D1%80%D0%BF%D1%83%D1%81%D0%B0_%D0%BE%D1%82_%D0%B4%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D0%B2_(%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82)&diff=1023&oldid=prev 2015-10-20T07:53:13Z

<p>Migrated current public revision from wiki.cs.hse.ru</p> <p><b>Новая страница</b></p><div>{{Карточка_проекта<br /> |name=Утилита для чистки корпуса от дубликатов<br /> |mentor=Шестаков Андрей<br /> |mentor_login={{URLENCODE:Ashestakoff|WIKI}}<br /> |semester=Весна 2015<br /> |course=1<br /> |summer=<br /> |categorize=yes<br /> |is_archived=yes<br /> }}<br /> <br /> === Что это за проект? ===<br /> [http://www.sketchengine.co.uk/ SketchEngine] - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.<br /> <br /> В частности, корпус должен быть сбалансирован, то есть не содержать текстов-дубликатов.<br /> Это необходимо, например, для более точной оценки представленности речевых оборотов.<br /> <br /> === Чему вы научитесь? ===<br /> # Алгоритм шинглирования<br /> # Методы обработки текстов<br /> ## Удаление стоп-слов<br /> ## Лемматизация (приведение слова к начальной форме)<br /> ## Морфологическая разметка (определение части речи слова)<br /> <br /> === Какие начальные требования? ===<br /> * Знание python<br /> * Умение работать с *nix (желательно)<br /> <br /> === Какие будут использоваться технологии? ===<br /> * python<br /> * NLTK<br /> * gensim<br /> * binascii<br /> * pymorphy2 / mystem<br /> * MongoDB (возможно)<br /> <br /> === Темы вводных занятий ===<br /> # Алгоритм шинглирования<br /> # Способы представления графов (матрица /список смежности)<br /> # Поиск компонент связности<br /> <br /> === Направления развития ===<br /> Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса.<br /> <br /> === Критерии оценки ===<br /> 4-5: оценка степени сходства двух документов&lt;br /&gt;<br /> 6-7: + построение графа сходства на множестве документов и наивный алгоритм удаления дубликатов&lt;br /&gt;<br /> 8-10: + усложненный алгоритм удаления дубликатов &lt;br /&gt;</div>

imported>Ira dolgaleva