https://wikicshse.ru/index.php?action=history&feed=atom&title=%D0%A0%D0%B0%D1%81%D0%BF%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%BE%D0%B2_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85 2026-06-06T17:14:50Z История изменений этой страницы в вики MediaWiki 1.45.3 https://wikicshse.ru/index.php?title=%D0%A0%D0%B0%D1%81%D0%BF%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0_%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%BE%D0%B2_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85&diff=2424&oldid=prev 2018-10-15T11:45:50Z

<p>Новая страница: «{{Карточка_командного_проекта |name=Распараллеливание парсинга форматов данных |company=Яндек…»</p> <p><b>Новая страница</b></p><div>{{Карточка_командного_проекта<br /> |name=Распараллеливание парсинга форматов данных<br /> |company=Яндекс<br /> |semester=Осень 2018<br /> |course=3-4<br /> |number_of_students=?<br /> |categorize=yes<br /> }}<br /> <br /> Иногда узким местом при загрузке данных в ClickHouse является разбор формата входных данных (например, CSV). Хотя в ClickHouse уделено большое внимание, чтобы парсинг форматов был максимально эффективным, он всё же, ограничен скоростью одного процессорного ядра.<br /> <br /> Предлагается превзойти это путём распараллеливания парсинга. Для этого в парсер форматов добавляется метод для быстрого получения чанка (куска файла для обработки, не пересекающего границы строк), так что чанки можно обрабатывать параллельно. Это будет полезно сделать для форматов CSV, TSV, JSONEachRow.</div>

imported>Aapoludnitsin