imported>Dkorolev: Migrated current public revision from wiki.cs.hse.ru

2017-10-19T19:21:00Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

{{Карточка_проекта
|name=Разработка модуля автоматизации видеомонтажа в прямом эфире
|mentor=Королев Денис
|mentor_login={{URLENCODE:Dkorolev|WIKI}}
|semester=Осень 2017
|course=2
|summer=on
|number_of_students=5-10
|categorize=yes
}}

=== Что это за проект? ===
Если вы снимаете какое-нибудь событие (конференцию, защиты выпускных работ или другое разговорное событие) на одну камеру, то запись, монтаж и трансляция особой проблемы не представляют -- просто нечего монтировать, разве что подрезать. Транслировать такое событие тоже просто. Стоит добавить к этой одной камере хотя бы захват экрана презентации, начинаются сложности. А если камер несколько, выступающий общается с залом, из президиума что-то комментируют -- здесь обычно нужен режиссер. На входе у режиссера несколько потоков, он выбирает, какой из потоков пойдет в запись/трансляцию в каждый момент времени.
Критерии выбора потока зависят от а) его содержательности и актуальности для зрителя в данный момент и б) от технической и эстетической готовности. Содержательность -- это значит, что показывают обычно либо говорящего, либо то, о чём он говорит (презентацию), либо и то и другое сразу (картинка в картинке). Техническая пригодность -- значит, камера в фокусе, не дрожит и готова передавать поток без помех. Эстетическая готовность -- камера наведена на объект съёмки с соблюдением требуемой композиции кадра и в допустимых пределах экспозиции и цветопередачи.

Переключение источников видеопотоков может быть автоматизировано и это реализовано в конференц-системах, где камеры поворачиваются на говорящего в микрофон на определенном месте. Но такие системы имеют простой алгоритм, основанный на предварительной настройке позиций камер на оснащённые места с индивидуальными микрофонами. В нашем случае нет возможности использовать дополнительные датчики и заранее настраивать камеры на определенные точки, задачу автоматизации режиссуры нужно решать для абстрактного случая "разговорного события".
Если общие правила монтажа и съёмки довольно легко описываются (например, длительность кадров в пределах 5-20 секунд, переходы по крупности плана -- через один, съёмка по правилу третей, при этом поворот головы к центру кадра, и т.д.), то выбор источников для включения и конкретных моментов для переходов -- это задача творческая и для ее решения могут привлекаться как обычные формальные методы (изменение содержания слайда, детекция говорящего человека на крупном плане и т.д.), так и нейросеть.

=== Чему вы научитесь? ===
* Распознавание движений и мимики человека

* Практика в OpenCV

* Составление формальных критериев для съёмки и монтажа

* Амбициозная задача -- лишить режиссеров работы, где это возможно! Пусть кино снимают, а здесь и машина управится.

=== Какие начальные требования? ===
* Программирование C++ или Python, желательно OpenCV

=== Какие будут использоваться технологии? ===
* Распознавание образов (OpenCV)

* Возможно: нейросети

=== Темы вводных занятий ===
1. Архитектура проекта. API, внешние связи и зависимости.

2. Специфические технологии и используемые инструменты.

3. Доступные ресурсы, организация доступа.

4. Разделение ролей

=== Направления развития ===
Автомонтаж -- это даже не технология, а мечта одних и ужас других (кому потом придется искать себе работу). По сути, большинство "режиссеров" днями напролет выполняют работу, с которой компьютер справится не хуже, а зачастую -- лучше. Никакого творчества в съёмке разговорных мероприятий обычно нет (речь не о топовых проектах крупных телеканалов, а о всевозможных конференциях, семинарах и тд -- их по количеству часов снимается подавляющее большинство). Развитие проекта востребовано в двух очевидных направлениях, в которых ныне существует классический монтаж:

* Линейный автомонтаж -- вместо линейного монтажа, это прямые эфиры и записи "телевизионным" способом (такой же прямой эфир, только в запись, потом можно подкорректировать).

* Нелинейный автомонтаж -- вместо обычного нелинейного мотнажа. Элементы такой автоматики уже кое-где встречаются, достаточно вспомнить, какие ролики время от времени подкидывает вам Facebook и Google+. Здесь полагаться приходится имеющийся материал, не всегда есть сведения о его синхронизации (многокамерную съёмку можно синхронизировать по звуку и по движениям в кадре), но для нелинейного монтажа обычно важнее сделать ролик с самым важным из имеющегося материала, а не собрать хронологически выстроенные записи и переключать планы, как в многокамерной телевизионной съёмке. Здесь есть время подумать, но и задачи более творческие.

Одной технологией пользоваться невозможно, поэтому важно "завернуть" алгоритмы в продукт. И здесь есть хороший шанс выйти на благодатную почву, т.к. этот (как и многие соседние в этом списке предлагаемых проектов) проект разрабатывается для уже действующего и постоянно развивающегося сервиса интернет-трансляций.

=== Критерии оценки ===
Про работу и оценки почитайте здесь: https://d.pr/143bq

Постарайтесь отнестись к этому с пониманием. Очень часто бодрое начало длится 3-4 недели и потом наступает тишина. Очень хочется, чтобы проекты доводились до запуска, а вы получали опыт успешной разработки и, возможно, работу в этих проектах уже в другом статусе. Но пока это для вас учебная работа, поэтому будем придерживаться описанных по ссылке правил и критериев. Спасибо!

===Как записаться?===

В общем доступе есть порядка двадцати проектов, относящихся к области видеотехнологий (стриминг, доставка потоков и т.д.). Чтобы всем было проще, эти проекты объединим в четыре группы и при записи на проект выбирайте группу, а конкретный проект и вашу роль в нем мы обсудим уже в рабочем порядке.

http://wiki.cs.hse.ru/images/thumb/f/f0/Projects.PNG/800px-Projects.PNG

=== Ориентировочное расписание занятий ===
Более точное расписание будет ясно после утверждения графика факультативов, пока ориентируемся на вторник, среду или пятницу во второй половине дня (после 15-16 часов).

На самом деле, для общения (как индивидуального, так и группового) удобно использовать средства видеосвязи -- это не заменяет очных встреч, но отлично дополняет их за счет возможности оперативно решать задачи "здесь и сейчас", сидя за удобным вам рабочим местом. Практически все темы проектов подразумевают работу в сети.

Денис Королев,

https://www.hse.ru/staff/dkorolev (там есть ссылки на соцсети)

+7 903 610 3290 (месенджеры по вкусу)

d.korolev@gmail.com

Разработка модуля автоматизации видеомонтажа в прямом эфире (проект) - История изменений

imported>Dkorolev: Migrated current public revision from wiki.cs.hse.ru