Названный LiveLight, этот метод постоянно оценивает действие в видео, ища визуальную новинку и игнорируя повторяющиеся или однообразные последовательности, чтобы создать резюме, которое позволяет зрителю получить суть того, что произошло. То, что это производит, является миниатюрным видео трейлером.
Хотя еще не сопоставимый с профессионально отредактированным видео, это может помочь людям быстро рассмотреть длинное видео события, подачи камеры видеонаблюдения или видео от полицейской камеры лобового стекла крейсера.Особенно прохладное применение использует LiveLight, чтобы автоматически переварить видео от, скажем, GoPro или Google Glass, и быстро загрузить уменьшенные трейлеры на социальные сети. Процесс резюмирования таким образом старается не производить дорогостоящие интернет-обвинения в данных и утомительное ручное редактирование на длинных видео.
Это приложение, наряду с авторезюмированием камеры наблюдения, теперь разрабатывается для розничного рынка PanOptus Inc., стартапом, основанным изобретателями LiveLight.Резюме видео LiveLight происходит в «квазив реальном времени» только с единственным проходом через видео. Это не мгновенно, но это не занимает много времени – LiveLight мог бы занять 1-2 часа, чтобы обработать один час сырого видео и может сделать так на обычном ноутбуке.
С более сильным бэкендом вычислительное средство производственное время может быть сокращено к простым минутам, по словам исследователей.Эрик П. Син, преподаватель машинного обучения, и Бен Чжао, аспирант в Отделе Машинного обучения, представят их работу над LiveLight 26 июня в Computer Vision и Конференции по Распознаванию образов в Колумбусе, Огайо.
Видео в качестве примера и резюме доступны онлайн по http://supan.pc.cs.cmu.edu:8080/VideoSummarization/. Демонстрационное видео доступно по http://youtu.be/pkG3apELN_8.
«Алгоритм никогда не оглядывается назад», сказал Чжао, специальность исследования которого – компьютерное видение. Скорее поскольку алгоритм обрабатывает видео, это собирает словарь своего содержания. Алгоритм тогда использует изученный словарь, чтобы решить очень эффективным способом, если недавно замеченный сегмент подобен ранее наблюдаемым событиям, таков как обычное движение на шоссе.
Сегменты, таким образом идентифицированные как тривиальные повторения или однообразные, исключены из резюме. Новые последовательности, не появляющиеся в изученном словаре, такие как неустойчивый автомобиль или дорожно-транспортное происшествие, были бы включены в резюме.
Хотя LiveLight может написать эти резюме автоматически, люди также могут быть включены в петлю для компилирования резюме. В том случае Чжао сказал, что LiveLight предоставляет оцениваемый список новых последовательностей для человеческого редактора, чтобы рассмотреть для заключительного видео. В дополнение к отбору последовательностей человеческий редактор мог бы восстановить часть видеозаписи, которую считают бесполезной, чтобы обеспечить контекст или визуальные переходы прежде и после последовательностей интереса.
«Мы видим это как потенциально окончательный беспилотный инструмент для того, чтобы открыть видео данные», сказал Син. Видео никогда не было легче для среднего человека стрелять, но рассмотрение и маркировка сырого видео остаются столь утомительными, что еще большие объемы видео идут ненаблюдаемые или отказанные.
Интересные моменты, захваченные в тех видео таким образом, проходят невидимые и недооцененные, добавил он.Способность обнаружить необычные поведения среди долгих отрезков утомительного видео могла также быть благом для фирм безопасности, которые контролируют и рассматривают видео камеры наблюдения.