868
0,2
2015-04-06
Почему от 3D болит голова / Часть 3 Перепутанные ракурсы
S3D: No pain IS gain
Эта третья статья в цикле “Почему от 3D болит голова”. В первой части речь шла про проблемы кино-оборудования, во второй — общий обзор проблем фильмов, и, наконец, здесь и далее будут разбираться конкретные проблемы. Начнем с самой простой для понимания и одной из самых болезненных для восприятия — перепутанных ракурсов, когда на правый глаз подается картинка для левого, а на левый — для правого. Сложно найти слова для того, чтобы передать ощущения, которые испытывают соответствующие участки нашего мозга, когда видят такую картинку… Но мы все же попытаемся. )
Корни проблем
Когда на левый глаз подается картинка для правого и наоборот, мы видим изображение, совершенно невозможное в реальности, поскольку то, что должно быть дальше видится как близкое и наоборот. Т.е. объекты как будто вывернуты наизнанку. Обычно эта проблема возникает, как ошибка монтажа. При этом очень важно понимать главное: исправить эту конкретную ошибку — элементарно, на порядок проще, чем большинство других ошибок, о которых шла речь во второй части. Эта ошибка не исправляется ровно потому, что если ваш мозг уже достаточно натренирован к плохому стерео, он вполне успешно компенсирует проблему: обычно люди видят картинку даже с элементами “правильной” трехмерности, но субъективно более “плоскую”, чем она должна быть. Т.е. наш мозг стремится максимально распознать “невозможное” изображение и при достаточной тренировке на плохом стерео такие сцены не замечает.
Чтобы были понятны резервы человеческого мозга, расскажу про эксперименты, которые еще в XIX веке проводил в Калифорнийском университете Джордж Стрэттон. У него было много интересных опытов, в т.ч. довольно жесткий, когда изображение благодаря насадке с зеркалами, которая закреплялась на голове, полностью переворачивалось:
Эксперименты проводились по несколько дней и в первые дни даже простейшие операции, например, взять какой-либо предмет или пройти в соседнюю комнату, не задевая мебели, вызывали серьезные затруднения. Но уже на третий день ситуация значительно улучшилась: «При ходьбе в узком промежутке между мебелью мне требовалось значительно меньше внимания, чем до сих пор. Когда я писал, я мог без труда наблюдать за своими руками, не испытывая неприятных ощущений». На пятый день Стрэттон смог гулять вокруг дома и т. д. Интересно, что когда он снял прибор на восьмой день, то потребовалось всего два часа, чтобы зрительная система “адаптировалась обратно” к обычному восприятию. При этом, при повторном надевании прибора время адаптации к “неправильной” картинке также кардинально сократилось. Таких интересных экспериментов было проведено множество, в том числе и позднее в XX веке.
Выводы:
Профессионалы, натренированные на плохом стерео, перестают испытывать от него серьезный дискомфорт, что приводит к пропусканию части легко исправляемых ошибок в массовые релизы фильмов. Если человеку показывать плохое стерео, то постепенно испытываемый дискомфорт снижается, особенно если “тренировать” бинокулярное зрение с детства. Возможно, этим объясняется большое количество “ужасного” по меркам европеоидов стерео, которое сейчас массово производится и показывается в Китае. В результате этого внутренний рынок Китая, например, наиболее готов к новым автостереоскопическим устройствам, качество изображения которых на первом этапе обречено быть неидеальным.
Алгоритмические сложности
С точки зрения компьютерного зрения задача определения перепутанных ракурсов весьма нетривиальна и интересна. Интересна она в первую очередь тем, что у нее очень простая постановка и, в отличие от многих других областей — элементарно подготовить тестовую выборку. Вы просто берете какой-нибудь стереофильм, делаете короткий простой скрипт, который в каждой второй сцене меняет местами ракурсы и получаете великолепную тестовую базу в 1000 сцен для отладки собственных алгоритмов.
А дальше начинается самое интересное. Если для человека, особенно ненатренированного на плохом стерео, определить перепутанные ракурсы довольно просто, то для программы задача является нетривиальной. Человек знает, как должны выглядеть предметы, и что находится ближе, а что дальше, поскольку у него есть “сверхзнание” о том, какой формы предметы мебели, какой формы дома и т. д. У программы таких знаний нет и, несмотря на регулярные (на протяжении последних 40 лет) победные реляции об очередном прорыве в науке, распознавание предметов и, как следствие, например, зрение роботов пока оставляют желать лучшего. При этом надо понимать, что для того, чтобы корректно определять перепутанные ракурсы, роботы должны условно по информации с одной камеры определять что ближе, а что дальше лучше, чем человек с двумя глазами. Эта задача безусловно будет со временем решена, но не так скоро, как хотелось бы журналистам.
Для ее решения можно использовать всевозможные признаки, например, что снизу скорее всего объекты будут ближе, чем наверху, что объекты переднего плана, как правило, выпуклые и т.д. Но проблема в том, что все эти признаки крайне ненадежны, и, в итоге, на нашей тестовой выборке в 1000 сцен подобные методы будут ошибаться слишком часто.
Более надежный подход заключается в анализе движения. В современных фильмах практически не бывает сцен без движения, при этом практически при любом движении мы можем определить по т. н. областям “открытия-закрытия” где один объект закрывает другой, а значит, какой объект ближе.
На научном языке задача определения глубины объектов по 2D видео называется “depth ordering”, и, как легко заметить, пройдя по ссылке, в этой области ведется довольно много исследований. Забегая вперед, сразу скажу, что их результаты пока оставляют желать лучшего. Безусловно, в статьях вы часто увидите красивые картинки, но если вы посмотрите на независимые тесты или сами попробуете погонять алгоритмы, доступные, например, в исходниках для MATLAB, то вы будете разочарованы качеством их работы и массовостью ошибок.
Далее, необходимо решить более простую задачу определения видимой глубины объектов по стерео, или говоря на научном языке — задачу построения disparity maps. Алгоритмы построения карт диспаритета совершенствуются уже около 30 лет, но там также до сих пор довольно много проблем.
Например, если вы пройдете по этой ссылке, то увидите сравнительный анализ примерно 160 алгоритмов построения карт диспаритета, созданных за последние 15 лет. Отсортируйте табличку и посмотрите на результаты лучших алгоритмов. Что, края неровные? Куски объектов или даже объекты теряют? Что вы говорите! ) А после этого найдите соответствующие статьи для лучших алгоритмов и посмотрите сколько времени они работают. На один кадр. А теперь посчитайте, сколько лет (или какой суперкомпьютер) потребуется, чтобы с этими алгоритмами обработать целиком фильм. Кому лень, там в худшем случаи часы работы на кадр, и, как следствие, десятилетия работы средних компьютеров для того, чтобы обработать фильм целиком. Ровно этим объясняется то, что даже просто работ по определению неправильных ракурсов сегодня не так много.
Это были, как вы догадываетесь, плохие новости. Где же хорошие? Терпение, господа. Хороших новостей несколько. Во-первых, для того, чтобы сказать, что в сцене перепутаны ракурсы нам вообще говоря не нужны все объекты сцены. Достаточно чтобы какой-то один объект (или иногда даже одна граница) достаточно надежно упорядочивались по глубине и из движения, и из карты диспаритета. Это серьезное упрощение, хотя нам все равно требуется строить и ту, и другую карту для всего кадра. Во-вторых, в последние годы экспоненциально растет скорость работы GPU и многие алгоритмы обработки видео, которые еще недавно были слишком медленными для практического использования, обретают вторую жизнь. Ну или первую, если считать таковой не использование в статьях, а использование в практических задачах реальной жизни. И, наконец, в-третьих, существуют способы эффективного ускорения существующих алгоритмов, если мы говорим про обработку фильмов целиком.
Сразу скажу что за последние 5 лет под чутким руководством автора было сделано две серьезных попытки решения этой задачи, и вторую попытку можно (с оговорками) считать успешной, в том плане что построен практический по скорости работы алгоритм, который с приемлемым количеством ошибок дает возможность найти перепутанные ракурсы в реальных фильмах.
Также стоит отметить, что в процессе работы над алгоритмом начали находиться сцены, в которых отдельные объекты (как правило спецэффекты) были наложены на “неправильной” глубине, например, глубже объектов, на которые они накладывались. С точки зрения областей открытия-закрытия по времени и глубине это также невозможная ситуация. Невозможна она и с точки зрения мозга. Мы видим, что объект находится ближе, однако бинокулярное зрение говорит нам, что он находится дальше. Это очень неприятная ситуация, диагностика которой затрудняется тем, что большая часть сцены является “правильной”, и только отдельный объект расположен некорректно. Тем не менее детектировать такие вещи надо. Известен, например, случай, когда в одном низкобюджетном голливудском фильме вообще все спецэффекты наложили перепутав ракурсы. Он прошел в кинотеатрах (бедные зрители!), но на 3D Blu-ray его так и не выпустили (может, чтобы не позориться, а может просто поняв, что дополнительных сборов не будет).
Выводы:
Как ни странно это звучит для тех, кто не интересуется компьютерным зрением, но задача определения перепутанных ракурсов на сегодня полностью не решена. Основные сложности в надежном определении границ объектов по движению и по глубине, а также в обработке сцен, где движения нет. Тем не менее, по ряду причин, ровно сейчас появилась возможность создать первые практические алгоритмы такого рода. Практические — означает с приемлемой скоростью позволяющие обрабатывать фильмы целиком.
Как часто встречаются перепутанные ракурсы в жизни
А теперь — самое интересное, результаты анализа 105 фильмов на предмет сцен с перепутанными ракурсами (Channel Mismatch, сокращенно CM). Благодаря скорости работы нашего алгоритма у нас появилась возможность проверять фильмы многими десятками. Это по-прежнему сложно, но это стало возможно! Фактически нашей командой были проверены ВСЕ фильмы, выходившие на Blu-ray, у которых указан бюджет на IMDB.com, т.е. все сколько-нибудь приличные фильмы. Были получены следующие результаты:
Как видите, в списке есть и “Аватар”, и “Гарри Поттер”, и “Хроники Нарнии”. Также в таблицу попали оба тестировавшихся отечественных фильма — “Сталинград” Бондарчука и “Щелкунчик” Кончаловского-младшего. “Щелкунчик” с 9 сценами почти на полминуты долгое время лидировал в нашем внутреннем рейтинге, до прогонов азиатского “The Child's Eye” с 15 сценами и практически минутой перепутанных ракурсов. Заметим, что в тройке лидеров помимо отечественного фильма два остальных — из Азии, при этом бюджет наиболее дорогого из них в 20 раз (!) меньше заявленного бюджета “Щелкунчика”.
Также характерно, что из 23 фильмов у 13 это всего одна сцена, причем у 12 — эта сцена по длине меньше 5 секунд, а у 6 — меньше секунды. Собственно, ровно поэтому ошибки не заметили. В целом можно говорить о том, что если вы смотрите фильм, выпущенный на Blu-ray, то с вероятностью как минимум 21,9% в фильме будет хотя бы одна сцена с перепутанными ракурсами. Как минимум, поскольку сейчас метрика на данный момент пропускает около 5% сцен. Это плата за разумную скорость работы. Тем не менее уже сейчас можно диагностировать и исправить условно 95% проблем.
Интересно посмотреть, как менялся процент фильмов содержащих перепутанные ракурсы по годам, там довольно показательная статистика. Данные те же, что и в прошлой таблице, но дополнительно учтено, сколько фильмов того же года проверялось всего.
Или то же самое нагляднее графиком:
Хорошо видно, что условно в 20 фильмах, выпущенных до 2010 года перепутанные ракурсы встречались соответственно в 16% и 26% фильмов. В 2010 году, сразу после выхода Аватара — был всплеск, из 17 фильмов 41% содержал сцены с перепутанными ракурсами. В 2011 из 24 уже только 33%, но уже в 2012 из 21 — только 4.8%. Т.е. процент брака по данному направлению резко сократился, причем данные вполне статистически значимы. Статистика по 2014 году еще слишком мала, чтобы делать выводы, но с большой вероятностью можно ожидать, что процент брака еще сократится. Предупреждая вопросы, еще раз отмечу, что проверяются релизы, выходящие на Blu-ray, которые обычно выходят с довольно заметным опозданием, кроме того, сами прогоны, несмотря на кардинальное ускорение метрики, все еще занимают значительное время, поэтому мы получаем данные с задержкой. Тем не менее обнаруженная тенденция обнадеживает.
Также под руководством автора в течение последних трёх лет выполнялся технический анализ стереофильмов “Международного московского 3D-стерео кинофестиваля”. Необходимо сразу отметить, что сравнивать фильмы, выходящие на Blu-ray, и фильмы фестиваля не совсем корректно, поскольку в фестивале принимают участие в том числе любительские фильмы и фильмы с очень небольшим бюджетом. Тем не менее, расклад следующий:
Видно, что при в среднем меньшей длине фильмов, суммарная длина сцен с CМ достаточно велика. По счастью, из указанных фильмов в кинотеатрах шел только “Иван Царевич и Серый волк”.
По годам расклад получается такой:
В целом по содержательной статистике 2012 и 2013 годов можно говорить о том, что на фестивале вдвое больше вероятность, что в фильме конкурсной программы встретится СМ при большей суммарной длительности сцен с СМ и меньшей длительности самих фильмов. При этом прослеживается довольно четкая тенденция к улучшению ситуации.
Выводы:
Плохая новость заключается в том, что если покупать фильмы на Blu-ray (или, что то же самое, качать их с торрентов), то шансы встретить фильм в котором хотя бы в одной сцене будут перепутаны ракурсы около 20%.
Также хорошо видно, что 2.7 миллиарда долларов сборов “Аватара”, очевидно “поторопили” многих продюсеров выпустить фильмы в 3D, что резко увеличило процент ошибок. Забегая вперед — не только с перепутанными ракурсами.
Хороших новостей несколько. Во-первых, сцена с CM — это, скорее всего, очень короткая сцена. ) Во-вторых, чем новее фильм, тем меньше шанс встретить там такую сцену.
По ряду причин мы практически не анализируем отечественные фильмы. Однако во всех трех проанализированных отечественных фильмах, которые шли в кинотеатрах, подобные сцены были найдены. Т.е. по текущей статистике вероятность встретить в отечественном фильме, идущем в кинотеатре, перепутанные каналы 100%, но статистика очевидно не полна. Следует отметить, что судя по тенденции московского стереофестиваля количество отечественных фильмов с такими проблемами в ближайшие годы будет уменьшаться.
Заметность перепутанных ракурсов
Если общаться со зрителями, то они в один голос говорят, что перепутанные ракурсы — это ужасно, но если говорить с авторами, то они не менее дружно говорят, что, во-первых, что проблемы неизбежны, во-вторых, что оставшиеся практически незаметны.
Утверждение, что все люди ошибаются, безусловно бесспорно. ) Но ровно в той же степени бесспорно утверждение, что наработано уже множество систем уменьшения ошибок в производственных процессах. Студии, выдающие на гора большой процент брака, характеризует практически полное отсутствие инструментального контроля качества финального стерео. Т.е. все проверяется исключительно “на глаз”. А человек, если кто помнит начало этой статьи, вполне тренируем на уменьшение дискомфорта при регулярном просмотре плохого стерео. И если в производстве автомобилей от проверки на глаз отошли еще во времена Генри Форда, то в производстве стерео этот процесс идет только сейчас. И, повторюсь, с очень разной эффективностью на разных студиях. И уже можно наблюдать, как студии, работающие “на глазок” покидают этот рынок даже несмотря на демпинг в ценах. Учитывая очень хороший прогресс у китайцев и индусов (которые активно интересуются улучшением своих техпроцессов и даже реально платят за это), есть все основания полагать, что в ближайшие 10 лет таких на рынке не останется.
По поводу “незаметности” проблем расклад следующий. Да, действительно, многие проблемы стерео сами по себе не очень заметны. Но, во-первых, если кто-то чисто физиологически более чувствителен к какой-то проблеме стерео, то ему уже без разницы насколько это незаметно для привычных к плохому стерео. У человека просто начинает болеть голова, и ему хочется выкинуть очки и больше никогда не повторять сей печальный опыт, даже если следующий фильм не содержит вопиющих проблем. Собственно все опросы (пара примеров которых были в первой статье цикла) очень четко показывают, как головная боль от 3D заметно охладила восторги и рост для всей индустрии в целом. Если угодно — для человечества характерно пилить сук, на котором все сидят (тем более, если это позволяет на 3% увеличить прибыль), и мы это регулярно наблюдаем. Во-вторых, если уж возвращаться именно к перепутанным ракурсам — большой вопрос, насколько они действительно незаметны.
Мы решили подойти к этому вопросу практически.
Был изготовлен специальный фильм, в который вошли все 56 реальных найденных сцен с перепутанными ракурсами. Причем показывались не только эти сцены, но и сцены перед и после данной сцены. Т.е. большую часть времени, как и в реальном фильме, человек видел “нормальную” картинку, правда “ненормальной” он видел также довольно много. Для того, чтобы была “точка отсчета” были также добавлены сцены, на которых ракурсы не были перепутаны. После каждого фрагмента давалось время на заполнение формы, в которой фиксировался дискомфорт от сцены по 5-бальной шкале.
Когда мне в итоге показали получившийся “фильм” на полчаса, я буквально через 10 минут попросил остановить показ и снял очки. Ибо это было ужасно, и мой мозг бунтовал. Но нужно было держать лицо и я, мужественно стараясь не выдать своего состояния, начал задавать как бы содержательные вопросы о сути эксперимента, наслаждаясь самой возможностью не смотреть “это”. Отдохнув, удалось продолжить, но вскоре я не выдержал и опять оборвал эксперимент. В общем, остро встал вопрос: где найти достаточное количество добровольцев, чтобы получившиеся данные были статистически значимы? К счастью наша лаборатория находится в университете, а молодые люди в принципе намного более адаптивны к плохому стерео. В итоге, благодаря высокому уровню стойкости и ответственности, изначально присущих студентам МГУ им. М.В.Ломоносова, нам удалось собрать данные с 59 человек по всему получасовому фильму. Ниже приведены столь непросто доставшиеся нам данные (из-за большой длины и большого количества людей прогоны шли несколько недель):
Черточками обозначены доверительные интервалы — чем уже интервал, тем единодушнее была оценка этой сцены. Как хорошо видно на графике, в фильмах действительно встречаются сцены, где перепутанные ракурсы практически незаметны. Это могут быть, например, короткие, практически плоские очень темные сцены. Они на самом деле практически не отличаются от контрольных. Однако, как легко заметить, бывают и сцены типа 53-й. Это сцена из разряда “Куда тут выбросить ваши дурацкие очки?” и обратите внимание, сколь единодушны люди в такой оценке.
Данные результаты позволили оценить заметность СМ по фильмам и отсортировать их более адекватно, чем по общей длине СМ сцен в фильмах. Вот так, например, в более плавном виде выглядит статистика СМ по временной шкале.
Хорошо видно, что благодаря большому числу аккуратных фильмов тренд идет на улучшение, однако “выбросы” встречаются и сейчас.
Не менее интересна и статистика, когда по горизонтальной оси бюджет за минуту фильма:
Легко заметить, что ожидаемо большие шансы встретить серьезные проблемы у фильмов с небольшими бюджетами. Обратите внимание, кстати, что здесь указаны 86 и 94 процентили, т.е. по счастью вероятность встретить проблему не так велика и к тому же снижается.
На основе полученных данных мы сейчас строим метрику оценки заметности CM, для того, чтобы без проведения жестоких экспериментов над людьми длительных замеров получать более адекватную оценку фильма по данному параметру.
Смеем надеяться и в меру сил активно способствуем тому, чтобы в будущем вы больше такого ужаса в кинотеатрах не видели. По крайней мере, продюсеры, серьезно подпилив этот сук, постепенно до этой мысли дозревают.
Выводы:
Не все сцены с перепутанными ракурсам одинаково дискомфортны. Если сцена короткая, практически плоская и темная — увидеть ошибку довольно сложно.
Большое количество фильмов с ошибками приходятся на релизы 2010-2011 годов, уже с начала 2012 их количество резко снижается, что однозначно свидетельствует о повышении качества контроля фильмов в студиях.
В целом можно сказать, что в фильмах с большим бюджетом вероятность встретить заметные перепутанные ракурсы ниже и в последнее время стремится к нулю.
И, пожалуй, наиболее интересный вывод — похоже авторам этой статьи первыми в мире удалось создать практическую метрику перепутанных каналов, скорость которой достаточна для прогона фильмов сотнями. Если вы найдете где-то подобные практические результаты (чтобы были проанализированы многие часы видео) — пожалуйста, дайте нам знать.
Благодарности
Хотелось бы сердечно поблагодарить:
Смотрите также:
Источник: geektimes.ru/post/248266/
Эта третья статья в цикле “Почему от 3D болит голова”. В первой части речь шла про проблемы кино-оборудования, во второй — общий обзор проблем фильмов, и, наконец, здесь и далее будут разбираться конкретные проблемы. Начнем с самой простой для понимания и одной из самых болезненных для восприятия — перепутанных ракурсов, когда на правый глаз подается картинка для левого, а на левый — для правого. Сложно найти слова для того, чтобы передать ощущения, которые испытывают соответствующие участки нашего мозга, когда видят такую картинку… Но мы все же попытаемся. )
Корни проблем
Когда на левый глаз подается картинка для правого и наоборот, мы видим изображение, совершенно невозможное в реальности, поскольку то, что должно быть дальше видится как близкое и наоборот. Т.е. объекты как будто вывернуты наизнанку. Обычно эта проблема возникает, как ошибка монтажа. При этом очень важно понимать главное: исправить эту конкретную ошибку — элементарно, на порядок проще, чем большинство других ошибок, о которых шла речь во второй части. Эта ошибка не исправляется ровно потому, что если ваш мозг уже достаточно натренирован к плохому стерео, он вполне успешно компенсирует проблему: обычно люди видят картинку даже с элементами “правильной” трехмерности, но субъективно более “плоскую”, чем она должна быть. Т.е. наш мозг стремится максимально распознать “невозможное” изображение и при достаточной тренировке на плохом стерео такие сцены не замечает.
Чтобы были понятны резервы человеческого мозга, расскажу про эксперименты, которые еще в XIX веке проводил в Калифорнийском университете Джордж Стрэттон. У него было много интересных опытов, в т.ч. довольно жесткий, когда изображение благодаря насадке с зеркалами, которая закреплялась на голове, полностью переворачивалось:
Эксперименты проводились по несколько дней и в первые дни даже простейшие операции, например, взять какой-либо предмет или пройти в соседнюю комнату, не задевая мебели, вызывали серьезные затруднения. Но уже на третий день ситуация значительно улучшилась: «При ходьбе в узком промежутке между мебелью мне требовалось значительно меньше внимания, чем до сих пор. Когда я писал, я мог без труда наблюдать за своими руками, не испытывая неприятных ощущений». На пятый день Стрэттон смог гулять вокруг дома и т. д. Интересно, что когда он снял прибор на восьмой день, то потребовалось всего два часа, чтобы зрительная система “адаптировалась обратно” к обычному восприятию. При этом, при повторном надевании прибора время адаптации к “неправильной” картинке также кардинально сократилось. Таких интересных экспериментов было проведено множество, в том числе и позднее в XX веке.
Курица Пфистера с призмами, отклоняющими свет, попадающий в ее глаза.
Также аналогичные эксперименты позднее проводились с различными животными — с цыплятами/курицами, котятами/кошками, обезьянами и т. д. Интересный вывод из них заключается в том, что мозг человека является существенно более адаптивным, чем мозг животных и человек способен намного успешнее приспособиться к “невозможной” картинке даже по сравнению с обезьянами.Выводы:
Профессионалы, натренированные на плохом стерео, перестают испытывать от него серьезный дискомфорт, что приводит к пропусканию части легко исправляемых ошибок в массовые релизы фильмов. Если человеку показывать плохое стерео, то постепенно испытываемый дискомфорт снижается, особенно если “тренировать” бинокулярное зрение с детства. Возможно, этим объясняется большое количество “ужасного” по меркам европеоидов стерео, которое сейчас массово производится и показывается в Китае. В результате этого внутренний рынок Китая, например, наиболее готов к новым автостереоскопическим устройствам, качество изображения которых на первом этапе обречено быть неидеальным.
Алгоритмические сложности
С точки зрения компьютерного зрения задача определения перепутанных ракурсов весьма нетривиальна и интересна. Интересна она в первую очередь тем, что у нее очень простая постановка и, в отличие от многих других областей — элементарно подготовить тестовую выборку. Вы просто берете какой-нибудь стереофильм, делаете короткий простой скрипт, который в каждой второй сцене меняет местами ракурсы и получаете великолепную тестовую базу в 1000 сцен для отладки собственных алгоритмов.
А дальше начинается самое интересное. Если для человека, особенно ненатренированного на плохом стерео, определить перепутанные ракурсы довольно просто, то для программы задача является нетривиальной. Человек знает, как должны выглядеть предметы, и что находится ближе, а что дальше, поскольку у него есть “сверхзнание” о том, какой формы предметы мебели, какой формы дома и т. д. У программы таких знаний нет и, несмотря на регулярные (на протяжении последних 40 лет) победные реляции об очередном прорыве в науке, распознавание предметов и, как следствие, например, зрение роботов пока оставляют желать лучшего. При этом надо понимать, что для того, чтобы корректно определять перепутанные ракурсы, роботы должны условно по информации с одной камеры определять что ближе, а что дальше лучше, чем человек с двумя глазами. Эта задача безусловно будет со временем решена, но не так скоро, как хотелось бы журналистам.
Для ее решения можно использовать всевозможные признаки, например, что снизу скорее всего объекты будут ближе, чем наверху, что объекты переднего плана, как правило, выпуклые и т.д. Но проблема в том, что все эти признаки крайне ненадежны, и, в итоге, на нашей тестовой выборке в 1000 сцен подобные методы будут ошибаться слишком часто.
Более надежный подход заключается в анализе движения. В современных фильмах практически не бывает сцен без движения, при этом практически при любом движении мы можем определить по т. н. областям “открытия-закрытия” где один объект закрывает другой, а значит, какой объект ближе.
На научном языке задача определения глубины объектов по 2D видео называется “depth ordering”, и, как легко заметить, пройдя по ссылке, в этой области ведется довольно много исследований. Забегая вперед, сразу скажу, что их результаты пока оставляют желать лучшего. Безусловно, в статьях вы часто увидите красивые картинки, но если вы посмотрите на независимые тесты или сами попробуете погонять алгоритмы, доступные, например, в исходниках для MATLAB, то вы будете разочарованы качеством их работы и массовостью ошибок.
Далее, необходимо решить более простую задачу определения видимой глубины объектов по стерео, или говоря на научном языке — задачу построения disparity maps. Алгоритмы построения карт диспаритета совершенствуются уже около 30 лет, но там также до сих пор довольно много проблем.
Например, если вы пройдете по этой ссылке, то увидите сравнительный анализ примерно 160 алгоритмов построения карт диспаритета, созданных за последние 15 лет. Отсортируйте табличку и посмотрите на результаты лучших алгоритмов. Что, края неровные? Куски объектов или даже объекты теряют? Что вы говорите! ) А после этого найдите соответствующие статьи для лучших алгоритмов и посмотрите сколько времени они работают. На один кадр. А теперь посчитайте, сколько лет (или какой суперкомпьютер) потребуется, чтобы с этими алгоритмами обработать целиком фильм. Кому лень, там в худшем случаи часы работы на кадр, и, как следствие, десятилетия работы средних компьютеров для того, чтобы обработать фильм целиком. Ровно этим объясняется то, что даже просто работ по определению неправильных ракурсов сегодня не так много.
Это были, как вы догадываетесь, плохие новости. Где же хорошие? Терпение, господа. Хороших новостей несколько. Во-первых, для того, чтобы сказать, что в сцене перепутаны ракурсы нам вообще говоря не нужны все объекты сцены. Достаточно чтобы какой-то один объект (или иногда даже одна граница) достаточно надежно упорядочивались по глубине и из движения, и из карты диспаритета. Это серьезное упрощение, хотя нам все равно требуется строить и ту, и другую карту для всего кадра. Во-вторых, в последние годы экспоненциально растет скорость работы GPU и многие алгоритмы обработки видео, которые еще недавно были слишком медленными для практического использования, обретают вторую жизнь. Ну или первую, если считать таковой не использование в статьях, а использование в практических задачах реальной жизни. И, наконец, в-третьих, существуют способы эффективного ускорения существующих алгоритмов, если мы говорим про обработку фильмов целиком.
Сразу скажу что за последние 5 лет под чутким руководством автора было сделано две серьезных попытки решения этой задачи, и вторую попытку можно (с оговорками) считать успешной, в том плане что построен практический по скорости работы алгоритм, который с приемлемым количеством ошибок дает возможность найти перепутанные ракурсы в реальных фильмах.
Также стоит отметить, что в процессе работы над алгоритмом начали находиться сцены, в которых отдельные объекты (как правило спецэффекты) были наложены на “неправильной” глубине, например, глубже объектов, на которые они накладывались. С точки зрения областей открытия-закрытия по времени и глубине это также невозможная ситуация. Невозможна она и с точки зрения мозга. Мы видим, что объект находится ближе, однако бинокулярное зрение говорит нам, что он находится дальше. Это очень неприятная ситуация, диагностика которой затрудняется тем, что большая часть сцены является “правильной”, и только отдельный объект расположен некорректно. Тем не менее детектировать такие вещи надо. Известен, например, случай, когда в одном низкобюджетном голливудском фильме вообще все спецэффекты наложили перепутав ракурсы. Он прошел в кинотеатрах (бедные зрители!), но на 3D Blu-ray его так и не выпустили (может, чтобы не позориться, а может просто поняв, что дополнительных сборов не будет).
Выводы:
Как ни странно это звучит для тех, кто не интересуется компьютерным зрением, но задача определения перепутанных ракурсов на сегодня полностью не решена. Основные сложности в надежном определении границ объектов по движению и по глубине, а также в обработке сцен, где движения нет. Тем не менее, по ряду причин, ровно сейчас появилась возможность создать первые практические алгоритмы такого рода. Практические — означает с приемлемой скоростью позволяющие обрабатывать фильмы целиком.
Как часто встречаются перепутанные ракурсы в жизни
А теперь — самое интересное, результаты анализа 105 фильмов на предмет сцен с перепутанными ракурсами (Channel Mismatch, сокращенно CM). Благодаря скорости работы нашего алгоритма у нас появилась возможность проверять фильмы многими десятками. Это по-прежнему сложно, но это стало возможно! Фактически нашей командой были проверены ВСЕ фильмы, выходившие на Blu-ray, у которых указан бюджет на IMDB.com, т.е. все сколько-нибудь приличные фильмы. Были получены следующие результаты:
| Movie name | Release year | Budget, $M | Scenes with CM | Total CM duration, sec | Film duration, sec | CM percentage |
| The Child's Eye Глаз ребенка | 2010 | $4.50 | 15 | 57,5 | 5823 | 0,987% |
| The Nutcracker in 3D Щелкунчик и Крысиный король | 2010 | $90 | 9 | 28,9 | 6480 | 0,447% |
| 3D Sex and Zen: Extreme Ecstasy Секс и Дзен | 2011 | $2.5 | 9 | 23,1 | 6775 | 0,341% |
| Spy Kids 3D — Game Over Дети шпионов 3: Игра окончена | 2003 | $39 | 5 | 10,3 | 5063 | 0,203% |
| Hugo Хранитель времени | 2011 | $170 | 2 | 10,2 | 7581 | 0,135% |
| Sharks 3D Акулы 3D | 2004 | $5 | 1 | 8,9 | 3073 | 0,290% |
| Saw 3D Пила 3D | 2010 | $20 | 3 | 6,7 | 5405 | 0,123% |
| The Last Airbender Повелитель стихий | 2010 | $150 | 2 | 6,6 | 6193 | 0,106% |
| Dark Country Территория тьмы 3D | 2009 | $4 | 4 | 5,7 | 5287 | 0,109% |
| Creature from the Black Lagoon Создание из Чёрной лагуны | 1954 | 2 | 5,4 | 4746 | 0,114% | |
| Ghost Rider: Spirit of Vengeance Призрачный гонщик 2 | 2012 | $57 | 1 | 4,6 | 5732 | 0,081% |
| Stalingrad Сталинград | 2013 | $30 | 1 | 4,3 | 7849 | 0,055% |
| Avatar Аватар | 2009 | $237 | 1 | 3,3 | 9702 | 0,034% |
| Spy Kids: All the Time in the World in 4D Дети шпионов 4D | 2011 | $27 | 1 | 2,9 | 5265 | 0,056% |
| Harry Potter and the Deathly Hallows: Part 2 Гарри Поттер и Дары Смерти: Часть II | 2011 | $125 | 1 | 2,9 | 7827 | 0,037% |
| The Chronicles of Narnia: The Voyage of the Dawn Treader Хроники Нарнии: Покоритель Зари | 2010 | $155 | 1 | 2,6 | 6761 | 0,038% |
| Conan the Barbarian Конан-варвар | 2011 | $70 | 1 | 1,2 | 6742 | 0,017% |
| Step Up 3D Шаг вперед 3D | 2010 | $30 | 1 | 0,9 | 6431 | 0,014% |
| Clash of the Titans Битва Титанов | 2010 | $125 | 1 | 0,7 | 6306 | 0,011% |
| Drive Angry Сумасшедшая езда | 2010 | $50 | 1 | 0,7 | 6271 | 0,011% |
| Bait Цунами 3D | 2012 | AUD 30M | 1 | 0,6 | 5588 | 0,010% |
| A Very Harold & Kumar 3D Christmas Убойное Рождество Гарольда и Кумара | 2011 | $19 | 1 | 0,5 | 5379 | 0,009% |
| The Three Musketeers Мушкетёры | 2011 | $75 | 1 | 0,5 | 6632 | 0,008% |
Также характерно, что из 23 фильмов у 13 это всего одна сцена, причем у 12 — эта сцена по длине меньше 5 секунд, а у 6 — меньше секунды. Собственно, ровно поэтому ошибки не заметили. В целом можно говорить о том, что если вы смотрите фильм, выпущенный на Blu-ray, то с вероятностью как минимум 21,9% в фильме будет хотя бы одна сцена с перепутанными ракурсами. Как минимум, поскольку сейчас метрика на данный момент пропускает около 5% сцен. Это плата за разумную скорость работы. Тем не менее уже сейчас можно диагностировать и исправить условно 95% проблем.
Интересно посмотреть, как менялся процент фильмов содержащих перепутанные ракурсы по годам, там довольно показательная статистика. Данные те же, что и в прошлой таблице, но дополнительно учтено, сколько фильмов того же года проверялось всего.
| Release year | Number of movies | Movies with CM | Movies with CM, percentage | Scenes with CM |
| 1954-2000 | 6 | 1 | 16,7% | 2 |
| 2001-2009 | 15 | 4 | 26,7% | 11 |
| 2010 | 17 | 7 | 41,2% | 32 |
| 2011 | 24 | 8 | 33,3% | 17 |
| 2012 | 20 | 2 | 10,0% | 2 |
| 2013 | 21 | 1 | 4,8% | 1 |
| 2014 | 2 | 0 | 0,0% | 0 |
Хорошо видно, что условно в 20 фильмах, выпущенных до 2010 года перепутанные ракурсы встречались соответственно в 16% и 26% фильмов. В 2010 году, сразу после выхода Аватара — был всплеск, из 17 фильмов 41% содержал сцены с перепутанными ракурсами. В 2011 из 24 уже только 33%, но уже в 2012 из 21 — только 4.8%. Т.е. процент брака по данному направлению резко сократился, причем данные вполне статистически значимы. Статистика по 2014 году еще слишком мала, чтобы делать выводы, но с большой вероятностью можно ожидать, что процент брака еще сократится. Предупреждая вопросы, еще раз отмечу, что проверяются релизы, выходящие на Blu-ray, которые обычно выходят с довольно заметным опозданием, кроме того, сами прогоны, несмотря на кардинальное ускорение метрики, все еще занимают значительное время, поэтому мы получаем данные с задержкой. Тем не менее обнаруженная тенденция обнадеживает.
Также под руководством автора в течение последних трёх лет выполнялся технический анализ стереофильмов “Международного московского 3D-стерео кинофестиваля”. Необходимо сразу отметить, что сравнивать фильмы, выходящие на Blu-ray, и фильмы фестиваля не совсем корректно, поскольку в фестивале принимают участие в том числе любительские фильмы и фильмы с очень небольшим бюджетом. Тем не менее, расклад следующий:
| Movie name | Release year | Scenes with CM | Total CM duration, sec | Film duration, sec | CM percentage |
| Путешествие из Берлина в Бремен | 2014 | 42 | 295,3 | 1457 | 20,3% |
| Синевир | 2012 | 5 | 23,6 | 4391 | 0,5% |
| Книга гор 3D | 2012 | 8 | 20,9 | 1982 | 1,1% |
| Второе путешествие Наполеона в Россию | 2012 | 6 | 14,9 | 453 | 3,3% |
| Страшная сила | 2014 | 1 | 13,8 | 4178 | 0,3% |
| Закинф остров контрастов | 2012 | 1 | 7,8 | 1679 | 0,5% |
| Иван Царевич и Серый Волк 3D | 2013 | 4 | 5,3 | 5162 | 0,1% |
| Древние города Херсонес | 2012 | 1 | 3,8 | 1314 | 0,3% |
| Школьная дискотека | 2012 | 1 | 3,7 | 594 | 0,6% |
По годам расклад получается такой:
| Год | Кол-во фильмов | Кол-во фильмов с CM | Процент фильмов с СМ | Кол-во сцен с CM | Процент фильмов с CМ на Blu-ray (для сравнения) |
| 2012 | 21 | 6 | 28,5% | 22 | 10% |
| 2013 | 11 | 1 | 9,1% | 4 | 4,8% |
| 2014 | 26 | 2 | 7,7% | 43 | (0.0%) |
Выводы:
Плохая новость заключается в том, что если покупать фильмы на Blu-ray (или, что то же самое, качать их с торрентов), то шансы встретить фильм в котором хотя бы в одной сцене будут перепутаны ракурсы около 20%.
Также хорошо видно, что 2.7 миллиарда долларов сборов “Аватара”, очевидно “поторопили” многих продюсеров выпустить фильмы в 3D, что резко увеличило процент ошибок. Забегая вперед — не только с перепутанными ракурсами.
Хороших новостей несколько. Во-первых, сцена с CM — это, скорее всего, очень короткая сцена. ) Во-вторых, чем новее фильм, тем меньше шанс встретить там такую сцену.
По ряду причин мы практически не анализируем отечественные фильмы. Однако во всех трех проанализированных отечественных фильмах, которые шли в кинотеатрах, подобные сцены были найдены. Т.е. по текущей статистике вероятность встретить в отечественном фильме, идущем в кинотеатре, перепутанные каналы 100%, но статистика очевидно не полна. Следует отметить, что судя по тенденции московского стереофестиваля количество отечественных фильмов с такими проблемами в ближайшие годы будет уменьшаться.
Заметность перепутанных ракурсов
Если общаться со зрителями, то они в один голос говорят, что перепутанные ракурсы — это ужасно, но если говорить с авторами, то они не менее дружно говорят, что, во-первых, что проблемы неизбежны, во-вторых, что оставшиеся практически незаметны.
Утверждение, что все люди ошибаются, безусловно бесспорно. ) Но ровно в той же степени бесспорно утверждение, что наработано уже множество систем уменьшения ошибок в производственных процессах. Студии, выдающие на гора большой процент брака, характеризует практически полное отсутствие инструментального контроля качества финального стерео. Т.е. все проверяется исключительно “на глаз”. А человек, если кто помнит начало этой статьи, вполне тренируем на уменьшение дискомфорта при регулярном просмотре плохого стерео. И если в производстве автомобилей от проверки на глаз отошли еще во времена Генри Форда, то в производстве стерео этот процесс идет только сейчас. И, повторюсь, с очень разной эффективностью на разных студиях. И уже можно наблюдать, как студии, работающие “на глазок” покидают этот рынок даже несмотря на демпинг в ценах. Учитывая очень хороший прогресс у китайцев и индусов (которые активно интересуются улучшением своих техпроцессов и даже реально платят за это), есть все основания полагать, что в ближайшие 10 лет таких на рынке не останется.
По поводу “незаметности” проблем расклад следующий. Да, действительно, многие проблемы стерео сами по себе не очень заметны. Но, во-первых, если кто-то чисто физиологически более чувствителен к какой-то проблеме стерео, то ему уже без разницы насколько это незаметно для привычных к плохому стерео. У человека просто начинает болеть голова, и ему хочется выкинуть очки и больше никогда не повторять сей печальный опыт, даже если следующий фильм не содержит вопиющих проблем. Собственно все опросы (пара примеров которых были в первой статье цикла) очень четко показывают, как головная боль от 3D заметно охладила восторги и рост для всей индустрии в целом. Если угодно — для человечества характерно пилить сук, на котором все сидят (тем более, если это позволяет на 3% увеличить прибыль), и мы это регулярно наблюдаем. Во-вторых, если уж возвращаться именно к перепутанным ракурсам — большой вопрос, насколько они действительно незаметны.
Мы решили подойти к этому вопросу практически.
Был изготовлен специальный фильм, в который вошли все 56 реальных найденных сцен с перепутанными ракурсами. Причем показывались не только эти сцены, но и сцены перед и после данной сцены. Т.е. большую часть времени, как и в реальном фильме, человек видел “нормальную” картинку, правда “ненормальной” он видел также довольно много. Для того, чтобы была “точка отсчета” были также добавлены сцены, на которых ракурсы не были перепутаны. После каждого фрагмента давалось время на заполнение формы, в которой фиксировался дискомфорт от сцены по 5-бальной шкале.
Когда мне в итоге показали получившийся “фильм” на полчаса, я буквально через 10 минут попросил остановить показ и снял очки. Ибо это было ужасно, и мой мозг бунтовал. Но нужно было держать лицо и я, мужественно стараясь не выдать своего состояния, начал задавать как бы содержательные вопросы о сути эксперимента, наслаждаясь самой возможностью не смотреть “это”. Отдохнув, удалось продолжить, но вскоре я не выдержал и опять оборвал эксперимент. В общем, остро встал вопрос: где найти достаточное количество добровольцев, чтобы получившиеся данные были статистически значимы? К счастью наша лаборатория находится в университете, а молодые люди в принципе намного более адаптивны к плохому стерео. В итоге, благодаря высокому уровню стойкости и ответственности, изначально присущих студентам МГУ им. М.В.Ломоносова, нам удалось собрать данные с 59 человек по всему получасовому фильму. Ниже приведены столь непросто доставшиеся нам данные (из-за большой длины и большого количества людей прогоны шли несколько недель):
Черточками обозначены доверительные интервалы — чем уже интервал, тем единодушнее была оценка этой сцены. Как хорошо видно на графике, в фильмах действительно встречаются сцены, где перепутанные ракурсы практически незаметны. Это могут быть, например, короткие, практически плоские очень темные сцены. Они на самом деле практически не отличаются от контрольных. Однако, как легко заметить, бывают и сцены типа 53-й. Это сцена из разряда “Куда тут выбросить ваши дурацкие очки?” и обратите внимание, сколь единодушны люди в такой оценке.
Данные результаты позволили оценить заметность СМ по фильмам и отсортировать их более адекватно, чем по общей длине СМ сцен в фильмах. Вот так, например, в более плавном виде выглядит статистика СМ по временной шкале.
Хорошо видно, что благодаря большому числу аккуратных фильмов тренд идет на улучшение, однако “выбросы” встречаются и сейчас.
Не менее интересна и статистика, когда по горизонтальной оси бюджет за минуту фильма:
Легко заметить, что ожидаемо большие шансы встретить серьезные проблемы у фильмов с небольшими бюджетами. Обратите внимание, кстати, что здесь указаны 86 и 94 процентили, т.е. по счастью вероятность встретить проблему не так велика и к тому же снижается.
На основе полученных данных мы сейчас строим метрику оценки заметности CM, для того, чтобы без проведения жестоких экспериментов над людьми длительных замеров получать более адекватную оценку фильма по данному параметру.
Смеем надеяться и в меру сил активно способствуем тому, чтобы в будущем вы больше такого ужаса в кинотеатрах не видели. По крайней мере, продюсеры, серьезно подпилив этот сук, постепенно до этой мысли дозревают.
Выводы:
Не все сцены с перепутанными ракурсам одинаково дискомфортны. Если сцена короткая, практически плоская и темная — увидеть ошибку довольно сложно.
Большое количество фильмов с ошибками приходятся на релизы 2010-2011 годов, уже с начала 2012 их количество резко снижается, что однозначно свидетельствует о повышении качества контроля фильмов в студиях.
В целом можно сказать, что в фильмах с большим бюджетом вероятность встретить заметные перепутанные ракурсы ниже и в последнее время стремится к нулю.
И, пожалуй, наиболее интересный вывод — похоже авторам этой статьи первыми в мире удалось создать практическую метрику перепутанных каналов, скорость которой достаточна для прогона фильмов сотнями. Если вы найдете где-то подобные практические результаты (чтобы были проанализированы многие часы видео) — пожалуйста, дайте нам знать.
Благодарности
Хотелось бы сердечно поблагодарить:
- моих коллег Сергея Лаврушкина, проделавшего львиную долю представленной выше работы, а также помогавших ему Александра Бокова, Алексея Федорова и других членов команды проекта VQMT3D,
- вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
- компании Intel, Cisco и Verizon за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
- Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
- Артема Казакова, Александра Воронова, Станислава Долганова и особенно Алексея Федорова за большое количество дельных замечаний и правок,
- ИППИ РАН и доктора биологических наук, профессора Галину Ивановну Рожкову с коллегами — за профессионализм в области исследований бинокулярного зрения, сотрудничество и реальную помощь,
- и наконец, всех организаторов Международного московского стереофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.
Смотрите также:
- Почему от 3D болит голова. Часть 1 / Недостатки оборудования
- Почему от 3D болит голова. Часть 2 / Дискомфорт из-за качества видео
Источник: geektimes.ru/post/248266/
Пять вещей, которые можно распечатать на 3D-принтере. Часть №3: первая книга, напечатанная на 3D-принтере?
Microsoft отмечает 40-летний юбилей