Неуралні мережі навчилися кольоровим чорно-білим відео

Кілька тижнів тому Geektimes опублікував статтю про те, що нейромережі навчилися кольоровим чорно-білим фото. Неуралні мережі давно змогли зробити багато, не тільки працювати з фотографіями. Але це, мабуть, одна з найбільш оповідних демонстрацій влади мереж. Ще більше розкриває налаштування образу. Google DeepDream AI, хоча отримані зображення дещо... психічні, нехай скажуть.

Зараз нейромережа навчалася на кольорових чорно-білих плівках. Про це повідомив користувач mar_cnu. Відомий інструмент для розмальовки чорно-білих фільмів був створений своїми зусиллями. І хоча результат не ідеальний, все досить добре.

З 1964 р. він вибрав причіп для старого французького фільму. Ось оригінальний фрагмент:



Розробник пояснив свій вибір тим, що причепа має все необхідне – джунглі, ріка, люди, будинки, дороги. Ось що сталося після обробки відео:



Як бачите, результат не ідеальний, як зазначений вище. Але одна причина цього може бути оригінальним відео. Нечітки, як і всі фільми тих часів, часто на «картці» все об’єднує, тому логічно, що програма має труднощі.

Все це зроблено наступним чином:

1,1 км оригінальне відео знайдено;
2,2 км Джерело перетворюється за допомогою цього сервісу;
3. У Запуск скрипта

для файлу в відео / *
Увійти
echo "$file"
th colorize.lua "$file" "color-${file%.jpg}.png"
Увійти

4. ffmpeg -i "color-frame%04d.png" -c:v libx264 колірвідео.mp4
5. ffmpeg -i blackandwhitevideo.webm аудіо.mp3
6. (6) ffmpeg -i colorvideo.mp4 -i аудіо.mp3 -c:v libx264 -c:a копія -strict

Для сервісу, як правильно зауважити, найскладніше завдання полягає в реалізації плавного переходу між індивідуальними кадрами. Якщо ви паузете відео, ви можете часто “кухнути” кадр з майже ідеальними кольорами. Але здійснювати плавний перехід між персоналом – це окреме завдання.

Джерело: geektimes.ru/post/275086/