MIT розробило алгоритм, який знімає відображення у вікнах з фото

Якщо ви йдете в вікно і намагайтеся взяти фото через скло, це буде важко уникнути відображення власної фігури. Необов'язковий об'єкт буде більш помітний більш темний простір зовні вікна. Професійні фотографи вирішують цю проблему шляхом приведення об'єктива камери близько до скла і використання багатьох інших методів, наприклад, поляризаційні фільтри. Але часто тільки «іє» смартфону доступний, або можливості зйомки обмежені, а наявність рефлексії необхідно перенести. Науково-дослідницький інститут технології Массачусетса знайшов алгоритмічне рішення для цієї проблеми.

Алгоритм буде втілюватися в червні на конференції комп'ютерного бачення та розпізнавання шаблонів, але вже доступні деталі. Робота використовує те, що рефлекси повторюються кілька разів через структуру вікон. Виходячи з цього принципу, в широкому асортименті випадків автоматично очищаються цифрові фото.

Згідно з першим автором роботи YiChang Shih (YiChang Shih), в Бостоні зберігати тепло в холодному сезоні часто використовують вікна з подвійною рамою. Так ви зазвичай отримуєте два відбиття від кожного скла. Але це не означає, що алгоритм буде працювати тільки для двох вікон, один товстий скло також дає два рефлекси: один з всередині, інший ззовні. Без надання додаткової інформації про друге відображення, завдання видалення непотрібних елементів практично неможливе, так як результат фото є сума зображення зовні вікна і відображення в склі. Якщо A+B=C неможливе відновлення A та B на C самостійно.

Друга рефлексія забезпечує необхідну інформацію для виправлення картини. Значення окремих пікселів відбиття має бути приблизно таким же, і це полегшує пошук правого рішення, хоча їх кількість все ще залишається великим. Щоб вибрати правильний, Шеа та інші співавтори роботи — професори комп’ютерної науки та комп’ютерної техніки Fredo Duran та Bill Freeman (наукові керівники роботи) та Dilip Krishnan (доктор науки, яка зараз працює на Google Research) — додано до алгоритму очікування, що як рефлексія, так і вид, взятий з вікна, мають статистичні візерунки, які називаються природними зображеннями.

Передбачається, що в незмінних графічних уявленнях світу на рівні группікселів, різкі зміни кольору зустрічаються рідко, а якщо вони відбуваються, то в чітких межах. Якщо деякі пікселі представляють межі між синім і червоним об'єктом, то очікується, що з одного боку картина буде мати блакитний відтінок, а з іншого - червоний відтінок. У галузі комп'ютерного бачення, це зазвичай здійснюється через принцип градієнта, який характеризує кожен блок пікселів щодо загального напрямку зміни кольору і інтенсивності цього процесу. Але Ши і його колеги виявили, що ця техніка не працювала дуже добре.

р.



Так Даниїл Зоран групи Фрімана та Яр Вейс Єврейського університету Єрусалиму створив алгоритм, який розбиває зображення в групи 8х8 пікселів. Кожна група проаналізувала за допомогою 50 000 навчальних зображень та на основі отриманих даних, отриманих за допомогою надійного способу розрізняти відбиття з зображень за вікном. Щоб перевірити роботу, Ши та його колеги шукали Google та Flickr, запитуючи такі питання, як «проблеми з відображенням у вікні на фото». Після виключення результатів, які не були фотографії у вікні, було зібрано 197 зображень. З них, в 96 випадках, переміщення між двома зображеннями було досить великим для алгоритму роботи.

Йоав Шукнер, професор з електротехніки Ізраїлю Technion, каже, що спроби видалити такі непотрібні елементи у фотографіях, але деякі методи використовували лише одне відображення. Завдання було дуже складним, і успіх був лише частковим, не було автоматизованого способу відокремлення від відновленого зображення. Шини працюють один раз. Schechner вважає, що якщо алгоритм рафінований протягом часу, він зможе отримати в загальні пакети обробки цифрових фото і допомогти алгоритмам комп'ютерного бачення в роботі. Дослідники не повідомляють про можливість перерозподілу зображення фотографа з рефлексії, але це додаток можливо. Останній може бути інтересом до правоохоронних органів і шанувальників пекарні.

Алгоритм буде представлений на конференції з розпізнавання комп'ютерів та візерунка в Бостоні у червні.
Зображення: Інститут технології Массачусетса.

Джерело: geektimes.ru/post/250678/