Google показала нейросеть, способную узнать страну по фотографии (а также город и улицу), даже если фото сделано в доме

Легко узнать, где сделана фотография, если на заднем плане — Эйфелева башня, Тадж-Махал, Собор Святого Петра, мемориал Линкольна или Красная площадь. Разработчики из Google пошли дальше и сделали нейросеть, способную узнать место по фотографии, даже если она сделана в помещении.





Люди могут использовать не только достопримечательности, чтобы понять, где сделана фотография. Место можно определить по блюду в ресторане, по направлению дорожного движения, по корове на улице, архитектуре зданий и совмещению всех этих факторов. А на что способна машина?

Разработчики технологии PlaNet разделили большую часть суши на 26000 зон различного размера в зависимости от количества фотографий, сделанных в конкретной местности. Большие города получили больше «ячеек», так как в них сделано больше фото, в то время как в сельской местности «ячейки» были большего размера. Моря, океаны, полярные зоны пропустили.



Была использована база из 126 миллионов фотографий из интернета вместе с их EXIF-данными. 91 миллион фотографий использовали для обучения нейросети, а оставшиеся 34 миллиона — для оценки её работы.

Для проверки эффективности нейросети использовали 2,3 миллиона геотаргетированных изображений из Flickr. 3,6% изображений PlaNet узнала с точностью до улицы, 10% — с точностью до города. Страну нейросеть определила в 28,4% случаев, а континент — в 48%.

Этот результат сравнили с возможностями десятка путешественников с помощью игры GeoGuessr.com, в которой вы угадываете место по Google Street View. PlaNet обыграла людей со средним результатом ошибки в 1131,7 километров. Люди ошибались в среднем на 2320,75 километров.

По словам одного из главных исследователей Тобиаса Уэйанда (Tobias Weyand) преимущество машины состоит в том, что нейросеть «видела» гораздо больше, чем любой живой человек, всю жизнь путешествовавший по миру.

Разработчики пошли дальше и начали работать с фотографиями, которые сделаны в помещениях. Узнать их можно в тех случаях, когда фото является частью альбома — машина просматривает альбомы полностью и ищет наиболее специфические изображения, сделанные в одном и том же месте

Сама нейросеть занимает всего 377 мегабайт.

Источник: geektimes.ru/post/271738/