Неурална мережа перетворює локшину в художні шедеври

Програма Neural Doodle, виконана на основі об’єднаної нейромережі, є doodle. py скрипт, який генерує зображення, взявши три або чотири фотографії як параметри введення. Включаючи простий ескіз (що автори називають «каракс») і зразок стилю з його ескізом подаються до входу. Наприклад, у випадку прикладу вище, зразок стилю така картина Ренуаром.

Нейромережа витягує характерні риси стилю - і передає їх на ескіз.

Ось ще один приклад.



Приклад стилю від Claude Monet.



Щоб запустити програму, вам потрібно Python 3.4+, встановити numpy і scipy бібліотеки, і python3-dev. Сценарій зажадає попередньо напруженій нейромережі (VGG19, 80 Мб). Для інструкцій з налаштування місцевого середовища див. тут.

Рендеринг GPU вимагає хорошої карти Nvidia за підтримки технології CUDA та 2-4 ГБ пам'яті (для великих зображень – 8-12 ГБ). Рендеринг може працювати на ЦП, в цьому випадку потрібно про однакову кількість оперативної пам'яті.

Дизайн нейромережі описано в науковій роботі автора «Semantic Style Transfer and Turning Two-Bit Doodles в Fine Artworks», яка підготувала до конференції Nucl.ai 2016.

Нейромережа використовує алгоритм синтезу зображень, запропонований дослідниками Chuan Li та Michael Wand у своїй дослідницькій папці Комбінування Markov випадкових полів та конвоуктивних нейромереж для синтезу зображень.

Джерело: geektimes.ru/post/272430/