Програми для розпізнавання емоцій для Oculus Rift

р.



Хао Лі, доцент Університету Південної Каліфорнії, опублікував статтю, яка приносить більш реалістичність віртуального світу. Він веде розробку системи, за допомогою якої Oculus Rift, віртуальна гарнітура реальності, може прочитати вирази обличчя користувача в режимі реального часу.

З давніх комп’ютерних часів основними засобами передачі емоцій були смайлики. Тоді були веб-камери і відео чати, в яких можна вільно побачити співрозмовника. Але що потрібно перенести вирази обличчя до віртуальної реальності? Або ви визнаєте емоції, щоб використовувати цю інформацію, щоб надати гри аватар?

Звичайно, існують системи розпізнавання обличчя. Це просто, це завдання набагато складніше при використанні віртуальних окулярів реальності – таких як Oculus Rift. Масштабний блок охоплює 2/3 обличчя - краще, камера побачить рот користувача. Що ми робимо?

Відповідав Hao Li, німецько-народжений програміст, дослідник і модель з кореневими коренями Тайваню. З командою однодумців і під патронатом Facebook (який купив Oculus в 2014 році), вони розробили систему розпізнавання обличчя для користувачів Oculus Rift.



Нижня частина обличчя визнана камерою. Прототип використовує камеру Intel RealSense 3D, прикріплену до масивного тримачача. Можливо, в кінцевому пристрої можна влаштувати мініатюрну камеру внизу склянок. В роботі лицьових м'язів верхньої частини обличчя визнають восьми датчиками штамів (сенсори натяжності), побудовані по периметру в м'якому ущільнювачі склянок. Вирішуючи відео, система працює досить точно.

З такою системою ви можете перенести емоції на свій аватар у віртуальних чатах і іграх, або врахувати вирази обличчя, наприклад, при розмові з НПК. Система доповнена віртуальною реальністю з новими реалістичними деталями.



Звичайно, є недоліки до прототипу. На додаток до зазначеної незручної установки камери (який є обов'язковою), в той час як існує потреба для початкового «обліку» для конкретного користувача - вам доведеться зробити кілька обличчя таким чином, щоб система виводить реальні дані конкретної людини з її шаблонами. Але розробники сподіваються на усунення цього етапу в майбутньому, коли вони отримують гідну базу графіма з різних людей.

Ще однією особливістю є системні вимоги. Сам Окулус Ріфт користується попитом на залізо, і ця система, звичайно, теж. Для нормальної роботи при швидкості 30 FPS вам знадобиться Core i7-4820K, 32GB RAM і GTX 980.

Система, ймовірно, не з'являється поряд з першими екземплярами склянок, які, після тривалого розвитку, підуть на продаж на початку наступного року.

Джерело: geektimes.ru/post/250834/