Ніжки, крила... головне - хвіст! Тіло людини Intel RealSense

Робота програміста цікава для її різноманітності. В залежності від проблеми, які вирішуються, ви даєте в моделювання кліматичних процесів, біології поділу клітин, фізики зірки. Але буває ще один спосіб: найбільш поширена на першому погляді проблема відкриває перед тим, як ви заспокоїлися нюанси. Розробники, які зіткнулися з Intel RealSense вперше, ймовірно, будуть здивовані, як комплексні процеси розпізнавання та відстеження позиції рук або обличчя, тому що наші мозку роблять це практично без нашої участі. Які особливості нашої анатомії слід враховувати при розробці природних інтерфейсів, і які успіхи мають розробники RealSense, досягнуті по дорозі?
24 квітня в Нижньому Новгороді відбулася зустріч з Intel RealSense Meet Up. Не пропустіть!

Подивіться на руки і намагайтеся вигинати різні пальці. Примітка: при згинанні вони залежать від одного іншого. Тому досить відслідковувати лише два суглоби, щоб досягти реалістичного флексіону чотирьох пальців руки (але, але великий). Тільки індексний палець може бути згинається без вигину інших пальців, тому індексний палець вимагає свого алгоритму відстеження суглобів. Для інших пальців все простіше: якщо ви згинете середній пальцем, то пальчик і маленький пальчик також зігнути; якщо ви зігнути пальцем, середній пальчик і маленький пальчик згинаються; якщо ви згинаємо маленький пальчик, то середина і пальці згинаються.



Продовжуємо навчати руки. Кут, при якому конкретний фаланкс пальця може згинатися залежно від довжини цього фаланксу (не суглоба). Верхній фаланкс середнього пальця може зігнути до меншого кута, ніж середина фаланкс одного пальця, а кут вигину середньої фаланги менше кута, при якому нижній фаланкс може зігнути. Складніше відстежити руки дитини, ніж доросла, так як важко отримати дані для маленьких рук і точно їх інтерпретувати.

В даний час технологія RealSense дозволяє одночасно відстежувати 22 суглобів в кожну руку і дві руки (до речі, вони не повинні бути правими і лівими, але можуть належати різним людям). Комп'ютер знає, яка рука перед нею. Важливий крок вперед був ліквідацією етапу калібрування, хоча в деяких складних випадках (повідомляється, якщо дитина перебуває перед камерою), система просить початкового калібрування. Але потім людина рука не тільки в'язується, але може бути завершена самостійно в тому випадку, якщо її частина виходить з погляду камери або недостатньо освітлена. У тому ж випадку, якщо процедура умов, рука буде відокремлена від фону, навіть якщо вона періодично змінюється.

Точність визначення положення деяких частин ручного родича дозволяє здійснювати дуже цікаві варіанти передачі інформації. Наприклад, можна використовувати відносні значення відкриття пальми – від повного відкритого до повноцінного компресованого фістеру (від 0 до 100). Цей звук трохи схожий на мову входу. До речі, запровадження класичної мови буде відкрито для RealSense іншої важливої та необхідної площі застосування - реабілітації людей з обмеженими можливостями. Важко, будь-яка технологія комп'ютера може мати більш гуманний додаток.

9417997

Тепер перейдемо до розпізнавання жест. В даний час Intel RealSense підтримує 10 готових жести - ви можете побачити їх на малюнку. Визнання може бути статичною (фіксованої постави) або активною (положення в русі). Природно, нічого не заважає відключення від одного режиму до іншого, наприклад, статична відкрита долоня стає активним при відмові. Визнання протеза – це порядок більш складного, ніж простого відстеження руху, оскільки необхідно не тільки розрахувати положення точок, але і порівняти рухи з певними зразками. Таким чином, не можна обійтися без тренування, а обидві сторони повинні вчитися: комп'ютер повинен навчитися розпізнати свої рухи, і потрібно правильно рухатися.

Очищувач вашого жеста - очищувач для машини. Ми можемо самі зателефонувати одержувачу і узгодити зручний час і місце вручення квітів, а якщо необхідно, то збережемо сюрприз. Для RealSense, початкової та кінцевої фази та тривалої дії між ними необхідно (тривалість жесті, до речі, можна також використовувати як параметр). Динамічний рух визначається в залежності від ситуації зміщенням або часом.

Як бачите, є багато номерів для непорозуміння в природних інтерфейсах. Наприклад, що ми називаємо «сілар» жести, швидше за все, інтерпретуємо комп'ютером як ідентичний. Такі ситуації слід уникати дизайнерів. Далі додаток необхідно постійно стежити за тим, що людина в кадрі не виходить з неї і, якщо це необхідно, попередження про проблему. Багато нюансів додає камеру RealSense, яка має свої особливості ... добре, проста проблема для вирішення не цікава, правильно? Так ми вирішуємо комплекс.

Далі ми будемо говорити про розпізнавання обличчя. У той же час я хочу взяти цю можливість запросити всіх програмістів Нижнього Новгорода, які зацікавлені в технології Intel RealSense для неформальної зустрічі з фахівцями компанії. 24 квітняП'ятниця, за адресою ooh Magistrates, будинок 3й У програмі: звіти про тему, відповіді на питання, демонстрації обладнання та, звичайно, цікаві дискусії - як без них? Приходьте, це буде цікаво.

Під час написання статті IDZ були використані:

• Робота з Hands/Gestures
• Поради та рекомендації для розробки додатків з Intel RealSense SDK 2014 R1
• Поради та рекомендації щодо використання Unity з Intel RealSense SDK 2014

Джерело: habrahabr.ru/company/intel/blog/256167/