Синтезатор речи, подключаемый напрямую в мозг

“Записи” с поверхности головного мозга создают для ученых небывалые идеи о том, как парализованным людям с помощью головного мозга контролировать речь.

Может ли парализованный человек, который не способен говорить, например, как физик Стивен Хокинг, использовать имплантант мозга для того, чтобы вести разговор?

Сегодня это главная цель постоянно развивающихся исследований университетов США, которые уже более пяти лет доказывают, что записывающие устройства, помещенные под череп человека могут детектировать мозговую деятельность, связанную с человеческим разговором.






Пока полученные результаты являются предварительными, Эдвард Чанг, нейрохирург из Университета Калифорнии, Сан-Франциско, говорит, что он работает над построением беспроводного нейрокомпьютерного интерфейса, который может переводить сигналы мозга непосредственно в слышимую речь с помощью голосового синтезатора.

Работы по созданию речевого протеза опираются на успех в проведенных экспериментах: парализованные люди, выступающие как добровольцы, использовали имплантанты мозга для манипулирования роботизированными конечностями, за счет своих мыслей (см. "мысленный эксперимент"). Эта технология жизнеспособна и работает благодаря тому, что ученые способны приближенно интерпретировать возбуждения нейронов внутри двигательной области коры головного мозга и сопоставить их с движениями рук или ног.


Теперь команда Чанга пытается повторить то же самое для способности человека разговаривать. Эта задача намного сложнее, отчасти потому, что в совокупности человеческий язык является уникальным именно для него и эта технология не может быть с легкостью протестирована, например, на животных.

В своем университете, Чанг проводит эксперименты по речи совместно с операциями на головной мозг, которые он проводит на больных эпилепсией. Пластина электродов помещенная под череп пациентов, записывает электрическую активность с поверхности мозга. Пациенты носят устройство, известное как “массив (сетка) электрокардиографии” “electrocorticography array”, в течение нескольких дней, для того, чтобы врачи могли найти точный источник эпилептического припадка.



Чанг изучает активность головного мозга на своих пациентах, поскольку они могут говорить. В статье, в журнале “Nature” в прошлом году, он и его коллеги описывали как они использовали матрицу электродов для отображения модели электрической активности в области мозга, называемой вентральной сенсомоторной корой, когда пациенты произносили простые слова, похожие на просто звуки, на подобии “bah” (“чушь”), “goo” (“слизь”) и др.

Идея состоит в том, чтобы записать электрическую активность в двигательной области коры головного мозга, которая приводит в движение губы, язык и голосовые связки, когда человек разговаривает. По математическим расчетам команда Чанга показала, что из этих данных они могут выделить «много ключевых фонетических особенностей».

Одно из самых страшных последствий заболевания, как боковой (латеральный) амиотрофический склероз (БАС), так это то, как распространяется паралич, люди теряют не только способность двигаться, но и способность говорить. Некоторые пациенты БАС используют устройства, которые позволяют использовать остаточную способность к общению. В случае Хокинга, он использует программное обеспечение, которое позволяет ему очень медленно по слогам произносить слова, сокращая мышцы его щеки. Другие пациенты используют устройства отслеживания движения глаза (“ай-трекеры”), чтобы управлять компьютерной мышью.



Идея использования нейрокомпьютерного интерфейса для достижения практически разговорной речи была предложена еще раньше, компанию, которая с 1980 года тестирует технологию, которая использует один электрод, чтобы записывать напрямую внутри человеческого мозга, у людей с синдромом «запертого внутри» (бодрствующая кома). В 2009 году компания описала работы по декодированию речи 25-летнего парализованного человека, который не в состоянии двигаться и говорить.

Другое исследование, которое в этом году опубликовал Марк Слуцкий с Северо-Западного университета — он сделал попытку расшифровать сигналы в двигательной области коры головного мозга, когда пациенты читают вслух слова, содержащие все 39 фонем английского языка (согласных и гласных звуков, которые составляют речь). Команда определила фонемы со средней точностью в 36 процентов. В исследовании были использованы те же типы поверхностных электродов, которые использовал Чанг.

Слуцкий говорит, что пока эта точность может показаться очень низкой, но она была достигнута с относительно небольшой выборкой слов, сказанных в ограниченное количество времени. «Мы ожидаем, достижения гораздо лучших результатов декодирования в будущем», говорит он. Система распознавания речи также может помочь понять, какие слова люди пытаются сказать, говорят ученые.

Статью подготовила команда Telebreeze Team
Наша страница на Facebook и Twitter

Источник: habrahabr.ru/company/telebreeze/blog/230263/