2382
0,7
2014-12-16
В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер
В научно-исследовательском комплексе психофизиологии факультета психологии МГУ находится, пожалуй, один из самых точных и скоростных энцефалографов в мире. Специально для научных исследований может использоваться одновременно до 258 каналов в пассивном режиме, позволяющих синхронно регистрировать и анализировать электроэнцефалограмму (ЭЭГ) в режиме реального времени.
(подключаем Катю к матрице ЭЭГ 32 канала с активными электродами)
Как «пакмэны жрут несуществующий квадрат», какая часть мозга генерирует иллюзии, какого цвета цифры, как психофизиологи обрабатывают многомерные сигналы и может ли это привести к реверс-инжинирингу мозга.
Под катом поверхностное описание аппарата, немного про обработку сигнала и про те исследования, которые проводят молодые ученые психо- нейрофизиологи и какие вызовы есть для программистов, которые хотят изучать мозг и/или работать в проекте по изучению мозга.
Удобно расположитесь в кресле, откиньтесь на спинку и сделайте глубокий вдох
ЭЭГ-шлем с системой ActiChamp от Brainproducts™ оснащен активными биосенсорами (до 128 каналов), которые улавливают мельчайшие изменения электрических сигналов от мозга человека с экстремально высокими скоростями дискретизации – до 100 КГц!
256 каналов
256 каналов
Активные, в противоположность пассивным, электроды оснащены встроенными в них микрочипами – предусилителями, которые оцифровывают аналоговый сигнал и передают его с наименьшими искажениями.
Электроды устанавливаются над всеми важными для анализа областями мозга и синхронно передают сигнал на блоки усилителей либо с помощью шлейфа, либо по wi-fi – по 32 канала на блок с пропускной полосой в 1000 Гц и частотой дискретизации до 5000 Гц в противоположность 500 Гц некоторых медицинских ЭЭГ, не говоря о нейрогарнитурах).
Wi-fi модуль
После того, как сигналы поступают на блоки усилителей (уровень шума ≤ 2 μVpp), их путь не оканчивается. Дальше они передаются по двойному оптоволоконному кабелю на USB-адаптер, в который также поступают и внешние сигналы (триггеры) для синхронизации с внешними устройствами, например EyeTracker’ом (о нем в след. раз). USB-адаптер служит коннектором с ПК.
Основная задача всех элементов-посредников в минимизации искажений и задержек в сигнале, мощность которого измеряется лишь десятками микровольт
Дополнительные блоки для регистрации т.н. периферических показателей, которые отражают вегетативные процессы, такие как: кардиоритм, тонус сосудов, дыхание, температура, движения, активность мышц и т.п., всего до 128 каналов дополнительно.
Датчики
Сопротивление кожи, термодатчик, акселерометр, пульсометр оптический
Вот на ком делают измерения, когда нет студентов
Одна из основных проблем для точности – это артефакты. Под этим термином понимаются искажения сигнала внешними или внутренними факторами, будь то движения глаз или наводка в 100 Гц от ламп дневного света.
Несмотря на кажущееся совершенство технологии регистрации ЭЭГ, недостатки все же присутствуют. Пожалуй, основной из них — необходимость использования электропроводной пасты или геля для снижения сопротивления между скальпом и электродами. Технология в целом также не является самодостаточной, и тенденция последнего времени сходится к комбинации различных методов. Уже сейчас используются электроды, которые работают в магнитном поле томографа (порядка 10 Тесла).
Пунктир — это внешний стимул. Фагмент ЭЭГ-сигнала (слева), попытки локализовать источник в трехмерном пространстве (посередине) и в проекции на скальп (справа)
Фрагмент записанной ЭЭГ
Вот такими кривульками наш мозг видит мир. Ну а если серьезно, то это ПСС (потенциалы, связанные с событиями), которые отражают чистый (специально записанный и отфильтрованный) отклик групп нейронов на тот или иной стимул. Тут они всем скопом по всем отведениям. Потенциальная и пока (а может и вообще) неразрешимая задача состоит в обратном: восстановить, что же видел/слышал/представлял/трогал человек в этот момент?
Снизу — ПСС, но не всем скопом, а по тому, как они были зарегистрированы в разных отведениях.
Карта подэлектродной локализации активности, посекундно — от картинки к картинке
3d-вид
Фурье-преобразование сигнала, зарегистрированного под разными электродами.
Непрерывное вейвлет-преобразование ЭЭГ. (Первое правило психофизиологов — никому не говорить про вейвлет. Шутка.) Вейвлет нам нужен для того, чтобы посмотреть частотную составляющую ЭЭГ (разные ритмы состоят из разных частот и отражают разные состояния человека) и рассмотреть это все во временной перспективе.
«Суть моей научной работы — исследование роли внимания в процессах кросс-модальной интеграции.
Расшифровка: Информация, поступающая из внешней среды, как правило, состоит из сигналов разных модальностей (слуховой, зрительной и т.д.). Обработка этой мультисенсорной информации требует синхронной совместной работы структур мозга, задействованных в обрабтке сигналов определенной модальности. Современные исследования на уровне отдельных нейронов показывают существование нейронов в различных областях и уровнях головного мозга, функцией которых является обработка именно мультисенсорной информации. Но открытым остается вопрос системного объединения этих разноуровневых структур в процессе обработки потока мультисенсорной информации, а также о роли произвольного (инициируемого самим человеком) и непроизвольного (вызванного внешними событиями) внимания в этом процессе. ЭЭГ — один из самых информативных методов исследования этого процесса в динамике.»
(Найдите собачку)
«Психофизиология пытается связать идеальное (психологию и „душу“, если она есть) и материальное (то, что можно исследовать естественно-научными методами). Получается с переменным успехом, но это интересно
Есть такие штуки — иллюзии. Что же происходит в мозге, когда мы их видим? Существует ли универсальный паттерн мозговой активности, одинаковый для всех людей, характерный только для тех моментов, когда мы видим зрительную иллюзию? А что делать, если мы смотрим на любимого человека и у нас вдруг возникает этот паттерн?
Посредством записи различных паттернов на ЭЭГ можно объективно зарегистрировать у человека восприятие нового для него типа иллюзии (например, нового варианта иллюзии субъективного контура). Для этого используется метод связанных с событием потенциалов: выделение из общего сигнала ЭЭГ того компонента, который появляется при предъявлении иллюзии.
Черный график — просто стимул, красный — иллюзия, пунктир — момент предъявления стимула
Справа — ответ мозга на предъявление классического типа иллюзий по сравнению со стимулом, когда мозгу ничего не надо достраивать
Слева — ответ на предъявление нового типа, опять же, по сравнению с тем, когда не надо достраивать
Мы видим, что в одном и том же месте (компонент N170) амплитуда сигнала в ответ на иллюзию больше. Этот ответ — объективная мера нашего восприятия иллюзии. Если мы видим и прямые, и волнистые иллюзорные контуры на одинаковом психофизиологическом уровне, вероятно, в обоих случаях мы используем одинаковые механизмы формирования образа.»
— Какой внутренний мотив сподвиг математика пойти работать над нейросайнс-проектом?
— Интерес. Мне всегда было интересно узнать, как работает мозг человека. К тому моменту я уже достаточно много знал о возможностях метода анализа данных применительно к мозгу. Все они основываются на обработке многомерных сигналов. А у меня была именно такая тематика курсовой работы.
Как всегда большую роль сыграла случайность. я прочитал статью об Илье и решил написать ему про себя: что я — математик-программист, интересна эта тема. А ребятам как раз не хватало человека с моими навыками. И я быстро включился в работу.
«Синестезия — это, грубо говоря, связь различных модальностей. Проявляется она в виде переживания ощущений в одной модальности во время предъявления стимулов в другой.
Можете ли вы быстро найти „цветной“ треугольник?
Вообще, синестезия — безумно интересное, но и очень малоизученное явление. Существует невероятное множество различных ее видов: некоторые синестеты „видят“ цвета определенных букв/дней недели/месяцев, кто-то из них „чувствует“ запахи при произнесении определенных слов, кто-то „ощущает“ текстуру голоса/запаха, „чувствует“ вкус имен, „слышит“ движение и так далее. Более того, у большинства синестетов проявляется связь не двух, но множества модальностей, и, таким образом, проявляются различные виды синестезии.
Существует достаточно много гипотез относительно того, каким образом возникают синестетические ощущения. В моем исследовании ставится вопрос о том, на каком уровне происходит данный процесс: только ли это перцептивные ощущения, обработка которых происходит на низших уровнях, или же это высокоуровневый, когнитивный процесс.
Акцент ставится на аудиовизуальной синестезии, а именно — на связи тонов и тембров с различными цветами. В качестве испытуемых выступают как синестеты, так и люди, не обладающие синестетическими ощущениями. В ходе эксперимента (а именно — в момент предъявления звуковых стимулов) производится запись ЭЭГ, и впоследствии — анализ данных путем сравнения ПСС, зарегистрированных у синестетов и несинестетов.
К слову об испытуемых: если вас интересует данная тема, или вдруг у вас есть знакомые синестеты, или, внезапно, вы сами обнаружили у себя наличие подходящего для данного исследования вида аудиовизуальной синестезии — смело обращайтесь ко мне, я буду рада видеть вас в числе своих испытуемых!»
Выступление на TED нейроученого
Тест на синестезию «цвет цифры» (Слева — то, как видит картинку обычный человек; справа — видение синестета: треугольник из двоек сразу выделяется другим цветом, вследствие чего синестет без труда и довольно быстро может указать на все двойки на картинке)
«Моя позиция по получению экспериментальных данных была хорошо отражена в словах героя одной игры: „… мы просто бросаем наукой в стенку и смотрим, что прилипнет..“ Это говорит о том, что в исследовании я стараюсь получить максимум данных, которые вообще можно выжать из электрофизиологического сигнала.
Сейчас я зациклен скорее на следующем: на отработке различных методов обработки сигнала независимо от поставленной задачи. Помощь программистов тут огромна. Встречаются различные проблемы: бывает, что не все методы обработки представлены в одной программе, или же нет доступа ко всему функционалу — приходится изворачиваться, и не всегда это удается.
И есть еще одна немаловажная проблема — экономия времени. Довольно часто бывает необходимо обработать данные десяти человек, используя 10-15 различных преобразований. Тут бы не помешало написание скриптов, которые позволят автоматизировать задачу. Нажал на кнопку и пошел домой — а утром все уже обработано.»
Как писал Азимов, что «для человечества осталось две загадки — глубины космоса и тайна мозга», радует, что Хабр очень приветствует космонавтику, надеюсь, что то же самое произойдет и с изучением мозга.
Источник: habrahabr.ru/company/neuronspace/blog/235399/
(подключаем Катю к матрице ЭЭГ 32 канала с активными электродами)
Как «пакмэны жрут несуществующий квадрат», какая часть мозга генерирует иллюзии, какого цвета цифры, как психофизиологи обрабатывают многомерные сигналы и может ли это привести к реверс-инжинирингу мозга.
Под катом поверхностное описание аппарата, немного про обработку сигнала и про те исследования, которые проводят молодые ученые психо- нейрофизиологи и какие вызовы есть для программистов, которые хотят изучать мозг и/или работать в проекте по изучению мозга.
Удобно расположитесь в кресле, откиньтесь на спинку и сделайте глубокий вдох
ЭЭГ-шлем с системой ActiChamp от Brainproducts™ оснащен активными биосенсорами (до 128 каналов), которые улавливают мельчайшие изменения электрических сигналов от мозга человека с экстремально высокими скоростями дискретизации – до 100 КГц!
256 каналов
256 каналов
Активные, в противоположность пассивным, электроды оснащены встроенными в них микрочипами – предусилителями, которые оцифровывают аналоговый сигнал и передают его с наименьшими искажениями.
Электроды устанавливаются над всеми важными для анализа областями мозга и синхронно передают сигнал на блоки усилителей либо с помощью шлейфа, либо по wi-fi – по 32 канала на блок с пропускной полосой в 1000 Гц и частотой дискретизации до 5000 Гц в противоположность 500 Гц некоторых медицинских ЭЭГ, не говоря о нейрогарнитурах).
Wi-fi модуль
После того, как сигналы поступают на блоки усилителей (уровень шума ≤ 2 μVpp), их путь не оканчивается. Дальше они передаются по двойному оптоволоконному кабелю на USB-адаптер, в который также поступают и внешние сигналы (триггеры) для синхронизации с внешними устройствами, например EyeTracker’ом (о нем в след. раз). USB-адаптер служит коннектором с ПК.
Основная задача всех элементов-посредников в минимизации искажений и задержек в сигнале, мощность которого измеряется лишь десятками микровольт
Дополнительные блоки для регистрации т.н. периферических показателей, которые отражают вегетативные процессы, такие как: кардиоритм, тонус сосудов, дыхание, температура, движения, активность мышц и т.п., всего до 128 каналов дополнительно.
Датчики
Сопротивление кожи, термодатчик, акселерометр, пульсометр оптический
Вот на ком делают измерения, когда нет студентов
Софт и обработка сигнала
Софт для обработки и анализа ЭЭГ обладает широким функционалом с возможностью интегрировать данные МРТ для локализации электрических сигналов учитывая индивидуальную конституцию мозга конкретного человека. Собственно система сама располагает модулем, который называется «томографией низкого разрешения» (LORETA) (*речь идет не о технической реализации – магнитная или позитронно эмиссионная, а о принципе визуализации и картирования мозга).Одна из основных проблем для точности – это артефакты. Под этим термином понимаются искажения сигнала внешними или внутренними факторами, будь то движения глаз или наводка в 100 Гц от ламп дневного света.
Несмотря на кажущееся совершенство технологии регистрации ЭЭГ, недостатки все же присутствуют. Пожалуй, основной из них — необходимость использования электропроводной пасты или геля для снижения сопротивления между скальпом и электродами. Технология в целом также не является самодостаточной, и тенденция последнего времени сходится к комбинации различных методов. Уже сейчас используются электроды, которые работают в магнитном поле томографа (порядка 10 Тесла).
Пунктир — это внешний стимул. Фагмент ЭЭГ-сигнала (слева), попытки локализовать источник в трехмерном пространстве (посередине) и в проекции на скальп (справа)
Фрагмент записанной ЭЭГ
Вот такими кривульками наш мозг видит мир. Ну а если серьезно, то это ПСС (потенциалы, связанные с событиями), которые отражают чистый (специально записанный и отфильтрованный) отклик групп нейронов на тот или иной стимул. Тут они всем скопом по всем отведениям. Потенциальная и пока (а может и вообще) неразрешимая задача состоит в обратном: восстановить, что же видел/слышал/представлял/трогал человек в этот момент?
Снизу — ПСС, но не всем скопом, а по тому, как они были зарегистрированы в разных отведениях.
Карта подэлектродной локализации активности, посекундно — от картинки к картинке
3d-вид
Фурье-преобразование сигнала, зарегистрированного под разными электродами.
Непрерывное вейвлет-преобразование ЭЭГ. (Первое правило психофизиологов — никому не говорить про вейвлет. Шутка.) Вейвлет нам нужен для того, чтобы посмотреть частотную составляющую ЭЭГ (разные ритмы состоят из разных частот и отражают разные состояния человека) и рассмотреть это все во временной перспективе.
Люди
Внимание
Вячеслав Лебедев, сотрудник и аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:«Суть моей научной работы — исследование роли внимания в процессах кросс-модальной интеграции.
Расшифровка: Информация, поступающая из внешней среды, как правило, состоит из сигналов разных модальностей (слуховой, зрительной и т.д.). Обработка этой мультисенсорной информации требует синхронной совместной работы структур мозга, задействованных в обрабтке сигналов определенной модальности. Современные исследования на уровне отдельных нейронов показывают существование нейронов в различных областях и уровнях головного мозга, функцией которых является обработка именно мультисенсорной информации. Но открытым остается вопрос системного объединения этих разноуровневых структур в процессе обработки потока мультисенсорной информации, а также о роли произвольного (инициируемого самим человеком) и непроизвольного (вызванного внешними событиями) внимания в этом процессе. ЭЭГ — один из самых информативных методов исследования этого процесса в динамике.»
(Найдите собачку)
Иллюзии
Илья Захаров, аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:«Психофизиология пытается связать идеальное (психологию и „душу“, если она есть) и материальное (то, что можно исследовать естественно-научными методами). Получается с переменным успехом, но это интересно
Есть такие штуки — иллюзии. Что же происходит в мозге, когда мы их видим? Существует ли универсальный паттерн мозговой активности, одинаковый для всех людей, характерный только для тех моментов, когда мы видим зрительную иллюзию? А что делать, если мы смотрим на любимого человека и у нас вдруг возникает этот паттерн?
Посредством записи различных паттернов на ЭЭГ можно объективно зарегистрировать у человека восприятие нового для него типа иллюзии (например, нового варианта иллюзии субъективного контура). Для этого используется метод связанных с событием потенциалов: выделение из общего сигнала ЭЭГ того компонента, который появляется при предъявлении иллюзии.
Черный график — просто стимул, красный — иллюзия, пунктир — момент предъявления стимула
Справа — ответ мозга на предъявление классического типа иллюзий по сравнению со стимулом, когда мозгу ничего не надо достраивать
Слева — ответ на предъявление нового типа, опять же, по сравнению с тем, когда не надо достраивать
Мы видим, что в одном и том же месте (компонент N170) амплитуда сигнала в ответ на иллюзию больше. Этот ответ — объективная мера нашего восприятия иллюзии. Если мы видим и прямые, и волнистые иллюзорные контуры на одинаковом психофизиологическом уровне, вероятно, в обоих случаях мы используем одинаковые механизмы формирования образа.»
Программирование и обработка многомерных сигналов
Костя Славнов, программист— Какой внутренний мотив сподвиг математика пойти работать над нейросайнс-проектом?
— Интерес. Мне всегда было интересно узнать, как работает мозг человека. К тому моменту я уже достаточно много знал о возможностях метода анализа данных применительно к мозгу. Все они основываются на обработке многомерных сигналов. А у меня была именно такая тематика курсовой работы.
Как всегда большую роль сыграла случайность. я прочитал статью об Илье и решил написать ему про себя: что я — математик-программист, интересна эта тема. А ребятам как раз не хватало человека с моими навыками. И я быстро включился в работу.
Синестезия
Мария Степаненко, студентка кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог, исследователь синестезии«Синестезия — это, грубо говоря, связь различных модальностей. Проявляется она в виде переживания ощущений в одной модальности во время предъявления стимулов в другой.
Можете ли вы быстро найти „цветной“ треугольник?
Вообще, синестезия — безумно интересное, но и очень малоизученное явление. Существует невероятное множество различных ее видов: некоторые синестеты „видят“ цвета определенных букв/дней недели/месяцев, кто-то из них „чувствует“ запахи при произнесении определенных слов, кто-то „ощущает“ текстуру голоса/запаха, „чувствует“ вкус имен, „слышит“ движение и так далее. Более того, у большинства синестетов проявляется связь не двух, но множества модальностей, и, таким образом, проявляются различные виды синестезии.
Существует достаточно много гипотез относительно того, каким образом возникают синестетические ощущения. В моем исследовании ставится вопрос о том, на каком уровне происходит данный процесс: только ли это перцептивные ощущения, обработка которых происходит на низших уровнях, или же это высокоуровневый, когнитивный процесс.
Акцент ставится на аудиовизуальной синестезии, а именно — на связи тонов и тембров с различными цветами. В качестве испытуемых выступают как синестеты, так и люди, не обладающие синестетическими ощущениями. В ходе эксперимента (а именно — в момент предъявления звуковых стимулов) производится запись ЭЭГ, и впоследствии — анализ данных путем сравнения ПСС, зарегистрированных у синестетов и несинестетов.
К слову об испытуемых: если вас интересует данная тема, или вдруг у вас есть знакомые синестеты, или, внезапно, вы сами обнаружили у себя наличие подходящего для данного исследования вида аудиовизуальной синестезии — смело обращайтесь ко мне, я буду рада видеть вас в числе своих испытуемых!»
Выступление на TED нейроученого
Тест на синестезию «цвет цифры» (Слева — то, как видит картинку обычный человек; справа — видение синестета: треугольник из двоек сразу выделяется другим цветом, вследствие чего синестет без труда и довольно быстро может указать на все двойки на картинке)
Обработка данных
Андрей Учаев, студент кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог:«Моя позиция по получению экспериментальных данных была хорошо отражена в словах героя одной игры: „… мы просто бросаем наукой в стенку и смотрим, что прилипнет..“ Это говорит о том, что в исследовании я стараюсь получить максимум данных, которые вообще можно выжать из электрофизиологического сигнала.
Сейчас я зациклен скорее на следующем: на отработке различных методов обработки сигнала независимо от поставленной задачи. Помощь программистов тут огромна. Встречаются различные проблемы: бывает, что не все методы обработки представлены в одной программе, или же нет доступа ко всему функционалу — приходится изворачиваться, и не всегда это удается.
И есть еще одна немаловажная проблема — экономия времени. Довольно часто бывает необходимо обработать данные десяти человек, используя 10-15 различных преобразований. Тут бы не помешало написание скриптов, которые позволят автоматизировать задачу. Нажал на кнопку и пошел домой — а утром все уже обработано.»
Заключение
«Нейронаукам нужны программисты». Так говорят и русские коллеги, а зарубежные нейроученые даже обращаются к хакерам. Потому что очень скоро нам, не дай бог возможно, потребуются не только инструменты обеспечения приватности сообщений от технического перехвата, но и мыслей.Как писал Азимов, что «для человечества осталось две загадки — глубины космоса и тайна мозга», радует, что Хабр очень приветствует космонавтику, надеюсь, что то же самое произойдет и с изучением мозга.
Источник: habrahabr.ru/company/neuronspace/blog/235399/
