Искусственный интеллект «читает мысли» человека

18 окт. 2019 г.

‹›×

Понимание того, как мозг обрабатывает информацию, очень важно. Например, для того, чтобы в дальнейшем создавать и совершенствовать методы лечения нарушений работы головного мозга, помогать в процессе реабилитации пациентов после инсульта и создавать устройства, которыми человек может управлять только при помощи мозга. Для этого необходимо изучить активность мозга, возникающую во время  восприятия человеком визуальной информации.

Современные разработки в этой области используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности методов ограничивают возможности их применения в клинической практике и повседневной жизни. Для устранения этих ограничений ученые из МФТИ и компании «Нейроботикс» создали интерфейс «мозг – компьютер», который использует для тех же целей нейросети и электроэнцефалографию (ЭЭГ). Метод позволяет получать с поверхности головы сигналы от работы нервных клеток.

«Раньше считалось, что исследовать процессы в мозге по ЭЭГ - это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, - отмечает один из авторов работы Григорий Рашков. - Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс «мозг – компьютер». Это очень обнадеживает. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».

Эксперимент состоял из двух частей. В первой части исследователи показывали испытуемым произвольно выбранные пять разных категорий видео: «абстракции», «водопады», «лица людей», «скорость» (видеосъемка от первого лица гонок на снегоходах, водных мотоциклах, ралли) и «движущиеся механизмы», так называемые машины Голдберга,  записывая при этом показатели ЭЭГ. Частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов отличались.  Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Во второй части эксперимента авторы обучили две специально созданные нейросети по сигналу ЭЭГ воссоздавать кадры, похожие на те, которые видели люди в тот момент, когда записывалась энцефалограмма.

Для проверки испытуемым (в том числе одному из соавторов работы) показали другие видео тех же категорий, снова снимая ЭЭГ и в реальном времени отправляя ее нейросетям на обработку. Нейросети снова создали реалистичные кадры. Категория видео определялась в 90% случаев.

Одна из целей работы – увеличение точности нейроуправления (то есть управления устройствами при помощи человеческого мозга).  Она проводилась в рамках проекта «Ассистивные технологии» НейроНет НТИ, начатого в 2017г. Инновационная разработка включает комплекс устройств для реабилитации больных после инсульта и нейротравм головы: нейрогарнитура NeuroPlay, нейротренажер и др.