Еще один шаг на пути к точному распознаванию мыслей исследователи сделали, используя нейросети и опираясь на метод электрокортикограммы. Ошибки составили всего 3%.

Команда исследователей из Калифорнийского университета в Сан-Франциско опубликовала в журнале Nature Neuroscience статью, которая посвящена использованию систем ИИ при расшифровке вербальных мыслей человека.

Расшифровка мыслей человека — сложная проблема как с этической точки зрения, так и с технической. Кроме возможности попадания в разум преступников и террористов, а также потенциального тотального контроля за гражданами — одного из классических антиутопических сценариев, к воплощению которого мы сейчас, возможно, близки как никогда, — чтение мыслей может помочь людям с нарушениями речи и двигательной активности.

Распознавание, над которым сегодня работают ученые, чаще всего построено на считывании электрической активности мозга в процессе обработки стимула. Снятую с помощью ЭЭГ или родственных методов информацию обрабатывают нейросети, и впоследствии в теории они должны распознать, о чем человек думает.

Есть несколько ключевых проблем, таких как ограниченность стимулов, которые нейросеть может систематизировать и потом уловить, тот факт, что пока не удается сделать так, чтобы она распознавала схожие, но не точно такие же стимулы, которые были предъявлены в учебной выборке, а также малая точность угадываний.

Схема распознавания — от сигнала в мозгу до слов, выданных нейросетью

ЭЭГ — неинвазивный способ снятия сигналов (с помощью шапочки, надеваемой на голову испытуемого), и он менее точен, чем электрокортикограмма, при использовании которой электроды снимают данные прямо с коры мозга. Второй способ точнее, но из-за инвазивности область применения не слишком широка. Однако в случае с людьми, у которых речь нарушена из-за вмешательств на головном мозге, травм или после инсульта, его использование вполне возможно, а кроме того, полученные учеными результаты помогут продвинуться вперед и могут быть использованы для дальнейших шагов.

В новой работе исследовательская группа покорила новую вершину: их система смогла расшифровывать целые предложения, при этом с высокой точностью. Более совершенная, чем предыдущие, нейросеть была протестирована на четырех женщинах с эпилепсией, каждая из которых уже была оснащена имплантированными в мозг электродами для мониторинга состояния.

Исследователи при помощи электродов снимали показания активности коры в разных частях мозга, в то время как женщины читали предложения из выборки, которую им дали ученые, вслух. Каждое предложение зачитывалось дважды: сначала для обучения нейросети, затем для тестирования.

После обработки сигналов первая нейросеть (энкодер) создавала на их основе абстрактную репрезентацию, кодируя для своего «внутреннего использования». С этой репрезентацией работала вторая нейросеть (декодер), которая переводила входные данные в отдельные слова. Используя обучение сразу на нескольких людях и дополнительный набор предложений, авторы добились высоких результатов, а также уверенности в том, что не впали в классическую ошибку, при которой нейросеть просто копирует учебную выборку.

Исследователи обнаружили, что в их системе вероятность ошибки в лучшем случае составляет всего 3%. Но они подчеркивают, что нейросети работали с очень ограниченным словарным запасом, состоящим всего 30 и 50 предложений соответственно в двух выборках — это намного меньше, чем словарь обычного человека, способного распознать сотни тысяч слов. Тем не менее, как отмечают ученые, для человека, который не способен говорить, это могло бы стать настоящим чудом и огромными возможностями.