От мозговых волн к словам: Meta* AI приблизила чтение мыслей без нейроинтерфейса к уровню мозговых имплантов

Система Brain2Qwerty v2 научилась переводить сигналы мозга в текст с точностью до 78%, дальнейший прогресс зависит не от новых датчиков, а от масштабирования данных и искусственного интеллекта

Как это работает

Система использует магнитоэнцефалографию (МЭГ). Человек надевает специальный шлем-сканер: он улавливает слабые изменения магнитных полей, которые возникают, когда мозг генерирует нейронные сигналы. В эксперименте участники мысленно «печатали» заранее выученные предложения, одновременно находясь в сканере. hi-tech.mail.ru +1

Ключевая особенность второй версии — сквозная архитектура глубокого обучения. В отличие от ранних подходов, когда инженеры вручную выделяли в сигнале нужные события, новая система получает на вход «сырые» данные МЭГ и сама находит закономерности, связывающие активность мозга с текстом. Архитектура включает три модуля:

• конволюционный — обрабатывает короткие отрезки сигнала, извлекая пространственно-временные особенности;
• transformer-модуль — работает на уровне целых предложений, учитывая контекст;
• предобученная языковая модель — корректирует вывод, делая текст более связным. 

То есть система не просто угадывает буквы по отдельности, а пытается восстановить смысл целого высказывания.

Современные нейропротезы могут восстановить коммуникацию у пациентов, потерявших способность говорить или двигаться. Однако имплантация этих инвазивных устройств сопряжена с рисками, характерными для нейрохирургии. В этой работе представлен неинвазивный метод расшифровки предложений на основе активности мозга и демонстрация его эффективности на выборке из 35 здоровых добровольцев. Для этого исследователи представили Brain2Qwerty — новую архитектуру глубокого обучения, обученную расшифровывать предложения на основе электро- или магнитоэнцефалографии, пока участники печатали на клавиатуре QWERTY предложения, которые они запомнили. При использовании магнитоэнцефалографии Brain2Qwerty допускает в среднем 29% ошибок при распознавании символов, что значительно превосходит показатели электроэнцефалографии (65% ошибок при распознавании символов). У лучших участников модель допускает 18% ошибок при распознавании символов и может идеально декодировать различные предложения, не входящие в обучающую выборку. В целом эти результаты сокращают разрыв между инвазивными и неинвазивными методами и тем самым открывают путь к разработке безопасных интерфейсов «мозг — компьютер» для пациентов, которые не могут общаться.

Последнее десятилетие ознаменовалось стремительным прогрессом в области нейрокомпьютерных интерфейсов (НКИ) для людей, которые после повреждения головного мозга утратили способность говорить или общаться. В частности, несколько пациентов, страдающих анартрией, боковым амиотрофическим склерозом или тяжёлым параличом, теперь могут произносить целые предложения с помощью нейропротеза, который записывает и декодирует нейронную активность двигательных областей мозга. Изначально эта технология позволяла декодировать лишь небольшие наборы лингвистических признаков, слов и жестов. Однако недавние разработки в области искусственного интеллекта (ИИ) повысили точность и скорость преобразования мозговых сигналов в текст до такой степени, что теперь можно воспроизводить естественную речь со скоростью, близкой к нормальной.

Однако такие инвазивные нейропротезы требуют нейрохирургического вмешательства и, следовательно, сопряжены с риском кровоизлияния в мозг и инфицирования. Кроме того, поддержание функциональности кортикальных имплантатов в течение длительного времени остается сложной задачей. Таким образом, в своем нынешнем виде инвазивные интерфейсы «мозг-компьютер» не подходят для диагностики или восстановления коммуникации в больших группах пациентов, которые не реагируют на лечение или реагируют слабо.

Неинвазивные интерфейсы «мозг-компьютер» потенциально могли бы решить эту проблему. Однако они обычно основаны на электроэнцефалографии (ЭЭГ) скальпа, при которой ограниченное соотношение сигнал/шум требует от пользователей выполнения сложных задач. Например, интерфейсы «мозг-компьютер» на основе ЭЭГ обычно требуют от человека удерживать внимание на мерцающих стимулах или представлять, как он двигает рукой или ногой в течение длительного времени. Известно, что при выполнении этих двух задач возникают паттерны ЭЭГ, которые относительно легко распознаются линейным классификатором. Тем не менее, эффективность декодирования остается умеренной. Таким образом, современные неинвазивные методы не позволяют создать быстрый и надёжный интерфейс «мозг — компьютер».

Эти проблемы можно решить с помощью двух методов. 

• Во-первых, магнитоэнцефалография (МЭГ), которая измеряет колебания магнитных полей, возникающих в коре головного мозга, имеет более высокое соотношение сигнал/шум, чем ЭЭГ. 
• Во-вторых, модели глубокого обучения, обученные реконструировать естественный язык на основе сигналов МЭГ в парадигмах понимания речи, недавно продемонстрировали значительные улучшения, особенно по сравнению с ЭЭГ. Вместе эти элементы указывают на то, что с помощью современных технологий искусственного интеллекта высококачественные МЭГ-сигналы и задачи на естественном языке могут быть объединены для декодирования речевого производства на основе неинвазивных записей мозга.

В этом исследовании представлен Brain2Qwerty, модель искусственного интеллекта, обученную декодировать создание текста на основе неинвазивных записей мозговой активности (рис. 1). Для этого исследователи попросили 35 участников кратко ввести заученные предложения на клавиатуре, в то время как их мозговая активность регистрировалась либо с помощью ЭЭГ, либо МЭГ. Затем они обучали Brain2Qwerty — трехэтапную глубокую нейронную сеть, которая декодирует текст на основе этих сигналов мозга, — и тестировали ее на данных ЭЭГ (20 участников, 146 000 символов, 23 000 слов и 4 000 предложений) и магнитоэнцефалографии (20 участников, 193 000 символов, 30 000 слов и 5 000 предложений). Результаты демонстрируют, что МЭГ значительно превосходит ЭЭГ, достигая средней частоты символьных ошибок (CER) 29% по сравнению с 65% для ЭЭГ. Для наиболее опытных участников, использующих MEG, модель достигает CER всего 18%, успешно расшифровывая широкий спектр предложений, полностью выходящих за рамки обучающего набора.

Записи 35 здоровых участников были получены с помощью ЭЭГ и МЭГ. Предложения пословной строкой выводились на экран. После последнего слова визуальная подсказка побуждала их начать печатать это предложение без визуальной обратной связи. Модель Brain2Qwerty включает три основных этапа декодирования текста на основе активности мозга:

1) сверточный модуль, на вход которого подаются окна сигналов магнитоэнцефалографии или электроэнцефалографии длительностью 500 мс,

2) модуль-трансформер, обученный на уровне предложений, и

3) предварительно обученная языковая модель для корректировки результатов работы модуля-трансформера. Эффективность оценивается с помощью CER на уровне предложений.

Эта работа напрямую связана с недавними достижениями в области декодирования естественного языка на основе неинвазивных записей активности мозга. В частности, восприятие естественных речевых сегментов можно расшифровать на основе сигналов магнитоэнцефалографии с точностью до 41% (уровень случайности = 0,1%). Аналогичным образом, смысл воспринимаемых предложений можно расшифровать на основе данных функциональной магнитно-резонансной томографии. Модель Brain2Qwerty имеет ряд общих черт с этими подходами, в частности, за счет использования предметного слоя и языковой модели, хотя в данном случае мы ограничились предварительно обученной 9-граммовой моделью на уровне символов. Однако эти два исследования, посвященные расшифровке восприятия речи, а не ее воспроизведения, имеют ограниченные возможности применения в клинической практике.

Исследования, в которых непосредственно расшифровывается процесс создания текста на основе неинвазивных записей, по-прежнему проводятся редко. Например, с помощью ЭЭГ удалось расшифровать только 10 букв, при этом коэффициент расшифровки составил 75,8%, что значительно выше нашего показателя в 68% при использовании ЭЭГ для расшифровки 29 символов. Аналогичным образом, в эталонных тестах на основе ЭЭГ в настоящее время подчеркиваются ограничения, связанные с низким качеством сигнала и вариативностью у разных испытуемых. Результаты этого исследования, полученные с помощью ЭЭГ, согласуются с этими наблюдениями. Новый подход не только превосходит традиционные протоколы, используемые в неинвазивных интерфейсах «мозг — компьютер», такие как P300-speller40, SSVEP41 и функциональный локализатор магнитно-резонансной томографии, но и более эффективен. Эти методы исторически основывались на ручной обработке сигналов и простых классификаторах. В отличие от них, подход исследователей основан на сравнительно более простой задаче.

Несмотря на то, что эффективность декодирования Brain2Qwerty сокращает разрыв между неинвазивными и инвазивными интерфейсами «мозг — компьютер», этот разрыв все еще значителен.

Прежде чем этот метод можно будет адаптировать для клинического применения, необходимо решить ряд проблем. Во-первых, эта модель в настоящее время не работает в режиме реального времени: трансформер и языковая модель работают на уровне предложений, поэтому для получения результата необходимо дождаться завершения исследования. Кроме того, для работы Brain2Qwerty в настоящее время требуется, чтобы сегменты магнитоэнцефалограммы соответствовали конкретным моментам нажатия клавиш. Учитывая изначально низкое соотношение сигнал/шум в неинвазивных методах, путь к непрерывному декодированию без этих явных триггеров остается неопределенным. Следовательно, в будущих итерациях необходимо перейти к архитектуре реального времени, которая устранит зависимость от исправления на уровне предложений и известных временных интервалов нажатия клавиш, подобно методам непрерывного декодирования, используемым в электромиографии и распознавании речи.

Метод

Ученые стремились расшифровывать языковую продукцию на основе неинвазивных записей мозга. Для достижения этой цели участники набирали предложения на клавиатуре, в то время как их мозговая активность регистрировалась с помощью ЭЭГ или МЭГ. Эти два устройства измеряют нейронную активность на миллисекундном уровне, при этом ЭЭГ улавливает электрические поля, а МЭГ - магнитные. Оба этих поля генерируются нейронами коры головного мозга, а активность регистрируется с помощью датчиков, распределенных по коже головы.

Было набранно 35 здоровых взрослых добровольцев для участия в исследовании в Баскском центре когнитивных исследований, мозга и языка в Испании. В этой группе было 23 % мужчин и 77 % женщин, средний возраст участников составлял 31,6 ± 5,2 года. Все участники были правшами и умели печатать. Участники должны были набирать слова, которые они слышали, на клавиатуре, закрытой картонной коробкой. Они были отобраны, если точность их набора текста была выше или равна 80%. Все участники были носителями испанского языка и не имели в анамнезе неврологических или психических расстройств. Их мозговая активность регистрировалась с помощью ЭЭГ или МЭГ в течение 0,88 ± 0,02 и 0,93 ± 0,01 часа соответственно, что в общей сложности составило 17,7 и 21,5 часа набора текста. Пять участников приняли участие как в сеансах ЭЭГ, так и в сеансах МЭГ. Один участник был исключен из исследования МЭГ из-за наличия металлического предмета во время записи. Участники дали информированное согласие на участие и получали компенсацию в размере 12 евро в час. Исследование было одобрено местным комитетом по этике. Тот же набор данных используется для изучения базовых нейронных механизмов, лежащих в основе выполнения этой задачи, в сопутствующей статье.

Участники сидели перед проекционным экраном (на расстоянии 100 см. от глаз для магнитоэнцефалографии и 70 см. для электроэнцефалографии) с нашей специальной клавиатурой, установленной на устойчивой платформе. Расстояние между датчиками магнитоэнцефалографии или электроэнцефалографии и клавиатурой составляло 70 см. Такая установка позволяла участникам печатать в естественном положении. Каждое испытание состояло из трех этапов: чтение, ожидание и ввод текста. Сначала на экране появлялось предложение, предъявленное по протоколу быстрой последовательной визуальной презентации (rapid serial visual presentation, RSVP) (то есть по одному слову за раз). Каждое слово было написано черным шрифтом заглавными буквами на 50-процентном сером фоне и отображалось в течение случайного промежутка времени от 465 до 665 мс. без интервалов между словами. Затем, после исчезновения последнего слова в каждом предложении, на экране на 1,5 секунды появлялся черный крест для фиксации взгляда. В-третьих, исчезновение фиксирующего креста сигнализировало о начале фазы набора текста. Во время набора текста на экране не отображались буквы. Тем не менее, мы добавили минимальную визуальную обратную связь: при каждом нажатии клавиши маленький черный квадрат в центре экрана поворачивался по часовой стрелке на 10 градусов. Такая обратная связь гарантировала, что движения глаз не будут коррелировать с лингвистическими особенностями, как это обычно происходит при чтении слева направо. Каждый сеанс состоял из двух блоков по 64 предложения в каждом. Первые четыре предложения в каждом сеансе были тренировочными и отличались от 128 уникальных предложений в протоколе. Во время ввода первых двух тренировочных предложений участники получали визуальную обратную связь. Остальные два предложения использовались для тренировки выполнения задания (ввод текста с минимальной визуальной обратной связью).

Итог

: В исследовании приняли участие 35 здоровых добровольцев (23% мужчин и 77% женщин, средний возраст 31,6 года). Мозговая активность участников регистрировалась с помощью неинвазивных методов: электроэнцефалографии (ЭЭГ) для 20 человек и магнитоэнцефалографии (МЭГ) также для 20 человек (5 участников прошли оба типа сессий).

Общие выводы исследования

Превосходство МЭГ над ЭЭГ: Модель Brain2Qwerty продемонстрировала значительно более высокую точность при использовании МЭГ, достигнув среднего показателя ошибок по символам (CER) в 29%. Результаты с ЭЭГ оказались намного слабее — средний CER составил 65%.
Результаты лучших участников: У наиболее успешных добровольцев при использовании МЭГ уровень ошибок снижался до 18%. Система смогла безошибочно декодировать целый ряд предложений, которые вообще не входили в обучающую выборку.
Преимущество глубокого обучения: Созданная трехмодульная архитектура (сверточная нейросеть + трансформер + символьная языковая модель) показала кратную эффективность по сравнению с классическими ИМК-моделями вроде линейного классификатора или EEGNet. Контекстуализация на уровне целого предложения помогла ИИ исправлять даже реальные опечатки, сделанные людьми при наборе текста.
Опора на моторную кору: Ошибки декодирования ИИ оказались напрямую связаны с физической раскладкой клавиатуры QWERTY — буквы чаще путались с теми клавишами, которые расположены рядом на реальной клавиатуре. Это подтверждает, что модель считывает именно моторные команды, а не абстрактные языковые концепты.

Исследование было было проведено совместными усилиями команды Brain & AI из лаборатории Meta AI (Париж)* и исследователей из Баскского центра познания, мозга и языка (BCBL, Испания).

Полный состав авторов научной статьи:

• Жарод Леви (Jarod Lévy) — ведущий автор исследования.
• Минфан Чжан (Mingfang Zhang) — исследователь со стороны BCBL.
• Светлана Пине (Svetlana Pinet) — нейробиолог, исследователь BCBL.
• Жереми Рапен (Jérémy Rapin) — инженер-исследователь Meta* AI.
• Юбер Банвиль (Hubert Banville) — ученый-исследователь Meta* AI.
• Стефан д'Асколи (Stéphane d'Ascoli) — исследователь ИИ в Meta* AI.
• Жан-Реми Кинг (Jean-Rémi King) — руководитель проекта и глава всей группы Brain & AI в Meta* AI.

Исследовательская группа проекта Brain2Qwerty разделила обязанности на три ключевых направления:

 - сбор данных (BCBL),

 - разработка ИИ-архитектуры (Meta* AI) и

 - руководство, обеспечив интеграцию нейробиологии с глубоким обучением. Команда под руководством Жана-Реми Кинга, включающая экспертов по ЭЭГ/МЭГ и трансформаторным моделям, успешно реализовала неинвазивное декодирование напечатанных предложений.

Значимость для медицины:

Данная работа сокращает технологический разрыв между опасными инвазивными (нейрохирургическими) интерфейсами и безопасными неинвазивными методами. Она открывает путь к созданию доступных систем общения для полностью или частично парализованных пациентов без необходимости вживления чипов в мозг.

Значимость для крионики

Технологии неинвазивного декодирования мозговой активности имеют колоссальное теоретическое и практическое значение для этой области в будущем.

1. Объективная оценка сохранности структуры мозга. Главный вопрос крионики — сохраняются ли нейронные связи (коннектом) после заморозки настолько хорошо, чтобы восстановить личность.Подобные ИИ-архитектуры доказывают, что высокоразмерные модели глубокого обучения способны находить устойчивые паттерны в сигналах мозга. В будущем схожие математические модели смогут анализировать сканы замороженного или восстанавливаемого мозга, проверяя, сохранены ли в его структуре сложные моторные, языковые или когнитивные «коды».

2. Оцифровка сознания и «чтение» памяти перед заморозкой. Многие крионисты рассматривают сценарий, при котором перед смертью или глубоким охлаждением неизлечимо больного пациента его сознание и воспоминания фиксируются техническими средствами. Исследование Brain2Qwerty подтвердило, что нейросети могут извлекать из активности мозга целые предложения, которые человек удерживает в кратковременной памяти (участники печатали предложения, которые предварительно запоминали). Это шаг к созданию более глубоких систем неинвазивного картирования мыслей и воспоминаний «на лету» перед процедурой криоконсервации.

3. Интерфейс для первых этапов реанимации (Vitrification/Revival). Если технологии будущего позволят успешно согреть и восстановить биологические функции криопациента, его мозг и тело могут приходить в норму неравномерно. Пациент может оказаться в состоянии «запертого человека» (locked-in) — когда сознание вернулось, но периферическая нервная система или мышцы еще не функционируют.

Неинвазивные системы вроде Brain2Qwerty станут идеальным и безопасным мостом для коммуникации. Медики смогут общаться с реанимированным человеком через МЭГ/ЭЭГ-шлем, не прибегая к опасным нейрохирургическим операциям по вживлению чипов в только что восстановленные ткани.
4. Математические модели переноса личности (Mind Uploading). Крионика тесно связана с трансгуманизмом, где конечной целью часто ставится перенос разума на цифровой носитель.Исследование наглядно демонстрирует, как ИИ обучается «Subject layer» (субъектному слою) — калибровке под индивидуальные особенности работы мозга конкретного человека. Математический аппарат, который находит веса для перевода биологических импульсов в цифровые сущности (текст), — это базовый элемент будущих систем полного считывания функциональных состояний мозга.

Источник: nature neuroscience 29.06.2026