DeWave: как ИИ переводит сигналы ЭЭГ при чтении в текст

В эксперименте Университета технологий Сиднея (UTS) 29 участников молча читали текст, а специальная шапочка записывала электрическую активность мозга — ЭЭГ. Система DeWave переводила эти сигналы в слова и предложения. Эксперимент не демонстрирует чтение произвольных мыслей человека.

Перевод сигналов ЭЭГ в текст остаётся сложной исследовательской задачей: сигналы шумные, а особенности мозговой активности различаются у людей. Однако эти ограничения не дают оснований объявлять универсальные алгоритмы невозможными.

DeWave использует обученную модель для кодирования сигналов ЭЭГ и взаимодействует с языковой моделью. По сообщению UTS, система может работать как с отслеживанием движения глаз, так и без него; камеры не являются обязательным условием её использования.

Исследователи отмечали ошибки при передаче существительных: модель могла выбирать семантически близкие слова. Это ограничение точности декодирования, а не доказательство намеренного сжатия смысла системой.

UTS сообщил о результате около 40% по метрике BLEU-1, оценивающей сходство полученного текста с эталоном. Этот показатель нельзя трактовать как вероятность правильного чтения любой мысли. Работа показывает исследовательский потенциал метода и сохраняющиеся ограничения.

Такое различие между результатом исследования и пригодной услугой важно и за пределами нейроинтерфейсов. На примере физической автоматизации оно разобрано в материале о роботах по подписке и проверке пилота.

Источник: Telegram LifeaaS

Первичный источник: UTS, описание эксперимента DeWave от 12 декабря 2023 года.