От мысли к слову: в ЮФУ разработали базу для распознавания внутренней речи

Учёные научно‑исследовательского технологического центра нейротехнологий ЮФУ создали открытую базу данных сигналов мозга, которые возникают при мысленном произнесении простых слов. Это шаг к технологиям, способным возвращать голос людям, лишённым возможности говорить и двигаться, — например, пациентам с боковым амиотрофическим склерозом или синдромом изоляции.

В эксперименте участвовали 22 добровольца — 12 русскоязычных и 10 испаноязычных. Им предлагалось произносить вслух и мысленно шесть слов‑команд: «вверх», «вниз», «влево», «вправо», «вперёд», «назад». Оказалось, что даже при мысленном проговаривании мозг генерирует устойчивые и уникальные паттерны активности, фиксируемые обычной ЭЭГ‑шапочкой с датчиками. Алгоритмы машинного обучения распознают эти сигналы с точностью до 78 %.

Ведущий научный сотрудник НИТЦ нейротехнологий ЮФУ Дмитрий Шапошников поясняет: «Наша цель — создать инструмент для разработки алгоритмов, способных распознавать внутреннюю речь. Такие технологии необходимы людям, которые не могут говорить или двигаться: они дадут возможность управлять техникой, печатать тексты и взаимодействовать с виртуальной реальностью силой мысли».

Главный результат работы — открытая двуязычная база данных на платформе Zenodo, доступная любому исследователю. Двуязычный формат позволяет изучать, как мозг обрабатывает речь на разных языках, и создавать универсальные алгоритмы, не зависящие от родного языка пользователя.


Текущая точность распознавания — около 78 %, что уже считается достойным показателем для задачи расшифровки мысленной речи. В ближайших планах — расширить словарь с шести команд до нескольких десятков слов и поднять точность до 90–95 % за счёт более совершенных методов анализа ЭЭГ и продвинутых алгоритмов ИИ.

В долгосрочной перспективе такие системы могут стать надёжным каналом коммуникации для людей, перенёсших инсульт, тяжёлую травму или страдающих нейродегенеративными заболеваниями: достаточно будет подумать нужное слово, чтобы напечатать текст, управлять компьютером или инвалидной коляской.

Результаты исследования опубликованы в журнале Scientific Data — престижном международном издании из линейки Nature. Работа выполнена при поддержке программы стратегического академического лидерства ЮФУ «Приоритет‑2030» (нацпроект «Молодёжь и дети»).