Специалисты из научно-исследовательского центра по искусственному интеллекту МГУ разработали методику, позволяющую большим языковым моделям корректировать неточности нейроинтерфейсов и ускорять процесс взаимодействия. Информация об исследовании опубликована на платформе bioRxiv.
Ученые разработали инновационную методику, направленную на повышение эффективности нейроинтерфейсов «мозг-компьютер» (BCI), используемых для текстового ввода людьми, испытывающими серьезные трудности с речью и моторикой. Ключевым элементом этой методики является применение крупных языковых моделей (LLM), подобных ChatGPT, в конструкции P300-спеллера.
P300-спеллер – это приспособление, с помощью которого пользователь может вводить текст, фокусируясь на последовательно появляющихся символах на дисплее. Устройство фиксирует специфический электрический импульс головного мозга (P300-компонент) и, основываясь на нём, определяет выбранные буквы. Хотя эти системы отличаются надёжностью, их скорость работы невелика – как правило, 1–2 слова в минуту, поскольку для обеспечения высокой точности необходимо длительное сосредоточение внимания на каждом символе.
Михаил Лебедев, профессор, научный сотрудник Центра ИИ МГУ: «В рамках данной работы был разработан принцип объединения спеллера P300 с большой языковой моделью. Для преобразования данных ЭЭГ в текст и визуальной обратной связи, отображающей распознаваемые буквы, применяются нейросетевые алгоритмы. Большая языковая модель выполняет не только коррекцию ошибок, но и прогнозирование последующих слов, предоставляя их пользователю в качестве предложений».
Разработанный метод основан на корректировке способа ввода текста. Вместо стремления к безошибочному распознаванию отдельных символов, специалисты допускают наличие опечаток на уровне слов и передают предварительный, необработанный текст языковой модели. Большая языковая модель анализирует контекст предложения и автоматически устраняет допущенные ошибки.
В ходе исследования специалисты применили информацию, полученную в предыдущем эксперименте с добровольцами, где фиксировалась активность мозга (ЭЭГ) при наборе текста с использованием технологии P300-спеллера. На основе этих данных была воспроизведена ситуация быстрого ввода, что приводило к снижению точности распознавания символов. После этого полученные неточные текстовые фрагменты были проанализированы тремя языковыми моделями: ChatGPT, DeepSeek и Grok.
Анализ продемонстрировал, что все три модели смогли корректно восстановить первоначальный смысл предложений. К примеру, предложение, содержащее ошибки:
«Он умыл руки свежей водой».
Авторы полагают, что сочетание нейроинтерфейса и языковой модели существенно ускоряет процесс коммуникации, одновременно уменьшая зависимость от безошибочного распознавания каждого символа. Дополнительно, использование больших языковых моделей расширяет возможности нейроинтерфейса, давая системе возможность не только распознавать текст, но и вносить коррективы в формулировки с учетом контекста.
Учёные отмечают, что разработанный метод может быть использован не только при работе с P300-спеллерами, но и с более скоростными нейроинтерфейсами, использующими зрительно вызванные потенциалы (SSVEP), а в будущем – и с инновационными инвазивными BCI.
В перспективе такие комбинированные системы смогут применяться не только для ввода текста, но и для контроля над системами «умного дома», интернет-сервисами и техническими приборами, а также для более детального определения эмоционального состояния человека.
Исследования демонстрируют, что интеграция нейротехнологий и современных языковых моделей способна улучшить взаимодействие для людей, страдающих от выраженных нарушений моторики и речи.
В опубликованном исследовании авторы указывают на его экспериментальный статус и необходимость дополнительной оценки эффективности в реальных клинических практиках и прикладных задачах.
Информация предоставлена пресс-службой МГУ