Исследователи разработали инструмент на основе искусственного интеллекта, способный читать мысли и переводить их в текст. Технология основана на двух различных моделях ИИ. Первая анализирует электрические сигналы мозга, а вторая переводит их в текст. Устройство еще не полностью разработано, но его надежность преобразования поразительна для прототипа: более 60 %.
Электрические сигналы постоянно генерируются в мозге в результате активности нейронов, когда мы думаем, двигаемся или спим. Благодаря последним достижениям в технологиях чтения мозга эти сигналы теперь могут быть интерпретированы с определенной точностью.
Эти передовые технологии используются некоторыми нейротехнологическими стартапами, такими как Neuralink, одна из целей которых — помочь парализованным людям общаться или управлять электронными устройствами с помощью мысли. Однако, несмотря на многообещающие перспективы, устройство Neuralink сопряжено с рядом рисков: для правильного считывания сигналов требуется хирургическое вмешательство для имплантации электродов непосредственно в ткани мозга.
Недавно исследователи разработали неинвазивную систему, которая полностью исключает необходимость хирургического вмешательства. Сотрудники Сиднейского технологического университета (UTS), а точнее, отделения искусственного интеллекта, ориентированного на человека (GrapheneX-UTS), разработали устройство, переводящее мысли в текст. Оно было представлено на конференции NeurIPS, посвященной достижениям в области искусственного интеллекта, в Луизиане.
Две модели ИИ для чтения ваших мыслей…
Чтобы разработать новое устройство, команда сначала провела эксперимент с 29 участниками, которых попросили прочитать отрывки текста. Во время чтения на них надевали специальное оборудование, которое регистрировало электрическую активность мозга. Эта активность мозга измерялась с помощью обычного прибора, называемого электроэнцефалограммой (ЭЭГ). Этот метод предполагает использование датчиков, размещаемых на коже головы, которые регистрируют электрические сигналы, производимые мозгом. Сигналы, записанные ЭЭГ, затем передавались в модель искусственного интеллекта под названием DeWave.
Во время обучения DeWave получал множество сигналов, каждый из которых ассоциировался с определенными словами или фразами. Таким образом, каждое слово или фраза генерирует свой сигнал.
После того как DeWave «научился понимать» сигналы мозга, его подключили к открытой модели большого языка (LLM). Эта вторая модель ИИ выступает в роли своеобразного «мозгового писателя», который формулирует связные и осмысленные предложения на основе исходной информации, полученной от первой модели. LLM не только генерирует отдельные слова на основе сигналов мозга, но и строит полноценные предложения, учитывая контекст и языковую структуру.
Точность до 60 %
Первоначально точность системы составляла около 40 %, то есть при преобразовании мыслей в текст около 40 % сгенерированных слов или предложений правильно соответствовали тому, о чем думали (читали) участники. Однако команда отметила, что текущие исследования уже привели к улучшению ситуации, в частности к достижению эффективности более 60 %.
Очевидно, что для практического применения этой технологии необходима еще большая надежность. Исследователи надеются, что со временем их система поможет людям, потерявшим речь (в том числе страдающим от последствий инсульта), снова общаться. Для этих людей такая технология станет новым средством самовыражения.
Система также может найти применение в робототехнике. Технология может предложить более естественный и интуитивно понятный интерфейс, преодолевающий разрыв между человеком и машиной, в частности, через интерфейсы, в которых инструкции/команды передаются мысленно.