Новый ролик от Neuralink, демонстрирующий игру макаки в пинг-понг с использованием только силы мысли, вызвал большой интерес у зрителей. Однако, доктор наук из Стэнфордского университета, специализирующийся в нейрофизиологии, проанализировал эту демонстрацию с профессиональной точки зрения. По его мнению, она имеет большое значение и для научного сообщества.
Пол Нуюжукиан (Paul Nuyujukian) — доцент кафедры биоинженерных наук, нейрохирургии и электротехники Стэнфордского университета. В настоящее время он руководит лабораторией интерфейсов мозг-компьютер. За его плечами пятнадцать лет научного опыта в сфере нейроинтерфейсов, включая исследования, проводившиеся как на животных, так и на людях. Он также является квалифицированным врачом ( MD) и доктор наук (PhD).
В своем получасовом видео на ютьюб-канале лаборатории Нуюжукиан проанализировал недавний выпуск Neuralink. С позиции эксперта, занимающегося созданием и использованием нейроинтерфейсов, демонстрация успехов нового проекта Илона Маска представляется любопытной. Постараемся изложить основные моменты в виде краткого обзора.
Правила приличия
Учитывая, что Нуюжукиан уже давно работает в научной сфере, он начинает свое выступление с важного протокольного момента – обозначения возможных связей (или их отсутствия) с темой обсуждения. Это требуется для того, чтобы аудитория и коллеги осознавали, в какой степени ученый лично может быть подвержен когнитивным искажениям при вынесении суждений. Номинально к Neuralink он не имеет никакого отношения, никогда не работал на эту компанию, не оказывал консультационных услуг или иным образом не взаимодействовал с ней. И тем более стартап никогда не платил ему ранее или за публикацию этого видео.
Тем не менее, нейронауки — достаточно узкая область, поэтому многие знакомые и коллеги Нуюжукиана работают в этой сфере Neuralink. Как и Нуюжукиан, его советники, Кришна Шэнной и Джейми Хендерсон, работавшие с ним во время постдокторантуры, консультируют компанию на протяжении многих лет. Все они работают в Стэнфорде, однако их сотрудничество с компанией осуществляется в строгом соответствии с принципами профессиональной этики Neuralink коллег не посвящают.
По сути, у исследователя нет доступа к закрытой информации: все его выводы сформированы только на основе данных, которые стартап обнародовал в открытом доступе. Что касается рассматриваемого видео, то речь идет также о соответствующей записи в официальном блоге Neuralink. Ниже представленное является исключительно профессиональной оценкой Нуюжукиана, сотрудника лаборатории Стэнфордского университета.
Среда проведения эксперимента
С первых же секунд ролика специалист указывает на множество ценных деталей, которые легко заметить профессионалу. Так, рядовому зрителю может показаться, что обстановка вокруг макака Пейджера – это просто декорации. Однако, по словам ученого, она необходима для проведения эксперимента. Обезьяна устраивается на удобный насест, напоминающий толстую ветку, что является для нее привычным и знакомым, подобно естественной среде обитания. В то же время на стены вольера, где макаку предстоит играть на компьютере, проецируются джунгли.
Эти компоненты создают благоприятную обстановку, снижающую уровень стресса и способствующую эффективной работе животного. Люди и большинство устройств (за исключением экрана, джойстика и трубки, доставляющей вознаграждение – банановый смузи) расположены за пределами бокса и не отвлекают Пейджера ни шумами, ни своим видом. Макака выглядит спокойной и ведет себя вполне естественно.
Нуюжукиан, как обычно, предоставил более глубокие сведения, чем можно уловить при обычном просмотре видео. На представленном ролике запечатлен обыкновенный макак-резус – широко используемый модельный организм в нейронаучных исследованиях, с которым ученые имеют большой опыт работы. Значительная часть наших знаний об устройстве центральной нервной системы человека и приматов в целом была получена благодаря этим животным. Сам Нуюжукиан также имел опыт работы с макаками-резусами в своей практике.
Имплантация и подключение
В видео диктор указывает, что участок без шерсти на голове животного свидетельствует о недавней (примерно за шесть недель до записи) установке чипа. Нуюжукиан подчеркивает, что этот факт действительно впечатляет. Даже обладая значительным опытом работы с резусами, невозможно определить, что Пейджеру имплантировали. Такой незаметный дизайн импланта имеет большое значение для будущей клинической практики, связанной с установкой чипов людям. Традиционные нейроинтерфейсы, даже беспроводные, имеют крупные размеры. А наиболее часто используемые представляют собой толстый пучок проводов, выступающих из головы. Фактически Neuralink — это первый в своем роде полностью имплантируемый интерфейс мозг-компьютер, обладающий широкими возможностями.
Момент подключения чипа к смартфону по Bluetooth может показаться некой данью моде, работой на массовую аудиторию, привыкшую к зрелищным презентациям гаджетов. Однако, как отмечает Нуюжукиан, это скорее послание коллегам-нейрофизиологам. Использование протоколов — стандартных в IT-индустрии имеет большое значение. Это, например, указывает на то, что настройка, оптимизация и выявление ошибок в подобной системе будут легкими, понятными и удобными. Также, возможность получения данных о состоянии имплантата без применения специального оборудования позволит исследователям существенно сэкономить время.
Невиданный ранее масштаб информации и инновации для данной сферы
Специалист разъясняет отдельные технические аспекты Neuralink, представляющие собой поистине революционное решение по сравнению с имеющимися аналогами. В течение последних двадцати лет основным элементом нейроинтерфейсов являлся стандартный электродный массив, который называется Utah Electrode Array. Это волоконная матрица размером 10 на 10, обеспечивающая возможность считывания данных со ста каналов. Тем не менее, данная технология, зарекомендовавшая себя как надежная и стабильная, практически достигла предела своих возможностей. Устройства Neuralink состоят из четырех чипов с 16 нитями, на каждой из которых расположены 16 электродов. В сумме это дает 1024 канала для считывания электрических сигналов с головного мозга. Напомним, в голове Пейджера находится сразу два таких гаджета.
Дополнительное видео, размещенное стартапом в своем блоге, вызвало искреннее восхищение у Нуюжукиана. На нем показана визуализация силы сигналов, поступающих на каждый электрод, с привязкой к структуре мозга подопытного животного. Каждая колонна на трехмерном графике представляет собой нить с шестнадцатью контактами (сферами). Размер сферы отражает интенсивность сигнала, а ее цвет указывает на то, какое движение рукой макака вызвало активацию нейронов (направление). При этом специалисты Neuralink наглядно продемонстрировали: они точно знают положение каждого электрода в тканях.
Это необходимо для проведения более точного анализа работы различных отделов головного мозга. Как следствие, это позволит получить большой объем детальных данных, пригодных как для медицинских целей, так и для научных исследований. Нююжукиан пояснил, что на снимке, сделанном во время операции, отчетливо видно место имплантации устройства: это моторная кора, находящаяся рядом с центральной бороздой, которая видна в нижней части изображения.
В подтверждение своих слов Нуюжукиан предоставил обширную подборку научных публикаций, которые, вероятно, уже известны сотрудникам Neuralink. В них изложены различные типы нейроинтерфейсов и их составляющие, а также методы расшифровки сигналов. Это ценный перечень литературы для тех, кто стремится к глубокому изучению данной области. В частности, одна из статей, несомненно, использовалась стартапом, и ее автором является доктор наук из Стэнфордского университета. Она посвящена заданию, которое Пейджер выполняет в видео: выбор одного выделенного элемента из матрицы 6×6. Помимо значимости самого процесса выполнения задания, программа позволяет отслеживать объем информации, генерируемой испытуемым с помощью нейроинтерфейса (данные отображаются в правой части экрана).
Софт
Для Нуюжукиан настоящий праздник наступает, когда в ролике Neuralink камера фокусируется на программе, анализирующей сигналы, поступающие с имплантата. Для человека, не знакомого с деталями, это лишь интерфейс какой-то служебной программы, однако Нуюжукиан демонстрирует, какой именно объем информации специалист получает с этого кадра. Там показаны подробности о конструкции нейроинтерфейса и о том, как обрабатываются полученные данные:
- Согласно информации, содержащейся в заголовке окна и имени файла журнала сессии, запись была сделана в пятницу утром, 2 апреля. Видео было размещено в течение недели после этого, что говорит о стремлении компании оперативно представить свои результаты;
- В верхней части окна, непосредственно под заголовком, располагается техническая информация. Она включает в себя название чипа, выбранного оператором (одного из четырех, присутствующих в каждом импланте Neuralink) и пункт streaming замазаны, но остальное различимо. Аппаратный адрес ( MAC) беспроводного модуля и версия прошивки не содержат полезной информации, а статус настроек спящего режима и выход из режима ожидания вызывают лишь интерес. Привлекает внимание то, что производители добавили в устройство датчики температуры и влажности. А вот остальные пункты представляют наибольший интерес;
- В процессе съемки видеозаписи зарядное устройство не функционировало ( Charging — -64 пикоампера, зафиксированные на индуктивной катушке, и подключено к компьютеру через беспроводное соединение ( RSSI — мощность радиосигнала). Напряжение батареи приблизительно равнялось 3,7 вольта, что позволяет предположить использование литий-ионного аккумулятора. Оценивая текущий уровень потребления энергии, составляющий 17,3 миллиампера, Нуюжукиан предполагает, что общая потребляемая мощность электроники импланта составляет около 64 милливатта. По его мнению, это весьма неплохой показатель, свидетельствующий о высокой энергоэффективности устройства;
- Отдельно зафиксирован объем пакетов данных, утерянных в процессе передачи ( drops);
- Представленная ниже черно-белая полоса – это растровое отображение сигналов мозговой активности, получаемых с чипа. Вертикальная ось соответствует каналам, горизонтальная – времени, измеренному с интервалом в 25 миллисекунд. Информация была нормализована, чтобы избежать подавления близлежащих каналов сильными сигналами;
- Существует возможность прослушать выбранный канал. Это увлекательная и достаточно распространенная методика в нейрофизиологии, заключающаяся в преобразовании сигналов, полученных от головного мозга испытуемого, в звуковую форму. Восприятие информации человеком отличается при визуальном и слуховом каналах, что делает такой подход потенциально ценным;
- В нижней части дисплея расположены элементы управления, отвечающие за прием, запись и обработку сигналов. Пользователь может выбирать различные режимы работы, такие как пики активности или фиксация изменений сопротивления, и сохранять конфигурации отдельных каналов;
- Анализ логов показал, что во время записи видео данные поступали пакетами каждые 10 секунд, и каждый пакет содержал информацию, собранную с отдельных каналов за этот период;
- Учитывая наличие потерь в соединении, на транспортном уровне применялся соответствующий протокол UDP, а данные упаковывали с помощью библиотеки ZMQ. Принимая во внимание энергозатраты и небольшие габариты, специалисты остановились на определенной технической характеристике Bluetooth 2.1 с пропускной способностью до двух мегабит в секунду (возможно, и третью версию, но маловероятно). Это простое, изящное решение, основанное на хорошо известных и широко применяющихся технологиях. Иными словами, так делают почти все разработчики нейроинтерфейсов.
Свой обзор программного обеспечения Neuralink По мнению Нуюжукиана, разработанная система представляет собой интересный, сложный и передовой продукт. Она потенциально способна предложить обширный набор функций для разнообразных задач.
Упражнение с квадратами, пинг-понг и выводы
Нуюжукиан обращает внимание на деталь, которую диктор не упомянул: Пейджер перемещает курсор по выделенному квадрату, хотя джойстик уже не подключен к компьютеру. По мнению ученого, это важный аспект Neuralink умолчали о разнице в обработке сигналов во время калибровки и при выполнении упражнения обезьяной. Это никак не отражается на сути эксперимента — просто любопытная техническая подробность. Когда макак во время калибровки системы управляет курсором при помощи джойстика, выбор квадрата определяется задержкой указателя на нем. А после отключения устройства ввода, когда курсор двигается на основании данных, полученных через нейроинтерфейс, имитируется клик по цели. Судя по всему, декодер сигналов был настроен так для повышения надежности работы.
Пол отдельно отмечает показатель битрейта, расположенный сбоку от игрового поля. Он утверждает, что эти значения вполне стандартны и соответствуют показателям других нейроинтерфейсов, что говорит о том, что Пейджер успешно выполняет поставленную задачу, подобно испытуемым в схожих исследованиях. Тем не менее, ученый полагает, что алгоритмы Neuralink явно еще не оптимизированы, так что производительность будет существенно выше. Игра в пинг-понг с инженерной точки зрения гораздо проще выбора квадратов. Тут нужно отслеживать всего одно измерение, а не три ( x, y и «клик»). С другой стороны, для животного понять принципы такого задания может быть поначалу непросто. Но Нуюжукиан знает, зачем Neuralink включила в ролик этот фрагмент: он хорошо запоминается и производит впечатление на самую широкую публику.
Нуюжукиан завершил импровизированную лекцию на оптимистичной ноте и выразил надежду на дальнейшие действия команды Neuralink, а по его мнению, компания уже готова к проведению клинических испытаний технологии. На основании того, что Пол увидел и изучил в открытых источниках, стартап либо интенсивно собирает, либо уже собрал все требуемые документы для получения разрешения на использование импланта в клинической практике от Управления по контролю за качеством пищевых продуктов и медикаментов США ( FDA). Возможно, устройства получат первые пациенты, страдающие параличом Neuralink в течение года или двух.
Для эксперта эта презентация достижений произвела сильное впечатление. Компания продемонстрировала, что впервые за два десятилетия разработано принципиально новое оборудование для регистрации мозговой активности. Оно отличается в десять раз большей производительностью и прошло успешные испытания на приматах. Фактически, нейрофизиологи получили первый компактный, беспроводной и многофункциональный интерфейс мозг-компьютер. Это весьма перспективное достижение как для науки, так и для медицины.