Нидерландские и южнокорейские физики разработали искусственный синапс, имитирующий работу биологических аналогов. Эти последние, как известно, используют для выполнения вычислений среду, по сути, представляющую собой раствор соли.
«Естественный синапс представляет собой область соприкосновения нейрона (или нейронов) и клетки, принимающей сигнал — эффекторной клетке (например, мышечной). Искусственный синапс на данный момент воспроизводит лишь принципы его функционирования.
Технически устройство, описанное в новой статье в PNAS, микроканал конической формы служит для пропуска ионов из раствора при поступлении электрического импульса. Это приводит к изменению заряда на противоположных сторонах канала. При этом характеристики импульса непосредственно определяют величину разности потенциалов. Фактически, это достаточно точная модель фундаментального механизма передачи нервных импульсов.
Несмотря на свою относительную достоверность, данное решение далеко не безупречно. Во-первых, скорость его работы оставляет желать лучшего: частота передачи сигналов в ходе эксперимента составила всего 1,7 в минуту. Во-вторых, с точки зрения биологических принципов, устройство получилось весьма громоздким: размеры конуса достигают 150 на 200 микрометров. Для сравнения, диаметр «биологического» синапса составляет всего 1-2 микрометра и менее. Таким образом, разница в размерах оценивается примерно в сотню раз. Впрочем, первый транзистор отличался от современных не в 100 раз, а в 200 миллионов раз.
Размеры современных транзисторов на несколько порядков меньше, чем у корейско-голландского аналога, что ставит под сомнение целесообразность дальнейших исследований. Однако, создание биологически совместимых вычислительных систем, практически идеально интегрированных с живыми организмами, является весомым аргументом в пользу продолжения работы. Подобное устройство потенциально способно не только обмениваться сигналами с нейронами, используя «естественные» методы, но и функционировать в естественной среде.
На практике применение «биоморфных» технологий значительно шире. Рассмотрим классический компьютер, созданный на основе кремниевых транзисторов архитектуре фон Неймана.
Транзистор обладает всего тремя контактами. Через один из них подается управляющий сигнал, а два других передают окружающим одним из возможных вариантов ответа – либо ток проходит через транзистор, либо нет. Легко понять, что это неизбежно приводит к определенным сложностям. В частности, для реализации задач требующей хоть какой-то степени сложности, необходимо большое количество транзисторов. При этом энергопотребление и нагрев возрастают пропорционально их количеству.
Решение этой задачи возникло само собой – необходимо было уменьшить размеры. Но современные кремниевые транзисторы приблизились к физическому ограничению их миниатюризации. Даже переход на новые материалы вряд ли позволит существенно сдвинуть этот предел.
Второй недостаток заключается в том, что транзисторные схемы способны выполнять задачи исключительно линейно, что существенно снижает скорость вычислений. Другими словами, дальнейшее миниатюризация не приводит к оптимальному повышению эффективности.
Классические транзисторы не способны сохранять информацию, что обуславливает необходимость использования внешней памяти. Данная память должна быть загружена повторно при каждом обращении, что является энергозатратным и требует значительных вычислительных ресурсов. Кроме того, скорость доступа к памяти в каждый момент времени ограничена пропускной способностью канала.
По сути, традиционный компьютер разработан таким образом, что он потребляет значительное количество энергии и выделяет тепло, при этом его производительность невысока.
В результате обработки каждого запроса в ChatGPT требуется около 2,5 киловатт-часа электроэнергии, что в совокупности равно энергопотреблению города с населением 17 тысяч человек. Кроме того, ежегодно на охлаждение необходимо 2 тысячи тонн воды.
В настоящее время мы наблюдаем лишь начало активного распространения нейросетей, чьи потребности будут расти. По прогнозам, к 2027 году их развитие приведет к триллионам запросов и энергопотреблению, сопоставимому с объемом потребления Нидерландов или Аргентины.
По сути, применение классических методов делает невозможным создание автономных роботов, обладающих функционалом, аналогичным чат-ботам. Причина не только в их физических размерах, но и в том, что для полноценной обработки визуальных данных потребуется значительный объем вычислительных ресурсов.
Количество нейронов у взрослого мужчины приблизительно вдвое меньше, чем число искусственных нейронов в ChatGPT. В стандартном режиме ChatGPT потребляет около 0,03 киловатт-часа электроэнергии в сутки, а на все остальные процессы расходуется еще около 0,07 киловатт-часа. Таким образом, суточный расход энергии мозгом составляет примерно в 83 раза меньше, чем затраты на обработку одного запроса нейросетью.
Основополагающую роль в данном случае играет принципиально иная организация нейронов. Они, к примеру, в среднем содержат около пяти тысяч связей и представляют собой весьма приблизительный аналог не транзисторов, а мемристоров, они обладают способностью не только обрабатывать, но и сохранять информацию. Это, очевидно, уменьшает количество рабочих компонентов, необходимых для решения поставленной задачи. При этом энергопотребление на один биологический «псевдотранзистор», включая передачу сигнала, также значительно ниже — в тысячи раз.
Для создания «процессора» с минимальным потреблением энергии необходимо будет воспроизвести широкий набор биологических приемов. Использование замедленной, но энергоэффективной передачи сигнала для поддержания его работы при крайне низком энергопотреблении часто может быть оправданным компромиссом.