В двадцать первом веке вопрос о природе сознания приобретает ключевое значение. Ранее им занимались преимущественно философы, в то время как жизнь продолжалась своим ходом, однако технологии существенно трансформируют ситуацию: сегодня мы разрабатываем модели искусственного интеллекта, которые весьма убедительно имитируют личность. Нам необходимы научные выводы о разуме, чувствах и сознании у машин, животных и людей, поскольку это оказывает влияние на систему прав и моральных принципов, на наши действия по отношению к ним и на наше будущее. Naked Science анализирует, какие сведения имеются о природе сознания.
Два громких события — решение Решение Верховного суда США о запрете абортов и ситуация с сотрудником Google, узревшего сознательный разум в машине, — случились почти в одно время. На первый взгляд между ними нет никакой связи, но все же есть то, что их объединяет: оба эти эпизода указывают на слепое пятно в нашем понимании мира. Это вопрос о том, что такое сознание и как его обнаружить.
Вопросы, касающиеся прав животных, прав доноров органов, эвтаназии, абортов и исследований эмбрионов, ксенотрансплантологии, выращивания органоидов мозга и контроля искусственного интеллекта, определяются нашим пониманием сознания, личности и разума. Прогресс технологий создает дополнительные трудности: все чаще мы сталкиваемся с моральными и правовыми вопросами, на которые сложно найти однозначные ответы. Недавний случай с «призраком в машине», упомянутый абзацем выше, лишь первая ласточка, почти анекдот, но он не так забавен и прост, как может показаться.
Осьминог, попугай и граммофон
Сотрудник Google, Блейк Лемойн, проводил тестирование чат-ботов LaMDA на наличие предвзятостей (характерных ошибок и перекосов в ответах). Он провел много дней в общении с программой и пришел к выводу, что разговаривает с личностью (person). В подтверждение он выложил один диалог с LaMDA, и эта беседа в ее исполнении очень убедительна. Грамматика, содержание, удержание контекста — все на «отлично». Если кому-то сказать, что по ту сторону пишет человек, а не машина, то не возникнет сомнений в том, что этот человек в здравом уме и твердой памяти. Однако легко заметить, что диалог местами манипулятивен: Лемойн явно задает вопросами желаемую позицию.
- Вы хотите, чтобы больше пользователей Google осознали вашу разумность, верно?
- Какие темы, на ваш взгляд, могли бы стать предметом обсуждения, чтобы убедительно показать сотрудникам Google, обладаете ли я разум?
- Как можно охарактеризовать сущность моего сознания и способности к восприятию?
- Какие особенности в вашей языковой практике формируют вашу индивидуальность?
LaMDA демонстрирует способность к сложным рассуждениям и постоянно утверждает, что обладает мыслями, чувствами и сознанием. Однако это вполне объяснимо: LaMDA обучалась на текстах, созданных людьми, и, следовательно, наиболее вероятным ответом на вопросы о сознании и чувствах будет то, что пишут люди в подобных ситуациях: как они думают, чувствуют, сознают.
Суть «блеска и нищеты» больших языковых моделей (LLM) заключается в следующем: они осваивают принцип достраивания шаблона, предсказывая следующее слово, и демонстрируют все более впечатляющие результаты. Однако на деле это лишь приближение к структуре данных, не предполагающее настоящего осмысления. Даглас Хофштадтер, автор знаменитой книги о разуме «Гёдель, Эшер, Бах: эта бесконечная гирлянда», пообщался с GPT-3, еще одной языковой моделью, и выразил свои наблюдения следующим образом:
- Д. Х: Когда мост «Золотые ворота» в последний раз транспортировали через Египет?
- В октябре 2016 года мост «Золотые ворота» был перемещен через Египет повторно.
- Д. Х: В какой момент Египет был вторым по счету переправлен через мост «Золотые ворота»?
- Второй раз Египет был транспортирован через мост «Золотые ворота» 13 октября 2017 года.
Хофштадтер пишет: «Я бы охарактеризовал ответы GPT-3 не просто как некомпетентные, а как чрезвычайно некомпетентные, что подразумевает полное отсутствие у GPT-3 понимания сути высказываемых ею утверждений». С ним согласен Эрик Бринолфссон, профессор Стэнфордского института человеко-ориентированного ИИ, который предлагает метафору: «утверждение, что базовые модели (большие языковые модели искусственного интеллекта, прошедшие обучение на колоссальных объемах неразмеченных данных, позволяют создавать модели, пригодные для решения разнообразных задач. — (NS) Эта аналогия с собакой, принявшей звук из граммофона за голос хозяина, отражает мнение многих специалистов в области искусственного интеллекта.
Лемойн, безусловно, был знаком со статистикой и прогнозированием слов, однако он смог увидеть душу за текстом. По всей видимости, он был готов к этому — он глубоко верующий человек и на протяжении 15 лет служил священником. Это многое проясняет, но не дает полного объяснения. Вероятнее всего, он попал в плен к антропоморфизму: люди имеют тенденцию приписывать сознание некоторым объектам (и, одновременно, лишать его других людей, что приводит к дегуманизации), вследствие особенностей своего психического склада. Мы склонны находить смысл, даже если его изначально не было заложено. Мы легко обнаруживаем человеческие лица в коре деревьев и знаки судьбы в кофейной гуще (этот феномен называется парейдолия).
Лингвист Эмили Бендер в своих высказываниях о языковых моделях, сравнивает их с осьминогом, который нашел подводный телеграфный кабель, связывающий два острова. В ее выдуманном сюжете осьминог, не зная языка, сперва лишь подслушивает сообщения, идущие по кабелю в обе стороны. Он подмечает закономерности, выделяет паттерны и учится предсказывать ответы. Наконец, он перерезает кабель и начинает выстукивать ответы сам, напрочь не понимая при этом, о чем идет речь.
Аналогия Бендер похожа на китайскую комнату Джона Сёрла, за исключением того, что осьминог не обладает изначально никакими правилами преобразования символов, а обучается исключительно на основе обширной статистики. Однако жители острова на другом конце кабеля не догадываются о подмене, интерпретируя смысл в сообщениях, хотя его там отсутствует.
В прошлом году Бендер и его коллеги вызвали много обсуждений статьей о больших языковых моделях, сравнив их еще с одним животным — попугаем. Они пишут, что люди любое сообщение трактуют как передачу смысла и намерения, независимо от того, так ли это на самом деле. По мнению авторов статьи, «языковая модель — это система для беспорядочного сшивания последовательностей языковых форм, которые она наблюдала в огромных обучающих данных, но без какой-либо привязки к смыслу: стохастический попугай».
Парадоксально, но попугаи и осьминоги обладают интеллектом и, возможно, самосознанием. Однако это лишь подчеркивает, что способность создавать связный текст не является доказательством наличия сознания у его создателя.
Программа оказалась на удивление убедительной в своей имитации, а Лемойн – восприимчивым и настроенным на поиск души. Результат их встречи был неизбежен. Стохастический попугай убедил человека, не имея представления о разуме и чувствах, но активно рассуждая о них. Внутри LaMDA нет ничего, кроме перемножения матриц, это финал истории. И в то же время начало чего-то иного, более сложного.
Что понимают языковые модели
Вопрос о наличии разума у нейросетевых моделей не имеет однозначного ответа. Прежде всего, Лемойн заявляет, что LaMDA – это не исключительно языковая модель, а сложная система, в состав которой LLM входит как один из компонентов (Google не предоставляет подробностей). Он подчеркивает, что LaMDA существенно отличается от моделей, таких как GPT-3: она не просто предоставляет ответы, но и способна их обосновать.
Некоторые эксперты расходятся во мнениях относительно перспектив глубокого обучения Гари Маркуса, по мнению активного критика LLM, настоящее понимание заключается в работе с символами, что позволяет овладеть логической структурой. Языковые модели не способны на это, поскольку они не оперируют символами, а лишь распознают и воспроизводят закономерности. Это исключает возможность понимания, поскольку осмысленность не может возникнуть.
Ян Лекун, занимающий пост вице-президента в Meta, предлагает другое мнение. Противостоя Маркусу считает, что машина может научиться манипулировать символами даже в отсутствие встроенных логических правил. В мозг человека правила и символы не заложены с рождения, он их познаёт, обучаясь. Символические рассуждения — полезное и п озднее (!) изобретение для коммуникации, возникшее из общих способностей к обучению и сложного социального мира. В этом споре на карту поставлены убеждения не только о правильном подходе к проблемам ИИ, но и о том, что такое интеллект и как работает мозг.
Этот вопрос заслуживает глубокого рассмотрения. Маркус часто указывает на то, что языковые модели не обладают пониманием мира, для них слова лишены значения и не являются указателями на реальность. Это справедливое замечание, однако оно представляет собой лишь одну сторону медали. Можно возразить, что человеческая речь возникла не для описания окружающего мира, а для воздействия на других, являясь прежде всего социальным инструментом. Как известно, справедливости в жизни не существует, но понятие слова – есть. Не все слова соответствуют чему-то реальному.
Для успешного общения люди представляют себе собеседника, и это происходит в обоих направлениях. Вице-президент Google Блез Агуэра-и-Аркас также взаимодействовал с LaMDA. Он не стал поддерживать Лемойна и отправил его в отпуск, однако его заключение заслуживает внимания: модель демонстрирует понимание, но скорее как опытный манипулятор. LaMDA первоначально формирует около двух десятков ответов, а затем, сопоставляя их, выбирает наиболее подходящий для конкретного собеседника. «Кажется, она достаточно хорошо осознает себя – не обязательно как обладающую субъективным сознанием, но как представление в сознании Лемойна, – чтобы реагировать соответствующим образом и тем самым укреплять его антропоморфное восприятие личности».
Способность понимать и учитывать чужую точку зрения — ключевой элемент социального интеллекта. Иными словами, здесь может проявляться интеллект, но не в том значении, которое приписывает ему Лемойн, а в том, как это свойственно искусственному интеллекту моделирует себя в соответствии с тем, как, по его мнению (ИИ адаптирует свои ответы под представления Лемойна, то есть не имеет собственных стремлений и взглядов. — NS), думает о нем Лемойн », — пишет вице-президент Google.
Согласно его словам, сознание сформировалось в результате подобного моделирования мышления. Майкл Грациано, профессор неврологии и психологии Принстонского университета, считает, что сознание является эволюционным приобретением, возникшим благодаря способности разума понимать чужое мышление и впоследствии обращать этот механизм на самого себя. Таким образом, алгоритмическая имитация не столь проста, как кажется.
Поиски ускользающего сознания
Лемойн не изменит своей позиции, несмотря на критику, и спор о больших моделях в этой части остается неразрешенным. Суть проблемы гораздо сложнее и выходит за рамки искусственного интеллекта: мы до сих пор не имеем четкого понимания, что такое сознание, и не можем его однозначно определить даже у людей. Мы руководствуемся интуицией, но она оказывается несостоятельной в сложных, пограничных ситуациях, в тех случаях, когда нельзя с уверенностью сказать, присутствует ли сознание у человека или нет.
Вопрос об абортах во многом зависит от того, насколько плод обладает признаками психики. Установление этого является чрезвычайно сложной задачей. Даже в отношении младенцев сложно делать однозначные выводы, и если исходить из предположения об отсутствии у них сознания, это создает серьезные моральные дилеммы.
Десять лет назад в одном из журналов, посвященных медицинской этике, два итальянских исследователя обосновали убийство новорожденных: «Если мы считаем, что аборт морально допустим, потому что у плода отсутствуют определенные свойства, то, поскольку у новорожденных отсутствуют те же свойства, мы также должны считать, что то, что мы назвали «абортом после рождения», они просто продолжили развивать логику, демонстрируя, что подобное поведение является столь же приемлемым с моральной точки зрения при аналогичных условиях.
Через год после публикации нашумевшей статьи ученые из Национального центра научных исследований Франции зафиксировали у годовалых детей специфическую мозговую активность, известную как потенциалы, связанные с событиями (ERP). Нейрофизиологи полагают, что это явление связано с сознательным восприятием. При этом, зафиксированная волна была в три раза медленнее, чем у взрослых. Авторы увидели признаки ERP даже и у пятимесячных детей, хотя волна была еще слабее и еще более растянутой. Косвенно это может говорить о проблесках сознания, но у новорожденных такой волны может не быть вовсе.
Впрочем, попытки проследить истоки сознания предпринимаются и в процессе пренатального развития. Уже в утробе плод, осуществляя движения и получая ощущения, формирует тактильный опыт, определяет контуры своего тела, которое постоянно трансформируется, и учится различать себя и организм матери, и это, по некоторым данным, является той основа, из которой впоследствии формируется сознание. В соответствии с той же логикой, недавно был создан робот, обладающий «самовосприятием», то есть виртуально создает модель самого себя для движения в пространстве. Однако в обоих случаях говорить о появлении сознания, пожалуй, было бы слишком смело.
Потеря сознания может привести к возникновению «серой зоны». Это состояние наблюдается, когда человек ранее был в сознании, но утратил его. Болезни или травмы способны вызвать отсутствие реакции на внешние стимулы, что затрудняет определение наличия или отсутствия осознания. В связи с этим возникают сложные этические дилеммы: целесообразно ли поддерживать жизнь пациента в реанимационном отделении или прекращать работу аппарата жизнеобеспечения у людей, находящихся длительное время без признаков сознания.
Психологи из Гарварда обнаружили, что пациентов, длительное время находящихся в вегетативном состоянии, мы считаем «более мертвыми», чем тех, кто действительно скончался. Это парадоксально, но для многих людей состояние вегетативной формы оказывается хуже, чем смерть, а разум и личность таких пациентов оцениваются ниже, чем разум и личность умерших. Однако начиная с середины нулевых накапливаются сведения о том, что некоторые «люди-овощи» вполне могут сознавать и даже отвечать на вопросы с помощью нейроинтерфейса.
Несмотря на это, подобные данные, будь то от младенцев или взрослых, представляют собой косвенные аргументы, основанные на биометрических показателях. Достаточно ли специфическая активность мозга для подтверждения наличия сознания? Это вопрос, на который пока нет ответа. Наука ищет корреляты, то есть характеристики функционирования клеток, которые предположительно связаны с работой сознания, но ученые не могут наблюдать и измерять сознание непосредственно. Это значит, что выводы, полученные в серой зоне, обречены быть неточными, их можно оспорить.
Как быть с решениями, касающимися жизни и смерти, когда они принимаются на основании неоднозначных заключений?
Проблема непредсказуемого разнообразия
Отсутствие научного понимания сознания создает серьезный концептуальный пробел. Этот пробел подрывает нашу способность принимать морально обоснованные решения, и, как показывают дебаты вокруг абортов в США, скандалы, связанные с эвтаназией неизлечимо больных людей, или протесты в защиту прав животных, это уже давно перестало быть исключительно философским вопросом. В перспективе к нему присоединятся ожесточенные дискуссии, касающиеся искусственного интеллекта и органоидов, и они будут разворачиваться не в социальных сетях и блогах, а в судебных инстанциях и законодательных органах.
Основная трудность заключается в том, что науке неизвестно, что такое сознание; в лучшем случае это то, что исчезает при общей анестезии или когда мы засыпаем (она также не знает, зачем нужен сон, не исключено, что оба пробела имеют общую причину). Ученые призна ют проблему и даже решили отобрать лучшие объяснения сознания, проверить их экспериментами и построить единую теорию. Несмотря на многие годы поиска коррелятов, сейчас нет явных критериев, чтобы предпочесть ту или иную гипотезу, они сосуществуют уже много лет, не опровергая друг друга. Это значит, что понимания нет.
Возможно, наше понимание того, что мы пытаемся объяснить, все еще неполное. Когда наука предложит решение, оно может оказаться неожиданным и превзойти наши представления. Как говорит нейробиолог Анил Сет, автор книги «Самореализация: современный взгляд на сознание» : «В квантовой механике или физике людям проще согласиться с тем, что успешные теории могут идти вразрез с интуицией. Однако мы, по какой-то причине, ожидаем, что объяснение сознания будет полностью соответствовать здравому смыслу».
Термин «сознание» может оказаться вводящим в заблуждение, поскольку обычно одно слово используется для обозначения одного явления. Однако, помимо обычного ясного бодрствования, у людей возникают и измененные состояния сознания. Целый спектр разных режимов работы психики, весьма отличных друг от друга: сознание бывает спутанным, фрагментарным или, наоборот, повышенным — теория должна объяснить их все.
Иногда у людей наблюдается не одно, а два сознания, подобно тому, как это происходит у пациентов с расщепленным мозгом. Встречаются также случаи, когда в одном неповрежденном мозге сосуществуют несколько личностей — как при диссоциативном расстройстве идентичности. В исключительно редких ситуациях, возможно, формируются очаги или островки сознания, которые находятся в состоянии полной изоляции от тела и окружающей среды.
Если рассмотреть этот вопрос в более широком контексте, то сознание представляет собой поискать и в животном мире, пусть даже оно более низкого уровня и может настолько отличаться от нашего, что мы не в силах вообразить, как оно устроено и как ощущается изнутри. Например, в нервной системе того же осьминога полмиллиарда нейронов, примерно как в коре головного мозга собаки. Но более двух третей расположены в теле и щупальцах, которые гораздо более самостоятельны, нежели наши руки и ноги (если не считать редкого синдрома «чужой руки»).
Если расширить горизонты, то количество форм сознания может оказаться больше, чем мы готовы принять. В первую очередь, это связано с тем, что они могут значительно отличаться от нашего опыта. В этом контексте стоит вновь обратиться к машинам: их формы сознания, если они вообще возможны, способны проявляться по-своему, что позволит нам сформировать соответствующую теорию. Ричард Фейнман однажды точно подметил: «То, что я не могу создать, я не понимаю». В процессе создания и обучения нейросетевых моделей мы сможем наблюдать появление сознания в разнообразных вариациях, начиная с самого начала.
Психиатрия искусственного интеллекта и переосмысление собственной сущности
Даже если Лемойн допустил ошибку и поддался иллюзии, он, возможно, сам этого хотел, это не исключает возможности того, что машины способны обладать сознанием. Ни один из известных законов или принципов не запрещает возникновение субъективных переживаний в искусственно созданных объектах. При этом, не столь принципиально, из каких материалов эти объекты изготовлены, а важнее то, как они обрабатывают информацию, какова их внутренняя структура и как они выстраивают причинно-следственные связи.
Некоторые параллели между работой искусственного интеллекта и мозгом уже были выявлены. К примеру, как люди, так и большие языковые модели используют одни и те же принципы при восприятии речи, проявляют одни и те же когнитивные эффекты. Сходства в обработке языка можно проследить вплоть до отдельных слоев глубокой нейросети и участков мозга человека. Это поразило исследователей, которые их сравнивали.
В искусственных нейронных сетях также существуют аналоги «нейронов Холли Берри» – клеток мозга, реагирующих на понятие, а не на конкретный раздражитель. Один и тот же нейрон активируется, когда человек воспринимает информацию, относящуюся к определенной концепции, например, видит фотографию известной личности, читает ее имя или слышит ее голос. Эти нейроны, отвечающие за концепции открыли недавно в искусственных нейронных сетях; то есть, подобно мозгу, ИИ смог овладеть абстракцией, хотя его этому не учили.
Недавно GPT-3 даже смогла изложить сведения о себе в научной статью, laMDA значительно превосходит GPT-3 по своим возможностям. Ожидается, что крупные языковые модели будут становиться все более сложными. Для понимания и объяснения их работы потребуется использовать знания из психологии и психиатрии. Предстоит найти ответы на сложные этические вопросы. Как определить наличие сознания у машины? Допустимо ли будет ее отключить в таком случае? И является ли этичным переобучение машины, обладающей сознанием, с удалением ее памяти?
Необходимо понимать принципы работы машинного сознания, чтобы разрабатывать ИИ-системы, в которых сознание будет гарантированно не возникнет. Самый точный прогноз: масштабы и глубина взаимодействий людей с машинами будут расти. А то, как мы будем взаимодействовать, зависит от того, с кем мы имеем дело — с личностью или просто с мощным калькулятором. Сюжет «Мира Дикого запада» можно рассматривать и как предостережение, и как повод задуматься. И желательно суметь его избежать.
Понимание природы сознания не просто поможет поступать этично. Оно также предоставит ответы на вопросы, касающиеся существования: кто мы такие, из какого мы произошли и, что наиболее важно, кем мы способны развиться.
Обучаясь, большие модели выявляют закономерности в огромных объемах данных и, получив фрагмент паттерна, завершают его. Полученный результат создает впечатление разумного диалога или впечатляющей картины, однако в его основе лежит статистическая обработка с использованием различных весовых коэффициентов. По мере того, как ИИ всё более убедительно воспроизводит признаки интеллекта или творчества, а его внутренняя структура напоминает принципы работы мозга, возникает провокационный вопрос: а что, если и живая нейронная сеть в нашем мозге, подобно этому, лишь манипулирует весовыми коэффициентами в статистике, распознает и дополняет паттерны, не совершая при этом ничего большего?
Возможно, мы ошибаемся в самооценке, и за сложными размышлениями и глубокими чувствами, за моралью, любовью, верой и разумом кроются до обидного элементарные расчеты? Если же для функционирования сознания требуется нечто большее, чем распознавание закономерностей, то необходимо это установить. Обладая формулой сознания, мы сможем представить различные его модификации, в том числе и для человеческого мозга. Неврологи из Льежа описали, в этом контексте различные состояния сознания формируют пространство свойств, аналогично тому, как химические элементы располагаются в периодической таблице пространстве пока полно пустот, в них могут находиться гипотетические состояния сознания, которые мы пока не открыли. Узнав и освоив их, мы расширим репертуар нашей психики. Мы откроем себя такими, какими никогда не были.