По данным анонимных источников Reuters, перед отставкой Сэма Альтмана из OpenAI совет директоров получил письмо от сотрудников компании. В нем они выражали опасения, что последние разработки организации могут представлять опасность для человечества. Однако с точки зрения науки и техники эти заявления выглядят сомнительными.
Информационное агентство Reuters опубликовало материал, основанный на сообщениях двух источников из OpenAI, пожелавших остаться анонимными. Они утверждают, что накануне увольнения Сэма Альтмана (уже вернувшегося на свой пост) совет директоров компании получил письмо от разработчиков по проекту Q*. Это один из закрытых перспективных проектов OpenAI, посвященный созданию так называемого сильного ИИ. Под этим понимают интеллект, сравнимый с человеком в большинстве сфер деятельности. На сегодня его не существует, а ряд исследователей полагают, что таковой и не нужен, ибо в случае реализации он может уничтожить человечество как нежелательного конкурента.
По информации, опубликованной Reuters, письмо могло спровоцировать опасения у членов совета директоров, что и стало причиной неожиданного решения об увольнении Альтмана.
Интерпретация причин увольнения вызывает сомнения из-за содержания самого письма, которое Reuters не видел и описывает по словам анонимных источников. Дело в том, что проект Q* затрагивает узкую, специализированную проблему — математические вычисления с помощью нейросети, аналогичную ChatGPT, но работающей с математическими операциями вместо слов. Авторы письма утверждают, что их нейросеть освоила такие операции на уровне школьника.
Почему это имеет значение? Среди разработчиков крупных языковых моделей, таких как ChatGPT, существует (хотя и не подтвержденное доказательствами) мнение, что создание модели, способной эффективно выполнять арифметические вычисления, станет ключевым шагом к созданию сильного искусственного интеллекта. Считается, что подобное программное обеспечение сможет заменить человека во многих сферах деятельности.
Для справки: до появления ChatGPT возможности программного обеспечения в области обработки языка были крайне ограничены (в идеальном сценарии – на уровне ученика средней школы). Чтобы совершить значительный прогресс, OpenAI под руководством Сэма Альтмана применила концепцию «китайской комнаты», реализовав её в форме нейронной сети. Эта сеть была обучена выбирать следующее слово в ответе для собеседника, имитируя выдачу, ранее созданную настоящими людьми.
По сути, ChatGPT и аналогичные модели не обладают пониманием информации, с которой работают. Они лишь статистически прогнозируют, какое слово наиболее вероятно появится следующим в ответе, опираясь на статистические данные, полученные в процессе обучения. Поэтому, вполне ожидаемо, результаты работы на один и тот же вопрос могут различаться: такая программа, по сути, генерирует ответ случайным образом в пределах параметров, заданных обучением, а не анализирует информацию.
В математике подобный подход неверен: в большинстве задач существует только один верный ответ. В связи с этим ChatGPT систематически допускает ошибки. В рамках проекта Q* процент таких ошибок удалось несколько снизить, достигнув, по данным анонимных источников Reuters, уровня ученика начальной школы.
В случае, если приведенные тезисы в средствах массовой информации соответствуют действительности, письмо обеспокоенных разработчиков OpenAI могло вызвать серьезную тревогу лишь у людей, не обладающих достаточными знаниями в данной области. Прежде всего, не следует завышать оценку математических способностей учеников младших классов. Кроме того, обычные алгоритмы, используемые в программном обеспечении (еще до появления нейросетей), научились выполнять вычисления значительно быстрее и точнее, чем лучшие ученые-математики, еще в прошлом веке.
Это вызывало опасения у современников, что подтверждается, например, образами из популярной культуры, такими как «Скайнет». Однако эти опасения были свойственны людям, не знакомым с базовыми принципами функционирования подобных систем. Ведь они не обладают собственной мотивацией или интеллектом, а лишь осуществляют те действия, которые были запрограммированы ими людьми.
Современные нейронные сети и большие языковые модели также не обладают сознанием и побудительными мотивами. Поэтому тревоги о будущем человечества, связанные с возможностью замещения людей таким программным обеспечением, напоминают опасения, вызванные появлением «Скайнета» или арифмометров. Трудно воспринимать их как обоснованные.
Существуют иные точки зрения, в частности, позиция Илона Маска оценил публикацию Reuters как вызывающую глубоко беспокойство. Однако Маск никогда не отвечал на вопрос, как именно системы, лишенные сознания и мотивов, могут угрожать человечеству. Параллельно он активно продвигает в медиа конкурента ChatGPT от OpenAI — собственную большую языковую модель Grok. Это делает затруднительным некритичное принятие его позиции по OpenAI как полностью корректной. Не вполне прозрачны и мотивы анонимов-источников из OpenAI: нельзя исключить их личную заинтересованность в оправдании неудавшегося увольнения Альтмана.