По словам анонимных источников Reuters, перед увольнением Сэма Альтмана из OpenAI совет директоров получил письмо от разработчиков, предупреждавших о том, что последние достижения компании якобы представляют угрозу человечеству. С научной точки зрения заявления этих анонимов кажутся сомнительными.
Информационное агентство Reuters опубликовалоМатериал, основанный на сообщениях двух анонимных источников из OpenAI, утверждает, что накануне увольнения Сэма Альтмана (который уже вернулся на свой пост) совет директоров компании получил письмо от разработчиков проекта Q*. Это закрытый перспективный проект OpenAI, посвященный созданию так называемого сильного ИИ. Под этим понимают интеллект, сравнимый с человеческим в большинстве сфер деятельности. На сегодня его не существует, а ряд исследователей полагают, что таковой и не нужен, ибо в случае реализации он может уничтожить человечество как нежелательного конкурента.
Тон публикации Reuters предполагает, что письмо могло напугать директоров, заставив их быстро принять решение об увольнении Альтмана.
В то же время детали письма, которое Reuters не видел и описывает по словам анонимных источников, вызывают сомнения в такой интерпретации причин увольнения. Проект Q* касается узкой, специализированной проблемы — математических вычислений с помощью нейросети, аналога ChatGPT, но работающей не со словами, а с математическими операциями. Авторы письма утверждают, что их нейросеть научилась таким операциям на уровне школьника.
В среде разработчиков больших языковых моделей, таких как ChatGPT, ходит мнение (неподтверждённое фактами), что создание модели, способной хорошо считать, станет ключевым шагом к достижению сильного искусственного интеллекта. Такое ПО могло бы заменить человека во многих сферах деятельности.
До появления ChatGPT программы плохо понимали слова (максимум на уровне ученика средней школы). Чтобы преодолеть этот барьер, OpenAI под руководством Сэма Альтмана использовала принцип китайской комнаты: нейросеть обучалась предсказывать следующее слово в диалоге, имитируя поведение реальных людей.
ChatGPT и его аналоги не понимают обрабатываемую информацию, лишь статистически предсказывают следующее слово в ответе, опираясь на обучающую выборку. В результате ответы на один и тот же вопрос могут различаться, так как ПО использует случайные значения из заданного диапазона, а не думает.
В математике этот подход неэффективен: в большинстве задач только один правильный ответ. Потому систематически даёт ошибки аналог ChatGPT. В рамках проекта Q* процент этих ошибок немного уменьшился, достигнув, по данным анонимных источников Reuters, уровня ученика начальной школы.
Если утверждения СМИ соответствуют действительности, письмо разработчиков OpenAI могло напугать лишь людей, плохо разбирающихся в теме. Уровень математической грамотности младшеклассника не следует преувеличивать. Программное обеспечение обычного алгоритмического типа давно научилось считать быстрее и точнее лучших ученых-математиков.
Такое беспокойство вызывало у современников (достаточно вспомнить «Скайнет» в массовой культуре), но только у тех, кто не понимал принципов работы таких систем. То есть того, что им не свойственны собственные побуждения и разум — лишь выполняют операции, заранее заданные людьми.
Современные нейросети и большие языковые модели, как и подобные им системы прошлого, не обладают сознанием и мотивацией. Поэтому беспокойства о том, что такое ПО вытеснит людей, сравнимы с опасениями по поводу замены людей «Скайнетом» или арифмометрами.
Некоторые люди думают по-другому. К примеру, Илон Маск. оценилПубликация Reuters вызывает глубокое беспокойство, но Маск никогда не объяснял, как системы без сознания и мотивов могут угрожать человечеству. В то же время он активно продвигает в медиа конкурента ChatGPT от OpenAI — собственную большую языковую модель Grok. Это затрудняет безоценочное принятие его позиции по OpenAI как полностью корректной. Не вполне прозрачны и мотивы анонимных источников из OpenAI: нельзя исключить их личную заинтересованность в оправдании неудавшегося увольнения Альтмана.