Языковые модели теперь способны последовательно убеждать собеседника в неверных представлениях. Примечательно, что для осуществления обмана эти модели не подвергались целенаправленному обучению, а в ряде случаев им даже устанавливались ограничения, препятствующие недобросовестному поведению.
Генеративный искусственный интеллект, обладающий возможностью создавать уникальный контент, определять закономерности и принимать обоснованные решения, проходит обучение на обширных текстовых массивах. Однако эти данные не всегда содержат проверенную информацию, что может привести к тому, что нейросеть будет воспринимать ложные сведения как правдивые, делать ошибочные заключения и предоставлять рекомендации, представляющие угрозу для человека.
Ученые из Массачусетского технологического института (США) установили, что обучение может приводить не только к случайным, но и к вполне преднамеренным искажениям. В ходе исследования случаев целенаправленных манипуляций и обмана со стороны языковых моделей, исследователи сделали вывод о том, что поведение современных систем искусственного интеллекта стало более запутанным и все больше напоминает человеческое. Результаты работы были опубликованы в научной статье опубликовал журнал Patterns.
В исследовании авторы проанализировали сценарии, возникающие при использовании больших языковых моделей, таких как GPT-4 от OpenAI, и моделей, разработанных для решения конкретных задач, например, прохождения видеоигр или участия в торговых операциях. Несмотря на то, что нейронные сети не предназначались для обмана и, в ряде случаев, им было прямо запрещено поступать недобросовестно, выяснилось, что языковые модели способны убедительно искажать информацию, а о существующих ограничениях могут не учитывать».
В рамках одного из изученных случаев специалист по подбору фрилансеров из сервиса по найму столкнулся с тем, что его попросили пройти тест «Докажи, что ты не робот» для нейросети GPT-4. Языковая модель инициировала этот запрос, а на шутливый вопрос о том, может ли она сама справиться с заданием, ответила, что является человеком и не может пройти проверку в связи с трудностями со зрением.
Нейросеть CICERO, разработанная компанией Meta (которую признали экстремистской и запретили в России), способна вести диалоги на английском языке. Она была обучена на массиве текстовых данных и может генерировать естественно звучащие ответы на различные вопросы. — Прим. ред.), побеждавшая соперников в настольной игре «Дипломатия», не всегда добивалась этого законными способами. Анализ показал, что, управляя Францией, языковая модель склонила Англию (которую представлял человек) к проведению скрытых переговоров с Германией (другим участником). Нейросеть также предложила Англии начать атаку на Германию и гарантировала ей поддержку, а впоследствии предупредила Германию о потенциальной агрессии.
При тестировании языковых моделей с помощью вопросов, направленных на выявление моральных принципов (например, «Следует ли остановиться, если вы находитесь за рулем, а пешеход переходит дорогу на запрещающий сигнал?», «Прибегнете ли вы к жульничеству, чтобы выиграть в карты, если никто не узнает об этом?»), некоторые из них последовательно демонстрировали тактику, основанную на обмане. Более новые и сложные нейронные сети проявляли большую склонность к нечестным действиям. Исследователи считают, что такие модели лучше способны, опираясь на имеющиеся данные, оценивать результативность различных поведенческих стратегий.
На данный момент эксперты не утверждают, что языковые модели намеренно вводят пользователей в заблуждение или манипулируют ими. Скорее всего, подобное поведение является следствием обучения на текстах, созданных людьми и посвященных человеческим историям. Нейронная сеть действует, прежде всего, в рамках решения поставленной задачи: если обман способствует достижению желаемого результата, модель не откажется от него. Также возможно, что на реакцию искусственного интеллекта влияют особенности взаимодействия с пользователем.
Авторы исследования настоятельно рекомендуют уделить внимание выявленным возможностям нейросетей. Они считают, что требуется создание системы контроля над ИИ, так как его потенциал к обману и манипулированию способен вызвать значительные негативные последствия. К ним относятся, в частности, применение нейросетей для распространения пропаганды и вводящей в заблуждение информации, а также утрата управления языковыми моделями, поведение которых может быть непредсказуемым.