Чат-бот ChatGPT успешно выдержал тест Тьюринга в формате короткого взаимодействия.

Новости МирТесен

В ходе пятиминутной текстовой беседы люди в 54% случаев принимали ChatGPT-4 за человека. При этом стоит отметить, что полученные результаты имеют определенные ограничения.

Тест Тьюринга представляет собой метод оценки степени схожести искусственного интеллекта с человеческим мышлением. Согласно этому тесту, если в процессе общения с языковой моделью люди не могут отличить ее от реального человека или испытывают затруднения в определении собеседника, то можно говорить о приближении поведения модели к человеческому. При этом Алан Тьюринг, математик, создавший данный тест в начале 1950-х годов, признавал его недостатки. Он указывал на то, что наиболее эффективной стратегией для ИИ, стремящегося казаться человеком, является не предоставление прямых ответов, а уклонение от вопросов, использование шуток и перефразирование. Подобное поведение воспринимается людьми как более естественное, хотя при этом оно не демонстрирует сложность и многогранность мышления, характерные для человеческого интеллекта.

Несмотря на это, тест Тьюринга продолжает оставаться значимым методом оценки потенциала искусственного интеллекта, а успешное его прохождение является одной из ключевых задач при разработке новых языковых моделей. Существует несколько модификаций этого теста, различающихся условиями и продолжительностью взаимодействия. Согласно исследованию, проведенному учеными из Калифорнийского университета в Сан-Диего (США), бот ChatGPT-4, разработанный компанией OpenAI, продемонстрировал способность успешно проходить пятиминутный тест Тьюринга. Результаты этого эксперимента представлены в виде препринта. появился на сайте arxiv.org.

В рамках исследования приняли участие 402 человека со средним возрастом 35 лет. Им было предложено в течение пяти минут вести переписку со случайным собеседником, которым мог оказаться как другой участник эксперимента, так и одна из трех языковых моделей: ELIZA (разработанная в 1966 году и известная тем, что породила «эффект ELIZA», заключающийся в склонности человека приписывать текстовым интерфейсам программы человеческие качества, такие как способность к мышлению, пониманию и сопереживанию. — Прим. ред.), ChatGPT-3.5 и ChatGPT-4. Задача участников состояла в том, чтобы определить личность собеседника и обосновать свой выбор, а задача языковых моделей – максимально убедительно имитировать человеческое общение.

В 54% случаев бот ChatGPT-4 смог ввести людей в заблуждение, в то время как у ChatGPT-3.5 этот показатель составил 50%, а у ELIZA — 22%. Участники исследования смогли правильно определить человека в 67% ситуаций.

Авторы исследования подчеркнули, что успех ChatGPT-4 свидетельствует о существенном прогрессе в области искусственного интеллекта и указывает на потенциальные сложности, которые могут возникнуть при дальнейшем развитии языковых моделей, если их будет становиться все труднее отличить от людей. С одной стороны, это открывает возможности для автоматизации определенных задач (например, обслуживания клиентов), с другой – увеличивается вероятность распространения дезинформации и мошеннических действий с использованием технологий.

Тем не менее, как отмечают ученые, результаты проведенного эксперимента не только подчеркивают высокую степень сложности и адаптивности современных языковых моделей, но и указывают на ограничения теста Тьюринга. Оказалось, что участники исследования чаще всего оценивали «человечность» собеседника не по содержанию и точности ответов, а по стилю общения, наличию чувства юмора и другим социально-эмоциональным характеристикам, которые не всегда соответствуют общепринятым представлениям об интеллекте и его проявлениях. Кроме того, предполагается, что результаты более продолжительного эксперимента могли бы отличаться.