Генеративные модели искусственного интеллекта, способные создавать различный контент, освоили имитацию человеческой речи, написание художественных текстов, разработку рекламных роликов, решение задач в области программирования и многое другое. Тем не менее, работы этих моделей до недавнего времени было довольно просто отличить от работ, созданных людьми. Исследователи из Соединенных Штатов представили результаты первого эксперимента, в котором участникам не только не удалось определить, какие стихи написаны англоязычными поэтами, а какие – искусственным интеллектом, но и машинные произведения искусства получили более высокую оценку, чем работы людей.
Технологии языковых моделей, предназначенных для взаимодействия с людьми и генерации текстов на естественных языках, демонстрируют стремительный прогресс. Недавние исследования показывают, что искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.
В ходе исследования, проведенного специалистами из Питтсбургского университета, удалось установить, что люди впервые не смогли отличить стихи, созданные искусственным интеллектом, от произведений известных английских и американских поэтов-классиков. Результаты этого исследования были оформлены в виде научной статьи опубликовал журнал Scientific Reports.
В рамках исследования было проведено два эксперимента. В первом эксперименте 1634 взрослых участников были произвольно распределены между десятью английскими и американскими поэтами. Среди них были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.
В ходе эксперимента десяти участникам в произвольном порядке демонстрировались стихотворения. Среди них было пять произведений, созданных конкретным поэтом, и пять – сгенерированы моделью ChatGPT3.5, имитирующей его манеру. Участники должны были определить, считают ли они, что стихотворение написано человеком, оценить степень уверенности в своем ответе по шкале от 0 до 100 и, при желании, объяснить свою точку зрения. Также они предоставили сведения о себе, включая информацию об интересе к поэзии и уровне ее понимания.
В рамках второго эксперимента было задействовано 696 добровольцев, которым демонстрировались идентичные пять стихотворений, созданных искусственным интеллектом, и пять произведений, написанных настоящими поэтами. При этом, одной группе сообщалось, что все тексты созданы человеком, другой – что они сгенерированы ChatGPT3.5, а третьим участникам не предоставлялась подобная информация. Участники исследования должны были оценить каждое стихотворение по семибалльной шкале, от «крайне плохо» до «чрезвычайно хорошо», основываясь на определенных критериях:
— формальные качества (ритм, рифма),
— вызывает ли стихотворение эмоциональный отклик, передает ли оно какие-либо чувства),
— креативность (оригинальность, остроумие),
— эстетические особенности (красота, лиризм),
— глубина — это степень раскрытия определённой темы в стихотворении).
По итогам проведенных экспериментов, люди часто принимали машинную поэзию за написанную человеком, и наоборот. При этом произведения, созданные искусственным интеллектом, в большинстве случаев получали более высокие оценки по таким параметрам, как форма, содержание и другие критерии. Если ранее поэзия оставалась областью, в которой было сложно отличить работы искусственного интеллекта от человеческих, то сейчас возможности генеративных моделей существенно возросли.
Учёные полагают, что неправильная идентификация как классических и современных стихов, так и текстов, созданных искусственным интеллектом, как работ людей, вызвана несоответствием ожиданий участников эксперимента и реальным возможностям языковых моделей. Как отметили участники опроса, они воспринимали сложность стихов, созданных человеком, как признак бессвязности искусственного интеллекта, а относительную простоту и понятность текстов, сгенерированных ИИ, – как характеристику, не свойственную компьютерному творчеству.