Всё большую популярность приобретают инструменты генеративного искусственного интеллекта, что затрудняет работу исследователей, проводящих онлайн-опросы. Учёные из США пытаются оценить масштаб этой проблемы и в эксперименте выяснить особенности человеческих ответов по сравнению с ответами, генерируемыми нейросетью.
Влияние чат-ботов с ИИ на достоверность результатов опросов. поднялаДжанет Сюй из Стэнфордской высшей школы бизнеса. Её соавторы по статье… доступен на сайте SocArXivСоциолог Симона Чжан из Нью-Йоркского университета и специалист по информационным наукам Эй Джей Альверо из Корнеллского университета стали авторами исследования.
Во время проведения масштабных исследований часто используют интернет-ресурсы, например Prolific или Amazon Mechanical TurkУчастники платят или получают подарочные сертификаты за предоставление своих данных и заполнение анкет. С появлением ChatGPT и подобных сервисов исследователи заметили, что некоторые развернутые комментарии в опросах кажутся «нечеловеческими» — слишком подробными или утрированно корректными.
Услышав подобные подозрения от коллеги, Джанет Сюй решила выяснить правду. Вместе с соратниками по науке она провела онлайн-опрос среди около 800 зарегистрированных участников. ProlificУчастников опроса спросили, пользуются ли они ИИ-инструментами для написания ответов. Гарантировали, что полученная информация не повлияет на возможность участия в будущих исследованиях.
Примерно треть респондентов признались в такой практике, 10% из них — очень часто. Две трети участников утверждали, что никогда не прибегают к этому. ChatGPTДля создания ответов система объясняет это этическими причинами и опасениями исказить результаты исследований.
Изучив разницу в ответах людей и компьютеров, учёные применили данные из трёх статей, опубликованных до выхода ChatGPT. Полученные ответы сравнили с результатами опросов, проведённых с помощью … нейронных сетей.
Сравнение показало, что люди предпочитали конкретные и эмоционально заряженные выражения, иногда с негативным подтекстом. Формулировки ИИ были нейтральными и абстрактными, а в обсуждении социальных групп на деликатных темах — более корректными и смягченными.
Исследование выявило, что применение искусственного интеллекта … опросахДаже не достигнув больших масштабов, развитие вызвало тревогу у учёных по поводу возможного негативного влияния. Если люди начнут использовать такие инструменты не только для уточнения формулировок своих мыслей, но и полностью заменять ответы сгенерированными, это исказит настоящую картину мира, сделав её более однообразной.
В связи с возможным воздействием ИИ исследователи не считают необходимым корректировать или отозвать уже опубликованные работы, однако настоятельно рекомендуют коллегам быть бдительными при оценке качества полученных в опросах данных.
Авторы исследования предлагают превентивные меры: прямо просить респондентов воздержаться от использования ИИ или встраивать в онлайн-формы специальный код для блокировки копирования и вставки текста. Ученые также настоятельно рекомендуют более тщательно продумывать опросники, делая их краткими, четкими и понятными, чтобы не провоцировать людей на использование искусственного интеллекта.