Scienty

Фото: img.freepik.com

Сопоставление результатов обычного интернет-поиска и поиска на основе искусственного интеллекта позволило исследователям обнаружить существенные различия. Инструменты ИИ обрабатывают больший объем информации, получаемой с более широкого спектра веб-ресурсов, однако эти источники не всегда соответствуют тем, которые традиционно признаются наиболее значимыми. В результате, предоставленные ими ответы могут быть менее достоверными и менее согласованными.

Несмотря на значительные изменения, которые претерпел интернет-поиск за последние годы, его основной принцип функционирования остаётся прежним. Когда пользователь вводит запрос или ключевое слово, поисковые системы, например Google, Bing или Яндекс, выдают результаты в виде списка веб-сайтов, ранжированных по различным параметрам: релевантности, авторитетности или соответствии интересам пользователя.

Эти результаты были доработаны с учётом запросов пользователей. Однако, с развитием генеративного ИИ, онлайн-поиск всё больше ориентируется на взаимодействие с ИИ-чатботами, предоставляющими результаты в формате диалога, а не перечня ссылок.

Современные поисковые системы, например Google и Яндекс, интегрировали инструменты искусственного интеллекта, которые способны генерировать оригинальные ответы, оформленные в одном или нескольких абзацах и дополненные перечнем ссылок на источники. По сути, это сжатые обзоры, сформированные на основе ресурсов, определенных как наиболее соответствующие запросу.

Возникает важный вопрос: стали ли инструменты искусственного интеллекта улучшать интернет-поиск? Для ответа на него ученые из Рурского университета в Бохуме и Института программных систем Макса Планка провели сравнение традиционного поиска и поиска на основе ИИ, чтобы определить, как они влияют на качество выдаваемых результатов.

Искусственный интеллект, в отличие от обычного поиска, обеспечивает не только удобное отображение результатов, но и более всесторонний охват информации. Традиционные поисковые системы обычно демонстрируют выдержки из десяти лучших, наиболее авторитетных или оцененных как наиболее подходящие веб-сайтов, что вынуждает пользователей самостоятельно переходить по ссылкам, чтобы ознакомиться с другими источниками.

Искусственный интеллект, создавая новые тексты, зачастую использует материалы с более чем с десяти различных веб-сайтов. В отличие от обычного поиска, который использует только внешние данные, ИИ объединяет информацию, полученную из сети, с собственными знаниями, сформированными в процессе обучения.

Целью исследования являлось выяснение, насколько инструменты искусственного интеллекта используют возможность обращения к обширному объему источников информации и в какой степени они полагаются на внешние данные по сравнению со своими собственными знаниями. Кроме того, в работе проанализировано, влияет ли использование разнообразных источников на повышение точности и разнообразия генерируемых ответов по сравнению с традиционными поисковыми системами.

Расширенные ответы не всегда отличаются высокой степенью достоверности

В ходе исследования ученые сопоставили обычный поиск Google с четырьмя поисковыми системами, основанными на искусственном интеллекте: «Обзор ИИ Google», Gemini, GPT-4o-Search и GPT-4o с инструментом поиска. Для оценки эффективности этих инструментов было проведено тестирование на основе множества запросов, затрагивающих шесть ключевых сфер, таких как общие знания, политика, наука и коммерция.

Оценка производилась на основе трех ключевых параметров: широта используемых источников, ориентация на внутренние или внешние знания и концептуальная глубина, подразумевающая диапазон идей, включенных в результаты. Для отслеживания изменений в используемых источниках и ответах тесты были проведены повторно через два месяца.

Подробный анализ команды представлен в исследовании, доступном на сервере препринтов — продемонстрировал существенные различия между двумя методами. Применяемые инструменты искусственного интеллекта охватили большее количество источников информации, чем традиционные поисковые системы. Тем не менее, указанные ими ссылки не всегда соответствовали наиболее значимым сайтам, если оценивать их по критериям стандартного поиска.

Изучение большего числа источников не всегда приводит к более полным и логичным ответам, как утверждают эксперты. Более того, сопоставительные данные свидетельствуют об обратном. « Даже при кажущемся одинаковом объеме информации, различия в том, какие источники выбираются и как применяются имеющиеся знания, способны незначительно корректировать восприятие и факты, с которыми встречается пользователь », — уточняют они в своем отчете.

Сгенерированные искусственным интеллектом результаты проявили нестабильность во времени, значительно изменившись через два месяца. Зафиксированы также различия в работе различных инструментов: так, GPT-4o с функцией поиска в большей степени полагался на собственные знания, а «Обзор ИИ Google» и Gemini отдавали приоритет информации из внешних источников.

Работа не содержит утверждений о снижении эффективности инструментов искусственного интеллекта при поиске, однако в ней указывается на повышенную вероятность возникновения проблем с устойчивостью и надежностью. Это предполагает, что результаты поиска, полученные с использованием ИИ, нуждаются в тщательной проверке для обеспечения их достоверности. В итоге, авторы исследования акцентируют внимание на важности разработки новых критериев и стандартов для оценки качества ответов, создаваемых такими инструментами.