Искусственный интеллект и традиционный веб-поиск демонстрируют разные результаты – новое исследование

Новости МирТесен

Сопоставление результатов обычного интернет-поиска и поиска на базе искусственного интеллекта позволило исследователям обнаружить существенные различия. Инструменты ИИ обрабатывают больший объем информации, получаемой с более широкого круга веб-ресурсов, однако эти источники не всегда соответствуют критериям наиболее релевантных результатов, получаемых при традиционном поиске. В результате, ответы, генерируемые ИИ, часто бывают менее точными и менее согласованными.

Несмотря на значительную эволюцию интернет-поиска на протяжении последних десятилетий, его основополагающий принцип функционирования практически не изменился. Когда пользователь вводит запрос или ключевое слово, поисковые системы, например Google, Bing или Яндекс, выдают результаты в виде списка из примерно десяти веб-сайтов, упорядоченных по различным факторам: релевантности, авторитетности или соответствии предпочтениям пользователя.

Эти результаты были доработаны с учетом запросов пользователей. Однако, с развитием генеративного ИИ, онлайн-поиск все больше ориентирован на взаимодействие с ИИ-чатботами, предоставляющими ответы в формате диалога, а не перечня ссылок.

Современные поисковые системы, например Google и Яндекс, интегрировали инструменты искусственного интеллекта, которые позволяют формировать оригинальные ответы, оформленные в виде одного или нескольких абзацев и дополненные перечнем ссылок на источники. По сути, это обобщенные сведения, сформированные на основе сайтов, определенных как наиболее подходящие для конкретного запроса.

Возникает важный вопрос: оказали инструменты искусственного интеллекта реальное влияние на интернет-поиск? Чтобы ответить на него, ученые из Рурского университета в Бохуме и Института программных систем Макса Планка провели сравнение традиционного поиска и поиска с использованием ИИ, чтобы определить, как они влияют на качество выдаваемых результатов.

ИИ-поиск отличается от обычного не только способом отображения результатов, но и более масштабным охватом. Традиционные поисковые системы обычно демонстрируют отрывки из десяти наиболее значимых, авторитетных или признанных наиболее подходящими веб-сайтов, что заставляет пользователей самостоятельно открывать ссылки для ознакомления с дополнительными ресурсами.

Сгенерированные искусственным интеллектом материалы, в свою очередь, могут содержать информацию с более чем десяти различных ресурсов. Помимо этого, обычный поиск использует только внешние источники, а ИИ объединяет данные, полученные из сети, с собственными знаниями, накопленными в процессе обучения.

Целью исследования являлось выяснение, насколько инструменты искусственного интеллекта используют возможность обращения к обширному объему источников информации, и в какой степени они полагаются на внешние данные по сравнению со своими собственными знаниями. Кроме того, в работе проанализировано, способствует ли использование разнообразных источников повышение точности и разнообразия ответов по сравнению с обычными поисковыми системами.

Расширенные ответы не всегда отличаются высокой степенью достоверности

Ученые провели сопоставление обычного поиска Google с четырьмя поисковыми системами, основанными на искусственном интеллекте: «Обзором ИИ Google», Gemini, GPT-4o-Search и GPT-4o с инструментом поиска. Для оценки эффективности этих инструментов было проведено тестирование на основе тысяч запросов, которые затрагивали шесть ключевых сфер, таких как общие знания, политика, наука и коммерция.

Оценку результатов проводили, опираясь на три ключевых параметра: многообразие задействованных источников, зависимость от внутренних или внешних знаний, а также концептуальный охват, подразумевающий диапазон идей, отраженных в результатах. Для отслеживания динамики изменений в источниках и ответах тесты были повторно проведены через два месяца.

Подробный анализ команды представлен в исследовании, доступном на сервере препринтов — продемонстрировал существенные различия между двумя методами. Искусственный интеллект охватил гораздо большее количество источников информации, чем традиционные поисковые системы. Тем не менее, ссылки, используемые ими, в редких случаях относились к ресурсам, которые считались наиболее подходящими при обычном поиске.

По результатам исследований, использование большего числа источников не всегда обеспечивает более исчерпывающий или логичный ответ. Более того, сопоставительные данные свидетельствуют о том, что это утверждение нередко оказывается неверным. « Даже когда общий объем информации по теме кажется сопоставимым, различия в подходах к поиску источников и применении имеющихся знаний способны существенно влиять на восприятие и интерпретацию фактов пользователями », — уточняют они в своем отчете.

Сгенерированные искусственным интеллектом результаты показали нестабильность во времени, значительно изменившись через два месяца. Кроме того, были выявлены различия в работе различных инструментов: GPT-4o с функцией поиска в большей степени полагался на собственные знания, а «Обзор ИИ Google» и Gemini отдавали приоритет информации из внешних ресурсов.

Работа не содержит утверждений о снижении эффективности инструментов искусственного интеллекта при поиске, однако в ней указывается на повышенную вероятность возникновения проблем с устойчивостью и надежностью. Это предполагает, что результаты поиска, полученные с использованием ИИ, нуждаются в тщательной проверке для обеспечения их достоверности. В итоге, авторы исследования акцентируют внимание на важности разработки новых критериев и стандартов для оценки качества ответов, создаваемых такими инструментами.