Нейронные сети в «Яндекс Поиске» — десятилетний юбилей

С 2010-х годов «Яндекс» использует нейросетевые технологии, что стало результатом многолетних исследований в области машинного обучения. За это время сервисы компании стали удобнее и быстрее: например, пользователи «Поиска» получают более подробные ответы на запросы, которые могут объединять текст и изображения.

5 декабря 2018 года в Москве компания Яндекс представила первый смартфон под названием Яндекс.Телефон.

Яндекс начал использовать нейронные сети для поиска изображений 5 декабря 2014 года. С тех пор их применяют во многих областях: от ранжирования сайтов до перевода текста и поиска объектов по фото. Нейросети развивались, становились доступнее компаниям и пользователям. К примеру, генеративные нейросети позволяют создавать изображения, тексты, видео и многое другое.

Распознавание и поиск изображений — не единственная функция, где «Яндекс» применил нейросеть. Еще в 2012 году компания использовала простую нейронную сеть для прогнозирования пробок на дорогах, а в 2013-м — для распознавания речи в технологии SpeechKit.

В 2015 году поиск по картинкам начал использовать нейросети для обработки текстовых запросов. До этого релевантность изображения определялась по соседнему тексту на сайте, а новая модель позволяла оценивать саму картинку, помещая её в одно семантическое пространство с текстом запроса.

В 2016 году в рамках поискового алгоритма «Палех» впервые использовали нейросети для ранжирования сайтов. Модель, созданная «Яндексом», подобная DSSM (Deep Semantic Similarity Model), оценивала смысловую связь между заголовками веб-страниц и запросами пользователей. Через год, в 2017 году, в обновлении «Королев» нейросеть стали применять к содержимому страниц, что улучшило качество ответа на уникальные запросы.

В 2020 году для определения порядка размещения сайтов впервые применили сложную нейронную сеть YATI (Yet Another Transformer with Improvements) — усовершенствованный вариант «трансформера», адаптированный под «рантайм» системы «Поиска». Это изменение существенно улучшило качество ранжирования сайтов с момента внедрения «Матрикснета» в 2009 году.

В 2017 году «Яндекс» внедрил нейросети в машинный перевод. Благодаря этому «Переводчик» научился учитывать контекст и переводить фразы на его основе. Возможность перевода появилась также в «Поиске». Для этого достаточно ввести запрос [translation перевод], чтобы получить мгновенный результат.

В 2021 году «Яндекс» запустил полноценный переводной поиск. Если подходящих результатов на русском языке не нашлось, система ищет их на англоязычных сайтах и предлагает переведенные варианты. В том же году появилась функция перевода видео в «Поиске» и «Браузере», что расширило доступ к информации, преодолевая языковые барьеры.

Главная задача «Поиска» — помогать пользователям в решении задач. Для этого «Яндекс» предоставляет не только список веб-сайтов, но и быстрый ответ на вопрос с ссылками на источники. Раньше для получения кратких ответов требовалась языковая модель YaLM, а с 2024 года, после внедрения нейросети YandexGPT, поиск стал лучше анализировать сложные вопросы и давать точные ответы.

В 2024 году «Яндекс» впервые внедрил в поисковую систему мультимодальную VLM-нейросеть, которая объединяет опыт работы с текстовыми и визуальными моделями. Пользователи «Поиска» могут теперь задавать вопросы, сочетающие текст и изображение, и получать исчерпывающие ответы.