«Яндекс» представил Alice AI Foundation LLM — предварительную версию новой языковой модели, разработанную с нуля. Эта модель демонстрирует хорошие результаты в логических рассуждениях и программировании, а качество ответов на русском языке превосходит многие зарубежные аналоги, особенно при решении задач, связанных со знаниями, интересными для русскоязычной аудитории. Модель показала лучшие результаты по сравнению с более крупными открытыми моделями, и для ее работы не требуются значительные вычислительные ресурсы. Лицензия Apache 2.0 позволяет использовать модель как в исследовательских, так и в коммерческих целях.

На экспериментальной платформе Alice AI Foundation LLM «Яндекс» проверяет архитектурные решения для своей будущей универсальной модели рассуждений (ЕРМ). ЕРМ станет базой для агентных возможностей «Алисы AI», которые позволят пользователям поручать ей выполнение определенных задач.

Качество модели

Alice AI Foundation LLM построена на архитектуре MoE (Mixture of Experts). Она содержит 80 миллиардов параметров, однако при обработке запросов задействует только три миллиарда, что обеспечивает высокую скорость работы и экономию вычислительных ресурсов.

Модель обладает способностью к рассуждению и подходит для использования в агентных сценариях, что позволяет ей эффективно решать сложные логические задачи и выполнять программирование. Например, при решении олимпиадных задач по математике она демонстрирует результаты наравне с Qwen3.5-35B-A3B-Base, успешно справляясь с большинством заданий. В тестах по написанию кода она превосходит модель NVIDIA Nemotron-3-Super-120B-Base, при этом используя в четыре раза меньше активных параметров. Развитые возможности логического вывода и программирования необходимы для эффективной работы агентов, выполняющих задания от пользователей.

Несмотря на компактные размеры и сниженные требования к вычислительным ресурсам, новая модель демонстрирует превосходство в решении задач, требующих обширных фактических знаний, по сравнению с более крупными открытыми аналогами. В частности, она превосходит DeepSeek-V4-Flash-Base, обладающую 284 миллиардами параметров и 13 миллиардами активных. Согласно результатам тестов, оценивающих объем фактических знаний, новая модель демонстрирует качество ответов, сопоставимое с предыдущей закрытой языковой моделью «Яндекса» Alice AI LLM, при этом ее параметры в три раза больше, а число активных – в семь раз.

Новые бенчмарки

С целью определения соответствия знаний модели потребностям русскоязычной аудитории, компания создала два специализированных инструмента оценки: WikiWebFacts и HardMultiQA. Первый из них предполагает решение задач в формате «вопрос-ответ», где вопросы и ответы представлены в сжатой форме. Этот тест направлен на проверку осведомлённости о датах, определениях, значимых событиях и известных личностях, основываясь на данных онлайн-энциклопедий и часто задаваемых поисковых запросах.

Второй разработанный тест, HardMultiQA, создан на основе обезличенных запросов к «Алисе AI». Он охватывает узкоспециализированные области знаний, включая медицину, право, информационные технологии и искусство. В процессе ответа на вопросы модели требуется не только воспроизведение фактов, но и выбор нескольких верных ответов из предложенного списка, перечисление нескольких подходящих фактов в соответствии с условиями вопроса, а также выявление фактических ошибок в тексте.

Новые инструменты оценки были созданы для проверки русскоязычных знаний модели, поскольку существующие англоязычные аналоги не позволяют провести объективную оценку. Компания «Яндекс» предоставила оба бенчмарка в открытый доступ вместе с самой моделью, что даёт возможность разработчикам и исследователям проводить собственные тесты и сравнивать результаты различных моделей. Помимо этого, были опубликованы эталонные ответы и подробный протокол оценки.

Инженерные решения

В ходе обучения моделей специалисты «Яндекса» внесли улучшения в работу оптимизатора – программы, контролирующей процесс обучения. Теперь передача данных между видеокартами осуществляется параллельно с вычислительными операциями, что позволило приблизительно вдвое ускорить этапы оптимизации.

«Яндекс» также повысил эффективность подготовки качественных обучающих данных. Для отбора необходимых документов использовалась ресурсоемкая модель. Запуск этой модели на всем объеме данных занял бы более 200 тысяч часов работы видеокарт. В настоящее время документы сначала проходят предварительную обработку с помощью последовательности классификаторов.

На каждом этапе работы более ресурсоёмкая и сложная модель анализирует всё меньший объём документов. Удалось снизить вычислительную нагрузку в несколько десятков раз при сохранении примерно 95% наиболее ценной информации. Также специалисты значительно расширили базу знаний модели, уделив особое внимание областям права, медицины и математики.

Компания «Яндекс» представила новую модель под лицензией Apache 2.0, что позволяет использовать ее как в исследовательских, так и в коммерческих проектах без ограничений. Разработчики завершили основной цикл обучения, определяющий уровень знаний, способности и потенциал модели. Теперь она может служить основой для разработки собственных решений.

Соответствующие документы, включая техническую информацию и результаты сравнительных тестов, были размещены на онлайн-платформе. Hugging Face, а техрепорт — на «Хабре».