International Conference on Machine Learning (ICML) — значимое международное мероприятие в области машинного обучения. В период с 6 по 11 июля она проводится в Сеуле, расположенном на территории Южной Кореи.

Каждый год ICML объединяет специалистов из передовых университетов, исследовательских институтов и корпораций сферы высоких технологий со всего земного шара. Так, для участия в конференции в 2026 году было представлено рекордное количество — 23 918 научных докладов. Из них к рассмотрению экспертной комиссией поступило 6352 работы, что составило лишь около 26,6 процента от общего числа поданных заявок.

Как эффективнее использовать вычислительные ресурсы

В настоящее время специалисты в области искусственного интеллекта стремятся оптимизировать работу алгоритмов без существенного увеличения требуемых вычислительных ресурсов. Сотрудники «Яндекса» представили ряд подходов для решения данной задачи.

В рамках одного из исследований специалисты сосредоточились на изучении принципов работы графовых нейронных сетей. Эти системы способны обрабатывать не только сами элементы, но и взаимосвязи между ними – будь то отношения между клиентами и продукцией, текстовыми документами или участками дорожной инфраструктуры.

Исследователи «Яндекса» предложилиРазработаны инновационные программные компоненты, обеспечивающие значительно более рациональное использование ресурсов видеопамяти. В ходе проведённых испытаний удалось повысить скорость вычислений в 8,5 раза, снизить максимальный объем используемой памяти до 76 раз и ускорить выполнение отдельных операций на величину от 3,9 до 10 раз.

Компания «Яндекс» предоставила доступ к коду разработанных модулей. Данная публикация была отмечена статусом Spotlight – таким признанием награждаются материалы с наивысшими оценками экспертной комиссии. В текущем году этот статус получили всего 536 работ, что составляет лишь 2,2 процента от общего числа представленных.

В другом исследовании авторы предложилиИсследователи искали способы оптимизации процесса обучения масштабных языковых моделей. Применение техники конвейерной параллелизации (Pipeline Parallelism) приводит к тому, что некоторые видеокарты остаются бездействующими в ожидании завершения работы других устройств. Несмотря на то, что асинхронные подходы способны минимизировать такие задержки, ранее считалось, что они приводят к дестабилизации процесса обучения больших языковых моделей (LLM).

Согласно результатам изучения специалистов «Яндекса», ухудшение производительности обусловлено не самой задержкой, а применяемым методом оптимизации. В отличие от традиционного AdamW, который восприимчив к устаревшим значениям градиента, более новые подходы, такие как Muon, демонстрируют значительно лучшую устойчивость к подобным задержкам.

Для минимизации влияния неточностей при асинхронном обновлении данных исследователи разработали простое исправление, основанное на принципе обратной связи ошибок и интегрированное непосредственно в процесс оптимизации. Благодаря этому новому подходу, модели Mixture of Experts (MoE), содержащие 10 миллиардов параметров и обученные на огромной выборке из 200 миллиардов токенов, достигли сопоставимого качества с моделями, прошедшими синхронное обучение.

В еще одной статье исследователи «Яндекса» рассказали, чтобы повысить эффективность обучения нейросетей. Специалисты разработали два инновационных алгоритма оптимизации: SoftSignum и SoftMuon, которые регулируют процесс обновления параметров модели в ходе тренировки. В рамках проведённых экспериментов новые методы показывали превосходство над несколькими общепринятыми подходами, включая AdamW.

Как работать со сложными данными

Для графовых задач исследователи разработалиGraphPFN — это модель, прошедшая предварительное обучение на более чем 1,6 миллионах синтетических графов и демонстрирующая выдающиеся характеристики даже без последующей тонкой настройки. После адаптации модели к конкретной задаче она превзошла все альтернативные методы, рассмотренные в исследовании, по большинству реальных тестовых данных. Данный подход позволяет ускорить создание моделей для новых задач и снизить требуемый объём обучающих данных.

Еще одно исследование показало, поскольку современные нейронные сети демонстрируют более высокую производительность при обработке табличных данных, если способны принимать во внимание неточности в информации. В связи с этим разработчики предложили усовершенствованный метод кодирования числовых параметров.

Как обучать модели при нехватке данных

В большинстве практических сценариев доступно достаточное количество исходных материалов, однако часто наблюдается дефицит качественной аннотации. Эта особенность особенно выражена в таких сферах как здравоохранение, производство и другие отрасли, где процесс маркировки требует привлечения специалистов.

Для преодоления данного ограничения специалисты «Яндекса», совместно с коллегами, предложилиметод, который дает возможность применять ограниченный набор размеченных образцов наряду со значительным объемом неаннотированных данных. Это способствовало обучению моделей в ситуациях, когда аннотация новых данных связана со существенными финансовыми затратами или требует длительного времени.

Как ускорить поиск и рекомендации

Ежедневно поисковые движки и системы, предлагающие контент пользователям, анализируют колоссальные массивы информации. В «Яндексе» предложили способ ускорить эту работу.

В ряде случаев наиболее эффективная модель оказывается настолько требовательной к ресурсам, что ее невозможно использовать для анализа всех существующих вариантов. Разработанное специалистами компании «Яндекс» решение позволило предварительно выбирать оптимальных претендентов, которые впоследствии подвергались оценке с помощью более сложной модели. Благодаря этому удалось уменьшить потребление вычислительных мощностей.

<!—

.shesht-social-sharing-block {
margin-top: -40px;
}

—>