Группа ученых из Московского физико-технического института и Института искусственного интеллекта представила инновационную стратегию для управления большими группами роботов. Разработанный ими метод активного, последовательного дообучения Delta Data Generation (DDG) позволил их нейросетевой системе впервые среди подобных алгоритмов успешно выполнить задачу безопасной координации миллиона агентов на общей территории. —Руководителем научной работы выступил доктор физико-математических наук, профессор РАН, директор Центра когнитивного моделирования МФТИ и Лаборатории «Когнитивные системы ИИ» AIRI Александр Игоревич Панов. Результаты исследования были опубликованы в материалах международной конференции IEEE/RSJ IROS 2025.

В основе разработанного решения лежит трансформерная модель MAPF-GPT, ранее созданная той же командой для поиска оптимальных маршрутов несколькими агентами (Multi-Agent Path Finding). Изначально обученная на обширном объеме данных, она продемонстрировала характеристики базовой модели: способность к адаптации при минимальном количестве примеров и решению задач, не представленных в исходных обучающих данных. Тем не менее, применение этой технологии для управления огромным числом роботов и сценариев с последовательным назначением целей выявило существенные трудности. Когда отдельный робот оказывается окружен слишком большим количеством соседей в пределах своей видимости, модель сталкивается с ситуациями, которые значительно отличаются от тех, на которых она была обучена, что приводит к непредсказуемым действиям.

Для решения этой проблемы авторы предложили алгоритм MAPF-GPT-DDG с активной системой дообучения. В рамках итеративного цикла система самостоятельно определяет сценарии, в которых возникают ошибки – например, сложные ситуации при разведении агентов в замкнутом пространстве — и запрашивает у экспертной системы корректные примеры поведения. Полученные данные включаются в обучающий набор данных, после чего модель проходит дополнительную настройку (fine-tuning), но с выбором наиболее сложных и проблемных примеров.

«Выяснилось, что в ситуациях, когда задействовано несколько агентов, обычные методы обучения с подкреплением, такие как GRPO, или стандартная доводка параметров оказываются недостаточными. В таких условиях необходимо разрабатывать специальные алгоритмы для дополнительного обучения. Мы не создаем сразу полный набор данных, аннотированный экспертом, а запрашиваем только те примеры, которые вызывают затруднения у текущей версии модели», — объяснил Александр Панов.

Благодаря такому решению удалось не просто адаптировать модель к совершенно новому типу задач, но и добиться выдающихся результатов. В ходе испытаний на карте размером 2048×2048 система успешно организовала взаимодействие более полумиллиона агентов с результатом в сто процентов, а при использовании миллиона агентов успешность составила 99,9%. Время реакции системы составляло всего 163 микросекунды для каждого участника. При этом модель, содержащая лишь два миллиона параметров, после дополнительного обучения методом DDG продемонстрировала уровень качества решений, сопоставимый с исходной версией модели, в которой насчитывалось 85 миллионов параметров.

«Наша разработка стала первой среди обучаемых систем, сумевшей обеспечить скоординированное перемещение миллиона виртуальных агентов на одной карте – это новый рекорд для подобных задач. Традиционные подходы либо не позволяют масштабировать систему, либо требуют колоссальной вычислительной мощности. MAPF-GPT-DDG решил эту проблему», — поделился соавтор работы Александр Панов.

Реальная ценность этой методики заключается в возможности автоматизации крупных логистических комплексов. Задача планирования маршрутов для множества агентов уже сейчас решается для тысяч роботов на сортировочных площадках Amazon, Почты России и других организаций, где мобильные платформы транспортируют стеллажи с товарами. Способность строить траектории в режиме реального времени и быстро корректировать ошибки имеет критическое значение для таких складов. Испытания с миллионом роботов были прежде всего научным экспериментом, но они также открывают перспективы на будущее.

С точки зрения реального применения, сейчас не так важна большая численность роботов. Однако в перспективе, когда будет создан масштабный распределительный комплекс – охватывающий всю Землю или несколько планет нашей системы, — тогда и понадобится значительное количество машин, порядка миллиона единиц, отметил исследователь.

Материал подготовлен при содействии Министерства науки и высшего образования Российской Федерации.