Благодаря своей функциональности, устройство освоило передвижение по сложному резиновому коврику и эластичному покрытию с эффектом памяти всего за несколько часов.
Команда инженеров, работающих над проектом Google Robotics, добилась значительного прогресса в обучении роботов навыкам ходьбы. Благодаря модификации действующих алгоритмов, был создан четвероногой робот, способный самостоятельно освоить ходьбу в различных направлениях и выполнение поворотов. Степень участия человека в этом процессе была сведена к минимуму.
Обучение и тестирование алгоритмов традиционно осуществляются с помощью компьютерного моделирования, после чего они внедряются в устройство. Однако в этот раз разработчики решили отказаться от предварительного тестирования в виртуальной среде. Вместо этого они применили метод обучения с подкреплением в реальных условиях. Инженеры опубликовали статью, описывающую их работу выложили на портале ArXiv.org в виде препринта.
Робота активировали на небольшой территории и обязали осваивать определенные действия. При приближении к границам зоны обучения он самостоятельно разворачивался обратно, без вмешательства исследователей. Кроме того, инженеры внедрили в его программное обеспечение встроенный алгоритм, гарантирующий возвращение устройства в стабильное состояние после падений.
На первом этапе испытаний робот проходил тестирование на ровной площадке, чтобы освоить передвижение по ней, что потребовало приблизительно полтора часа. После этого задача была усложнена: устройство запустили на ажурный резиновый коврик и мягкий коврик с эффектом памяти. Чтобы научиться передвигаться по этим поверхностям, роботу потребовалось 4,5 и 5,5 часа соответственно.
«По словам Челси Финн, одного из авторов проекта, возможность самостоятельного обучения позволяет роботам приблизиться к тому, чтобы учиться в условиях, максимально приближенных к реальному миру, а не только в лабораторных условиях. В перспективе исследователи планируют адаптировать эти алгоритмы для обучения роботов различных типов и организации совместного обучения нескольких роботов в ограниченном пространстве.