Инженеры проекта Google Robotics совершили заметный прорыв в обучении роботов хождению.
Усовершенствовав существующие алгоритмы, они создали четвероногого робота, который самостоятельно научился ходить в разных направлениях и поворачиваться.
При этом степень человеческого вмешательства в процесс была минимальной.
Обычно алгоритмы обучают и тестируют при помощи компьютерной симуляции, а затем импортируют в устройство. На этот раз разработчики решили отказаться от первоначального тестирования в виртуальной среде. Вместо этого они использовали обучение с подкреплением в реальном мире.
Робота запустили на ограниченную территорию и заставили разучивать несколько действий. Как только он добирался до края зоны обучения, то тут же разворачивался обратно без помощи исследователей. Также инженеры добавили в программное обеспечение жестко заданный алгоритм, который позволял аппарату возвращаться в устойчивое положение после падений.
Сначала устройство тестировали на плоской поверхности: чтобы разобраться, как передвигаться по ней, роботу понадобилось около полутора часов. Затем задачу усложнили, запустив устройство на ажурный резиновый половик и на мягкий коврик с эффектом памяти. Для обучения ходьбе по этим поверхностям роботу понадобилось 4,5 и 5,5 часа соответственно.
«Получая возможность обучаться автономно, роботы приближаются к возможности учиться в реальном мире, в котором мы живем, а не в лаборатории», — говорит одна из авторов проекта Челси Финн.
В дальнейшем исследователи хотят приспособить алгоритмы для тренировки различных типов роботов и совместного обучения нескольких роботов в ограниченном пространстве.
