В ходе испытаний система позволяла роботу автономно и быстро маневрировать по песчаным поверхностям, гравию, траве и неровным грунтовым холмам, покрытым ветками и опавшими листьями, не натыкаясь на столбы, деревья, кустарники, валуны, скамейки или людей. Робот также перемещался по оживленному офисному помещению, не натыкаясь на коробки, столы или стулья.

Эта работа приближает исследователей на шаг к созданию роботов, которые могут выполнять поисково-спасательные миссии или собирать информацию в местах, которые слишком опасны или труднодоступны для людей.

Команда представит свою работу на Международной конференции по интеллектуальным роботам и системам (IROS) 2022 года, которая пройдет с 23 по 27 октября в Киото, Япония.

Система обеспечивает роботу на ногах большую универсальность благодаря тому, что она сочетает в себе зрение робота с другим способом восприятия, называемым проприоцепцией, который включает в себя ощущение движения, направления, скорости, местоположения и прикосновения робота - в данном случае ощущение земли под ногами.

В настоящее время большинство подходов к обучению четвероногих роботов ходить и ориентироваться полагаются либо на проприоцепцию, либо на зрение, но не на то и другое одновременно, сказал старший автор исследования Сяолун Ван, профессор электротехники и вычислительной техники в инженерной школе Джейкобса Калифорнийского университета в Сан-Диего.

"В одном случае это похоже на обучение слепого робота ходить, просто касаясь и ощупывая землю. А в другом робот планирует движения своих ног, основываясь только на зрении. Это не значит учиться двум вещам одновременно", - сказал Ван. "В нашей работе мы сочетаем проприоцепцию с компьютерным зрением, чтобы робот на ногах мог эффективно и плавно передвигаться, избегая препятствий, в самых разных сложных условиях, а не только в четко определенных".

Система, которую разработали Ван и его команда, использует специальный набор алгоритмов для объединения данных с изображений в реальном времени, сделанных глубинной камерой на голове робота, с данными от датчиков на ногах робота. Это была непростая задача. "Проблема заключается в том, что во время реальной работы иногда возникает небольшая задержка в получении изображений с камеры, - объяснил Ван, - поэтому данные от двух разных методов измерения не всегда поступают в одно и то же время".

Решение команды состояло в том, чтобы смоделировать это несоответствие путем рандомизации двух наборов входных данных - метод, который исследователи называют рандомизацией с мультимодальной задержкой. Объединенные и рандомизированные исходные данные затем использовались для сквозной разработки политики обучения с подкреплением. Такой подход помог роботу быстро принимать решения во время навигации и заранее предвидеть изменения в окружающей среде, поэтому он мог быстрее перемещаться и уклоняться от препятствий на различных типах местности без помощи человека-оператора.

Продвигаясь вперед, Ван и его команда работают над тем, чтобы сделать роботов с ножками более универсальными, чтобы они могли покорять еще более сложные местности. "Прямо сейчас мы можем обучить робота выполнять простые движения, такие как ходьба, бег и избегание препятствий. Наши следующие цели - дать роботу возможность подниматься и спускаться по лестнице, ходить по камням, менять направление и перепрыгивать через препятствия".

Видео: https://youtu.be/GKbTklHrq60

Команда опубликовала свой код онлайн по адресу: https://github.com/Mehooz/vision4leg.