Исследователи из Института интеллектуальных систем Макса Планка (MPI-IS) в Штутгарте провели исследование, чтобы выяснить, как животные учатся ходить и извлекают уроки из спотыкания. Они построили четвероногого робота размером с собаку, который помог им разобраться в деталях.

"Как инженеры и робототехники, мы искали ответ, создав робота, который обладает рефлексами, подобными животным, и учится на ошибках", - говорит Феликс Рупперт, бывший докторант исследовательской группы по динамической локомоции в MPI-IS. "Если животное спотыкается, это ошибка? Нет, если это случится один раз. Но если он часто спотыкается, это дает нам представление о том, насколько хорошо робот ходит".

Феликс Рупперт - первый автор "Изучение пластического соответствия динамики робота в генераторах центрального паттерна с замкнутым контуром," который будет опубликован 18 июля 2022 года в журнале Nature Machine Intelligence.

Алгоритм обучения оптимизирует виртуальный спинной мозг

Научившись ходить всего за один час, робот Рупперта хорошо использует сложную механику своих ног. Обучением руководит байесовский алгоритм оптимизации: измеренная информация датчика стопы сопоставляется с целевыми данными из смоделированного виртуального спинного мозга, работающего как программа в компьютере робота. Робот учится ходить, непрерывно сравнивая отправленную и ожидаемую сенсорную информацию, выполняя рефлекторные циклы и адаптируя схемы управления своими двигателями.

Алгоритм обучения адаптирует управляющие параметры центрального генератора шаблонов (CPG). У людей и животных эти центральные генераторы паттернов представляют собой сети нейронов в спинном мозге, которые производят периодические мышечные сокращения без участия головного мозга. Сети центрального генератора паттернов помогают генерировать ритмичные задачи, такие как ходьба, моргание или пищеварение. Кроме того, рефлексы - это непроизвольные моторные управляющие действия, запускаемые жестко запрограммированными нервными путями, которые соединяют датчики в ноге со спинным мозгом.

Пока молодое животное ходит по идеально ровной поверхности, CPGS может быть достаточным для управления сигналами движения от спинного мозга. Однако небольшой удар о землю меняет походку. Срабатывают рефлексы и корректируют характер движений, чтобы животное не упало. Эти кратковременные изменения в сигналах движения являются обратимыми, или "эластичными", и паттерны движения возвращаются к своей первоначальной конфигурации после нарушения. Но если животное не перестает спотыкаться на протяжении многих циклов движения - несмотря на активные рефлексы, - тогда модели движений должны быть переучены и сделаны "пластичными", то есть необратимыми. У новорожденного животного CPGS изначально еще недостаточно хорошо отрегулированы, и животное спотыкается как на ровной, так и на неровной местности. Но животное быстро усваивает, как его ЦПГ и рефлексы управляют мышцами и сухожилиями ног.

То же самое относится и к роботу-собаке размером с лабрадора по кличке "Морти". Более того, робот оптимизирует свои движения быстрее, чем животное, примерно за один час. CPG Морти моделируется на маленьком и легком компьютере, который управляет движением ног робота. Этот виртуальный спинной мозг помещается на спине четвероногого робота там, где должна была бы находиться голова. В течение часа, необходимого роботу для плавной ходьбы, данные датчиков с ног робота непрерывно сравниваются с ожидаемым приземлением, предсказанным CPG робота. Если робот спотыкается, алгоритм обучения изменяет, как далеко ноги раскачиваются взад-вперед, как быстро они раскачиваются и как долго нога находится на земле. Отрегулированное движение также влияет на то, насколько хорошо робот может использовать свою податливую механику ног. В процессе обучения CPG посылает адаптированные двигательные сигналы, чтобы робот впредь меньше спотыкался и оптимизировал свою ходьбу. В этих рамках виртуальный спинной мозг не имеет явных знаний о конструкции ног робота, его двигателях и пружинах. Ничего не зная о физике машины, ей не хватает "модели" робота.

"Наш робот практически "родился", ничего не зная об анатомии своих ног или о том, как они работают", - объясняет Рупперт. "CPG напоминает встроенный интеллект автоматической ходьбы, который обеспечивает природа и который мы передали роботу. Компьютер выдает сигналы, которые управляют двигателями ног, и робот сначала ходит и спотыкается. Данные поступают обратно от датчиков в виртуальный спинной мозг, где сравниваются данные датчиков и CPG. Если данные датчика не соответствуют ожидаемым данным, алгоритм обучения изменяет поведение при ходьбе до тех пор, пока робот не будет ходить хорошо и не спотыкаясь. Изменение выходного сигнала CPG при сохранении активных рефлексов и мониторинге спотыкания робота является основной частью процесса обучения ".

Энергоэффективное управление роботом-собакой

Компьютер Морти потребляет всего пять ватт энергии в процессе ходьбы. Промышленные четвероногие роботы известных производителей, которые научились работать с помощью сложных контроллеров, гораздо более энергозатратны. Их контроллеры закодированы со знанием точной массы робота и геометрии тела - с использованием модели робота. Обычно они потребляют от нескольких десятков до нескольких сотен ватт мощности. Оба типа роботов работают динамично и эффективно, но потребление вычислительной энергии в штутгартской модели намного ниже. Это также дает важную информацию об анатомии животных.

"Мы не можем легко исследовать спинной мозг живого животного. Но мы можем смоделировать его в роботе", - говорит Александр Бадри-Шпревиц, который является соавтором публикации с Руппертом и возглавляет исследовательскую группу Dynamic Locomotion. "Мы знаем, что эти CPG существуют у многих животных. Мы знаем, что рефлексы встроены; но как мы можем объединить и то, и другое, чтобы животные усваивали движения с помощью рефлексов и CPG? Это фундаментальное исследование на стыке робототехники и биологии. Роботизированная модель дает нам ответы на вопросы, на которые биология сама по себе ответить не может".