Исследователи робототехники уже давно пытаются создать "настоящую" ловкость в руках роботов, но цель остается удручающе недостижимой. Роботы-захваты и присоски могут подбирать и размещать предметы, но более сложные задачи, такие как сборка, вставка, переориентация, упаковка и т.д., остались в сфере человеческих манипуляций. Однако, подстегиваемая достижениями как в области сенсорных технологий, так и в области машинного обучения для обработки полученных данных, область роботизированных манипуляций меняется очень быстро.

Очень ловкая рука робота работает даже в темноте

Исследователи из Columbia Engineering продемонстрировали очень ловкую руку робота, которая сочетает в себе развитое чувство осязания с алгоритмами обучения моторике для достижения высокого уровня ловкости.

В качестве демонстрации мастерства команда выбрала сложную задачу по манипулированию: выполнить произвольно большое вращение предмета неравномерной формы, зажатого в руке, всегда удерживая предмет в устойчивом, надежном захвате. Это очень сложная задача, потому что она требует постоянного изменения положения подмножества пальцев, в то время как другие пальцы должны поддерживать стабильность объекта. Рука не только могла выполнить эту задачу, но и делала это без какой-либо визуальной обратной связи, основываясь исключительно на сенсорном восприятии.

В дополнение к новым уровням ловкости, рука работала без каких-либо внешних камер, поэтому она невосприимчива к освещению, окклюзии или подобным проблемам. А тот факт, что рука не полагается на зрение при манипулировании объектами, означает, что она может делать это в очень сложных условиях освещения, которые могут сбить с толку алгоритмы, основанные на зрении, - она может работать даже в темноте.

"Хотя наша демонстрация была посвящена проверке концепции, призванной проиллюстрировать возможности руки, мы считаем, что этот уровень ловкости откроет совершенно новые области применения роботизированных манипуляций в реальном мире", - сказал Матей Чокарли, доцент кафедр машиностроения и компьютерных наук.. "Некоторые из наиболее непосредственных применений могут быть в логистике и обработке материалов, помогая облегчить проблемы в цепочках поставок, подобные тем, которые преследуют нашу экономику в последние годы, а также в передовом производстве и сборке на заводах".

Использование тактильных пальцев на основе оптики

В более ранней работе группа Чокарли сотрудничала с Иоаннисом Кимиссисом, профессором электротехники, для разработки нового поколения тактильных пальцев робота на основе оптики. Это были первые пальцы робота, достигшие локализации контакта с точностью до миллиметра, обеспечивая при этом полный охват сложной многоугольной поверхности. Кроме того, компактная упаковка и небольшое количество проводов на пальцах позволили легко интегрировать их в комплектные руки робота.

Обучение руки выполнению сложных задач

Для этой новой работы, возглавляемой докторантом Чокарли Гаган Кхандате, исследователи спроектировали и построили руку робота с пятью пальцами и 15 суставами, приводимыми в действие независимо - каждый палец был оснащен технологией сенсорного восприятия команды. Следующим шагом было тестирование способности тактильной руки выполнять сложные манипуляционные задачи. Для этого они использовали новые методы моторного обучения, или способность робота осваивать новые физические задачи с помощью практики. В частности, они использовали метод, называемый глубоким обучением с подкреплением, дополненный новыми алгоритмами, которые они разработали для эффективного изучения возможных двигательных стратегий.

Робот прошел примерно год практики всего за несколько часов в режиме реального времени

Входные данные для алгоритмов моторного обучения состояли исключительно из тактильных и проприоцептивных данных команды, без какого-либо видения. Используя симуляцию в качестве тренировочной площадки, робот прошел примерно год практики всего за несколько часов в режиме реального времени, благодаря современным физическим симуляторам и высокопараллельным процессорам. Затем исследователи перенесли этот навык манипулирования, обученный в симуляции, на реальную руку робота, которая смогла достичь того уровня ловкости, на который надеялась команда. Чокарли отметил, что "главной целью в этой области остается вспомогательная робототехника в домашних условиях - идеальный полигон для проверки реальной ловкости. В этом исследовании мы показали, что руки робота также могут быть очень ловкими, основываясь только на сенсорном восприятии. Как только мы добавим визуальную обратную связь наряду с осязанием, мы надеемся, что сможем добиться еще большей ловкости и однажды начнем приближаться к воспроизведению человеческой руки ".

Конечная цель: объединение абстрактного интеллекта с воплощенным интеллектом

В конечном счете, заметил Чокарли, физический робот, чтобы быть полезным в реальном мире, нуждается как в абстрактном, семантическом интеллекте (чтобы концептуально понимать, как устроен мир), так и в воплощенном интеллекте (навыке физического взаимодействия с миром). Большие языковые модели, такие как GPT-4 от OpenAI или PALM от Google, нацелены на обеспечение первого, в то время как ловкость в манипулировании, достигнутая в этом исследовании, представляет собой дополнительные достижения во втором.

Например, когда вас спросят, как приготовить сэндвич, ChatGPT в ответ наберет пошаговый план, но нужен ловкий робот, чтобы воспользоваться этим планом и действительно приготовить сэндвич. Точно так же исследователи надеются, что физически квалифицированные роботы смогут извлечь семантический интеллект из чисто виртуального мира Интернета и эффективно использовать его в реальных физических задачах, возможно, даже в наших домах.

Статья была принята к публикации на предстоящей конференции "Робототехника: наука и системы" (Тэгу, Корея, 10-14 июля 2023 г.) и в настоящее время доступна в виде препринта.

видео: https://youtu.be/mYlc_OWgkyI