Исследователи Массачусетского технологического института ранее продемонстрировали роботизированную руку, которая сочетает визуальную информацию и радиочастотные сигналы (RF) для поиска скрытых объектов, помеченных RFID-метками (которые отражают сигналы, посылаемые антенной). Основываясь на этой работе, теперь они разработали новую систему, которая может эффективно извлекать любой объект, погребенный в куче. До тех пор, пока некоторые предметы в куче имеют RFID-метки, целевой элемент не нужно помечать, чтобы система могла его восстановить.

Алгоритмы, лежащие в основе системы, известной как FuseBot, определяют вероятное местоположение и ориентацию объектов под кучей. Затем FuseBot находит наиболее эффективный способ удаления мешающих объектов и извлечения целевого элемента. Это рассуждение позволило FuseBot находить больше скрытых предметов, чем самая современная робототехническая система, в два раза быстрее.

Такая скорость может быть особенно полезна на складе электронной коммерции. Робот, которому поручено обрабатывать возвраты, мог бы более эффективно находить предметы в несортированной куче с помощью системы FuseBot, говорит старший автор Фадель Адиб, доцент кафедры электротехники и компьютерных наук и директор группы кинетики сигналов в Media Lab.

"В этой статье впервые показано, что простое присутствие предмета с RFID-меткой в окружающей среде значительно облегчает вам выполнение других задач более эффективным способом. Мы смогли это сделать, потому что добавили в систему мультимодальные рассуждения - FuseBot может рассуждать как о зрении, так и о радиочастотах, чтобы разобраться в куче предметов", - добавляет Адиб.

К Адибу в работе над статьей присоединились ассистенты-исследователи Тара Борушаки, которая является ведущим автором; Лора Доддс; и Назиш Наим. Результаты исследования будут представлены на конференции "Робототехника: наука и системы".

Таргетинг на теги

Недавний отчет о рынке показывает, что более 90 процентов розничных торговцев в США в настоящее время используют RFID-метки, но эта технология не универсальна, что приводит к ситуациям, когда помечаются только некоторые объекты в стопках.

Эта проблема вдохновила группу на исследование.

С помощью FuseBot роботизированная рука использует подключенную видеокамеру и радиочастотную антенну для извлечения целевого предмета без маркировки из смешанной кучи. Система сканирует кучу с помощью своей камеры, чтобы создать 3D-модель окружающей среды. Одновременно он посылает сигналы со своей антенны для определения местоположения RFID-меток. Эти радиоволны могут проходить через большинство твердых поверхностей, поэтому робот может "видеть" вглубь кучи. Поскольку целевой элемент не помечен, FuseBot знает, что элемент не может быть расположен точно в том же месте, что и RFID-метка.

Алгоритмы объединяют эту информацию для обновления 3D-модели окружающей среды и выделения потенциальных местоположений целевого объекта; робот знает его размер и форму. Затем система анализирует объекты в куче и расположение RFID-меток, чтобы определить, какой предмет следует удалить, с целью найти целевой предмет с наименьшим количеством перемещений.

Было непросто включить это рассуждение в систему, говорит Борушаки.

Робот не уверен, как объекты ориентированы под кучей или как мягкий предмет может деформироваться при надавливании на него более тяжелыми предметами. Он преодолевает эту проблему с помощью вероятностных рассуждений, используя то, что он знает о размере и форме объекта и местоположении его RFID-метки, для моделирования 3D-пространства, которое этот объект, вероятно, займет.

Поскольку он удаляет элементы, он также использует рассуждения, чтобы решить, какой элемент было бы "лучше" удалить следующим.

"Если я дам человеку кучу предметов для поиска, он, скорее всего, сначала уберет самый большой предмет, чтобы посмотреть, что под ним. То, что делает робот, аналогично, но он также включает RFID-информацию для принятия более обоснованного решения. Он спрашивает: "Насколько больше он поймет об этой куче, если уберет этот предмет с поверхности?" - говорит Борушаки.

После удаления объекта робот снова сканирует кучу и использует новую информацию для оптимизации своей стратегии.

Результаты поиска

Это рассуждение, а также использование радиочастотных сигналов дало FuseBot преимущество перед современной системой, которая использовала только зрение. Команда провела более 180 экспериментальных испытаний, используя настоящие роботизированные руки и груды предметов домашнего обихода, таких как канцелярские принадлежности, мягкие игрушки и одежда. Они варьировали размеры стопок и количество предметов с RFID-метками в каждой стопке.

FuseBot успешно извлекал целевой элемент в 95 процентах случаев, по сравнению с 84 процентами для другой роботизированной системы. Он достиг этого, используя на 40 процентов меньше ходов, и смог находить и извлекать целевые предметы более чем в два раза быстрее.

"Мы видим значительное улучшение показателей успеха за счет включения этой радиочастотной информации. Также было интересно увидеть, что мы смогли соответствовать производительности нашей предыдущей системы и превзойти ее в сценариях, где целевой элемент не имел RFID-метки", - говорит Доддс.

FuseBot может быть применен в самых разных условиях, потому что программное обеспечение, которое выполняет его сложные вычисления, может быть реализовано на любом компьютере - ему просто нужно взаимодействовать с роботизированной рукой, у которой есть камера и антенна, добавляет Бороушаки.

В ближайшем будущем исследователи планируют включить в FuseBot более сложные модели, чтобы он лучше работал с деформируемыми объектами. Кроме того, они заинтересованы в изучении различных манипуляций, таких как роботизированная рука, которая отодвигает предметы в сторону. Будущие версии системы также могут быть использованы с мобильным роботом, который ищет потерянные объекты в нескольких кучах.

Эта работа частично финансировалась Национальным научным фондом, исследовательской стипендией Слоана, NTT DATA, Toppan, Toppan Forms и MIT Media Lab.