Многие роботизированные руки размещают все свои мощные датчики на кончиках пальцев, поэтому для идентификации объект должен находиться в полном контакте с этими кончиками пальцев, что может потребовать многократного захвата. В других моделях используются датчики с более низким разрешением, расположенные вдоль всего пальца, но они не улавливают столько деталей, поэтому часто требуется многократная повторная съемка.

Вместо этого команда Массачусетского технологического института создала роботизированный палец с жестким скелетом, заключенным в мягкий внешний слой, в который под прозрачной "кожей" встроено множество датчиков высокого разрешения. Датчики, которые используют камеру и светодиоды для сбора визуальной информации о форме объекта, обеспечивают непрерывное считывание по всей длине пальца. Каждый палец фиксирует обширные данные о многих частях объекта одновременно.

Используя эту конструкцию, исследователи создали трехпалую роботизированную руку, которая могла идентифицировать объекты всего после одного захвата с точностью около 85 процентов. Жесткий каркас делает пальцы достаточно сильными, чтобы поднять тяжелый предмет, например дрель, в то время как мягкая кожа позволяет им надежно сжимать податливый предмет, например пустую пластиковую бутылку из-под воды, не раздавливая его.

Эти мягко-жесткие пальцы могли бы быть особенно полезны в роботе по уходу на дому, предназначенном для взаимодействия с пожилыми людьми. Робот может поднять тяжелый предмет с полки той же рукой, которой он помогает человеку принять ванну.

"Наличие как мягких, так и жестких элементов очень важно для любой руки, но так же важна и способность выполнять отличное зондирование на действительно большой площади, особенно если мы хотим рассмотреть возможность выполнения очень сложных манипуляций, подобных тем, которые могут выполнять наши собственные руки. Нашей целью в этой работе было объединить все то, что делает наши человеческие руки такими хорошими, в роботизированный палец, который может выполнять задачи, недоступные другим роботизированным пальцам в настоящее время", - говорит аспирантка-механик Сандра Лю, соавтор исследовательской работы о роботизированном пальце.

Лю написала статью вместе с соавтором и студентом бакалавриата в области машиностроения Леонардо Саморой Яньес и ее советником Эдвардом Адельсоном, профессором наук о зрении Джона и Дороти Уилсон на кафедре мозга и когнитивных наук и сотрудником Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). Результаты исследования будут представлены на конференции RoboSoft.

Палец, вдохновленный человеком

Роботизированный палец состоит из жесткого эндоскелета, напечатанного на 3D-принтере, который помещен в форму и заключен в прозрачную силиконовую "кожу". При изготовлении пальца в форме отпадает необходимость в крепежных элементах или клеях для удержания силикона на месте.

Исследователи разработали форму изогнутой формы, чтобы пальцы робота были слегка изогнуты в состоянии покоя, точно так же, как человеческие пальцы.

"Силикон сморщивается, когда он сгибается, поэтому мы подумали, что если мы сформируем палец в таком изогнутом положении, когда вы будете сгибать его сильнее, чтобы схватить предмет, вы не вызовете такого количества морщин. Морщины в некотором смысле хороши - они помогают пальцу скользить по поверхности очень плавно и легко, - но мы не хотели морщин, которые не могли бы контролировать", - говорит Лю.

Эндоскелет каждого пальца содержит пару детализированных сенсорных датчиков, известных как датчики GelSight, встроенных в верхнюю и среднюю части, под прозрачной кожей. Датчики расположены таким образом, чтобы диапазон действия камер слегка перекрывался, обеспечивая непрерывное восприятие пальцем по всей его длине.

Датчик GelSight, основанный на технологии, впервые разработанной Adelson group, состоит из камеры и трех цветных светодиодов. Когда палец захватывает какой-либо предмет, камера фиксирует изображения, поскольку цветные светодиоды освещают кожу изнутри.

Используя подсвеченные контуры, которые появляются на мягкой коже, алгоритм выполняет обратные вычисления для отображения контуров на поверхности захваченного объекта. Исследователи обучили модель машинного обучения распознавать объекты с использованием необработанных данных изображения с камеры.

Отлаживая процесс изготовления пальцев, исследователи столкнулись с несколькими препятствиями.

Во-первых, силикон имеет тенденцию со временем отслаиваться от поверхностей. Лю и ее коллеги обнаружили, что они могут ограничить это отслаивание, добавив небольшие изгибы вдоль шарниров между суставами эндоскелета.

Когда палец сгибается, изгиб силикона распределяется по крошечным изгибам, что уменьшает напряжение и предотвращает отслаивание. Они также добавили складки на стыках, чтобы силикон не сминался так сильно при сгибании пальца.

Устраняя неполадки в их конструкции, исследователи поняли, что морщины в силиконе предотвращают разрыв кожи.

"Полезность морщин была случайным открытием с нашей стороны. Когда мы синтезировали их на поверхности, мы обнаружили, что они на самом деле делают палец более прочным, чем мы ожидали", - говорит она.

Получаю хорошее представление

Доведя конструкцию до совершенства, исследователи создали роботизированную руку, используя два пальца, расположенных по форме Y, с третьим пальцем в качестве противоположного большого пальца. Рука захватывает шесть изображений, когда она захватывает объект (по два с каждого пальца), и отправляет эти изображения алгоритму машинного обучения, который использует их в качестве входных данных для идентификации объекта.

Поскольку рука обладает тактильными ощущениями, охватывающими все ее пальцы, она может собирать богатую тактильную информацию одним прикосновением.

"Хотя у нас много сенсорных функций в пальцах, возможно, добавление сенсорной функции в ладонь помогло бы еще лучше различать тактильные ощущения", - говорит Лю.

В будущем исследователи также хотят усовершенствовать аппаратное обеспечение, чтобы уменьшить степень износа силикона с течением времени и увеличить нагрузку на большой палец, чтобы он мог выполнять более широкий спектр задач.

Эта работа была частично поддержана Исследовательским институтом Toyota, Управлением военно-морских исследований и проектом SINTEF BIFROST.