Сначала это не удавалось, иногда ручка полностью отсутствовала, хваталась за нее не в том месте или неправильно тянула. Но после нескольких часов практики робот преуспел и открыл дверь.

"Имитация - отличный способ учиться", - сказал Бахл, аспирант Института робототехники (RI) Школы компьютерных наук Университета Карнеги-Меллон. "То, что роботы действительно учатся, непосредственно наблюдая за людьми, остается нерешенной проблемой в этой области, но эта работа делает значительный шаг в обеспечении этой способности".

Бахл работал с Дипаком Патхаком и Абхинавом Гуптой, преподавателями RI, над разработкой нового метода обучения для роботов под названием WHIRL, сокращенно от In-the-Wild Human, имитирующего обучение роботов. WHIRL - это эффективный алгоритм для однократной визуальной имитации. Он может извлекать уроки непосредственно из видеороликов о взаимодействии с человеком и обобщать эту информацию для решения новых задач, что делает роботов хорошо подходящими для обучения домашним обязанностям. Люди постоянно выполняют различные задачи в своих домах. С помощью WHIRL робот может наблюдать за этими задачами и собирать видеоданные, необходимые ему, чтобы в конечном итоге определить, как выполнить саму работу.

Команда добавила камеру и свое программное обеспечение к готовому роботу, и он научился выполнять более 20 задач - от открывания и закрывания приборов, дверей шкафов и выдвижных ящиков до надевания крышки на кастрюлю, толкания стула и даже извлечения мешка для мусора из мусорного ведра.. Каждый раз робот наблюдал, как человек выполняет задание один раз, а затем практиковался и учился выполнять его самостоятельно. Команда представила свои исследования в этом месяце на конференции Robotics: Science and Systems conference в Нью-Йорке.

"Эта работа представляет собой способ привнести роботов в дом", - сказал Патхак, доцент RI и член команды. "Вместо того, чтобы ждать, пока роботы будут запрограммированы или обучены успешно выполнять различные задачи, прежде чем внедрять их в дома людей, эта технология позволяет нам внедрять роботов и заставлять их учиться выполнять задачи, все время адаптируясь к окружающей среде и совершенствуясь исключительно путем наблюдения".

Современные методы обучения робота выполнению задачи обычно основаны на имитации или обучении с подкреплением. При имитационном обучении люди вручную управляют роботом, чтобы научить его выполнять задачу. Этот процесс должен быть выполнен несколько раз для одной задачи, прежде чем робот научится. При обучении с подкреплением робота обычно обучают на миллионах примеров в режиме симуляции, а затем просят адаптировать это обучение к реальному миру.

Обе модели обучения хорошо работают при обучении робота одной задаче в структурированной среде, но их сложно масштабировать и развертывать. WHIRL может учиться на любом видео, где человек выполняет задание. Он легко масштабируется, не ограничивается одной конкретной задачей и может работать в реалистичных домашних условиях. Команда даже работает над версией WHIRL, обученной просмотру видеороликов о человеческом взаимодействии с YouTube и Flickr.

Прогресс в области компьютерного зрения сделал эту работу возможной. Используя модели, обученные на основе интернет-данных, компьютеры теперь могут понимать и моделировать движение в 3D. Команда использовала эти модели, чтобы понять движение человека, облегчая тренировочный КРУГОВОРОТ.

С помощью WHIRL робот может выполнять задачи в своей естественной среде. Приборы, дверцы, ящики, крышки, стулья и мешок для мусора не были изменены или подвергнуты манипуляциям в соответствии с требованиями робота. Первые несколько попыток робота выполнить задачу закончились неудачей, но как только у него появилось несколько успехов, он быстро понял, как ее выполнить, и освоил ее. Хотя робот может не выполнять задачу теми же движениями, что и человек, это не является целью. У людей и роботов разные части тела, и они двигаются по-разному. Важно то, что конечный результат один и тот же. Дверь открыта. Выключатель выключен. Кран включен.

"Чтобы масштабировать робототехнику в дикой природе, данные должны быть надежными и стабильными, а роботы должны становиться лучше в своей среде, практикуясь самостоятельно", - сказал Патхак.