Исследователи из Кембриджского университета запрограммировали своего робота-шеф-повара на "поваренную книгу" из восьми простых рецептов салатов. После просмотра видео, на котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и приготовить его.

Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Их результаты опубликованы в журнале Доступ к IEEE, демонстрируют, как видеоконтент может стать ценным и насыщенным источником данных для автоматизированного производства продуктов питания и может упростить и удешевить внедрение роботов-поваров.

Роботы-повара десятилетиями фигурировали в научной фантастике, но на самом деле приготовление пищи - сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, хотя ни один из них в настоящее время не доступен в продаже, и они значительно отстают от своих коллег-людей по уровню квалификации.

Повара-люди могут изучать новые рецепты, наблюдая за тем, как готовит другой человек, или просматривая видео на YouTube, но программирование робота для приготовления различных блюд является дорогостоящим и трудоемким процессом.

"Мы хотели посмотреть, сможем ли мы обучить робота-шеф-повара учиться так же постепенно, как это могут делать люди, - определяя ингредиенты и то, как они сочетаются в блюде", - сказал Гжегож Сочацки из инженерного факультета Кембриджа, первый автор статьи.

Сочацки, кандидат наук в лаборатории био-робототехники профессора Фумии Ииды, и его коллеги разработали восемь простых рецептов салатов и сняли на видео, как они их готовят. Затем они использовали общедоступную нейронную сеть для обучения своего робота-шеф-повара. Нейронная сеть уже была запрограммирована на идентификацию целого ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах салатов (брокколи, морковь, яблоко, банан и апельсин).

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисточки и лицо человека-демонстратора. И рецепты, и видеоролики были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.

Правильно определяя ингредиенты и действия шеф-повара-человека, робот мог определить, по какому из рецептов готовится блюдо. Робот мог бы сделать вывод, что если бы человек-демонстратор держал нож в одной руке, а морковь - в другой, то морковь была бы нарезана.

Из 16 просмотренных видеороликов робот распознал правильный рецепт в 93% случаев, хотя он распознавал только 83% действий шеф-повара-человека. Робот также смог обнаружить, что незначительные изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Робот также правильно распознал демонстрацию нового, девятого по счету салата, добавил его в свою кулинарную книгу и приготовил.

"Удивительно, сколько нюансов смог обнаружить робот", - сказал Сочацки. "Эти рецепты не сложны - по сути, это нарезанные фрукты и овощи, но было действительно эффективно распознать, например, что два нарезанных яблока и две нарезанные моркови - это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови".

Видеоролики, используемые для обучения робота-шеф-повара, не похожи на видеоролики о еде, снятые некоторыми влиятельными лицами в социальных сетях, которые полны быстрых нарезок и визуальных эффектов и быстро переключаются между человеком, готовящим еду, и блюдом, которое они готовят. Например, роботу было бы трудно идентифицировать морковь, если бы человек-демонстратор держал ее в руке - чтобы робот мог идентифицировать морковь, человек-демонстратор должен был поднять морковь так, чтобы робот мог видеть овощ целиком.

"Нашему роботу не интересны видеоролики о еде, которые становятся вирусными в социальных сетях - за ними просто слишком сложно следить", - сказал Сочацки. "Но по мере того, как эти роботы-повара будут лучше и быстрее определять ингредиенты в видеороликах о еде, они, возможно, смогут использовать такие сайты, как YouTube, для изучения целого ряда рецептов".

Исследование было частично поддержано Beko plc и Исследовательским советом по инженерным и физическим наукам (EPSRC), входящим в состав Британского агентства исследований и инноваций (UKRI).