BodyTrak - это первое носимое устройство, позволяющее отслеживать позу всего тела с помощью одной камеры. По словам Ченг Чжана, доцента информатики и старшего автора статьи, BodyTrak, если он будет интегрирован в будущие умные часы, может изменить правила игры в мониторинге механики тела пользователя при физической активности, где точность имеет решающее значение.

"Поскольку в умных часах уже есть камера, такие технологии, как BodyTrak, могут понимать позу пользователя и давать обратную связь в режиме реального времени", - сказал Чжан. "Это удобно, доступно по цене и не ограничивает зону перемещения пользователя".

Соответствующий документ "BodyTrak: определение позы всего тела по силуэтам тела с использованием миниатюрной камеры на браслете" был опубликован в Трудах Ассоциации вычислительной техники (ACM) по интерактивным, мобильным, носимым и повсеместным технологиям и представлен в сентябре на UbiComp 2022, международной конференции ACM. о всепроникающих и вездесущих вычислениях.

BodyTrak - это новейшая система распознавания тела от SciFiLab, базирующейся в колледже вычислительной техники и информатики Корнелла Энн С. Бауэрс, - группы, которая ранее разработала и использовала аналогичные модели глубокого обучения для отслеживания движений рук и пальцев, выражения лица и даже распознавания беззвучной речи.

Секрет BodyTrak заключается не только в камере размером с десятицентовик на запястье, но и в настроенной глубокой нейронной сети, стоящей за ней. Эта глубокая нейронная сеть - метод искусственного интеллекта, который обучает компьютеры учиться на ошибках, - считывает элементарные изображения камеры или "силуэты" тела пользователя в движении и виртуально воссоздает 14 поз тела в 3D и в режиме реального времени.

Другими словами, модель точно заполняет и дополняет частичные изображения, снятые камерой, сказал Хюнчул Лим, докторант в области информатики и ведущий автор статьи.

"Наше исследование показывает, что нам не нужно, чтобы рамки нашего тела были полностью в поле зрения камеры для восприятия тела", - сказал Лим. "Если мы сможем запечатлеть только часть наших тел, это будет много информации, которую можно извлечь для реконструкции всего тела".

По словам Чжана и Лима, сохранение конфиденциальности для посторонних лиц рядом с кем-то, кто носит такое сенсорное устройство, является законной заботой при разработке этих технологий. Они сказали, что BodyTrak смягчает проблемы конфиденциальности для случайных прохожих, поскольку камера направлена на тело пользователя и собирает только частичные изображения тела пользователя.

Они также признают, что современные умные часы еще не имеют достаточно маленьких или мощных камер и достаточного времени автономной работы, чтобы интегрировать датчики всего тела, но могут быть в будущем.

Наряду с Лимом и Чжаном, соавторами статьи являются Мэтью Дресса22, Чжэ Хун Ким 23 и Руидонг Чжан, докторант в области информатики; Яксуан Ли из Университета Макгилла; и Фанг Ху из Шанхайского университета Цзянь Тонг.