Система использует технологию новых микрофонов с костной проводимостью, известных как устройства распознавания голоса (VPU), которые улавливают только те акустические волны, которые распространяются по поверхности объектов. Он работает в шумных помещениях, на предметах необычной геометрии, таких как игрушки и руки, а также на мягких тканях, таких как одежда и мебель.

Система, получившая название SAWSense из-за поверхностных акустических волн, на которые она опирается, распознает различные входные сигналы, такие как прикосновения, царапины и свайпы, с точностью 97%. В одной демонстрации команда использовала обычный стол для замены трекпада ноутбука.

"Эта технология позволит вам рассматривать, например, всю поверхность вашего тела как интерактивную поверхность", - сказал Яша Ираванчи, докторант Калифорнийского университета в области компьютерных наук и инженерии. "Если вы наденете устройство на запястье, вы сможете выполнять жесты на своей собственной коже. У нас есть предварительные результаты, которые демонстрируют, что это вполне осуществимо".

Прикосновения, смахивания и другие жесты посылают акустические волны вдоль поверхностей материалов. Затем система классифицирует эти волны с помощью машинного обучения, чтобы превратить все прикосновения в надежный набор входных данных. Система была представлена на прошлой неделе на конференции 2023 года по человеческому фактору в вычислительных системах, где она получила награду за лучшую статью.

По мере того как все больше объектов продолжают использовать интеллектуальные технологии или подключенные устройства, дизайнеры сталкиваются с рядом проблем, пытаясь предоставить им интуитивно понятные механизмы ввода. По словам Ираванчи, это приводит к большому количеству неуклюжих методов ввода, таких как сенсорные экраны, а также механические и емкостные кнопки. Сенсорные экраны могут быть слишком дорогостоящими для обеспечения ввода жестов на больших поверхностях, таких как прилавки и холодильники, в то время как кнопки допускают только один вид ввода в заранее определенных местах.

Прошлые подходы к преодолению этих ограничений включали использование микрофонов и камер для ввода звука и жестов, но авторы говорят, что подобные методы имеют ограниченную практичность в реальном мире.

"Когда много фонового шума или что-то встает между пользователем и камерой, аудио- и визуальный ввод жестов работает плохо", - сказал Ираванчи.

Чтобы преодолеть эти ограничения, датчики, питающие SAWSense, размещены в герметично закрытой камере, которая полностью блокирует даже очень громкий окружающий шум. Единственный вход осуществляется через систему массовых пружин, которая проводит поверхностные акустические волны внутрь корпуса, никогда не вступая в контакт со звуками окружающей среды. В сочетании с разработанным командой программным обеспечением для обработки сигналов, которое генерирует характеристики из данных перед подачей их в модель машинного обучения, система может записывать и классифицировать события на поверхности объекта.

"Есть и другие способы обнаружения вибраций или поверхностно-акустических волн, такие как пьезоэлектрические датчики или акселерометры", - сказал Алансон Сэмпл, доцент кафедры электротехники и компьютерных наук Калифорнийского университета, - "но они не могут охватить широкий диапазон частот, который нам нужен, чтобы определить разницу между например, проведите пальцем и поцарапайте."

Высокая точность VPU позволяет SAWSense определять широкий спектр действий на поверхности, помимо событий прикосновения пользователя. Например, VPU на кухонной столешнице может обнаруживать измельчение, перемешивание, смешивание или взбивание, а также идентифицировать используемые электронные устройства, такие как блендер или микроволновая печь.

"Вице-президенты хорошо справляются с распознаванием действий и событий, происходящих в четко определенной области", - сказал Ираванчи. "Это позволяет использовать функциональность, которая поставляется с смарт-объектом, без проблем с конфиденциальностью, связанных, например, со стандартным микрофоном, который воспринимает всю комнату".

При комбинированном использовании нескольких виртуальных машин SAWSense может обеспечить более специфичный и чувствительный ввод данных, особенно тех, которые требуют ощущения пространства и дистанции, таких как клавиши на клавиатуре или кнопки на пульте дистанционного управления.

Кроме того, исследователи изучают возможность использования VPU для медицинского зондирования, включая улавливание деликатных шумов, таких как звуки суставов и соединительных тканей при их движении. По словам Сэмпла, высококачественные аудиоданные, предоставляемые VPU, могут позволить проводить аналитику состояния здоровья человека в режиме реального времени.

Исследование частично финансируется компанией Meta Platforms Inc.

Команда подала заявку на патентную защиту при содействии U-M Innovation Partnerships и ищет партнеров для вывода технологии на рынок.