Технология громкой связи добавляет реалистичного ощущения прикосновения в расширенной реальности

  • Пользователь Алексей Коровин опубликовал
  • 23 февраля 2023 г., 22:00:42 MSK
  • 0 комментариев
  • 89 просмотров
Исследователи продемонстрировали новый подход громкой связи для передачи реалистичной тактильной обратной связи в виртуальной реальности (VR). Их "мультисенсорная псевдогаптика" использует комбинацию визуальных эффектов гарнитуры и тактильной обратной связи от браслета на запястье для передачи ощущений прикосновения.

С прицелом на не столь отдаленное будущее, когда некоторые люди будут проводить большую часть или все свое рабочее время в расширенной реальности, исследователи из Университета Райса, медицинского колледжа Бэйлора и лаборатории Meta Reality Labs нашли способ без помощи рук создавать правдоподобные тактильные ощущения в виртуальной среде.

Пользователям виртуальной реальности (VR) обычно нужны портативные устройства, такие как тактильные контроллеры или перчатки, чтобы испытать тактильные ощущения от прикосновения. Новая "мультисенсорная псевдогаптическая" технология, которая описана в исследовании открытого доступа, опубликованном онлайн в Advanced Intelligent Systems, использует комбинацию визуальной обратной связи от гарнитуры виртуальной реальности и тактильных ощущений от механического браслета, который сжимает и вибрирует запястье.

"Разработчики носимых технологий хотят сделать виртуальный опыт более реалистичным, и для тактильных ощущений они в основном пытались сделать это, воссоздав силы, которые мы ощущаем на кончиках пальцев, когда манипулируем объектами", - сказала соавтор исследования Марсия О'Мэлли, профессор машиностроения в семье Томаса Майкла Паноса из Rice. "Вот почему современные носимые тактильные технологии часто громоздки и отягощают руки".

О'Мэлли сказал, что это проблема в будущем, потому что комфорт будет становиться все более важным по мере того, как люди будут проводить больше времени в виртуальной среде.

"Для длительного ношения наша команда хотела разработать новую парадигму", - сказал О'Мэлли, который руководит лабораторией мехатроники и тактильных интерфейсов Rice. "Обеспечивая правдоподобную тактильную обратную связь на запястье, руки и пальцы остаются свободными, что позволяет носить их в течение всего дня, как умные часы, к которым мы уже привыкли".

Тактильное относится к чувству осязания. Она включает в себя как тактильные ощущения, передаваемые через кожу, так и кинестетические ощущения от мышц и сухожилий. Наш мозг использует кинестетическую обратную связь, чтобы постоянно ощущать относительное положение и движения наших тел без сознательных усилий. Псевдогаптика - это тактильные иллюзии, имитируемые переживания, которые создаются путем использования того, как мозг получает, обрабатывает и реагирует на тактильные и кинестетические сигналы.

"Псевдогаптика не нова", - сказал О'Мэлли. "Визуальные и пространственные иллюзии изучаются и используются уже более 20 лет. Например, когда вы двигаете рукой, мозг обладает кинестетическим ощущением того, где она должна быть, и если ваш глаз видит руку в другом месте, ваш мозг автоматически принимает это к сведению. Намеренно создавая эти несоответствия, можно создать тактильную иллюзию, которую ваш мозг интерпретирует как "Моя рука наткнулась на какой-то предмет".

"Что самое интересное в псевдогаптике, так это то, что вы можете создавать эти ощущения без аппаратного обеспечения, отягощающего руки", - сказала она.

В то время как дизайнеры виртуальных сред годами использовали псевдогаптические иллюзии, вопрос, лежащий в основе нового исследования, заключался в следующем: можно ли сделать визуально управляемые псевдогаптические иллюзии более реалистичными, если они подкреплены скоординированными тактильными ощущениями без помощи рук на запястье?

Эван Пезент, бывший студент О'Мэлли, а ныне научный сотрудник Meta Reality Labs в Редмонде, штат Вашингтон, работал с О'Мэлли и его коллегами над разработкой и проведением экспериментов, в которых псевдогаптические визуальные сигналы дополнялись скоординированными тактильными ощущениями от Tasbi, механизированного браслета, ранее изобретенного Meta.

У Tasbi есть моторизованный шнур, который может натягивать и сжимать запястье, а также полдюжины небольших вибромоторов - тех же компонентов, которые обеспечивают тихое оповещение на мобильных телефонах, - которые расположены сверху, снизу и по бокам запястья. Когда и насколько сильно они вибрируют, а также когда и насколько сильно сжимается браслет, можно координировать как друг с другом, так и с движениями пользователя в виртуальной реальности.

В первоначальных экспериментах О'Мэлли и его коллеги заставляли пользователей нажимать виртуальные кнопки, которые были запрограммированы на имитацию различной степени жесткости. Исследование показало, что добровольцы были способны ощущать различную степень жесткости каждой из четырех виртуальных кнопок. Чтобы дополнительно продемонстрировать диапазон физических взаимодействий, которые может имитировать система, команда затем включила ее в девять других распространенных типов виртуальных взаимодействий, включая нажатие на переключатель, вращение циферблата и захват и сжатие объекта.

"Сохранение рук свободными при сочетании тактильной обратной связи на запястье с визуальной псевдогаптикой - это захватывающий новый подход к созданию привлекательного пользовательского опыта в виртуальной реальности", - сказал О'Мэлли. "Здесь мы исследовали восприятие пользователем жесткости объекта, но Эван продемонстрировал широкий спектр тактильных ощущений, которых мы можем достичь с помощью этого подхода, включая бимануальные взаимодействия, такие как стрельба из лука или восприятие массы и инерции объекта".

Соавторами исследования являются Аликс Маклин из Rice, Джеффри Яу из Baylor и Николас Колоннес из Meta.

Исследование финансировалось компанией Meta Reality Labs Research, а работа Маклина была поддержана учебным грантом Национального научного фонда (1828869).

Комментарии

0 комментариев