Тактильные ощущения - невероятно важная часть того, как люди воспринимают свою реальность. Тактильные средства или устройства, способные производить чрезвычайно специфические вибрации, имитирующие ощущение прикосновения, - это способ оживить это третье чувство. Однако, что касается тактильных ощущений, люди невероятно разборчивы в том, кажется ли что-то "правильным" или нет, и виртуальные текстуры не всегда попадают в цель.

Теперь исследователи из инженерной школы университета Витерби разработали новый метод для компьютеров, позволяющий получить эту истинную текстуру - с помощью людей.

Фреймворк, называемый моделью, основанной на предпочтениях, использует нашу способность различать детали определенных текстур в качестве инструмента для настройки этих виртуальных аналогов.

Исследование было опубликовано в Транзакции IEEE по тактильным ощущениям авторами являются три аспиранта Университета Витерби в области компьютерных наук, Шихан Лу, Мяньлун Чжэн и Мэтью Фонтейн, а также Стефанос Николаидис, доцент университета Витерби в области компьютерных наук, и Хизер Калбертсон, доцент университета Витерби Уайз Габилан в области компьютерных наук.

"Мы просим пользователей сравнить свои ощущения от реальной текстуры и виртуальной текстуры", - объяснил Лу, первый автор. "Затем модель итеративно обновляет виртуальную текстуру, чтобы в конечном итоге виртуальная текстура могла соответствовать реальной".

По словам Фонтейна, идея впервые возникла, когда осенью 2019 года они вместе посещали занятия по тактильным интерфейсам и виртуальным средам, которые вел Калбертсон. Они черпали вдохновение в художественном приложении Picbreeder, которое может генерировать изображения на основе предпочтений пользователя снова и снова, пока не достигнет желаемого результата.

"Мы подумали, что, если бы мы могли сделать это для текстур?" Фонтейн вспомнил.

Используя эту модель, основанную на предпочтениях, пользователю сначала предоставляется реальная текстура, и модель случайным образом генерирует три виртуальные текстуры, используя десятки переменных, из которых пользователь затем может выбрать ту, которая на ощупь наиболее похожа на реальную вещь. Со временем поиск корректирует распределение этих переменных по мере приближения к тому, что предпочитает пользователь. По словам Фонтейна, этот метод имеет преимущество перед прямой записью и "воспроизведением" текстур, поскольку всегда существует разрыв между тем, что считывает компьютер, и тем, что мы чувствуем.

"Вы измеряете параметры того, как именно они это чувствуют, а не просто имитируете то, что мы можем записать", - сказал Фонтейн. Будет какая-то ошибка в том, как вы записали эту текстуру, в том, как вы ее воспроизводите".

Единственное, что нужно сделать пользователю, это выбрать, какая текстура лучше всего подходит, и отрегулировать степень трения с помощью простого ползунка. Трение имеет важное значение для того, как мы воспринимаем текстуры, и оно может варьироваться в зависимости от восприятия человека другим человеком. Это "очень просто", - сказал Лу.

Их работа появилась как раз вовремя для развивающегося рынка специфических, точных виртуальных текстур. Все, от видеоигр до дизайна одежды, интегрирует тактильную технологию, и существующие базы данных виртуальных текстур могут быть улучшены с помощью этого метода пользовательских предпочтений.

"Растет популярность тактильного устройства в видеоиграх, дизайне одежды и моделировании хирургии", - сказал Лу. "Даже дома мы начали видеть пользователей с этими (тактильными) устройствами, которые становятся такими же популярными, как ноутбук. Например, в видеоиграх от первого лица это позволит им почувствовать, что они действительно взаимодействуют со своим окружением ".

Ранее Лу выполнял другие работы по технологии погружения, но со звуком - в частности, делал виртуальную текстуру еще более захватывающей, вводя соответствующие звуки, когда инструмент взаимодействует с ней.

"Когда мы взаимодействуем с окружающей средой с помощью инструмента, тактильная обратная связь - это только одна из модальностей, один из видов сенсорной обратной связи", - сказал Лу. "Звук - это еще один вид сенсорной обратной связи, и то и другое очень важно".

Модель поиска текстур также позволяет кому-либо извлекать виртуальную текстуру из базы данных, например, из набора инструментов Haptic Texture Toolkit Пенсильванского университета, и дорабатывать их, пока не получит желаемый результат.

"Вы можете использовать предыдущие виртуальные текстуры, которые искали другие, а затем, основываясь на них, продолжить настройку", - сказал Лу. "Вам не нужно каждый раз искать с нуля".

Это особенно удобно для виртуальных текстур, которые используются при обучении стоматологии или хирургии, которые, по словам Лу, должны быть чрезвычайно точными.

"Хирургическая подготовка - это, безусловно, огромная область, которая требует очень реалистичных текстур и тактильной обратной связи", - сказал Лу. "Дизайн одежды также требует большой точности в текстуре при разработке, прежде чем они пойдут и изготовят ее".

Лу объяснил, что в будущем реальные текстуры могут даже не потребоваться для модели. Восприятие определенных вещей в нашей жизни настолько интуитивно, что точная настройка текстуры в соответствии с этим воспоминанием - это то, что мы можем сделать сами, просто взглянув на фотографию, не имея перед собой реальной текстуры для справки.

"Когда мы видим стол, мы можем представить, как он будет ощущаться, когда мы к нему прикоснемся", - сказал Лу. "Используя имеющиеся у нас предварительные знания о surface, вы можете просто предоставить пользователям визуальную обратную связь, и это позволит им выбрать то, что соответствует".