В своем нынешнем виде SpellRing можно было бы использовать для ввода текста в компьютеры или смартфоны с помощью пальцевого ввода, который используется в ASL для написания слов без соответствующих знаков, таких как имена собственные, наименования и технические термины. При дальнейшем развитии устройство, которое считается первым в своем роде, может произвести революцию в переводе ASL, непрерывно отслеживая целые слова и предложения, подписанные.

"Многие другие технологии, которые распознают жестикуляцию пальцев в ASL, не были приняты сообществом глухих и слабослышащих, потому что аппаратное обеспечение громоздкое и непрактичное", - сказал Хюнчул Лим, докторант в области информатики. "Мы стремились разработать единое кольцо, чтобы отразить все тонкие и сложные движения пальцев в ASL".

Лим является ведущим автором книги "Правописание: распознавание непрерывного движения пальцев на американском языке жестов с помощью кольца", которая будет представлена на конференции Ассоциации вычислительной техники по человеческому фактору в вычислительных системах (CHI), 26 апреля - 1 мая в Иокогаме, Япония.

Кольцо с надписью надевается на большой палец и оснащено микрофоном и динамиком. Вместе они посылают и принимают неслышимые звуковые волны, которые отслеживают движения руки и пальцев пользователя, в то время как мини-гироскоп отслеживает движение руки.

Запатентованный алгоритм глубокого обучения затем обрабатывает изображения гидролокатора и предсказывает буквы ASL, написанные пальцами, в режиме реального времени и с такой же точностью, как и многие существующие системы, требующие большего количества аппаратного обеспечения.

Разработчики оценивали орфографию с участием 20 опытных и начинающих пользователей ASL, заставляя их естественным образом и непрерывно произносить пальцами в общей сложности более 20 000 слов различной длины. Показатель точности написания составлял от 82% до 92%, в зависимости от сложности слов.

"Всегда существует разрыв между техническим сообществом, разрабатывающим инструменты, и целевым сообществом, которое их использует", - сказал Чен Чжан, доцент кафедры информатики и соавтор статьи. "Мы частично преодолели этот разрыв. Мы разработали SpellRing для целевых пользователей, которые оценили его".

Будущая работа Лима будет включать интеграцию системы микро-сонара в очки для фиксации движений верхней части тела и выражений лица для создания более всеобъемлющей системы перевода ASL.

"Глухие и слабослышащие люди используют для ASL не только свои руки. Они используют мимику, движения верхней части тела и жесты головой", - сказал Лим, который прошел базовые и промежуточные курсы ASL в Корнелле в рамках своего исследования орфографии. "ASL - это очень сложный визуальный язык".

Это исследование финансировалось Национальным научным фондом.