Американский язык жестов (ASL) - один из наиболее широко используемых языков жестов, состоящий из различных жестов руками, которые представляют буквы, слова и фразы. Существующие системы распознавания ASL часто испытывают трудности с производительностью, точностью и надежностью в режиме реального времени в различных средах.

Основная проблема в системах ASL заключается в различении визуально схожих жестов, таких как "A" и "T" или "M" и "N", что часто приводит к неправильной классификации. Кроме того, качество набора данных создает значительные препятствия, включая низкое разрешение изображения, размытость при движении, непоследовательное освещение и различия в размерах рук, оттенках кожи и фоне. Эти факторы вносят предвзятость и снижают способность модели к обобщению для различных пользователей и сред.

Чтобы решить эти проблемы, исследователи из Колледжа инженерии и компьютерных наук Атлантического университета Флориды разработали инновационную систему интерпретации ASL в реальном времени. Сочетая возможности YOLOv11 по обнаружению объектов с точным отслеживанием рук MediaPipe, система может точно распознавать буквы алфавита ASL в режиме реального времени. Используя расширенное глубокое обучение и отслеживание ключевых точек руки, он переводит жесты ASL в текст, позволяя пользователям в интерактивном режиме произносить имена, местоположения и многое другое с поразительной точностью.

По сути, встроенная веб-камера служит бесконтактным датчиком, фиксирующим визуальные данные в реальном времени, которые преобразуются в цифровые кадры для анализа жестов. MediaPipe определяет 21 ключевую точку на каждой руке для создания скелетированной карты, в то время как YOLOv11 использует эти точки для обнаружения и классификации букв ASL с высокой точностью.

"Что делает эту систему особенно примечательной, так это то, что весь процесс распознавания - от захвата жеста до его классификации - работает плавно в режиме реального времени, независимо от изменяющихся условий освещения или фона", - сказал Бадер Альшариф, первый автор и кандидат наук на кафедре электротехники и компьютерных наук FAU. "И все это достигается с помощью стандартного, готового к использованию оборудования. Это подчеркивает практический потенциал системы как высокодоступной и масштабируемой вспомогательной технологии, что делает ее жизнеспособным решением для реальных приложений".

Результаты исследования, опубликованные в журнале Sensors, подтверждают эффективность системы, которая достигла точности 98,2% (средняя точность, mAP@0.5 ) с минимальной задержкой. Это открытие подчеркивает способность системы обеспечивать высокую точность в режиме реального времени, что делает ее идеальным решением для приложений, требующих быстрой и надежной работы, таких как обработка видео в реальном времени и интерактивные технологии.

Набор данных жестов ASL Alphabet, содержащий 130 000 изображений, включает в себя широкий спектр жестов рук, снятых в различных условиях, что помогает моделям лучше обобщать. Эти условия охватывают различные условия освещения (яркое, тусклое и затененное), различные фоны (как наружные, так и внутренние сцены), а также различные углы наклона рук и ориентации для обеспечения надежности.

Каждое изображение тщательно аннотировано 21 ключевой точкой, которые подчеркивают основные структуры кисти, такие как кончики пальцев, костяшки пальцев и запястье. Эти аннотации представляют собой скелетную карту кисти, позволяющую моделям различать похожие жесты с исключительной точностью.

"Этот проект является прекрасным примером того, как передовой искусственный интеллект может быть применен на благо человечества", - сказал Имад Махгуб, доктор философии, соавтор и профессор Tecore на факультете электротехники и компьютерных наук FAU. "Объединив глубокое обучение с определением ориентиров вручную, наша команда создала систему, которая не только обеспечивает высокую точность, но и остается доступной и практичной для повседневного использования. Это важный шаг на пути к инклюзивным коммуникационным технологиям".

Глухое население в США составляет приблизительно 11 миллионов человек, или 3,6% населения, и около 15% взрослых американцев (37,5 миллиона) испытывают трудности со слухом.

"Важность этого исследования заключается в его потенциале преобразовать коммуникацию для сообщества глухих, предоставив управляемый искусственным интеллектом инструмент, который переводит жесты американского языка жестов в текст, обеспечивая более плавное взаимодействие в сфере образования, на рабочих местах, в здравоохранении и социальных учреждениях", - сказал Мохаммад Ильяс, доктор философии, соавтор и соавтор исследования. профессор кафедры электротехники и компьютерных наук FAU. "Разрабатывая надежную и доступную систему устного перевода ASL, наше исследование вносит вклад в развитие вспомогательных технологий для устранения барьеров для глухих и слабослышащих людей".

Будущая работа будет сосредоточена на расширении возможностей системы - от распознавания отдельных букв ASL до интерпретации полных предложений ASL. Это обеспечило бы более естественную и плавную коммуникацию, позволив пользователям беспрепятственно передавать целые мысли и фразы.

"Это исследование подчеркивает преобразующую силу вспомогательных технологий, основанных на искусственном интеллекте, в расширении прав и возможностей сообщества глухих", - сказала Стелла Баталама, доктор философии, декан Колледжа инженерии и компьютерных наук. "Устраняя коммуникационный разрыв с помощью распознавания ASL в режиме реального времени, эта система играет ключевую роль в построении более инклюзивного общества. Это позволяет людям с нарушениями слуха более плавно взаимодействовать с окружающим миром, независимо от того, представляют ли они себя, ориентируются в окружающей обстановке или просто участвуют в повседневных разговорах. Эта технология не только повышает доступность, но и поддерживает большую социальную интеграцию, помогая создать более взаимосвязанное и чуткое сообщество для всех".

Соавторами исследования являются Иза Алалвани, доктор философии, недавний выпускник Колледжа инженерии и компьютерных наук FAU и доцент Университета Тайба в Саудовской Аравии; Али Ибрагим, доктор философии, выпускник Колледжа инженерии и компьютерных наук FAU.