Исследование, представленное в документе на 16-й конференции ACM по мультимедийным системам 1 апреля 2025 года, описывает метод прямого прогнозирования видимого контента в иммерсивных 3D-средах, потенциально снижающий требования к пропускной способности до 7 раз при сохранении качества изображения.

Технология применяется в рамках текущего проекта, финансируемого Национальным научным фондом Нью-Йоркского университета Тандон, по внедрению облачного видео в обучение танцам, что позволяет транслировать 3D-обучение танцам на стандартных устройствах с более низкими требованиями к пропускной способности.

"Основной проблемой, связанной с потоковым иммерсивным контентом, всегда был огромный объем требуемых данных", - объяснил Йонг Лю, профессор кафедры электротехники и вычислительной техники (ECE) Нью-Йоркского университета Тандон и преподаватель Центра передовых технологий в телекоммуникациях (CATT) Нью-Йоркского университета Тандон и NYU WIRELESS, который возглавлял исследовательская группа. "Традиционная потоковая передача видео передает все в пределах кадра. Этот новый подход больше похож на то, когда ваши глаза следуют за вами по комнате - он обрабатывает только то, на что вы на самом деле смотрите ".

Технология решает проблему "поля зрения" для получения захватывающих впечатлений. Современные приложения AR / VR требуют высокой пропускной способности - видео в облаке точек (которое отображает 3D-сцены в виде наборов точек данных в пространстве), состоящее из 1 миллиона точек на кадр, требует более 120 мегабит в секунду, что почти в 10 раз превышает пропускную способность стандартного видео высокой четкости.

В отличие от традиционных подходов, которые сначала предсказывают, куда пользователь будет смотреть, а затем вычисляют, что будет видно, этот новый метод напрямую предсказывает видимость контента в 3D-сцене. Избегая этого двухэтапного процесса, подход уменьшает накопление ошибок и повышает точность прогнозирования.

Система делит трехмерное пространство на "ячейки" и рассматривает каждую ячейку как узел в графической сети. Он использует нейронные сети на основе графов-трансформеров для захвата пространственных связей между соседними ячейками и рекуррентные нейронные сети для анализа того, как модели видимости эволюционируют с течением времени.

Для предварительно записанных впечатлений от виртуальной реальности система может предсказать, что будет видно пользователю на 2-5 секунд вперед, что является значительным улучшением по сравнению с предыдущими системами, которые могли точно предсказать поле зрения пользователя только на долю секунды вперед.

"Что делает эту работу особенно интересной, так это временной горизонт", - сказал Лю. "Предыдущие системы могли точно предсказать, что увидит пользователь, только на долю секунды вперед. Эта команда расширила это".

Подход исследовательской группы сокращает ошибки прогнозирования до 50% по сравнению с существующими методами долгосрочных прогнозов, сохраняя при этом производительность в реальном времени более 30 кадров в секунду даже для видео в облаке точек с более чем 1 миллионом точек.

Для потребителей это может означать более адаптивный AR / VR-интерфейс при меньшем использовании данных, в то время как разработчики смогут создавать более сложные среды, не требуя сверхбыстрого подключения к Интернету.

"Мы наблюдаем переход, когда AR / VR переходит от специализированных приложений к потребительским развлечениям и повседневным инструментам повышения производительности", - сказал Лю. "Пропускная способность была ограничением. Это исследование помогает устранить это ограничение".

Исследователи опубликовали свой код для поддержки продолжения разработки. Их работа была частично поддержана грантом Национального научного фонда США (NSF) 2312839.

Помимо Лю, авторами статьи являются Чэнь Ли и Тонгю Цзун, оба кандидаты наук в области электротехники Нью-Йоркского университета Тандон; Юэю Ху, кандидат наук в области электротехники и электроники Нью-Йоркского университета Тандон; и Яо Ван, профессор Нью-Йоркского университета Тандон, который работает в ECE, отделе биомедицинской инженерии, CATT и NYU WIRELESS..