Алгоритмы уникальны тем, что они используют целостный подход к прогнозированию действий, объединяя визуальные данные - например, местоположение спортсмена на корте - с информацией, которая является более скрытой, например, о конкретной роли спортсмена в команде.

"Компьютерное зрение может интерпретировать визуальную информацию, такую как цвет майки и положение игрока", - сказала Сильвия Феррари, профессор механики и аэрокосмической инженерии Джона Бранкаччо, которая руководила исследованием. "Мы по-прежнему используем эту информацию в режиме реального времени, но интегрируем скрытые переменные, такие как стратегия команды и роли игроков, вещи, которые мы, люди, можем определить, потому что мы эксперты в этом конкретном контексте".

Феррари и докторанты Джуньи Донг и Цинцзе Хо обучили алгоритмы выводить скрытые переменные таким же образом, как люди получают свои спортивные знания - наблюдая за играми. Алгоритмы использовали машинное обучение для извлечения данных из видеозаписей волейбольных матчей, а затем использовали эти данные, чтобы помочь делать прогнозы при показе нового набора игр.

Результаты были опубликованы 22 сентября в журнале Транзакции ACM по интеллектуальным системам и технологиям, и показывают, что алгоритмы могут определять роли игроков - например, отличать защитника от блокирующего - со средней точностью почти 85% и могут предсказывать множественные действия в последовательности до 44 кадров со средней точностью более 80%. Действия включали в себя накалывание, установку, блокирование, копание, бег, приседание, падение, стояние и прыжки.

Ferrari предполагает, что команды, использующие алгоритмы, смогут лучше подготовиться к соревнованиям, обучая их существующим игровым кадрам соперника и используя свои способности к прогнозированию для отработки конкретных приемов и игровых сценариев.

Ferrari подала заявку на патент и сейчас работает с мужской хоккейной командой Big Red над дальнейшей разработкой программного обеспечения. Используя игровые кадры, предоставленные командой, Феррари и ее аспиранты во главе с Фрэнком Кимом разрабатывают алгоритмы, которые автономно идентифицируют игроков, действия и игровые сценарии. Одна из целей проекта - помочь комментировать игровой фильм, что является утомительной задачей, когда ее выполняют вручную сотрудники команды.

"В нашей программе основной упор делается на видеоанализ и технологии передачи данных", - сказал Бен Рассел, директор по хоккейным операциям мужской команды Корнелла. "Мы постоянно ищем способы развиваться как тренерский штаб, чтобы лучше обслуживать наших игроков. Я был очень впечатлен исследованиями, которые профессор Феррари и ее ученики провели до сих пор. Я считаю, что у этого проекта есть потенциал кардинально повлиять на то, как команды учатся и готовятся к соревнованиям".

Помимо спорта, способность предвидеть действия человека несет в себе большой потенциал для будущего взаимодействия человека и машины, по словам Феррари, который сказал, что улучшенное программное обеспечение может помочь автономным транспортным средствам принимать лучшие решения, сблизить роботов и людей на складах и даже может сделать видеоигры более приятными за счет улучшения искусственного интеллекта компьютера. интеллект.

"Люди не так непредсказуемы, как их сейчас изображают алгоритмы машинного обучения, - сказал Феррари, который также является заместителем декана по инженерным исследованиям в разных кампусах, - потому что, если вы действительно принимаете во внимание весь контент, все контекстуальные подсказки, и вы наблюдаете за группой что касается людей, то вы можете намного лучше предсказать, что они собираются делать".

Исследование было поддержано Управлением военно-морских исследований Code 311 и Code 351, а усилия по коммерциализации поддерживаются Управлением лицензирования технологий Корнелла.