Одна из ключевых проблем компьютерного зрения заключается в том, что изображения невероятно сложны. Жираф может принимать чрезвычайно широкий спектр поз. На сафари обычно нет проблем пропустить часть последовательности движений, но для изучения коллективного поведения эта информация может иметь решающее значение. Именно здесь на помощь приходят специалисты по информатике с новой моделью "нейронный кукловод".

Прогнозирующие силуэты на основе 3D-точек

"Одна из идей компьютерного зрения состоит в том, чтобы описать очень сложное пространство изображений, закодировав как можно меньше параметров", - объясняет Бастиан Голдлюкке, профессор компьютерного зрения в Университете Констанца. Одним из часто используемых до сих пор представлений является скелет. В новой статье, опубликованной в Трудах 16-й Азиатской конференции по компьютерному зрению, Бастиан Голдлюкке и докторанты Урс Вальдманн и Саймон Гибенхайн представляют модель нейронной сети, которая позволяет представлять последовательности движений и полностью отображать внешний вид животных с любой точки зрения, основываясь всего на нескольких ключевых моментах. 3D-вид более гибкий и точный, чем существующие модели скелетов.

"Идея состояла в том, чтобы иметь возможность предсказывать ключевые точки 3D, а также отслеживать их независимо от текстуры", - говорит докторант-исследователь Урс Вальдманн. "Вот почему мы создали систему искусственного интеллекта, которая предсказывает силуэтные изображения с любого ракурса камеры на основе ключевых точек 3D". Обратив процесс вспять, также можно определить точки скелета по изображениям силуэтов. На основе ключевых моментов система искусственного интеллекта способна рассчитать промежуточные шаги, которые являются статистически вероятными. Использование индивидуального силуэта может быть важным. Это потому, что, если вы работаете только со скелетными точками, иначе вы бы не знали, является ли животное, на которое вы смотрите, довольно массивным или близким к голодной смерти.

В частности, в области биологии у этой модели есть приложения: "В Кластере передового опыта "Центр углубленного изучения коллективного поведения" мы видим, что отслеживается множество различных видов животных и что позы также необходимо прогнозировать в этом контексте", - говорит Вальдманн.

Долгосрочная цель: применить систему к как можно большему количеству данных о диких животных

Команда начала с прогнозирования силуэтных движений людей, голубей, жирафов и коров. Вальдман отмечает, что люди часто используются в качестве тестовых примеров в информатике. Его коллеги из Кластера передового опыта работают с голубями. Однако их тонкие когти представляют собой настоящую проблему. Для коров были получены хорошие модельные данные, в то время как чрезвычайно длинная шея жирафа была проблемой, за которую Вальдманн охотно взялся. Команда создала силуэты, основываясь на нескольких ключевых точках - всего от 19 до 33.

Теперь ученые-компьютерщики готовы к применению в реальном мире: в центре обработки изображений Университета Констанца, его крупнейшей лаборатории по изучению коллективного поведения, в будущем будут собираться данные о насекомых и птицах. В ангаре для обработки изображений легче контролировать такие аспекты окружающей среды, как освещение или фон, чем в дикой природе. Однако долгосрочная цель состоит в том, чтобы обучить модель как можно большему количеству видов диких животных, чтобы получить новое представление о поведении животных.