Профессионалы делают так, чтобы это выглядело просто, но снимать фильм с помощью дрона может быть совсем не так.
Во-первых, требуется навык, чтобы управлять часто дорогостоящим оборудованием плавно и без сбоев. И как только вы освоите полеты, у вас появятся ракурсы съемки, скорости панорамирования, траектории и траектории полета для планирования.
Со всеми датчиками и вычислительной мощностью, установленными на борту дрона и встроенными в его камеру, должен быть лучший способ сделать идеальный снимок.
"Иногда вам просто хочется сказать дрону, чтобы он снял захватывающее видео", - сказал Рожерио Бонатти, кандидат наук в Институте робототехники Университета Карнеги-Меллон.
Бонатти был частью команды из CMU, Университета Сан-Паулу и Facebook AI Research, которая разработала модель, позволяющую дрону снимать видео на основе желаемой эмоции или реакции зрителя. Беспилотник использует ракурсы камеры, скорости и траектории полета для создания видео, которое может быть захватывающим, спокойным, приятным или нервирующим - в зависимости от того, что рассказывает режиссер.
Команда представила свой доклад о проделанной работе на Международной конференции по робототехнике и автоматизации 2021 года в этом месяце.
"Мы учимся сопоставлять семантику, такую как слово или эмоция, с движением камеры", - сказал Бонатти.
Но прежде чем "Свет! Камера! Действуй!" Исследователям понадобились сотни видеороликов и тысячи зрителей, чтобы собрать данные о том, что заставляет видео вызывать определенную эмоцию или чувство. Бонатти и его команда собрали несколько сотен разнообразных видеороликов. Затем несколько тысяч зрителей просмотрели 12 пар видеороликов и поставили им оценки в зависимости от того, какие ощущения они вызвали у них.
Затем исследователи использовали полученные данные для обучения модели, которая заставляла беспилотник имитировать кинематографию, соответствующую определенной эмоции. Если бы быстрые, плотные снимки создавали волнение, беспилотник использовал бы эти элементы для создания захватывающего видео по запросу пользователя. Беспилотник также мог создавать видеоролики, которые были спокойными, показательными, интересными, нервными и приятными, среди других эмоций и их сочетаний, как интересное и спокойное видео.
"Я был удивлен, что это сработало", - сказал Бонатти. "Мы пытались узнать что-то невероятно субъективное, и я был удивлен, что мы получили данные хорошего качества".
Команда протестировала свою модель, создав примеры видеороликов, таких как сцена погони или кто-то, играющий в дриблинг с футбольным мячом, и попросила зрителей высказать мнение о том, как они себя чувствовали. Бонатти сказал, что команда не только создавала видео, предназначенные для того, чтобы быть захватывающими или успокаивающими, которые на самом деле ощущались именно так, но и достигала разной степени этих эмоций.
Работа команды направлена на улучшение интерфейса между людьми и камерами, будь то помощь кинематографистам-любителям в съемке с дронов или предоставление указаний на экране смартфона для получения идеального кадра.
"Это открывает двери для многих других применений, даже за пределами съемок или фотосъемки", - сказал Бонатти. "Мы разработали модель, которая сопоставляет эмоции с поведением робота".
Комментарии