Даже самые мощные и направленные микрофоны не могут устранить близлежащие звуки, окружающий шум и эффект акустики при захвате звука. Новая система, разработанная в Институте робототехники Школы компьютерных наук (RI), использует две камеры и лазер для обнаружения высокоскоростных колебаний поверхности с низкой амплитудой. Эти вибрации могут быть использованы для восстановления звука, захвата изолированного звука без вывода или микрофона.

"Мы изобрели новый способ восприятия звука", - сказал Марк Шейнин, научный сотрудник Лаборатории освещения и визуализации (ILIM) в РИ. "Это новый тип системы камер, новое устройство визуализации, которое способно видеть что-то невидимое невооруженным глазом".

Команда завершила несколько успешных демонстраций эффективности своей системы в распознавании вибраций и качестве реконструкции звука. Они записали изолированный звук отдельных гитар, играющих одновременно, и отдельных динамиков, одновременно воспроизводящих разную музыку. Они проанализировали вибрации камертона и использовали вибрации пакета с Доритос рядом с динамиком, чтобы уловить звук, исходящий из динамика. Эта демонстрация отдает дань уважения предыдущей работе, проделанной исследователями Массачусетского технологического института, которые разработали один из первых визуальных микрофонов в 2014 году.

Система CMU значительно улучшает прошлые попытки захвата звука с помощью компьютерного зрения. В работе команды используются обычные камеры, стоимость которых составляет часть стоимости высокоскоростных версий, использовавшихся в прошлых исследованиях, при этом запись получается более качественной. Система с двумя камерами может улавливать вибрации от движущихся объектов, таких как движения гитары, когда музыкант играет на ней, и одновременно воспринимать отдельные звуки из нескольких точек.

"Мы сделали оптический микрофон гораздо более практичным и удобным в использовании", - сказал Шриниваса Нарасимхан, профессор RI и глава ILIM. "Мы улучшили качество при одновременном снижении затрат".

Система работает, анализируя различия в узорах спеклов на изображениях, снятых с помощью подвижного затвора и глобального затвора. Алгоритм вычисляет разницу в узорах спеклов из двух видеопотоков и преобразует эти различия в вибрации для восстановления звука.

Спекл-узор относится к тому, как когерентный свет ведет себя в пространстве после того, как он отражается от шероховатой поверхности. Команда создает спекл-узор, направляя лазер на поверхность объекта, производящего вибрации, как корпус гитары. Этот узор пятен меняется по мере того, как поверхность вибрирует. Вращающийся затвор захватывает изображение путем его быстрого сканирования, обычно сверху вниз, создавая изображение путем наложения одного ряда пикселей поверх другого. Глобальный затвор захватывает изображение в одном экземпляре сразу.

Исследование "Оптическое вибрационное зондирование с двойным затвором" получило награду за лучшую работу на конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR) 2022 года в Новом Орлеане. К Шейнину и Нарасимхану в исследовании присоединились Дориан Чан, аспирант в области компьютерных наук, и Мэтью О'Тул, доцент кафедры RI и компьютерных наук.

CVPR - это ведущая конференция по компьютерному зрению. На конференцию был представлен рекордный 8161 доклад, и было принято около четверти из них. Из них только 34 вошли в шорт-лист премии "Лучшая статья".

"Эта система раздвигает границы того, что можно сделать с помощью компьютерного зрения", - сказал О'Тул. "Это новый механизм для улавливания высокой скорости и крошечных вибраций, и он представляет собой новую область исследований".

Большая часть работ в области компьютерного зрения сосредоточена на обучении систем распознаванию объектов или отслеживанию их в пространстве - исследованиях, важных для развития таких технологий, как автономные транспортные средства. То, что эта работа позволяет системам лучше видеть незаметные высокочастотные вибрации, открывает новые области применения компьютерного зрения.

Разработанная командой оптическая система обнаружения вибрации с двойным затвором может позволить звукорежиссерам отслеживать музыку отдельных инструментов без вмешательства остальной части ансамбля для точной настройки общего микса. Производители могли бы использовать эту систему для мониторинга вибрации отдельных машин на заводе, чтобы выявить ранние признаки необходимости технического обслуживания.

"Если ваша машина начинает издавать странный звук, вы знаете, что пришло время ее осмотреть", - сказал Шейнин. "Теперь представьте себе заводской цех, полный машин. Наша система позволяет вам следить за состоянием здоровья каждого из них, измеряя их вибрации с помощью одной стационарной камеры."

Видео: https://youtu.be/_pq0d1oxtA0

Дополнительная информация о системе: https://imaging.cs.cmu.edu/vibration/