광 마이크는 전에 없던 소리를 봅니다.

광 마이크는 전에 없던 소리를 봅니다.
듀얼 셔터 진동 감지 시스템은 일반 카메라를 사용하여 놀라운 결과를 얻습니다.
날짜:
2022년 6월 22일
원천:
카네기 멜론 대학교
요약:
카메라 시스템은 밴드나 오케스트라에서 단일 악기의 음악을 재구성할 수 있을 정도로 정밀하고 세부적인 사운드 진동을 볼 수 있습니다. 가장 고성능의 지향성 마이크라도 오디오를 캡처할 때 주변 소리, 주변 소음 및 음향 효과를 제거할 수 없습니다. 이 새로운 시스템은 두 대의 카메라와 레이저를 사용하여 고속, 저진폭 표면 진동을 감지합니다. 이러한 진동은 소리를 재구성하고 추론이나 마이크 없이 격리된 오디오를 캡처하는 데 사용할 수 있습니다. '우리는 소리를 보는 새로운 방법을 발명했습니다.'라고 RI의 ILIM(Illumination and Imaging Laboratory)에서 박사후 연구원인 Mark Sheinin이 말했습니다.

Carnegie Mellon University 연구원들이 개발한 카메라 시스템은 밴드나 오케스트라에서 단일 악기의 음악을 재구성할 수 있을 정도로 정밀하고 세부적인 사운드 진동을 볼 수 있습니다.

가장 고성능의 지향성 마이크라도 오디오를 캡처할 때 주변 소리, 주변 소음 및 음향 효과를 제거할 수 없습니다. 컴퓨터 과학 대학의 로봇 공학 연구소(RI)에서 개발된 새로운 시스템은 두 대의 카메라와 레이저를 사용하여 고속, 저진폭 표면 진동을 감지합니다. 이러한 진동은 소리를 재구성하고 추론이나 마이크 없이 격리된 오디오를 캡처하는 데 사용할 수 있습니다.

"우리는 소리를 보는 새로운 방법을 발명했습니다."라고 RI의 ILIM(Illumination and Imaging Laboratory) 박사 후 연구원인 Mark Sheinin이 말했습니다. "맨눈으로 볼 수 없는 것을 볼 수 있는 새로운 유형의 카메라 시스템, 새로운 이미징 장치입니다."

팀은 진동 감지 및 사운드 재구성 품질에 대한 시스템의 효율성에 대한 몇 가지 성공적인 데모를 완료했습니다. 그들은 동시에 연주되는 별도의 기타와 동시에 다른 음악을 연주하는 개별 스피커의 격리된 오디오를 캡처했습니다. 그들은 소리굽쇠의 진동을 분석하고 스피커 근처의 Doritos 가방의 진동을 사용하여 스피커에서 나오는 소리를 캡처했습니다. 이 데모는 2014년 최초의 시각 마이크 중 하나를 개발한 MIT 연구원들이 수행한 이전 작업에 경의를 표합니다.

CMU 시스템은 컴퓨터 비전을 사용하여 사운드를 캡처하려는 과거의 시도를 극적으로 개선합니다. 팀의 작업은 더 높은 품질의 녹음을 생성하면서 과거 연구에 사용된 고속 버전의 일부에 불과한 일반 카메라를 사용합니다. 듀얼 카메라 시스템은 음악가가 연주하는 기타의 움직임과 같이 움직이는 물체의 진동을 포착하고 동시에 여러 지점에서 개별 사운드를 감지할 수 있습니다.

RI의 교수이자 ILIM의 수장인 Srinivasa Narasimhan은 "광 마이크를 훨씬 더 실용적이고 유용하게 만들었습니다."라고 말했습니다. "비용은 낮추면서 품질은 개선했습니다."

이 시스템은 롤링 셔터와 글로벌 셔터로 캡처한 이미지의 스페클 패턴 차이를 분석하여 작동합니다. 알고리즘은 두 비디오 스트림의 반점 패턴 차이를 계산하고 이러한 차이를 진동으로 변환하여 사운드를 재구성합니다.

스펙클 패턴은 간섭성 빛이 거친 표면에서 반사된 후 공간에서 행동하는 방식을 나타냅니다. 팀은 기타 몸체와 같이 진동을 생성하는 물체의 표면에 레이저를 조준하여 스펙클 패턴을 만듭니다. 그 반점 패턴은 표면이 진동함에 따라 변합니다. 롤링 셔터는 일반적으로 위에서 아래로 빠르게 스캔하여 이미지를 캡처하고 한 행의 픽셀을 다른 행 위에 쌓아서 이미지를 생성합니다. 글로벌 셔터는 한 번에 단일 인스턴스에서 이미지를 캡처합니다.

"듀얼 셔터 광학 진동 감지" 연구는 뉴올리언스에서 열린 2022 IEEE/CVF 컴퓨터 비전 및 패턴 인식(CVPR) 컨퍼런스에서 최우수 논문상을 수상했습니다. 연구에 Sheinin 및 Narasimhan과 함께 Ph.D. 컴퓨터 과학을 전공하는 학생과 RI 및 컴퓨터 과학부의 조교수인 Matthew O'Toole.

CVPR은 컴퓨터 비전에 관한 최고의 컨퍼런스입니다. 이 회의에는 8,161개의 논문이 제출되었고 그 중 4분의 1 가량이 수락되었습니다. 그 중 34편만이 최우수 논문상 후보에 올랐습니다.

"이 시스템은 컴퓨터 비전으로 할 수 있는 것의 한계를 뛰어넘습니다."라고 O'Toole은 말했습니다. "이것은 고속 및 작은 진동을 포착하는 새로운 메커니즘이며 새로운 연구 영역을 제시합니다."

컴퓨터 비전 분야의 대부분의 작업은 물체를 인식하거나 우주를 통해 추적하는 훈련 시스템에 중점을 둡니다. 이는 자율 차량과 같은 기술을 발전시키는 데 중요한 연구입니다. 이 작업을 통해 시스템이 감지할 수 없는 고주파수 진동을 더 잘 볼 수 있다는 사실은 컴퓨터 비전에 대한 새로운 응용 프로그램을 엽니다.

팀의 이중 셔터 광학 진동 감지 시스템을 통해 사운드 엔지니어는 나머지 앙상블의 간섭 없이 개별 악기의 음악을 모니터링하여 전체 믹스를 미세 조정할 수 있습니다. 제조업체는 이 시스템을 사용하여 공장 현장에 있는 개별 기계의 진동을 모니터링하여 유지 관리가 필요한 초기 징후를 파악할 수 있습니다.

"차에서 이상한 소리가 나기 시작하면 자동차를 살펴봐야 할 때라는 것을 알 수 있습니다."라고 Sheinin이 말했습니다. "이제 기계로 가득 찬 공장을 상상해 보십시오. 우리 시스템을 사용하면 고정된 단일 카메라로 진동을 감지하여 각 기계의 상태를 모니터링할 수 있습니다."

동영상: https://youtu.be/_pq0d1oxtA0