| 講演名 | 2018-06-28 映像中の物体振動モードを利用した音源復元 布施 陽平(神戸大), 安見 祐亮(神戸大), 滝口 哲也(神戸大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 音波は圧力の変動として周囲に伝播しており，物体に当たるとその表面に微小な振動を起こす．この振動を抽出することで振動の元となる音源を復元する研究が行われている．この技術は遠距離から音を収録できるという特性から，監視や安全保障の分野での応用が期待される．音による物体の振動は目には見えないほど速く微細であるが，物体を撮影したハイスピード映像の各フレームにcomplex steerable pyramidを用いることで，振動による物体の変化を各ピクセルの移動量として求めることができる．従来法では全ピクセルの移動量を足し合わせるため，音源とは関係のない変化に由来するノイズが混ざる可能性が考えられた．本研究では，周波数に対する物体の振動モードに着目して音を復元する手法を提案する．物体はその材質や形状，周波数などにより振動する部分が異なる場合がある．その振動は幾つかの基準振動の組み合わせで表現され，基準振動ごとに節や腹となる部分が存在する．周波数ごとにどの部分が振動しているのかを確認し，その応答をもとにフィルタをかけて音を復元する．どの部分が振動しているかは，その周波数の信号が最も大きい場合の各ピクセルの振幅応答から確認する．この応答と各ピクセルの信号の信頼度をフィルタとして用いる．実際に複数の物体の映像から音を復元し，手法の有効性を確かめた． |
| 抄録(英) | When a sound hits an object, it causes the surface of the object to vibrate. Some research has been carried out on the recovering of sounds by extracting the vibrations seen on video images. This research is expected to be applied in the field of surveillance and security because sounds can be recorded from relatively far away. The vibration of objects due to sound is so fast and minute that it is invisible. However, it is possible to observe such changes in objects by using the high-speed video as the movement of each pixel by using a complex steerable pyramid. In the conventional method, the movements of all pixels are added together to recover the sound. So it is possible that some noise source vibrations are mixed because there are some pixels that move independently of the sound source being focused upon. In this paper, we propose a sound recovery method focusing on the vibration modes of the object associated with the frequency. The vibrating parts of objects are different depending on the material, shape and frequency. The vibration is composed of some normal vibrations, and each has different loops and nodes. We confirm which part of the object is vibrating for each frequency of the sound, and recover the sound using a filter based on the response of the object. Which part is vibrating is confirmed from the amplitude response of each pixel when the signal of that frequency is the largest. This response and the reliability of the signal of each pixel are multiplied to each pixel as a filter. We recovered sounds from several objects in videos and ascertained the effectiveness of the method. |
| キーワード(和) | 音源復元 / 物体振動 / ハイスピード映像 / 振動モード |
| キーワード(英) | sound recovery / object vibration / high-speed video / vibration mode |
| 資料番号 | PRMU2018-25,SP2018-5 |
| 発行日 | 2018-06-21 (PRMU, SP) |
| 研究会情報 | |
| 研究会 | PRMU / SP |
|---|---|
| 開催期間 | 2018/6/28(から2日開催) |
| 開催地（和） | 信州大学 |
| 開催地（英） | |
| テーマ（和） | マルチモーダル/クロスモーダルな認識、生成 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 真一(NII) / 山下 洋一(立命館大) |
| 委員長氏名（英） | Shinichi Sato(NII) / Yoichi Yamashita(Ritsumeikan Univ.) |
| 副委員長氏名（和） | 井尻 善久(オムロン) / 玉木 徹(広島大) / 李 晃伸(名工大) |
| 副委員長氏名（英） | Yoshihisa Ijiri(Omron) / Toru Tamaki(Hiroshima Univ.) / Akinobu Ri(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 石井 雅人(NEC) / 菅野 裕介(阪大) / 南條 浩輝(京大) / 坂野 秀樹(名城大) |
| 幹事氏名（英） | Masato Ishii(NEC) / Yusuke Sugano(Osaka Univ.) / Hiroaki Nanjo(Kyoto Univ.) / Hideki Banno(Meijo Univ.) |
| 幹事補佐氏名（和） | 入江 豪(NTT) / 牛久 祥孝(東大) / 郡山 知樹(東工大) / 小橋川 哲(NTT) |
| 幹事補佐氏名（英） | Go Irie(NTT) / Yoshitaka Ushiku(Univ. of Tokyo) / Tomoki Koriyama(Tokyo Inst. of Tech.) / Satoshi Kobashikawa(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Speech |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 映像中の物体振動モードを利用した音源復元 |
| サブタイトル（和） | |
| タイトル（英） | Sound recovery using vibration mode of an object in video |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 音源復元 / sound recovery |
| キーワード(2)（和/英） | 物体振動 / object vibration |
| キーワード(3)（和/英） | ハイスピード映像 / high-speed video |
| キーワード(4)（和/英） | 振動モード / vibration mode |
| 第 1 著者 氏名（和/英） | 布施 陽平 / Yohei Fuse |
| 第 1 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 2 著者 氏名（和/英） | 安見 祐亮 / Yusuke Yasumi |
| 第 2 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 3 著者 氏名（和/英） | 滝口 哲也 / Tetsuya Takiguchi |
| 第 3 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 発表年月日 | 2018-06-28 |
| 資料番号 | PRMU2018-25,SP2018-5 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | PRMU-111,SP-112 |
| ページ範囲 | pp.19-24(PRMU), pp.19-24(SP), |
| ページ数 | 6 |
| 発行日 | 2018-06-21 (PRMU, SP) |