| 講演名 | 2010-05-15 口唇動作特徴と音声特徴の共起性に基づく被写体と話者の不一致検出(萌芽(2):マルチメディア,日常生活におけるメディア技術) 熊谷 章吾, 道満 恵介, 高橋 友和, 出口 大輔, 井出 一郎, 村瀬 洋, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本報告では,ニュース映像中の人物の発言シーンの抽出を目的として,被写体と話者の不一致を検出する手法を提案する.被写体と話者が一致している発言シーンにおいては,被写体の口唇動作と話者の音声波形には高い共起性がみられる.そこで本研究では,口唇動作から得られる画像特徴と音声波形から得られる音声特徴の相関に基づいて作成された特徴ベクトルを用いて被写体と話者の一致・不一致を識別することを考える.実験により,最高で78.3%の識別率が得られ,本手法の有効性を確認した. |
| 抄録(英) | We propose a method for detection of inconsistency between face and speaker to extract speech scenes in news videos. High co-occurrence of lip motion and audio features is observed in speech scenes where the face matches the speaker. Focusing on this, our method detects inconsistency between face and speaker with feature vectors based on correlations between image features from lip motions and audio features from speech waveform. We obtained up to 78.3% detection accuracy in our experiments, which showed the effectiveness of our method. |
| キーワード(和) | 視聴覚統合 / ニュース映像 / 発言シーン抽出 / 正規化相互相関 |
| キーワード(英) | auditory-visual integration / news video / speech scene extraction / normalized cross correlation |
| 資料番号 | MVE2010-13 |
| 発行日 |
| 研究会情報 | |
| 研究会 | MVE |
|---|---|
| 開催期間 | 2010/5/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Media Experience and Virtual Environment (MVE) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 口唇動作特徴と音声特徴の共起性に基づく被写体と話者の不一致検出(萌芽(2):マルチメディア,日常生活におけるメディア技術) |
| サブタイトル（和） | |
| タイトル（英） | Detection of Inconsistency between Face and Speaker based on the Co-occurrence of Lip Motion and Audio Features |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 視聴覚統合 / auditory-visual integration |
| キーワード(2)（和/英） | ニュース映像 / news video |
| キーワード(3)（和/英） | 発言シーン抽出 / speech scene extraction |
| キーワード(4)（和/英） | 正規化相互相関 / normalized cross correlation |
| 第 1 著者 氏名（和/英） | 熊谷 章吾 / Shogo KUMAGAI |
| 第 1 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 2 著者 氏名（和/英） | 道満 恵介 / Keisuke DOMAN |
| 第 2 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 3 著者 氏名（和/英） | 高橋 友和 / Tomokazu TAKAHASHI |
| 第 3 著者 所属（和/英） | 岐阜聖徳学園大学経済情報学部 Faculty of Economics and Information, Gifu Shotoku Gakuen University |
| 第 4 著者 氏名（和/英） | 出口 大輔 / Daisuke DEGUCHI |
| 第 4 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 5 著者 氏名（和/英） | 井出 一郎 / Ichiro IDE |
| 第 5 著者 所属（和/英） | 名古屋大学大学院情報科学研究科:國立情報学研究所 Graduate School of Information Science, Nagoya University:National Institute of Informatics |
| 第 6 著者 氏名（和/英） | 村瀬 洋 / Hiroshi MURASE |
| 第 6 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 発表年月日 | 2010-05-15 |
| 資料番号 | MVE2010-13 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 35 |
| ページ範囲 | pp.- |
| ページ数 | 2 |
| 発行日 | |