お知らせ 研究会の開催と会場に参加される皆様へのお願い(2021年10月開催~)
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2011-05-14 11:40
口唇動作と音声の共起に着目した被写体と話者の不一致検出 ~ ニュース映像への適用と評価 ~
熊谷章吾道満恵介名大)・高橋友和岐阜聖徳学園大)・出口大輔井手一郎村瀬 洋名大MVE2011-12
抄録 (和) ニュース映像中の人物の発言シーンはマルチメディア情報を豊富に含み,資料価値が高い.発言シーンの抽出には顔領域の位置や大きさを利用するアプローチが考えられる.しかし,ナレーションシーンのように被写体と話者が一致していないシーンも存在するため,それだけでは発言シーンを必ずしも抽出できない.そこで我々は,発生する音とそれに伴う口唇動作から得られる複数の音声特徴と画像特徴の相関を利用して被写体と話者の一致・不一致を識別する手法を提案してきた.しかしながら,理想的な環境で撮影した映像に対する評価のみで,実際に放送されるニュース映像に対する評価にとどまっていた.本稿では,理想的な環境で撮影した映像を用いた実験とその結果,および実際に放送されたニュース映像を用いた実験とその結果について報告する.これら2つの実験から,提案手法の有効性および有用性を確認した. 
(英) Speech scenes in news videos contain a wealth of multimedia information, and are valuable as archived material. In order to extract speech scenes from news videos, there is an approach that uses the position and size of a face region. However, it is difficult to extract them with only the approach, since news videos contain scenes where the speakers are not the subjects such as in narration scenes. To solve this problem, we have been proposing a method to detect the inconsistency between face and speaker focusing on the co-occurrence of the lip motion and the speech. However, the evaluations for the proposed method were performed in an ideal condition without much noise. In this paper, we report the investigation on the performance of the proposed method not only with videos captured in ideal conditions but also with actual broadcasted news videos. Their results showed the effectiveness and the usefulness of our method.
キーワード (和) 発言シーン抽出 / 視聴覚統合 / ニュース映像 / 口唇動作特徴 / / / /  
(英) speech scene extraction / auditory-visual integration / news video / lip motion feature / / / /  
文献情報 信学技報, vol. 111, no. 38, MVE2011-12, pp. 75-80, 2011年5月.
資料番号 MVE2011-12 
発行日 2011-05-06 (MVE) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード MVE2011-12

研究会情報
研究会 MVE  
開催期間 2011-05-13 - 2011-05-14 
開催地(和) 筑波大学 
開催地(英)  
テーマ(和) エンタテインメントのためのメディアとリアリティ 
テーマ(英)  
講演論文情報の詳細
申込み研究会 MVE 
会議コード 2011-05-MVE 
本文の言語 日本語 
タイトル(和) 口唇動作と音声の共起に着目した被写体と話者の不一致検出 
サブタイトル(和) ニュース映像への適用と評価 
タイトル(英) Detection of Inconsistency between Face and Speaker Focusing on the Co-occurrence of Lip Motion and Audio 
サブタイトル(英) An Application to News Video and its Evaluation 
キーワード(1)(和/英) 発言シーン抽出 / speech scene extraction  
キーワード(2)(和/英) 視聴覚統合 / auditory-visual integration  
キーワード(3)(和/英) ニュース映像 / news video  
キーワード(4)(和/英) 口唇動作特徴 / lip motion feature  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 熊谷 章吾 / Shogo Kumagai / クマガイ ショウゴ
第1著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ)
第2著者 氏名(和/英/ヨミ) 道満 恵介 / Keisuke Doman / ドウマン ケイスケ
第2著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ)
第3著者 氏名(和/英/ヨミ) 高橋 友和 / Tomokazu Takahashi / タカハシ トモカズ
第3著者 所属(和/英) 岐阜聖徳学園大学 (略称: 岐阜聖徳学園大)
Gifu Shotoku Gakuen University (略称: Gifu Shotoku Gakuen Univ)
第4著者 氏名(和/英/ヨミ) 出口 大輔 / Daisuke Deguchi / デグチ ダイスケ
第4著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ)
第5著者 氏名(和/英/ヨミ) 井手 一郎 / Ichiro Ide / イデ イチロウ
第5著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第6著者 氏名(和/英/ヨミ) 村瀬 洋 / Hiroshi Murase / ムラセ ヒロシ
第6著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ)
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2011-05-14 11:40:00 
発表時間 30 
申込先研究会 MVE 
資料番号 IEICE-MVE2011-12 
巻番号(vol) IEICE-111 
号番号(no) no.38 
ページ範囲 pp.75-80 
ページ数 IEICE-6 
発行日 IEICE-MVE-2011-05-06 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会