講演名 2003/3/11
ユーザとのインタラクションにおけるロボットの注意先の選択(ヒューマンコミュニケーション及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
陳 彬, 目黒 光彦, 金子 光秀,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 視聴覚情報が混在するマルチメディア環境下において、ロボットが注意を向けるべき対象への視線方向を、視覚情報と聴覚情報によって自律的に切り替えることは、ユーザとロボットとの柔軟なインタラクションの実現やシーンの理解に密接に係わっている。すなわち、ロボットは聴覚的注意を向けた空間に視覚的注意を向け、音源に関する画像情報をアクティブに読み取る。これにより、視聴覚的注意を相互に作用させ、状況の変化を的確に把握する。本論文では、このために、まず、画像情報と音情報に対する解析結果を統合することにより、音源定位の性能を向上させることについて述べる。このような統合により、音の信号だけでは音源方向に対する判断が曖昧であっても、音源位置を正しく推定でき、聴覚的注意をそこに向けることが可能になる。次に、聴覚的注意によって提示された空間に対する視覚的処理を行う。これは、ある空間への聴覚的注意状態により画像と同じ大きさの重みマップを生成し、画像の動き特徴と結合した後、画像内の色特徴、エッジの方優性特徴と統合することによって実現する。統合結果として得られた誘目度マップを利用して、ロボットが視線を自律的に動かし、誘目度マップで定義された関心対象に対して動的に注意を向ける方法を提案する。最後に、視聴覚情報が混在する実際のシーンに対して提案手法を適用し、実験を行う。このシーンでは、音声や非音声音の信号、複数話者から発せられた異なるパワーを持つ音声信号、シーン内のユーザの動き、ジェスチャなどの情報が入り混じっている。ロボットの視線の選択結果として、人間が普段行うようなアテンションに近い結果が得られており、提案手法の有用性を確認できた。
抄録(英) For the higher flexibility in user-robot-interaction, it is necessary for a human-like robot to shift attention between the visual saliency region and the sound source that has been attended by its auditory perception. The selection of visual attention point cued by audio signal is useful for the robot to analyze the scene while users are interacting with it. For this purpose, an approach to direct visual attention toward a specific object based on the calculation of saliency map is proposed here. Firstly, a likelihood map representing sound source location is obtained by combination of multichannel audio signals and depth map in the scene. Since sometimes there is ambiguity in this localization according to the audio signals, the likelihood map is moreover combined with skin-color feature in the image because sound source localization is usally influenced by visual attention. Secondly, visual features arc binded to generate a saliency map to direct visual attention toward an object cued by auditory attention. Finally, an experiment is described to show that the proposed method can direct the robot to shift visual attention, which is close to the behavior of human being.
キーワード(和) マルチモーダルインタフェース / 注意点選択 / 聴覚的注意 / 音源定位 / 視覚的注意 / 動き
キーワード(英) Multimodal interface / Selection of attention point / Auditory attention / Sound source localization / Visual attention, Motion
資料番号 HCS2002-56
発行日

研究会情報
研究会 HCS
開催期間 2003/3/11(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Human Communication Science (HCS)
本文の言語 JPN
タイトル(和) ユーザとのインタラクションにおけるロボットの注意先の選択(ヒューマンコミュニケーション及び一般)(ヒューマンコミュニケーショングループ(HCG)大会)
サブタイトル(和)
タイトル(英) Selection of Attention Point for a Human-like Robot in Interaction with Users
サブタイトル(和)
キーワード(1)(和/英) マルチモーダルインタフェース / Multimodal interface
キーワード(2)(和/英) 注意点選択 / Selection of attention point
キーワード(3)(和/英) 聴覚的注意 / Auditory attention
キーワード(4)(和/英) 音源定位 / Sound source localization
キーワード(5)(和/英) 視覚的注意 / Visual attention, Motion
キーワード(6)(和/英) 動き
第 1 著者 氏名(和/英) 陳 彬 / Bin CHEN
第 1 著者 所属(和/英) 電気通信大学大学院電気通信学研究科電子工学専攻
Department of Electoric Engineering, The University of Eletro-Communications
第 2 著者 氏名(和/英) 目黒 光彦 / Mitsuhiko MEGURO
第 2 著者 所属(和/英) 電気通信大学大学院電気通信学研究科電子工学専攻
Department of Electoric Engineering, The University of Eletro-Communications
第 3 著者 氏名(和/英) 金子 光秀 / Mitsuhide KANEKO
第 3 著者 所属(和/英) 電気通信大学大学院電気通信学研究科電子工学専攻
Department of Electoric Engineering, The University of Eletro-Communications
発表年月日 2003/3/11
資料番号 HCS2002-56
巻番号(vol) vol.102
号番号(no) 734
ページ範囲 pp.-
ページ数 6
発行日