講演抄録/キーワード |
講演名 |
2019-08-23 17:15
畳み込みニューラルネットを用いた複数人会話における対人視線方向の推定 ○大塚和弘・春日啓祐・ケーラー マルティナ(NTT) HCS2019-34 |
抄録 |
(和) |
複数人会話における対人視線方向を推定するため,畳み込みニューラルネット(CNN)を用いた方法を提案する.このCNNは,頭部姿勢,眼球方向,発話状態を含む複数モダリティの非言語特徴を入力とし,「誰が誰をみているか」という対人視線方向のクラスを出力する.特徴量の組み合わせを検証した結果,頭部姿勢に眼球方向を追加することで視線の推定精度が大幅に向上することが分かった.また,一人物を対象とした「個人モデル」と,会話参加者全員を対象とした「グループモデル」を比較した結果,眼球方向を含まない不確定性が強い入力情報に対しては,グループモデルがより優位であり,ここから「聞き手は話し手を見る傾向がある」という会話の構造がグループモデルによって陰に学習されていることが示唆された.また,入力情報に眼球方向を含む場合,話し手の視線推定において,個人モデルがグループモデルより高精度であることが分かった.さらにCNNの構造として,特徴統合の位置が異なるモデルを比較した結果,個人毎の特徴統合の後に,人物間の特徴統合を行う2段階統合の構造がより有効であることが分かった.加えて,頭部姿勢計測法として画像上の顔追跡を用いた場合でも,その視線推定精度は,センサ計測の場合と遜色がないことが判明し,CNNモデルの頑健性が裏付けられた.以上,複数人会話における視線方向推定においてCNNモデルの適用可能性が確認された. |
(英) |
(Not available yet) |
キーワード |
(和) |
複数人会話 / 視線 / 深層学習 / 畳み込みニューラルネット / マルチモーダルインタラクション / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 119, no. 179, HCS2019-34, pp. 27-32, 2019年8月. |
資料番号 |
HCS2019-34 |
発行日 |
2019-08-16 (HCS) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
HCS2019-34 |