| 講演名 | 2019-08-23 畳み込みニューラルネットを用いた複数人会話における対人視線方向の推定 大塚 和弘(NTT), 春日 啓祐(NTT), ケーラー マルティナ(NTT), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 複数人会話における対人視線方向を推定するため，畳み込みニューラルネット(CNN)を用いた方法を提案する．このCNNは，頭部姿勢，眼球方向，発話状態を含む複数モダリティの非言語特徴を入力とし，「誰が誰をみているか」という対人視線方向のクラスを出力する．特徴量の組み合わせを検証した結果，頭部姿勢に眼球方向を追加することで視線の推定精度が大幅に向上することが分かった．また，一人物を対象とした「個人モデル」と，会話参加者全員を対象とした「グループモデル」を比較した結果，眼球方向を含まない不確定性が強い入力情報に対しては，グループモデルがより優位であり，ここから「聞き手は話し手を見る傾向がある」という会話の構造がグループモデルによって陰に学習されていることが示唆された．また，入力情報に眼球方向を含む場合，話し手の視線推定において，個人モデルがグループモデルより高精度であることが分かった．さらにCNNの構造として，特徴統合の位置が異なるモデルを比較した結果，個人毎の特徴統合の後に，人物間の特徴統合を行う2段階統合の構造がより有効であることが分かった．加えて，頭部姿勢計測法として画像上の顔追跡を用いた場合でも，その視線推定精度は，センサ計測の場合と遜色がないことが判明し，CNNモデルの頑健性が裏付けられた．以上，複数人会話における視線方向推定においてCNNモデルの適用可能性が確認された． |
| 抄録(英) | |
| キーワード(和) | 複数人会話 / 視線 / 深層学習 / 畳み込みニューラルネット / マルチモーダルインタラクション |
| キーワード(英) | |
| 資料番号 | HCS2019-34 |
| 発行日 | 2019-08-16 (HCS) |
| 研究会情報 | |
| 研究会 | HCS |
|---|---|
| 開催期間 | 2019/8/23(から2日開催) |
| 開催地（和） | 滋慶医療科学大学院大学 |
| 開催地（英） | Jikei Institute |
| テーマ（和） | 社会的信号処理のための学際研究，および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 松田 昌史(NTT) |
| 委員長氏名（英） | Masafumi Matsuda(NTT) |
| 副委員長氏名（和） | 井上 智雄(筑波大) / 林 勇吾(立命館大) |
| 副委員長氏名（英） | Tomoo Inoue(Univ. of Tsukuba) / Yugo Hayashi(Ritsumeikan Univ.) |
| 幹事氏名（和） | 渡邊 伸行(金沢工大) / 小森 政嗣(阪電通大) / 吉田 悠(NEC) |
| 幹事氏名（英） | Nobuyuki Watanabe(Kanazawa Inst. of Tech.) / Masashi Komori(Osaka Electro-Comm. Univ.) / Haruka Yoshida(NEC) |
| 幹事補佐氏名（和） | 神田 智子(大阪工業大学) / 高嶋 和毅(東北大) / 藤原 健(阪経済大) / 寺田 和憲(岐阜大) / 木村 敦(日大) / 黄 宏軒(理研) |
| 幹事補佐氏名（英） | Tomoko Kanda(Osaka Inst. of Tech.) / Kazuki Takashima(Tohoku Univ.) / Ken Fujiwara(Osaka Univ. of Economic) / Kazunori Terada(Gifu Univ.) / Atsushi Kimura(Nihon Univ.) / HUANG HUNGHSUAN(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Communication Science |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 畳み込みニューラルネットを用いた複数人会話における対人視線方向の推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimating Interpersonal Gaze Directions in Multiparty Conversations using Convolutional Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 複数人会話 |
| キーワード(2)（和/英） | 視線 |
| キーワード(3)（和/英） | 深層学習 |
| キーワード(4)（和/英） | 畳み込みニューラルネット |
| キーワード(5)（和/英） | マルチモーダルインタラクション |
| 第 1 著者 氏名（和/英） | 大塚 和弘 / Kazuhiro Otsuka |
| 第 1 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 第 2 著者 氏名（和/英） | 春日 啓祐 / Keisuke Kasuga |
| 第 2 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 第 3 著者 氏名（和/英） | ケーラー マルティナ / Martina Koehler |
| 第 3 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 発表年月日 | 2019-08-23 |
| 資料番号 | HCS2019-34 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | HCS-179 |
| ページ範囲 | pp.27-32(HCS), |
| ページ数 | 6 |
| 発行日 | 2019-08-16 (HCS) |