講演名 2017-08-21
マルチモーダルCNNを用いた議論要約のための会話の抜粋
二瓶 芙巳雄(成蹊大), 中野 有紀子(成蹊大), 高瀬 裕(成蹊大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 本研究では畳み込みニューラルネットワーク(CNN)を用いた,議論要約のための会話抜粋を推定するマルチモーダルフュージョンモデルを提案する.音声,頭部動作,そして顔特徴点から得られる低次元信号から作成されるユニモーダルモデルをそれぞれ作成し,分類器として機能するマルチモーダルフュージョンモデルに統合する.提案モデルは人手による特徴量選択を行わず,また多くの場合でベースラインモデルを上回った.
抄録(英) With the goal of extracting meeting minutes from group discussion corpus, this study proposes multimodal fusion models by employing Convolutional Neural Networks (CNNs). First, unimodal models are created using raw behavioral data such as speech, head motion, and face tracking. These models are then integrated into a fusion model that works as a classifier. The main advantage of this work is that the proposed models were trained without any hand-crafted features, and in most cases they outperformed a baseline model trained using hand-crafted features. It was also found that multimodal fusion is useful in applying the CNN approach to model multimodal multiparty interaction.
キーワード(和) 会話抜粋 / 畳み込みニューラルネットワーク / マルチモーダルフュージョン
キーワード(英) Meeting extracts / Convolutional neural network / Multimodal fusion
資料番号 HCS2017-57
発行日 2017-08-13 (HCS)

研究会情報
研究会 HCS
開催期間 2017/8/20(から2日開催)
開催地(和) 成蹊大学
開催地(英) Seikei University
テーマ(和) コミュニケーションセンシングに基づく支援および一般
テーマ(英) Support technologies based on communication sensing, etc.
委員長氏名(和) 中野 有紀子(成蹊大)
委員長氏名(英) Yukiko Nakano(Seikei Univ.)
副委員長氏名(和) 渡邊 伸行(金沢工大) / 井上 智雄(筑波大)
副委員長氏名(英) Nobuyuki Watanabe(Kanazawa Inst. of Tech.) / Tomoo Inoue(Univ. of Tsukuba)
幹事氏名(和) 林 勇吾(立命館大) / 小森 政嗣(阪電通大) / 吉田 悠(NEC)
幹事氏名(英) Yugo Hayashi(Ritsumeikan Univ.) / Masashi Komori(Osaka Electro-Comm. Univ.) / Haruka Yoshida(NEC)
幹事補佐氏名(和) 高嶋 和毅(東北大) / 藤原 健(阪経済大) / 寺田 和憲(岐阜大) / 木村 敦(日大)
幹事補佐氏名(英) Kazuki Takashima(Tohoku Univ.) / Ken Fujiwara(Osaka Univ. of Economic) / Kazunori Terada(Gifu Univ.) / Atsushi Kimura(Nihon Univ.)

講演論文情報詳細
申込み研究会 Technical Committee on Human Communication Science
本文の言語 JPN
タイトル(和) マルチモーダルCNNを用いた議論要約のための会話の抜粋
サブタイトル(和)
タイトル(英) Meeting Extracts for Group Discussions using Multimodal Convolutional Neural Networks
サブタイトル(和)
キーワード(1)(和/英) 会話抜粋 / Meeting extracts
キーワード(2)(和/英) 畳み込みニューラルネットワーク / Convolutional neural network
キーワード(3)(和/英) マルチモーダルフュージョン / Multimodal fusion
第 1 著者 氏名(和/英) 二瓶 芙巳雄 / Fumio Nihei
第 1 著者 所属(和/英) 成蹊大学(略称:成蹊大)
Seikei University(略称:Seikei Univ.)
第 2 著者 氏名(和/英) 中野 有紀子 / Yukiko Nakano
第 2 著者 所属(和/英) 成蹊大学(略称:成蹊大)
Seikei University(略称:Seikei Univ.)
第 3 著者 氏名(和/英) 高瀬 裕 / Yutaka Takase
第 3 著者 所属(和/英) 成蹊大学(略称:成蹊大)
Seikei University(略称:Seikei Univ.)
発表年月日 2017-08-21
資料番号 HCS2017-57
巻番号(vol) vol.117
号番号(no) HCS-177
ページ範囲 pp.55-59(HCS),
ページ数 5
発行日 2017-08-13 (HCS)