| 講演名 | 2023-01-22 本人心象と第三者心象の推定におけるマルチモーダル情報と生体信号の役割の分析 堅田 俊(北陸先端大), 岡田 将吾(北陸先端大), 駒谷 和範(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 対話システムにおいては対話中のユーザの内面状態を正確に推定し，状況に応じて適切に対話することが重要である．多くの心象推定研究において第三者視点から付与される第三者心象ラベルが用いられるが，ユーザ本人の心象（本人心象）は考慮されないことが多い．また，生体信号は表出されない本人心象の変化の検出に有用な可能性があるが，言語，韻律，視覚の3つのモダリティの関連性解析は行われている一方で，生体信号とその3つのモダリティの関係性はよく議論されていない．本研究では各モダリティに基づくモデルを構築し，異なる２つの心象，すなわち本人心象及び第三者心象の推定性能を広範に比較解析することで各モダリティの寄与を明らかにする．結果として，ユニモーダルモデルでは生体信号情報が，マルチモーダルモデルでは生体信号と言語情報の組合せが本人心象推定に最も有用であった．対照的に，第三者心象の推定においては言語，韻律，視覚情報に基づいた回帰モデルの性能が最も高かった．以上のことから，本人心象と第三者心象とで推定に有用なモダリティが異なることが示唆された． |
| 抄録(英) | A dialogue system needs to adapt its utterance by estimating a user's internal state. Most of the previous multimodal sentiment analyses use third-party sentiment label; however, a user's self-sentiment annotated by the user themselves is often ignored. Physiological signals can detect subtle changes in self-sentiment. While the relationship between text, acoustic and visual modalities has been analyzed, the relationship between physiological signals and the three modalities has not been well discussed. In this study, we construct sentiment estimation models based on text, acoustic, visual, and physiological information, and compared them for the two types of sentiment estimation. As a result, the fusion of the text and physiological modalities is effective for self-sentiment estimation. In contrast, the fusion of the text and audiovisual modalities is effective for third-party sentiment estimation. Thus, it is suggested that effective modalities for sentiment estimation depend on the type of sentiment labels. |
| キーワード(和) | 本人心象 / 第三者心象 / マルチモーダル情報 / 生体信号 |
| キーワード(英) | self-sentiment / third-party sentiment / multimodal information / physiological signal |
| 資料番号 | HCS2022-70 |
| 発行日 | 2023-01-14 (HCS) |
| 研究会情報 | |
| 研究会 | HCS |
|---|---|
| 開催期間 | 2023/1/21(から2日開催) |
| 開催地（和） | 京都工芸繊維大学 |
| 開催地（英） | Kyoto Institute of Technology |
| テーマ（和） | 身体的コミュニケーション，および一般 |
| テーマ（英） | Physical Communication, etc. |
| 委員長氏名（和） | 神田 智子(大阪工業大学) |
| 委員長氏名（英） | Tomoko Kanda(Osaka Inst. of Tech.) |
| 副委員長氏名（和） | 林 勇吾(立命館大) / 小森 政嗣(阪電通大) |
| 副委員長氏名（英） | Yugo Hayashi(Ritsumeikan Univ.) / Masashi Komori(Osaka Electro-Comm. Univ.) |
| 幹事氏名（和） | 吉田 悠(日大) / 飯塚 重善(神奈川大) / 髙木 幸子(常磐大) |
| 幹事氏名（英） | Haruka Yoshida(Nihon Univ.) / Shigeyoshi Iizuka(Kanagawa Univ.) / Sachiko Takagi(Tokiwa Univ.) |
| 幹事補佐氏名（和） | 黄 宏軒(福知山公立大) / 市川 淳(静岡大) / 高嶋 和毅(東北大) / 斎藤 博人(東京電機大) / 石井 亮(NTT) / 大本 義正(静岡大) |
| 幹事補佐氏名（英） | HUANG HUNGHSUAN(Univ. of Fukuchiyama) / Jun Ichikawa(Shizuoka Univ.) / Kazuki Takashima(Tohoku Univ.) / Hiroto Saito(Tokyo Denki Univ.) / Ryo Ishii(NTT) / Yoshimasa Ohmoto(Shizuoka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Communication Science |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 本人心象と第三者心象の推定におけるマルチモーダル情報と生体信号の役割の分析 |
| サブタイトル（和） | |
| タイトル（英） | Analysis of Role of Multimodal Information and Physiological Signals in Self-Reported and Third-Party Sentiment Estimation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 本人心象 / self-sentiment |
| キーワード(2)（和/英） | 第三者心象 / third-party sentiment |
| キーワード(3)（和/英） | マルチモーダル情報 / multimodal information |
| キーワード(4)（和/英） | 生体信号 / physiological signal |
| 第 1 著者 氏名（和/英） | 堅田 俊 / Shun Katada |
| 第 1 著者 所属（和/英） | 北陸先端科学技術大学院大学(略称：北陸先端大) Japan Advanced Institute of Science and Technology(略称：JAIST) |
| 第 2 著者 氏名（和/英） | 岡田 将吾 / Shogo Okada |
| 第 2 著者 所属（和/英） | 北陸先端科学技術大学院大学(略称：北陸先端大) Japan Advanced Institute of Science and Technology(略称：JAIST) |
| 第 3 著者 氏名（和/英） | 駒谷 和範 / Kazunori Komatani |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2023-01-22 |
| 資料番号 | HCS2022-70 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | HCS-349 |
| ページ範囲 | pp.86-91(HCS), |
| ページ数 | 6 |
| 発行日 | 2023-01-14 (HCS) |