| 講演名 | 2023-11-16 理解度の表出パタンのユーザ間類似度を用いた理解度推定技術の検討 北岸 佑樹(NTT), 俵 直弘(NTT), 小川 厚徳(NTT), 浅見 太一(NTT), 米澤 朋子(関西大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | web会議に参加する聴衆個々の，第三者から見た理解している/していない様子を理解度と定義し，聴衆の上半身が映る動画から理解度を推定する．理解度などの内面推定においては，ユーザ毎の表出パタンの個人差が精度劣化の主要な原因と考えられており，推定モデルをユーザ毎に学習し，各モデルの推論結果を表出パタンの類似度に基づいて重み和する方法や，個人を識別する情報を補助情報として用いる方法が，個人差に起因する精度劣化を抑える手法として提案されている．しかしこれらの手法には，学習/推論コストがユーザ数に応じて増加する，個人識別情報に表出パタンの類似性が十分に表れるとは限らない，といった問題がある．本稿では1) 理解度の表出パタンの類似性を直接表現できる理解度類似ベクトルを新たに導入し，2) このベクトルを，個人差を表すための特徴量として用いることで，全ユーザ共通の単一モデルで個人差を考慮した理解度推定を行う手法を提案する．実験の結果，ベースラインおよび従来法と比べてunweighted average recallにおいてそれぞれ最大12.8 %, 13.6 %改善した． |
| 抄録(英) | We define three-degree understanding levels of low/neutral/high as an audience member looks like they are understanding or not, and estimate the understanding level from the video, which shows the face and upper body of the audience member. In estimating the internal state of humans, such as the understanding level, the differences among each user's expression patterns of the understanding level degrade estimation performance. The conventional work tackled this problem by training user-specific models and summarized the results over all the user-specific models. However, this method requires more training/estimation cost corresponding to the number of users. The other works tackled this problem by using individual identification information to eliminate the effect of individual differences in the expression patterns. However, the individual identification information does not always include information on similarities in the understanding expression patterns between individuals. In this paper, we propose a new method of understanding level estimation using a single model that uses similarities of expression of understanding level. Experimental results show that the proposed method improves unweighted average recall by up to 12.8 % and 13.6 % in comparison to the baseline and conventional methods, respectively. |
| キーワード(和) | 理解度推定 / attention機構 / 表情認識 / 動作認識 / 非言語情報認識 |
| キーワード(英) | Understanding level estimation / attention mechanism / facial expression recognition / action recognition / nonverbal recognition |
| 資料番号 | PRMU2023-26 |
| 発行日 | 2023-11-09 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM / IPSJ-DCC / IPSJ-CGVI |
|---|---|
| 開催期間 | 2023/11/16(から2日開催) |
| 開催地（和） | 鳥取県立生涯学習センター（県民ふれあい会館） |
| 開催地（英） | |
| テーマ（和） | 人を表現・理解するためのCG/DCC/CV/PR技術 |
| テーマ（英） | |
| 委員長氏名（和） | 柏野 邦夫(NTT) |
| 委員長氏名（英） | Kunio Kashio(NTT) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 入江 豪(東京理科大) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Go Irie(Tokyo Univ. of Science) |
| 幹事氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 幹事補佐氏名（和） | 下西 慶(京大) / 原 健翔(産総研) |
| 幹事補佐氏名（英） | Kei Shimonishi(Kyoto Univ.) / Kensho Hara(AIST) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media / Special Interest Group on Digital Contents Creation / Special Interest Group on Computer Graphics and Visual Informatics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 理解度の表出パタンのユーザ間類似度を用いた理解度推定技術の検討 |
| サブタイトル（和） | |
| タイトル（英） | Understanding level estimation using similarities between users' understanding expression patterns |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 理解度推定 / Understanding level estimation |
| キーワード(2)（和/英） | attention機構 / attention mechanism |
| キーワード(3)（和/英） | 表情認識 / facial expression recognition |
| キーワード(4)（和/英） | 動作認識 / action recognition |
| キーワード(5)（和/英） | 非言語情報認識 / nonverbal recognition |
| 第 1 著者 氏名（和/英） | 北岸 佑樹 / Yuki Kitagishi |
| 第 1 著者 所属（和/英） | 日本電子電話株式会社(略称：NTT) NTT Corporation(略称：NTT) |
| 第 2 著者 氏名（和/英） | 俵 直弘 / Naohiro Tawara |
| 第 2 著者 所属（和/英） | 日本電子電話株式会社(略称：NTT) NTT Corporation(略称：NTT) |
| 第 3 著者 氏名（和/英） | 小川 厚徳 / Atsunori Ogawa |
| 第 3 著者 所属（和/英） | 日本電子電話株式会社(略称：NTT) NTT Corporation(略称：NTT) |
| 第 4 著者 氏名（和/英） | 浅見 太一 / Taichi Asami |
| 第 4 著者 所属（和/英） | 日本電子電話株式会社(略称：NTT) NTT Corporation(略称：NTT) |
| 第 5 著者 氏名（和/英） | 米澤 朋子 / Tomoko Yonezawa |
| 第 5 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ.) |
| 発表年月日 | 2023-11-16 |
| 資料番号 | PRMU2023-26 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-266 |
| ページ範囲 | pp.56-61(PRMU), |
| ページ数 | 6 |
| 発行日 | 2023-11-09 (PRMU) |