講演抄録/キーワード |
講演名 |
2021-10-21 10:10
複数の理解度の変化状態を用いた顔動画からのweb会議参加者の理解度推定 ○北岸佑樹・神山歩相名・森 岳至・浅見太一・俵 直弘(NTT)・米澤朋子(関西大) HIP2021-30 |
抄録 |
(和) |
本研究ではweb会議参加者の理解度をwebカメラの映像から5段階で推定する手法を提案する.
従来の理解度推定タスクでは,理解している/していないにその間を加えたような2, 3値の分類が多かったが,それは人間の認知と比べて粒度が荒く,人がそれを参考にして行動することは難しかった.
しかし粒度を細かくした場合,意味の類似するクラス間で表情や頭部の動きの個人差が大きいために認識精度が落ちてしまう.
従来は認識対象の動画に加えて平常時の様子を陽に機械学習モデルに参考情報として与えることで個人差を正規化していたが,クラスの粒度が細かい場合には情報が足りない.
こういった課題を解決するため,本研究では理解している/していないをさらに2分割した5段階の理解度分類問題を定義し,そのための認識アルゴリズムを提案する.
具体的には,認識対象の動画に加えて,平常時だけでなく理解度が変化した状態を機械学習のモデルに参考情報として与えることで,粒度の細かな理解度認識タスクにおける個人差を正規化する.
模擬会議データを用いた理解度推定実験の結果,提案手法によってベースライン手法と比べて19.1%,従来手法と比べて8.8%のmacro-F1の改善が認められた. |
(英) |
In this study, we propose a new estimation method of the five-level participant's understanding in a web conference from their web camera videos.
To estimate the difference of finer participant's understanding, our new framework uses her/his changed understanding states as well as a neutral state.
In this paper, we introduce our internal dataset and verify our methods.
The experimental result on in-house Web meeting data, we confirmed that our proposed method outperformed the baseline and conventional methods in macro-F1.
end{eabstract} |
キーワード |
(和) |
理解度推定 / attention機構 / 表情認識 / 動作認識 / 非言語情報認識 / / / |
(英) |
understanding estimation / attention mechanism / facial expression recognition / action recognition / noverbal recognition / / / |
文献情報 |
信学技報, vol. 121, no. 211, HIP2021-30, pp. 1-6, 2021年10月. |
資料番号 |
HIP2021-30 |
発行日 |
2021-10-14 (HIP) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
HIP2021-30 |