| 講演名 | 2024-01-18 顔映像からの表情の特徴量を用いた認知症およびMCIの検出 奥西 泰地(慶大), 鄭 楚恒(慶大), ブーアジジ モンデル(慶大), 大槻 知明(慶大), 北沢 桃子(慶大), 堀込 俊郎(慶大), 岸本 泰士郎(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 認知症は早期の検出が重要となる．音声や自然言語を用いた認知症検出手法は盛んに研究されている一方，顔映像を用いた認知症の研究は少数であり，更なる詳細な調査が必要である．本稿では，事前学習済みモデルを用いて顔映像から表情に関連する多種の種類を抽出し，それらを用いて特徴量を作成し，認知症及びMCI (Mild Cognitive Impairment) を検出する手法を提案する．表情関連の特徴として，表情筋の動作を定量化した Action Unit (AU), 「悲しみ」，「喜び」などの感情カテゴリ，感情を覚醒度と感情価の2次元の連続値で表現する Valence-Arousal，事前学習済みモデルを用いて抽出したFace Embeddingを用いる．動画の各フレームから得られた上記の特徴から，動画全体で平均や標準偏差，変化率の平均と標準偏差を算出して特徴量を作成し，決定木ベースのモデルを用いて分類をする．認知症の検出精度はAUC 0.93, MCIの検出精度ではAUC 0.82を達成した． |
| 抄録(英) | Early detection of dementia is crucial. While many studies have been conducted on dementia detection using speech and natural language, only a few studies on dementia using face videos have been conducted, and more detailed research is needed. In this paper, we propose a method to detect dementia and Mild Cognitive Impairment (MCI) by extracting various types of expression-related features from face videos using a pre-trained model and creating features based on these features. As features related to facial expressions, we use the Action Unit (AU), which quantifies facial muscle movements; emotion categories such as "sadness" and " happiness"; Valence-Arousal, which expresses emotions as two-dimensional continuous values, and Face Embedding, which is extracted using a pre-trained model, is used. From the above features obtained from each frame of the video, the mean, standard deviation, and mean and standard deviation of the change rate are calculated for the entire video as features and classification is performed using a decision tree-based model. We achieved an AUC of 0.93 for the detection accuracy of dementia and an AUC of 0.82 for the detection accuracy of MCI. |
| キーワード(和) | 認知症検出 / MCI検出 / 表情解析 / 機械学習 |
| キーワード(英) | dementia detection / MCI detection / facial expression analysis / machine learning |
| 資料番号 | SeMI2023-51 |
| 発行日 | 2024-01-11 (SeMI) |
| 研究会情報 | |
| 研究会 | SeMI |
|---|---|
| 開催期間 | 2024/1/18(から2日開催) |
| 開催地（和） | 楽気ハウス 甲斐路 |
| 開催地（英） | Raki House Kaiji |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 門田 和也(日立) |
| 委員長氏名（英） | Kazuya Monden(Hitachi) |
| 副委員長氏名（和） | 大和田 泰伯(NICT) / 猿渡 俊介(阪大) |
| 副委員長氏名（英） | Yasunori Owada(NICT) / Shunsuke Saruwatari(Osaka Univ.) |
| 幹事氏名（和） | 勝間田 優樹(NTTドコモ) / 中山 悠(東京農工大) / 田谷 昭仁(東大) |
| 幹事氏名（英） | Yuki Katsumata(NTT DOCOMO) / Yu Nakayama(Tokyo Univ. of Agri. and Tech.) / Akihito Taya(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 松田 裕貴(奈良先端大) / 鈴木 拓(日立) / 平井 健士(阪大) |
| 幹事補佐氏名（英） | Yuki Matsuda(NAIST) / Taku Suzuki(Hitachi) / Takeshi Hirai(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Sensor Network and Mobile Intelligence |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 顔映像からの表情の特徴量を用いた認知症およびMCIの検出 |
| サブタイトル（和） | |
| タイトル（英） | Detection of Dementia and MCI Using Facial Expression Features from Face Videos |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 認知症検出 / dementia detection |
| キーワード(2)（和/英） | MCI検出 / MCI detection |
| キーワード(3)（和/英） | 表情解析 / facial expression analysis |
| キーワード(4)（和/英） | 機械学習 / machine learning |
| 第 1 著者 氏名（和/英） | 奥西 泰地 / Taichi Okunishi |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 鄭 楚恒 / Chuheng Zheng |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 3 著者 氏名（和/英） | ブーアジジ モンデル / Mondher Bouazizi |
| 第 3 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 4 著者 氏名（和/英） | 大槻 知明 / Tomoaki Ohtsuki |
| 第 4 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 5 著者 氏名（和/英） | 北沢 桃子 / Momoko Kitazawa |
| 第 5 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 6 著者 氏名（和/英） | 堀込 俊郎 / Toshiro Horigome |
| 第 6 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 7 著者 氏名（和/英） | 岸本 泰士郎 / Taishiro Kishimoto |
| 第 7 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2024-01-18 |
| 資料番号 | SeMI2023-51 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | SeMI-345 |
| ページ範囲 | pp.12-17(SeMI), |
| ページ数 | 6 |
| 発行日 | 2024-01-11 (SeMI) |