| 講演名 | 2018-11-01 顔画像からの感情抽出とその数値化・可視化 藤堂 聖真(阪市大), 辻岡 哲夫(阪市大), 岡崎 和伸(阪市大), 小田中 章浩(阪市大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，機械学習，とりわけ深層学習の分野の研究が活発である．その応用例の一つとして，顔画像からの感情抽出が注目されている．本研究では，深層学習の芸術への応用を目的として，音楽鑑賞・落語鑑賞における観客の顔画像から感情を抽出することを試みる．実際に，28人及び30人の被験者による評価実験を実施し，西洋クラシック音楽，ガムラン音楽，即興音楽，落語を鑑賞中の被験者を30台のビデオカメラで撮影し，深層学習エンジンに入力して感情の数値化を行った．同時に，被験者の心拍数の取得，LF/HFの計算，緊張/リラックスの状態遷移の分析も行った．実験結果を，演奏中・上演中の映像と同期させて可視化し，鑑賞中の被験者の感情の遷移と緊張/リラックス度の遷移を映像化した．更に，Happinessの感情に着目し，観客間での相関性を調べ，人による目視だけでは難しかった被験者の感情の類似性を定量的に示せることを確認した． |
| 抄録(英) | Nowadays, machine learning, especially a deep learning technique for image classification, has been one of attractive research areas. Emotion extraction from human face image also has numch attention as one of applications of the deep learning technique. In our research, for the purpose of application of deep learning technique to art (thus, fusion of art and engineering), we have tried to make emotion extraction from face images of audience in music concerts and rakugo performance. Experimental evaluations have been practically made with 28-30 subjects, in classic music, gamelan music, improvising misic and rakugo (comic story telling) performance. The video of all the subjects' faces has been recorded, the face images has been cliped from the video every one seconds, and quantification of emotion has been made by inputing them to a deep learning engine. In the experiment, heart rate also has been measured for all the subjects simultaneously, for analysis of state of stress / relax based on LF/HF evaluation. For visualization, we have created the experimental results by colored face animation videos, synchronously together with the performer's video, and then emotion transitions and stress / relax state transtions. In additional analysis of correlation of emotion of happiness between the subjects, it is cleared that similarity of emotion between subjects can be quantitatively-expressible and detectable. |
| キーワード(和) | 機械学習 / 深層学習 / 顔画像 / 感情抽出 / 芸術と工学の融合 / 音楽 / 落語 |
| キーワード(英) | Machine learning / Deep learning / Face image / Emotion extraction / Fusion of art and engineering / Music concert / Comic story telling |
| 資料番号 | CS2018-63 |
| 発行日 | 2018-10-25 (CS) |
| 研究会情報 | |
| 研究会 | CS |
|---|---|
| 開催期間 | 2018/11/1(から2日開催) |
| 開催地（和） | 子規記念館博物館（道後温泉） |
| 開催地（英） | The Shiki Museum |
| テーマ（和） | ブロードバンドアクセス，ホームネットワーク，ネットワークサービス，通信利用アプリケーション，一般 |
| テーマ（英） | Broadband Access Systems, Home Networks, Network Services, Applications for Communications, etc. |
| 委員長氏名（和） | 中里 秀則(早大) |
| 委員長氏名（英） | Hidenori Nakazato(Waseda Univ.) |
| 副委員長氏名（和） | 寺田 純(NTT) |
| 副委員長氏名（英） | Jun Terada(NTT) |
| 幹事氏名（和） | 藤原 正満(NTT) / 金井 謙治(早稲田大) |
| 幹事氏名（英） | Masamichi Fujiwara(NTT) / Kenji Kanai(Waseda Univ.) |
| 幹事補佐氏名（和） | 原 一貴(NTT) / 豊田 健太郎(慶大) |
| 幹事補佐氏名（英） | Kazutaka Hara(NTT) / Kentaro Toyoda(Keio Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Communication Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 顔画像からの感情抽出とその数値化・可視化 |
| サブタイトル（和） | 音楽鑑賞・落語鑑賞における評価実験 |
| タイトル（英） | Emotion Extraction from Face Images and its Quantification/Visualization |
| サブタイトル（和） | Experimental Evaluation in Music Concerts and Rakugo Performance |
| キーワード(1)（和/英） | 機械学習 / Machine learning |
| キーワード(2)（和/英） | 深層学習 / Deep learning |
| キーワード(3)（和/英） | 顔画像 / Face image |
| キーワード(4)（和/英） | 感情抽出 / Emotion extraction |
| キーワード(5)（和/英） | 芸術と工学の融合 / Fusion of art and engineering |
| キーワード(6)（和/英） | 音楽 / Music concert |
| キーワード(7)（和/英） | 落語 / Comic story telling |
| 第 1 著者 氏名（和/英） | 藤堂 聖真 / Seima Todo |
| 第 1 著者 所属（和/英） | 大阪市立大学(略称：阪市大) Osaka City University(略称：Osaka City Univ.) |
| 第 2 著者 氏名（和/英） | 辻岡 哲夫 / Tetsuo Tsujioka |
| 第 2 著者 所属（和/英） | 大阪市立大学(略称：阪市大) Osaka City University(略称：Osaka City Univ.) |
| 第 3 著者 氏名（和/英） | 岡崎 和伸 / Kazunobu Okazaki |
| 第 3 著者 所属（和/英） | 大阪市立大学(略称：阪市大) Osaka City University(略称：Osaka City Univ.) |
| 第 4 著者 氏名（和/英） | 小田中 章浩 / Akihiro Odanaka |
| 第 4 著者 所属（和/英） | 大阪市立大学(略称：阪市大) Osaka City University(略称：Osaka City Univ.) |
| 発表年月日 | 2018-11-01 |
| 資料番号 | CS2018-63 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | CS-275 |
| ページ範囲 | pp.43-49(CS), |
| ページ数 | 7 |
| 発行日 | 2018-10-25 (CS) |