| No | 256793 |
|---|---|
| 標題（和） | 顔画像からの感情抽出とその数値化・可視化 −音楽鑑賞・落語鑑賞における評価実験− |
| 標題（英） | Emotion Extraction from Face Images and its Quantification/Visualization --Experimental Evaluation in Music Concerts and Rakugo Performance-- |
| 研究会名（和） | 通信方式 |
| 研究会名（英） | Communication Systems |
| 開催年月日 | 2018-11-01 |
| 終了年月日 | 2018-11-02 |
| 会議種別コード | 5 |
| 共催団体名（和） | |
| 資料番号 | CS2018-63 |
| 抄録（和） | 近年，機械学習，とりわけ深層学習の分野の研究が活発である．その応用例の一つとして，顔画像からの感情抽出が注目されている．本研究では，深層学習の芸術への応用を目的として，音楽鑑賞・落語鑑賞における観客の顔画像から感情を抽出することを試みる．実際に，28人及び30人の被験者による評価実験を実施し，西洋クラシック音楽，ガムラン音楽，即興音楽，落語を鑑賞中の被験者を30台のビデオカメラで撮影し，深層学習エンジンに入力して感情の数値化を行った．同時に，被験者の心拍数の取得，LF/HFの計算，緊張/リラックスの状態遷移の分析も行った．実験結果を，演奏中・上演中の映像と同期させて可視化し，鑑賞中の被験者の感情の遷移と緊張/リラックス度の遷移を映像化した．更に，Happinessの感情に着目し，観客間での相関性を調べ，人による目視だけでは難しかった被験者の感情の類似性を定量的に示せることを確認した． |
| 抄録（英） | Nowadays, machine learning, especially a deep learning technique for image classification, has been one of attractive research areas. Emotion extraction from human face image also has numch attention as one of applications of the deep learning technique. In our research, for the purpose of application of deep learning technique to art (thus, fusion of art and engineering), we have tried to make emotion extraction from face images of audience in music concerts and rakugo performance. Experimental evaluations have been practically made with 28-30 subjects, in classic music, gamelan music, improvising misic and rakugo (comic story telling) performance. The video of all the subjects\' faces has been recorded, the face images has been cliped from the video every one seconds, and quantification of emotion has been made by inputing them to a deep learning engine. In the experiment, heart rate also has been measured for all the subjects simultaneously, for analysis of state of stress / relax based on LF/HF evaluation. For visualization, we have created the experimental results by colored face animation videos, synchronously together with the performer\'s video, and then emotion transitions and stress / relax state transtions. In additional analysis of correlation of emotion of happiness between the subjects, it is cleared that similarity of emotion between subjects can be quantitatively-expressible and detectable. |
| 収録資料名（和） | 電子情報通信学会技術研究報告 |
| 収録資料の巻号 | Vol.118, No.275 |
| ページ開始 | 43 |
| ページ終了 | 49 |
| キーワード（和） | 機械学習,深層学習,顔画像,感情抽出,芸術と工学の融合,音楽,落語 |
| キーワード（英） | Machine learning,Deep learning,Face image,Emotion extraction,Fusion of art and engineering,Music concert,Comic story telling |
| 本文の言語 | JPN |
| 著者（和） | 藤堂聖真 |
| 著者（ヨミ） | トウドウ セイマ |
| 著者（英） | Seima Todo |
| 所属機関（和） | 大阪市立大学 |
| 所属機関（英） | Osaka City University |
| 著者（和） | 辻岡哲夫 |
| 著者（ヨミ） | ツジオカ テツオ |
| 著者（英） | Tetsuo Tsujioka |
| 所属機関（和） | 大阪市立大学 |
| 所属機関（英） | Osaka City University |
| 著者（和） | 岡崎和伸 |
| 著者（ヨミ） | オカザキ カズノブ |
| 著者（英） | Kazunobu Okazaki |
| 所属機関（和） | 大阪市立大学 |
| 所属機関（英） | Osaka City University |
| 著者（和） | 小田中章浩 |
| 著者（ヨミ） | オダナカ アキヒロ |
| 著者（英） | Akihiro Odanaka |
| 所属機関（和） | 大阪市立大学 |
| 所属機関（英） | Osaka City University |