| 講演名 | 2021-03-02 StyleGANに基づく顔動作の感情変換 竹内 至生(京大), 中澤 篤志(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 人が話すとき，表情に現れる感情は対話相手の印象を大きく左右する. また，動画投稿サイトやオンデマンド講義など社会には話している人の動画が多く存在するため， 顔動作の感情を変換することには応用的な価値がある. 顔動作の感情変換に当たっては，発話内容は変換の前後で変わらないこと望まれる. このような，意味的な内容を保存しつつスタイルを変換する技術は「スタイル変換」と呼ばれ，研究が進んでいる. スタイル変換技術は近年の深層学習の発展に伴って進歩を遂げているが，表情の感情変換については静止画を対象とする研究がほとんどである. しかし，人の表情は顔動作の中に強く現れるため，時系列データを扱うことの実用的価値は大きい. そこで，本研究では顔動作の感情変換を目的とする. スタイルを扱う技術のうち，StyleGANと呼ばれる手法では，スタイルを連続パラメータ空間上の点として埋め込み，そのパラメータをもとにスタイルの制御を実現した. 本研究ではこの枠組みを利用し，顔動作の感情変換手法を提案する. 入出力データとしては顔特徴点群を用い，データの低ランク性を考慮して次元圧縮を取り入れる. |
| 抄録(英) | The facial expression, especially its emotion, has a great influence on audiences' impression. With an increasing number of speaking movies such as on-demand lectures and video sharing sites, transferring emotion for facial motion is an applicated valuable technique. Emotion transfer can be regarded as a Style Transfer task. It transfers Style: marginal information while preserving Content: semantic information. We utilized StyleGANcite{karras2019style} architecture to realize emotion transfer. Facial Motion is represented as a set of facial landmarks. Using facial landmarks' row rank structure, we realize the natural transform of facial motions. |
| キーワード(和) | スタイル変換 / 感情変換 / 顔動作 / 表情変換 / 表情 / 動作変換 |
| キーワード(英) | Style Transfer / Emotion Transfer / Facial Expression / Facial Motion / Motion Transfer |
| 資料番号 | IMQ2020-26,IE2020-66,MVE2020-58 |
| 発行日 | 2021-02-22 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | MVE / IMQ / IE / CQ |
|---|---|
| 開催期間 | 2021/3/1(から3日開催) |
| 開催地（和） | オンライン開催（崇城大学から変更） |
| 開催地（英） | Online |
| テーマ（和） | 五感に訴えるオンラインメディアとその評価，および一般 （魅力工学（AC）研究会協賛） |
| テーマ（英） | |
| 委員長氏名（和） | 井原 雅行(NTT) / 中口 俊哉(千葉大) / 木全 英明(NTT) / 下西 英之(NEC) |
| 委員長氏名（英） | Masayuki Ihara(NTT) / Toshiya Nakaguchi(Chiba Univ.) / Hideaki Kimata(NTT) / Hideyuki Shimonishi(NEC) |
| 副委員長氏名（和） | 清川 清(奈良先端大) / 前田 充(キヤノン) / 魚森 謙也(阪大) / 児玉 和也(NII) / 高橋 桂太(名大) / 岡本 淳(NTT) / 平栗 健史(日本工大) |
| 副委員長氏名（英） | Kiyoshi Kiyokawa(NAIST) / Mitsuru Maeda(Canon) / Kenya Uomori(Osaka Univ.) / Kazuya Kodama(NII) / Keita Takahashi(Nagoya Univ.) / Jun Okamoto(NTT) / Takefumi Hiraguri(Nippon Inst. of Tech.) |
| 幹事氏名（和） | 西口 敏司(阪工大) / 横山 正典(NTT) / 福嶋 政期(東大) / 大橋 剛介(静岡大) / 齊藤 新一郎(ソニーセミコンダクタソリューションズ) / 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 木村 共孝(同志社大) / 山中 広明(NICT) / アベセカラ ヒランタ(NTT) |
| 幹事氏名（英） | Satoshi Nishiguchi(Oosaka Inst. of Tech.) / Masanori Yokoyama(NTT) / Shogo Fukushima(Univ. of ToKyo) / Gosuke Ohashi(Shizuoka Univ.) / Shinichiro Saito(Sony Semiconductor Solutions) / Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Tomotaka Kimura(Doshisha Univ.) / Hiroaki Yamanaka(NICT) / Hirantha Abeysekera(NTT) |
| 幹事補佐氏名（和） | 磯山 直也(奈良先端大) / 原 豪紀(大日本印刷) / 後藤 充裕(NTT) / 工藤 博章(名大) / 土田 勝(NTT) / 平井 経太(千葉大) / 岩村 俊輔(NHK) / 工藤 忍(NTT) / 西川 由明(NEC) / 木村 拓人(NTT) / 堅岡 良知(KDDI総合研究所) |
| 幹事補佐氏名（英） | Naoya Isoyama(NAIST) / Takenori Hara(DNP) / Mitsuhiro Goto(NTT) / Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Keita Hirai(Chiba Univ.) / Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) / Yoshiaki Nishikawa(NEC) / Takuto Kimura(NTT) / Ryoichi Kataoka(KDDI Research) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Media Experience and Virtual Environment / Technical Committee on Image Media Quality / Technical Committee on Image Engineering / Technical Committee on Communication Quality |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | StyleGANに基づく顔動作の感情変換 |
| サブタイトル（和） | |
| タイトル（英） | StyleGAN-based Emotion Transfer for Facial Motions |
| サブタイトル（和） | |
| キーワード(1)（和/英） | スタイル変換 / Style Transfer |
| キーワード(2)（和/英） | 感情変換 / Emotion Transfer |
| キーワード(3)（和/英） | 顔動作 / Facial Expression |
| キーワード(4)（和/英） | 表情変換 / Facial Motion |
| キーワード(5)（和/英） | 表情 / Motion Transfer |
| キーワード(6)（和/英） | 動作変換 |
| 第 1 著者 氏名（和/英） | 竹内 至生 / Shiki Takeuchi |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 中澤 篤志 / Atsushi Nakazawa |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2021-03-02 |
| 資料番号 | IMQ2020-26,IE2020-66,MVE2020-58 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | IMQ-389,IE-390,MVE-391 |
| ページ範囲 | pp.76-81(IMQ), pp.76-81(IE), pp.76-81(MVE), |
| ページ数 | 6 |
| 発行日 | 2021-02-22 (IMQ, IE, MVE) |