| 講演名 | 2016-09-16 Animation Unitを用いたHMM・DNNによるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討 佐藤 一樹(東北大), 能勢 隆(東北大), 伊藤 彰則(東北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 我々はこれまで，フォトリアリスティックな対話エージェント実現に向けたテキストからの顔動画像合成の手法として，Kinectによる顔特徴量を利用した隠れマルコフモデル (HMM) に基づく顔動画像合成手法を提案してきた．提案法では、Kinect を用いることで取得できる顔の各部位の状態を表した Animation Unit (AU) パラメータを顔画像特徴量とし，HMM 音声合成と同様の枠組みで任意のテキストから顔画像特徴量の合成を行う．そして生成された特徴量系列を Deep Neural Network (DNN) を用いて輝度値系列へと変換することでテキストからの顔動画像合成を実現する．本稿では，提案法において未検討であったカラー化について検討を行う．具体的には，提案法に基づいてカラーで顔動画像合成を行う際に HMM，DNN の最適な学習条件について検討し，主成分分析に基づく従来法と提案法のそれぞれに対して客観評価，主観評価を行って提案手法の有用性を示す． |
| 抄録(英) | We propose a technique for synthesizing photo-realistic facial animation from a text based on hidden Markov model (HMM) and deep neural network (DNN) with facial features for an interactive agent implementation. In the proposed technique, we use Animation Units (AUs) as facial features that express the state of each part of face and can be obtained by Kinect. We synthesize facial features from any text using the same framework as the HMM-based speech synthesis. Facial features are generated from an HMM and are converted into intensities of pixels using DNN. In this paper, we investigated colorization of the image that was not investigated yet. Besides, we investigated appropriate conditions for training of HMM and DNN when we synthesize color facial animation by the proposed method. Then, we performed an objective and a subjective evaluation to compare the proposed technique with the conventional technique based on the principal component analysis (PCA). |
| キーワード(和) | フォトリアリスティック顔動画 / 顔画像合成 / 隠れマルコフモデル / Deep Neural Network / Kinect / Animation Unit |
| キーワード(英) | Photo-realistic facial animation / face image synthesis / hidden Markov model / Deep Neural Network / Kinect / Animation Unit |
| 資料番号 | LOIS2016-27,IE2016-64,EMM2016-53 |
| 発行日 | 2016-09-08 (LOIS, IE, EMM) |
| 研究会情報 | |
| 研究会 | ITE-ME / IE / EMM / LOIS / IEE-CMN |
|---|---|
| 開催期間 | 2016/9/15(から2日開催) |
| 開催地（和） | 愛知県立大学(長久手キャンパス) |
| 開催地（英） | Aichi Prefectural University |
| テーマ（和） | マルチメディア通信/システム，ライフログ活用技術，IP放送/映像伝送，メディアセキュリティ，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 長谷山 美紀(北大) / 高村 誠之(NTT) / 伊藤 彰則(東北大) / 西 宏之(崇城大) / 福村 好美(長岡技科大) |
| 委員長氏名（英） | Miki Haseyama(Hokkaido Univ.) / Seishi Takamura(NTT) / Akinori Ito(Tohoku Univ.) / Hiroyuki Nishi(Sojo Univ.) / Yoshimi Fukumura(Nagaoka Univ. of Tech.) |
| 副委員長氏名（和） | 田川 憲男(首都大) / 浜本 隆之(東京理科大) / 市ヶ谷 敦郎(NHK) / 川村 正樹(山口大) / 日置 尋久(京大) / 山田 智広(NTT) |
| 副委員長氏名（英） | Norio Tagawa(Tokyo Metropolitan Univ.) / Takayuki Hamamoto(Tokyo Univ. of Science) / Atsuro Ichigaya(NHK) / Masaki Kawamura(Yamaguchi Univ.) / Hirohisa Hioki(Kyoto Univ.) / Tomohiro Yamada(NTT) |
| 幹事氏名（和） | 広明 敏彦(NEC) / 坂東 幸浩(NTT) / 宮田 高道(千葉工大) / 薗田 光太郎(長崎大) / 岩田 基(阪府大) / 渡部 智樹(NTT) / 一藤 裕(長崎大) / 森村 俊(電中研) / 針生 剛男(NTT) |
| 幹事氏名（英） | Toshihiko Hiroaki(NEC) / Yukihiro Bandoh(NTT) / Takamichi Miyata(Chiba Inst. of Tech.) / Kotaro Sonoda(Nagasaki Univ.) / Motoi Iwata(Osaka Pref. Univ.) / Tomoki Watanabe(NTT) / Yu Ichifuji(Nagasaki Univ.) / Shun Morimura(CRIEPI) / Takeo HARIU(NTT) |
| 幹事補佐氏名（和） | / 河村 圭(KDDI研) / 高橋 桂太(名大) / 生源寺 類(静岡大) / 藤吉 正明(首都大東京) / 中村 幸博(NTT) / 宇津 圭祐(東海大) / 八木 毅(NTT) |
| 幹事補佐氏名（英） | / Kei Kawamura(KDDI R&D Labs.) / Keita Takahashi(Nagoya Univ.) / Rui Shogenji(Shizuoka Univ.) / Masaaki Fujiyoshi(Tokyo Metropolitan Univ.) / Yukihiro Nakamura(NTT) / Keisuke Utsu(Tokai Univ.) / Takeshi YAGI(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Group on Media Engineering / Technical Committee on Image Engineering / Technical Committee on Enriched MultiMedia / Technical Committee on Life Intelligence and Office Information Systems / Technical Group on Communications |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Animation Unitを用いたHMM・DNNによるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study on Colorization in Photo-Realistic Facial Animation Synthesis from Text Based on HMM and DNN with Animation Unit |
| サブタイトル（和） | |
| キーワード(1)（和/英） | フォトリアリスティック顔動画 / Photo-realistic facial animation |
| キーワード(2)（和/英） | 顔画像合成 / face image synthesis |
| キーワード(3)（和/英） | 隠れマルコフモデル / hidden Markov model |
| キーワード(4)（和/英） | Deep Neural Network / Deep Neural Network |
| キーワード(5)（和/英） | Kinect / Kinect |
| キーワード(6)（和/英） | Animation Unit / Animation Unit |
| 第 1 著者 氏名（和/英） | 佐藤 一樹 / Kazuki Sato |
| 第 1 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 2 著者 氏名（和/英） | 能勢 隆 / Takashi Nose |
| 第 2 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 3 著者 氏名（和/英） | 伊藤 彰則 / Akinori Ito |
| 第 3 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 発表年月日 | 2016-09-16 |
| 資料番号 | LOIS2016-27,IE2016-64,EMM2016-53 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | LOIS-220,IE-221,EMM-222 |
| ページ範囲 | pp.67-72(LOIS), pp.67-72(IE), pp.67-72(EMM), |
| ページ数 | 6 |
| 発行日 | 2016-09-08 (LOIS, IE, EMM) |