| 講演名 | 1997/5/22 HMMを用いた唇動画像の生成 益子 貴史, 小林 隆夫, 徳田 恵一, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 隠れマルコフモデル(HMM)に基づいて,任意のテキストからそれに対応する滑らかな唇形状の動きを生成する新たな手法を提案している. 提案手法では,音素や音節等,各音声単位に対応する唇形状の動きをHMMによりモデル化している. 画像生成時には,与えられたテキストに対応する文HMMを音声単位HMMを接続することにより構成し,得られた文HMMから尤度最大化基準により,唇形状の動き表す最適なパラメータ系列を求めている. 本手法の特徴は,既に提案したHMMに基づく音声合成法と同一の枠組で画像の生成が可能な点にあり,音声と画像で同一の音声単位を用いて統一的にモデル化を行なえば,音声・画像の同時生成が容易に実現できる. 本論文では,唇動画像生成システムの構成を示すとともに,実際に小規模な実験的システムを構築し,得られた画像が自然発声に近い滑らかな唇の動きを表現可能なことを示す. |
| 抄録(英) | This paper presents a new technique for synthesizing lip movements from an arbitrarily given text using the algorithm for parameter generation from HMMs with dynamic features. In the training stage of the technique, speech unit HMMs are trained with visual parameter vector sequences that represent lip movements. In the synthesis stage, a sentence HMM is constructed by concatenating speech unit HMMs corresponding to the transcription for the given text. Then an optimum parameter vector sequence is obtained from the sentence HMM based on the maximum likelihood criterion. The technique enables us to realize a synthesis system that can generate synchronized lip movements with speech in a unified framework. Generated parameter sequence reflects statistical information of both static and dynamic features, and synthetic lip animation becomes quite smooth and natural. |
| キーワード(和) | 唇動画生成 / 隠れマルコフモデル / 唇画像・音声同期 / マルチモーダルインターフェース |
| キーワード(英) | lip movement systhesis / hidden Markov model / lip synchronization / multimodal interface |
| 資料番号 | SP97-6 |
| 発行日 |
| 研究会情報 | |
| 研究会 | SP |
|---|---|
| 開催期間 | 1997/5/22(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Speech (SP) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | HMMを用いた唇動画像の生成 |
| サブタイトル（和） | |
| タイトル（英） | LIP MOVEMENT SYNTHESIS USING HMMS |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 唇動画生成 / lip movement systhesis |
| キーワード(2)（和/英） | 隠れマルコフモデル / hidden Markov model |
| キーワード(3)（和/英） | 唇画像・音声同期 / lip synchronization |
| キーワード(4)（和/英） | マルチモーダルインターフェース / multimodal interface |
| 第 1 著者 氏名（和/英） | 益子 貴史 / Takashi Masuko |
| 第 1 著者 所属（和/英） | 東京工業大学 精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 小林 隆夫 / Takao Kobayashi |
| 第 2 著者 所属（和/英） | 東京工業大学 精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology |
| 第 3 著者 氏名（和/英） | 徳田 恵一 / Keiichi Tokuda |
| 第 3 著者 所属（和/英） | 名古屋工業大学 知能情報システム学科 Department of Computer Science, Nagoya Institute of Technology |
| 発表年月日 | 1997/5/22 |
| 資料番号 | SP97-6 |
| 巻番号（vol） | vol.97 |
| 号番号（no） | 64 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |