| 講演名 | 1995/10/27 音声駆動による実時間表情変形システム : "Better Face Communication" at SIGGRAPH'95 森島 繁生, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 擬人化仮想エージェントやアニメーションキャラクタの発する音声と表情情報の同期が重要な研究テーマとなっている。特に、唇の動きと音声を同期させるリップシンクは多くの報告がなされている。本稿では、コミュニケーションシステムへの応用を想定して、リップシンクを実時間で実現する手法について報告する。マイクロフォンから入力された音声から、フレーム単位にスペクトル情報が計算され、ニューラルネットによって口形のパラメータに変換される。表情はこのパラメータ情報に基づいて3次元ワイヤフレームモデルを変形し、人物のテクスチャを貼り付けることによって実現される。実際にこのアルゴリズムをリアルタイムシステムとして実現し、任意の訪問者の正面静止画像と僅かな音声サンプルの取得後、自らの囗の動きを自身でコントロールしたり表情を付加できるデモシステムをSIGGRAPH'95に出展して評価を行った。 |
| 抄録(英) | A synchronization between voice and exppression image given by personified vertual agent and animation character is a very important theme recently. Expecially, there are many reports about a lip sync that synchronizes lip motion and voice. In this paper, a real-time lip sync method for communication system is presented. A spectrum information is calculated form natural voice captured by microphone, and then parameters are converted to a mouth feature parameters based on neural network. A 3D wire frame model is modified by this parameters, a texture of a person is projected onto this model, and the facial expression image is coming out. This algorithm was implemented on a graphics workstation as a real-time system. After capturing a frontal static image and a few voice data of any visitor, he can control his own lip motion and facial expression by himself in this prototype system. This was presented at interactive demonstration in SIGGRAPH'95 and was evaluated. |
| キーワード(和) | 擬人化エ-ジェント / 実時間表情合成 / メディア変換 / リップシンク / 3次元モデル / 知的コミュニケ-ション |
| キーワード(英) | Virtual Agent / Real-time Face Synthesis / Media Conversion / Lip Sync / 3D Model / Intelligent Communication |
| 資料番号 | MVE95-45 |
| 発行日 |
| 研究会情報 | |
| 研究会 | MVE |
|---|---|
| 開催期間 | 1995/10/27(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Media Experience and Virtual Environment (MVE) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 音声駆動による実時間表情変形システム : "Better Face Communication" at SIGGRAPH'95 |
| サブタイトル（和） | |
| タイトル（英） | A Real-time Expression Modification System Driven by Voice : "Better Face Communication" at SIGGRAPH'95 |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 擬人化エ-ジェント / Virtual Agent |
| キーワード(2)（和/英） | 実時間表情合成 / Real-time Face Synthesis |
| キーワード(3)（和/英） | メディア変換 / Media Conversion |
| キーワード(4)（和/英） | リップシンク / Lip Sync |
| キーワード(5)（和/英） | 3次元モデル / 3D Model |
| キーワード(6)（和/英） | 知的コミュニケ-ション / Intelligent Communication |
| 第 1 著者 氏名（和/英） | 森島 繁生 / Shigeo MORISHIMA |
| 第 1 著者 所属（和/英） | 成蹊大学工学部電気電子工学科 Faculty of Engineering, SElKEl University |
| 発表年月日 | 1995/10/27 |
| 資料番号 | MVE95-45 |
| 巻番号（vol） | vol.95 |
| 号番号（no） | 345 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |