| 講演名 | 2001/5/11 サウンドとジェスチャの対応付けからのキャラクタの動作生成 山本 正信, 星 昌人, 下山 功, 五十嵐 達也, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 本論文は、セリフや音楽などのサウンドからキャラクタの動作を生成する手法を提案する. 人間は話をしているとき、 歌を歌っているとき、音楽を聴いているとき、体が自然に動いている。このサウンドと身体ジェスチャとの関係を映画やビデオ映像から学習しておく。ジェスチャは映像から身体モデルを使って, 関節角度の時系列データとして測定する. ジェスチャもサウンドも時系列信号であるので, 学習過程をシステムの同定問題としてとらえ、対応付けのパラメータを算出する. 新たなサウンドに対し学習で得た対応付けにより自然な体の動きを生成する。アニメーションキャラクタの動作をセリフや音楽に合わせて自動生成する。 |
| 抄録(英) | This paper proposes a novel approach for a sound-driven gesture animation. In speech, singing a song and listening music, a human body produces natural gesture. We make a computer learn a mapping from the sound to the gesture. The gesture is measured from image sequence as a set of angles at joints of the human body. Since the obtained gesture and the corresponding sound are time-varing signals, we can solve the sound-to-gesture mapping by techniques for the system identification. According to an input sound, the mapping can produce a natural gesture of an animation character. |
| キーワード(和) | 音声 / 音楽 / モーションキャプチャー / 姿勢データ / 学習 / 動作生成 |
| キーワード(英) | Voice / Sound / Motion capture / Human pose / Learning / Generating gesture |
| 資料番号 | PRMU2001-12 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2001/5/11(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | サウンドとジェスチャの対応付けからのキャラクタの動作生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Character Gesture from Learning the Relation Between Sound and Real Gesture |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 音声 / Voice |
| キーワード(2)（和/英） | 音楽 / Sound |
| キーワード(3)（和/英） | モーションキャプチャー / Motion capture |
| キーワード(4)（和/英） | 姿勢データ / Human pose |
| キーワード(5)（和/英） | 学習 / Learning |
| キーワード(6)（和/英） | 動作生成 / Generating gesture |
| 第 1 著者 氏名（和/英） | 山本 正信 / Masanobu Yamamoto |
| 第 1 著者 所属（和/英） | 新潟大学工学部情報工学科 Department of Information Engineering, Niigata University |
| 第 2 著者 氏名（和/英） | 星 昌人 / Masato Hoshi |
| 第 2 著者 所属（和/英） | 新潟大学工学部情報工学科 Department of Information Engineering, Niigata University |
| 第 3 著者 氏名（和/英） | 下山 功 / Ko Shimoyama |
| 第 3 著者 所属（和/英） | 新潟大学工学部情報工学科 Department of Information Engineering, Niigata University |
| 第 4 著者 氏名（和/英） | 五十嵐 達也 / Tatsuya Ikarashi |
| 第 4 著者 所属（和/英） | 新潟大学工学部情報工学科 Department of Information Engineering, Niigata University |
| 発表年月日 | 2001/5/11 |
| 資料番号 | PRMU2001-12 |
| 巻番号（vol） | vol.101 |
| 号番号（no） | 58 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |