| 講演名 | 2018-01-18 人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成 宮脇 勇輔(阪大), 中村 和晃(阪大), 明神 聖子(阪大), 新田 直子(阪大), 馬場口 登(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，ある人物の動作を撮影した映像（リファレンス映像）に基づいて別の人物の画像（ターゲット画像）を操作し，リファレンス映像の人物と同様の動作を行っているかのように見せる映像（動作クローン映像）を生成する手法について検討する．従来手法では大まかに2段階の処理を経て動作クローン映像の生成を行っている．まず，リファレンス映像中の人物輪郭に注目し，各フレーム間の推移に合わせてターゲット画像の人物輪郭を変形させることで後続フレームの輪郭を生成する．その後，ターゲット画像のテクスチャを後続フレーム中の人物領域へ転写する．しかし，この手法では，リファレンス映像とターゲット画像との間で輪郭を正確に対応付けることが困難である，転写時にテクスチャが大幅に拡大・縮小されるといった問題により，生成後の映像に違和感が生じる．そこで本研究では，従来手法によって生成した動作クローン映像に対し，輪郭とテクスチャの乱れを補正するネットワークを学習し，これを従来手法による生成結果へ適用することで問題の解決を図る．実験の結果，提案手法によって人物輪郭の形状やテクスチャの歪みをある程度改善できることが示された． |
| 抄録(英) | In this paper, we propose a method for generating a video in which a person virtually performs a certain motion that are not performed in the real world. We refer to such motions as {it human motion clone} in this paper. Some existing methods generate a video of human motion clone by the following two steps using a still image called {it target image}, which includes an entire body of the target person, and a {it reference video} in which another person performs the target motion with his/her entire body: First, manipulate the contour of the human region in the target image so that its shape is well matched to that in the reference video. Second, warp the texture of the original target image to the manipulated human region by 2D affine transformations. However, this procedure often yields unnatural results due to inaccurate correspondence between the human contours in the reference video and the target image. Moreover, its texture is sometimes enlarged or reduced too much by misestimated affine transformations. To overcome these problems, the proposed method employs a shape refinement network (SRN), which refines the inaccurate correspondence between the contours, and a color refinement network (CRN), which refines the unsuccessfully warped textures. In our experimental results, distortion of the human contours and the textures appearing in a resultant video is partially improved. |
| キーワード(和) | 動作クローン映像 / リファレンス映像 / ターゲット画像 / Shape Refinement Network / Color Refinement Network |
| キーワード(英) | human motion clone / reference video / target image / Shape Refinement Network / Color Refinement Network |
| 資料番号 | PRMU2017-115,MVE2017-36 |
| 発行日 | 2018-01-11 (PRMU, MVE) |
| 研究会情報 | |
| 研究会 | PRMU / MVE / IPSJ-CVIM |
|---|---|
| 開催期間 | 2018/1/18(から2日開催) |
| 開催地（和） | 大阪府立大学 |
| 開催地（英） | |
| テーマ（和） | AR，VR関連技術とその応用 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 真一(NII) / 亀田 能成(筑波大) |
| 委員長氏名（英） | Shinichi Sato(NII) / Yoshinari Kameda(Univ. of Tsukuba) |
| 副委員長氏名（和） | 藤吉 弘亘(中部大) / 井尻 善久(オムロン) / 間瀬 健二(名大) |
| 副委員長氏名（英） | Hironobu Fujiyoshi(Chubu Univ.) / Yoshihisa Ijiri(Omron) / Kenji Mase(Nagoya Univ.) |
| 幹事氏名（和） | 大西 正輝(産総研) / 舩冨 卓哉(奈良先端大) / 飯山 将晃(京大) / 木村 篤信(NTT) / 内山 英昭(九大) |
| 幹事氏名（英） | Masaki Oonishi(AIST) / Takuya Funatomi(NAIST) / Masaaki Iiyama(Kyoto Univ.) / Atsunobu Kimura(NTT) / Hideaki Uchiyama(Kyushu Univ.) |
| 幹事補佐氏名（和） | 石井 雅人(NEC) / 菅野 裕介(阪大) / 平山 高嗣(名大) / 青木 良輔(NTT) |
| 幹事補佐氏名（英） | Masato Ishii(NEC) / Yusuke Sugano(Osaka Univ.) / Takatsugu Hirayama(Nagoya Univ.) / Ryosuke Aoki(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Media Experience and Virtual Environment / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Video of Human Motion Clone from a Still Image using Shape and Color Refinement Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 動作クローン映像 / human motion clone |
| キーワード(2)（和/英） | リファレンス映像 / reference video |
| キーワード(3)（和/英） | ターゲット画像 / target image |
| キーワード(4)（和/英） | Shape Refinement Network / Shape Refinement Network |
| キーワード(5)（和/英） | Color Refinement Network / Color Refinement Network |
| 第 1 著者 氏名（和/英） | 宮脇 勇輔 / Yusuke Miyawaki |
| 第 1 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 2 著者 氏名（和/英） | 中村 和晃 / Kazuaki Nakamura |
| 第 2 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 3 著者 氏名（和/英） | 明神 聖子 / Seiko Myojin |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 4 著者 氏名（和/英） | 新田 直子 / Naoko Nitta |
| 第 4 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 5 著者 氏名（和/英） | 馬場口 登 / Noboru Babaguchi |
| 第 5 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2018-01-18 |
| 資料番号 | PRMU2017-115,MVE2017-36 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | PRMU-391,MVE-392 |
| ページ範囲 | pp.45-50(PRMU), pp.45-50(MVE), |
| ページ数 | 6 |
| 発行日 | 2018-01-11 (PRMU, MVE) |