電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-01-18 09:30
人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成
宮脇勇輔中村和晃明神聖子新田直子馬場口 登阪大
技報オンラインサービス実施中
抄録 (和) 本研究では,ある人物の動作を撮影した映像(リファレンス映像)に基づいて別の人物の画像(ターゲット画像)を操作し,リファレンス映像の人物と同様の動作を行っているかのように見せる映像(動作クローン映像)を生成する手法について検討する.
従来手法では大まかに2段階の処理を経て動作クローン映像の生成を行っている.
まず,リファレンス映像中の人物輪郭に注目し,各フレーム間の推移に合わせてターゲット画像の人物輪郭を変形させることで後続フレームの輪郭を生成する.
その後,ターゲット画像のテクスチャを後続フレーム中の人物領域へ転写する.
しかし,この手法では,リファレンス映像とターゲット画像との間で輪郭を正確に対応付けることが困難である,転写時にテクスチャが大幅に拡大・縮小されるといった問題により,生成後の映像に違和感が生じる.
そこで本研究では,従来手法によって生成した動作クローン映像に対し,輪郭とテクスチャの乱れを補正するネットワークを学習し,これを従来手法による生成結果へ適用することで問題の解決を図る.
実験の結果,提案手法によって人物輪郭の形状やテクスチャの歪みをある程度改善できることが示された. 
(英) In this paper, we propose a method for generating a video in which a person virtually performs a certain motion that are not performed in the real world. We refer to such motions as {it human motion clone} in this paper. Some existing methods generate a video of human motion clone by the following two steps using a still image called {it target image}, which includes an entire body of the target person, and a {it reference video} in which another person performs the target motion with his/her entire body: First, manipulate the contour of the human region in the target image so that its shape is well matched to that in the reference video. Second, warp the texture of the original target image to the manipulated human region by 2D affine transformations. However, this procedure often yields unnatural results due to inaccurate correspondence between the human contours in the reference video and the target image. Moreover, its texture is sometimes enlarged or reduced too much by misestimated affine transformations. To overcome these problems, the proposed method employs a shape refinement network (SRN), which refines the inaccurate correspondence between the contours, and a color refinement network (CRN), which refines the unsuccessfully warped textures. In our experimental results, distortion of the human contours and the textures appearing in a resultant video is partially improved.
キーワード (和) 動作クローン映像 / リファレンス映像 / ターゲット画像 / Shape Refinement Network / Color Refinement Network / / /  
(英) human motion clone / reference video / target image / Shape Refinement Network / Color Refinement Network / / /  
文献情報 信学技報, vol. 117, no. 392, MVE2017-36, pp. 45-50, 2018年1月.
資料番号 MVE2017-36 
発行日 2018-01-11 (PRMU, MVE) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 PRMU MVE IPSJ-CVIM  
開催期間 2018-01-18 - 2018-01-19 
開催地(和) 大阪府立大学 
開催地(英)  
テーマ(和) AR,VR関連技術とその応用 
テーマ(英)  
講演論文情報の詳細
申込み研究会 MVE 
会議コード 2018-01-PRMU-MVE-CVIM 
本文の言語 日本語 
タイトル(和) 人物の形状と色を補正するネットワークに基づく静止画からの動作クローン映像の生成 
サブタイトル(和)  
タイトル(英) Generating Video of Human Motion Clone from a Still Image using Shape and Color Refinement Networks 
サブタイトル(英)  
キーワード(1)(和/英) 動作クローン映像 / human motion clone  
キーワード(2)(和/英) リファレンス映像 / reference video  
キーワード(3)(和/英) ターゲット画像 / target image  
キーワード(4)(和/英) Shape Refinement Network / Shape Refinement Network  
キーワード(5)(和/英) Color Refinement Network / Color Refinement Network  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 宮脇 勇輔 / Yusuke Miyawaki / ミヤワキ ユウスケ
第1著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.)
第2著者 氏名(和/英/ヨミ) 中村 和晃 / Kazuaki Nakamura / ナカムラ カズアキ
第2著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.)
第3著者 氏名(和/英/ヨミ) 明神 聖子 / Seiko Myojin / ミョウジン セイコ
第3著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.)
第4著者 氏名(和/英/ヨミ) 新田 直子 / Naoko Nitta / ニッタ ナオコ
第4著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.)
第5著者 氏名(和/英/ヨミ) 馬場口 登 / Noboru Babaguchi / ババグチ ノボル
第5著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.)
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-01-18 09:30:00 
発表時間 25 
申込先研究会 MVE 
資料番号 IEICE-PRMU2017-115,IEICE-MVE2017-36 
巻番号(vol) IEICE-117 
号番号(no) no.391(PRMU), no.392(MVE) 
ページ範囲 pp.45-50 
ページ数 IEICE-6 
発行日 IEICE-PRMU-2018-01-11,IEICE-MVE-2018-01-11 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会