| 講演名 | 2020-03-06 [オンライン] 人物の自己遮蔽を考慮した少量の静止画像列からの動作クローン映像生成 堤 哲平(阪大), 中村 和晃(阪大), 明神 聖子(阪大), 新田 直子(阪大), 馬場口 登(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では，ある人物Aの動作映像（リファレンス映像）1本と，別の人物Bの静止画像（ターゲット画像） 少数枚のみを入力として，人物Aの動作をあたかも人物Bが再現しているかのような映像（動作クローン映像）を生 成する手法を提案する．単一のターゲット画像を変形することで動作クローン映像を生成する従来手法では，自己遮 蔽が生じる動作はうまく再現できず，また，回転を伴う動作など，元々のターゲット画像に写っていない部位のテク スチャを生成する必要があるケースには原理的に対処できない，という問題がある．提案手法では，人物の身体を複 数の部位に分け，部位ごとに異なる2次元アフィン変換を用いてターゲット画像を変形することにより，自己遮蔽の 問題に対処する．また，回転等を伴う動作に対しては，複数枚のターゲット画像から個別に生成した動作クローン映 像を畳込みニューラルネットワークにより統合することで対処する．実験の結果，提案手法により，自己遮蔽を伴う 動作と回転を伴う動作の双方に対して，ある程度の品質で動作クローン映像を生成できることを確認した． |
| 抄録(英) | In this paper, we propose a method for generating photo-realistic video in which a person virtually performs a motion that is not performed in the real world. We refer to such video as video of cloned motion, abbreviated as VCM. The proposed method requires only two kinds of source data: a reference video, in which a person A performs some motion, and several target images, which include the whole body of another person B. Using these data, our method generates a VCM in which the person A's motion is re-enacted by the person B's body. There is an existing method that only deforming a single target image to generate a VCM. However, this method has two problems: First, it cannot handle the self-occlusion of the human body. Second, it cannot generate the texture of the body surfaces that are invisible in the target image. Our method copes with the ?rst problem by dividing the human body into multiple parts and deforming the target image part-by-part using part-wise 2D a?ne transforms. Moreover, to cope with the second problem, we use a convolutional neural network to combine multiple VCMs each of which is separately generated from a single target image. Our experimental results show the robustness of the proposed method to the above two problems. |
| キーワード(和) | リファレンス映像 / ターゲット画像 / 動作クローン映像 / 自己遮蔽 / 2次元アフィン変換 / 畳込みニューラルネットワーク |
| キーワード(英) | reference video / target image / video of cloned motion / self-occlusion / 2D affine transform / convolutional neural network |
| 資料番号 | IMQ2019-58,IE2019-140,MVE2019-79 |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | IE / IMQ / MVE / CQ |
|---|---|
| 開催期間 | 2020/3/5(から2日開催) |
| 開催地（和） | 九州工業大学 戸畑キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | 五感メディア，マルチメディア，メディアエクスペリエンス， 映像符号化，イメージメディアの品質，ネットワークの品質 および信頼性，一般 （魅力工学（AC）研究会協賛） |
| テーマ（英） | |
| 委員長氏名（和） | 木全 英明(NTT) / 中口 俊哉(千葉大) / 間瀬 健二(名大) / 下西 英之(NEC) |
| 委員長氏名（英） | Hideaki Kimata(NTT) / Toshiya Nakaguchi(Chiba Univ.) / Kenji Mase(Nagoya Univ.) / Hideyuki Shimonishi(NEC) |
| 副委員長氏名（和） | 児玉 和也(NII) / 高橋 桂太(名大) / 前田 充(キヤノン) / 魚森 謙也(阪大) / 井原 雅行(NTT) / 岡本 淳(NTT) / 平栗 健史(日本工大) |
| 副委員長氏名（英） | Kazuya Kodama(NII) / Keita Takahashi(Nagoya Univ.) / Mitsuru Maeda(Canon) / Kenya Uomori(Osaka Univ.) / Masayuki Ihara(NTT) / Jun Okamoto(NTT) / Takefumi Hiraguri(Nippon Inst. of Tech.) |
| 幹事氏名（和） | 早瀬 和也(NTT) / 松尾 康孝(NHK) / 大橋 剛介(静岡大) / 齊藤 新一郎(ソニーセミコンダクタソリューションズ) / 平山 高嗣(名大) / 青木 良輔(NTT) / 大田 健紘(日本工大) / 木村 共孝(同志社大) / 山中 広明(NICT) |
| 幹事氏名（英） | Kazuya Hayase(NTT) / Yasutaka Matsuo(NHK) / Gosuke Ohashi(Shizuoka Univ.) / Shinichiro Saito(Sony Semiconductor Solutions) / Takatsugu Hirayama(Nagoya Univ.) / Ryosuke Aoki(NTT) / Kenko Ota(Nippon Inst. of Tech.) / Tomotaka Kimura(Doshisha Univ.) / Hiroaki Yamanaka(NICT) |
| 幹事補佐氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 工藤 博章(名大) / 土田 勝(NTT) / 平井 経太(千葉大) / 西口 敏司(阪工大) / 横山 正典(NTT) / 福嶋 政期(東大) / 佐々木 力(KDDI総合研究所) / 西川 由明(NEC) / 木村 拓人(NTT) |
| 幹事補佐氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Keita Hirai(Chiba Univ.) / Satoshi Nishiguchi(Oosaka Inst. of Tech.) / Masanori Yokoyama(NTT) / Shogo Fukushima(Univ. of ToKyo) / Chikara Sasaki(KDDI Research) / Yoshiaki Nishikawa(NEC) / Takuto Kimura(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Image Media Quality / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Communication Quality |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | [オンライン] 人物の自己遮蔽を考慮した少量の静止画像列からの動作クローン映像生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Video of Cloned Motion from a Short Sequence of Still Images Considering Self-Occlusion of Human Body |
| サブタイトル（和） | |
| キーワード(1)（和/英） | リファレンス映像 / reference video |
| キーワード(2)（和/英） | ターゲット画像 / target image |
| キーワード(3)（和/英） | 動作クローン映像 / video of cloned motion |
| キーワード(4)（和/英） | 自己遮蔽 / self-occlusion |
| キーワード(5)（和/英） | 2次元アフィン変換 / 2D affine transform |
| キーワード(6)（和/英） | 畳込みニューラルネットワーク / convolutional neural network |
| 第 1 著者 氏名（和/英） | 堤 哲平 / Tsutsumi Teppei |
| 第 1 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 2 著者 氏名（和/英） | 中村 和晃 / Kazuaki Nakamura |
| 第 2 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 3 著者 氏名（和/英） | 明神 聖子 / Seiko Myojin |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 4 著者 氏名（和/英） | 新田 直子 / Naoko Nitta |
| 第 4 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 5 著者 氏名（和/英） | 馬場口 登 / Noboru Babaguchi |
| 第 5 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2020-03-06 |
| 資料番号 | IMQ2019-58,IE2019-140,MVE2019-79 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | IMQ-454,IE-456,MVE-457 |
| ページ範囲 | pp.221-226(IMQ), pp.221-226(IE), pp.221-226(MVE), |
| ページ数 | 6 |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) |