| 講演名 | 2022-02-21 SailormoonRedrawデータを用いたイラストの画風変換について 粟根 啓太(東大), 堀田 大地(東大), 幾田 光(東大), 松井 勇佑(東大), 柳瀬 直裕(ブックウォーカー), 相澤 清晴(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | イラストの作者ごとの特徴は「何を描くか」と「どう描くか」という二つの要素に分けられる.一般に後者 は画風と呼ばれイラストにおいて重要な要素である.我々はある作者のイラストを別の作者の画風に自動的に変換す る深層学習ベースの手法を提案する.教師なし学習により画像変換を行う既存手法はテクスチャの貼り替えのみが行 われるため，キャラクターを維持しながら構造的な変形をする必要がある画風変換は達成できない.我々はこの問題 を解決するため，SailormoonRedraw データから構成される新規のイラストデータセットである SailormoonDataset を 作成した.そして，SailormoonDataset のコンテント一貫性を用いて教師あり学習を行う手法を提案する.今回我々は ファーストステップとしてセーラームーンの顔イラストの画風変換を行った.実験により，提案手法がセーラームーン のアイデンティティを維持しながら，テクスチャだけでなく構造的な変形を行い画風変換を実現することを確認した． |
| 抄録(英) | The author characteristics of illustrations can be divided into two elements: "what to draw" and "how to draw". The latter is called "author style" and is an important factor in illustration. We propose a deep learning-based method that auto- matically translates one’s illustration into another author’s style. Existing unsupervised image translation methods only replace textures, so they cannot achieve author style translation that requires structural transformation while maintaining the character. To solve this problem, we created a novel illustration dataset, SailormoonDataset, which consists of SailormoonRedraw data. We then propose a supervised learning method using the content consistency of the SailormoonDataset. As a first step, we translated the face illustration of Sailormoon. Through experiments, we confirmed that the proposed method achieves the style translation not only by textural but also by structural transformation while maintaining the identity of Sailormoon. |
| キーワード(和) | 深層学習 / 画像生成 / 画像変換 / イラスト制作支援 |
| キーワード(英) | Deep Learning / Image Generation / Image Translation / Support System for Illustration Production |
| 資料番号 | ITS2021-26,IE2021-35 |
| 発行日 | 2022-02-14 (ITS, IE) |
| 研究会情報 | |
| 研究会 | IE / ITS / ITE-AIT / ITE-ME / ITE-MMS |
|---|---|
| 開催期間 | 2022/2/21(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 画像処理，一般 |
| テーマ（英） | Image Processing, etc. |
| 委員長氏名（和） | 児玉 和也(NII) / 藤井 雅弘(宇都宮大) / 名手 久貴(東京工芸大) / 新井 啓之(日本工大) / 町田 賢司(NHK) |
| 委員長氏名（英） | Kazuya Kodama(NII) / Masahiro Fujii(Utsunomiya Univ.) / Hisaki Nate(Tokyo Polytechnic Univ.) / Hiroyuki Arai(Nippon Inst. of Tech.) / Kenji Machida(NHK) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 山崎 俊彦(東大) / 大野 光平(明治大) / 橋本 尚久(産総研) / / 村松 正吾(新潟大) |
| 副委員長氏名（英） | Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) / Kohei Ohno(Meiji Univ.) / Naohisa Hashimoto(AIST) / / Shogo Muramatsu(Niigata Univ.) |
| 幹事氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 橋浦 康一郎(秋田県立大) / 金 帝演(鶴岡工専) / / 望月 貴裕(NHK) / 小川 貴弘(北海道大) / 細井 利憲(NEC) / 山野 文子(コニカミノルタ) / 堀 淳志(三菱電機) / 文仙 正俊(福岡大) |
| 幹事氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Kouichiro Hashiura(Akita Prefectural Univ.) / Kim Jeyeon(NIT, Tsuruoka College) / / Takahiro Mochizuki(NHK) / Takahiro Ogawa(Hokkaido Univ.) / Toshinori Hosoi(NEC) / Ayako Yamano(KONICA MINOLTA) / Atsushi Hori(Mitsubishi Electric) / Masatoshi Bunsen(Fukuoka Univ.) |
| 幹事補佐氏名（和） | 岩村 俊輔(NHK) / 工藤 忍(NTT) / 今尾 勝崇(三菱電機) / 佐保 賢志(富山県立大) / 自見 圭司(群馬大) |
| 幹事補佐氏名（英） | Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) / Msataka Imao(Mitsubishi Electric) / Kenshi Saho(Toyama Prefectural Univ.) / Keiji Jimi(Gunma Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Intelligent Transport Systems Technology / Technical Group on Artistic Image Technology / Technical Group on Media Engineering / Technical Group on Multi-media Storage |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | SailormoonRedrawデータを用いたイラストの画風変換について |
| サブタイトル（和） | |
| タイトル（英） | Illustration author style translation using SailormoonRedraw data |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | 画像生成 / Image Generation |
| キーワード(3)（和/英） | 画像変換 / Image Translation |
| キーワード(4)（和/英） | イラスト制作支援 / Support System for Illustration Production |
| 第 1 著者 氏名（和/英） | 粟根 啓太 / Keita Awane |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 堀田 大地 / Daichi Horita |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 幾田 光 / Hikaru Ikuta |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 4 著者 氏名（和/英） | 松井 勇佑 / Yusuke Matsui |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 5 著者 氏名（和/英） | 柳瀬 直裕 / Naohiro Yanase |
| 第 5 著者 所属（和/英） | 株式会社ブックウォーカー(略称：ブックウォーカー) BOOK WALKER Co.,Ltd.(略称：BOOK WALKER) |
| 第 6 著者 氏名（和/英） | 相澤 清晴 / Kiyoharu Aizawa |
| 第 6 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2022-02-21 |
| 資料番号 | ITS2021-26,IE2021-35 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | ITS-373,IE-374 |
| ページ範囲 | pp.7-12(ITS), pp.7-12(IE), |
| ページ数 | 6 |
| 発行日 | 2022-02-14 (ITS, IE) |