| 講演名 | 2019-07-19 敵対的生成ネットワークにより文から生成される画像の意味的評価に関する検討 柳 凜太郎(北大), 藤後 廉(北大), 小川 貴弘(北大), 長谷山 美紀(北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 入力文を表現する画像を生成する研究において，生成された画像の質を評価することは，その手法の有効性を示すために重要である．生成された画像(以降，生成画像)の質に対する評価項目として「視覚的な整然性」および「入力文の意味内容の表現度合い」の二点が挙げられる．従来研究では，前者の評価に対する議論は多くなされてきたが，後者の評価に対する議論は依然として少なく，今後検討すべき課題の一つである．そこで本稿では生成画像の質の評価について「入力文の意味内容の表現度合い」に着目した，新たな評価指標を提案する．提案手法では入力文により生成された画像から，その画像の意味内容を表現する文をimage-to-textモデルを用いて生成する．そして，この生成文と入力文との類似度を評価指標として定義する．これにより，生成画像における「入力文の意味内容の表現度合い」を，定量的に評価することが可能となる．本文では，一般に公開されているデータセットを用いた実験により提案手法の有効性を確認する． |
| 抄録(英) | Evaluating the quality of generated images from input sentences is important to verify the effectiveness of text-to-image Generative Adversarial Network (GAN) models. In the evaluation, generated images are evaluated in the view of ``Whether generated images are visually pleasant or not'' and ``Whether generated images represent the content of an input sentence or not''. There are various methods to evaluate the former evaluation but there is not much discussion about the later evaluation. We propose a new evaluation method to evaluate how much the generated images contain the semantic meaning of an input sentence, and verify the quality of generated images. In the proposed method, we generate a sentence from an image generated from an input sentence. We define similarity between the generated sentence and the input sentence as our evaluation value. By utilizing the generated sentence and the input sentence, we can verify the quality of the generated images quantitatively. |
| キーワード(和) | 敵対的生成ネットワーク / 評価指標 / Text-to-image モデル / Image-to-text モデル |
| キーワード(英) | Generative adversarial network / Evaluation metrics / Image-to-text model / Text-to-image model |
| 資料番号 | IMQ2019-5,HIP2019-33 |
| 発行日 | 2019-07-12 (IMQ, HIP) |
| 研究会情報 | |
| 研究会 | IMQ / HIP |
|---|---|
| 開催期間 | 2019/7/19(から1日開催) |
| 開催地（和） | 札幌市立大学 サテライトキャンパス |
| 開催地（英） | Satellite Campus, Sapporo City University |
| テーマ（和） | イメージ・メディア・クオリティ及びヒューマン情報処理一般 |
| テーマ（英） | Image Media Quality and Human Information Processing |
| 委員長氏名（和） | 中口 俊哉(千葉大) / 蒲池 みゆき(工学院大) |
| 委員長氏名（英） | Toshiya Nakaguchi(Chiba Univ.) / Miyuki Kamachi(Kogakuin Univ.) |
| 副委員長氏名（和） | 前田 充(キヤノン) / 魚森 謙也(阪大) / 坂本 修一(東北大) / 和田 有史(立命館大) |
| 副委員長氏名（英） | Mitsuru Maeda(Canon) / Kenya Uomori(Osaka Univ.) / Shuichi Sakamoto(Tohoku Univ.) / Yuji Wada(Ritsumeikan Univ.) |
| 幹事氏名（和） | 大橋 剛介(静岡大) / 齊藤 新一郎(ソニーセミコンダクタソリューションズ) / 坂野 雄一(NICT) / 望月 理香(NTT) / 清河 幸子(名大) |
| 幹事氏名（英） | Gosuke Ohashi(Shizuoka Univ.) / Shinichiro Saito(Sony Semiconductor Solutions) / Yuichi Sakano(NICT) / Rika Mochizuki(NTT) / Sachiko Kiyokawa(Nagoya Univ.) |
| 幹事補佐氏名（和） | 工藤 博章(名大) / 土田 勝(NTT) / 平井 経太(千葉大) / 和田 充史(NICT) / 金谷 英俊(立命館大) / 山田 祐樹(九大) |
| 幹事補佐氏名（英） | Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Keita Hirai(Chiba Univ.) / Atsushi Wada(NICT) / Hidetoshi Kanaya(Ritsumeikan Univ.) / Yuki Yamada(Kyushu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Media Quality / Technical Committee on Human Information Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 敵対的生成ネットワークにより文から生成される画像の意味的評価に関する検討 |
| サブタイトル（和） | |
| タイトル（英） | A Note on Semantic Evaluation of Images Generated by Text-to-image Generative Adversarial Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 敵対的生成ネットワーク / Generative adversarial network |
| キーワード(2)（和/英） | 評価指標 / Evaluation metrics |
| キーワード(3)（和/英） | Text-to-image モデル / Image-to-text model |
| キーワード(4)（和/英） | Image-to-text モデル / Text-to-image model |
| 第 1 著者 氏名（和/英） | 柳 凜太郎 / Rintaro Yanagi |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 2 著者 氏名（和/英） | 藤後 廉 / Togo Ren |
| 第 2 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 3 著者 氏名（和/英） | 小川 貴弘 / Takahiro Ogawa |
| 第 3 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 4 著者 氏名（和/英） | 長谷山 美紀 / Miki Haseyama |
| 第 4 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 発表年月日 | 2019-07-19 |
| 資料番号 | IMQ2019-5,HIP2019-33 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | IMQ-131,HIP-132 |
| ページ範囲 | pp.21-24(IMQ), pp.21-24(HIP), |
| ページ数 | 4 |
| 発行日 | 2019-07-12 (IMQ, HIP) |