講演抄録/キーワード |
講演名 |
2019-07-19 16:20
敵対的生成ネットワークにより文から生成される画像の意味的評価に関する検討 ○柳 凜太郎・藤後 廉・小川貴弘・長谷山美紀(北大) IMQ2019-5 HIP2019-33 |
抄録 |
(和) |
入力文を表現する画像を生成する研究において,生成
された画像の質を評価することは,その手法の有効性を示すために重要である.生成された画像(以降,生成画像)の質に対する評価項目として「視覚的な整然性」および「入力文の意味内容の表現度合い」の二点が挙げられる.従来研究では,前者の評価に対する議論は多くなされてきたが,後者の評価に対する議論は依然として少なく,今後検討すべき課題の一つである.そこで本稿では生成画像の質の評価について「入力文の意味内容の表現度合い」に着目した,新たな評価指標を提案する.提案手法では入力文により生成された画像から,その画像の意味内容を表現する文をimage-to-textモデルを用いて生成する.そして,この生成文と入力文との類似度を評価指標として定義する.これにより,生成画像における「入力文の意味内容の表現度合い」を,定量的に評価することが可能となる.本文では,一般に公開されているデータセットを用いた実験により提案手法の有効性を確認する. |
(英) |
Evaluating the quality of generated images from input sentences is important to verify the effectiveness of text-to-image Generative Adversarial Network (GAN) models. In the evaluation, generated images are evaluated in the view of ``Whether generated images are visually pleasant or not'' and ``Whether generated images represent the content of an input sentence or not''. There are various methods to evaluate the former evaluation but there is not much discussion about the later evaluation. We propose a new evaluation method to evaluate how much the generated images contain the semantic meaning of an input sentence, and verify the quality of generated images. In the proposed method, we generate a sentence from an image generated from an input sentence. We define similarity between the generated sentence and the input sentence as our evaluation value. By utilizing the generated sentence and the input sentence, we can verify the quality of the generated images quantitatively. |
キーワード |
(和) |
敵対的生成ネットワーク / 評価指標 / Text-to-image モデル / Image-to-text モデル / / / / |
(英) |
Generative adversarial network / Evaluation metrics / Image-to-text model / Text-to-image model / / / / |
文献情報 |
信学技報, vol. 119, no. 131, IMQ2019-5, pp. 21-24, 2019年7月. |
資料番号 |
IMQ2019-5 |
発行日 |
2019-07-12 (IMQ, HIP) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IMQ2019-5 HIP2019-33 |