| 講演名 | 2020-03-05 [オンライン] 心像性に基づく画像キャプショニングの検討 梅村 和紀(名大), カストナー マーク アウレル(名大), 井手 一郎(名大), 川西 康友(名大), 平山 高嗣(名大), 道満 恵介(中京大), 出口 大輔(名大), 村瀬 洋(名大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 様々な場面や用途に応じた画像キャプショニングを目指し，文の心像性に基づく画像キャプショニング手法を提案する．まず，既存の画像キャプションデータセットを拡張して，様々な抽象度のキャプションをもつ画像キャプションデータセットを構築する．そして，そのデータセット中のキャプションに対して心像性を算出することで，心像性スコア付きキャプションデータセットを構築する．それを用いてキャプショニングモデルを学習し，指定した心像性をもつ画像キャプションを生成する枠組みを構築する．評価実験では，画像キャプションデータセットの拡張の有効性と提案手法による画像キャプショニング実現の可能性を確認した． |
| 抄録(英) | We propose an imageability-aware image captioning method tailoring generated captions to various applications. In this study, we first extend an existing image captioning dataset by augmenting its captions. Then, an imageability score for each augmented caption is calculated. A modified image captioning model is trained using this extended dataset to generate captions tailored to a specified imageability score. The evaluation shows the possibility that the extended dataset and the proposed method can generate imageability-aware captions. |
| キーワード(和) | マルチメディア処理 / 画像キャプショニング / 心理言語学 / セマンティックギャップ |
| キーワード(英) | Multimedia proccesing / image captioning / psycholinguistics / semantic gap |
| 資料番号 | IMQ2019-48,IE2019-130,MVE2019-69 |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | IE / IMQ / MVE / CQ |
|---|---|
| 開催期間 | 2020/3/5(から2日開催) |
| 開催地（和） | 九州工業大学 戸畑キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | 五感メディア，マルチメディア，メディアエクスペリエンス， 映像符号化，イメージメディアの品質，ネットワークの品質 および信頼性，一般 （魅力工学（AC）研究会協賛） |
| テーマ（英） | |
| 委員長氏名（和） | 木全 英明(NTT) / 中口 俊哉(千葉大) / 間瀬 健二(名大) / 下西 英之(NEC) |
| 委員長氏名（英） | Hideaki Kimata(NTT) / Toshiya Nakaguchi(Chiba Univ.) / Kenji Mase(Nagoya Univ.) / Hideyuki Shimonishi(NEC) |
| 副委員長氏名（和） | 児玉 和也(NII) / 高橋 桂太(名大) / 前田 充(キヤノン) / 魚森 謙也(阪大) / 井原 雅行(NTT) / 岡本 淳(NTT) / 平栗 健史(日本工大) |
| 副委員長氏名（英） | Kazuya Kodama(NII) / Keita Takahashi(Nagoya Univ.) / Mitsuru Maeda(Canon) / Kenya Uomori(Osaka Univ.) / Masayuki Ihara(NTT) / Jun Okamoto(NTT) / Takefumi Hiraguri(Nippon Inst. of Tech.) |
| 幹事氏名（和） | 早瀬 和也(NTT) / 松尾 康孝(NHK) / 大橋 剛介(静岡大) / 齊藤 新一郎(ソニーセミコンダクタソリューションズ) / 平山 高嗣(名大) / 青木 良輔(NTT) / 大田 健紘(日本工大) / 木村 共孝(同志社大) / 山中 広明(NICT) |
| 幹事氏名（英） | Kazuya Hayase(NTT) / Yasutaka Matsuo(NHK) / Gosuke Ohashi(Shizuoka Univ.) / Shinichiro Saito(Sony Semiconductor Solutions) / Takatsugu Hirayama(Nagoya Univ.) / Ryosuke Aoki(NTT) / Kenko Ota(Nippon Inst. of Tech.) / Tomotaka Kimura(Doshisha Univ.) / Hiroaki Yamanaka(NICT) |
| 幹事補佐氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 工藤 博章(名大) / 土田 勝(NTT) / 平井 経太(千葉大) / 西口 敏司(阪工大) / 横山 正典(NTT) / 福嶋 政期(東大) / 佐々木 力(KDDI総合研究所) / 西川 由明(NEC) / 木村 拓人(NTT) |
| 幹事補佐氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Keita Hirai(Chiba Univ.) / Satoshi Nishiguchi(Oosaka Inst. of Tech.) / Masanori Yokoyama(NTT) / Shogo Fukushima(Univ. of ToKyo) / Chikara Sasaki(KDDI Research) / Yoshiaki Nishikawa(NEC) / Takuto Kimura(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Image Media Quality / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Communication Quality |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | [オンライン] 心像性に基づく画像キャプショニングの検討 |
| サブタイトル（和） | |
| タイトル（英） | A study on image captioning considering its imageability |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マルチメディア処理 / Multimedia proccesing |
| キーワード(2)（和/英） | 画像キャプショニング / image captioning |
| キーワード(3)（和/英） | 心理言語学 / psycholinguistics |
| キーワード(4)（和/英） | セマンティックギャップ / semantic gap |
| 第 1 著者 氏名（和/英） | 梅村 和紀 / Kazuki Umemura |
| 第 1 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 2 著者 氏名（和/英） | カストナー マーク アウレル / Marc Aurel Kastner |
| 第 2 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 3 著者 氏名（和/英） | 井手 一郎 / Ichiro Ide |
| 第 3 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 4 著者 氏名（和/英） | 川西 康友 / Yasutomo Kawanishi |
| 第 4 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 5 著者 氏名（和/英） | 平山 高嗣 / Takatsugu Hirayama |
| 第 5 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 6 著者 氏名（和/英） | 道満 恵介 / Keisuke Doman |
| 第 6 著者 所属（和/英） | 中京大学(略称：中京大) Chukyo University(略称：Chukyo Univ.) |
| 第 7 著者 氏名（和/英） | 出口 大輔 / Daisuke Deguchi |
| 第 7 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 第 8 著者 氏名（和/英） | 村瀬 洋 / Hiroshi Murase |
| 第 8 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ.) |
| 発表年月日 | 2020-03-05 |
| 資料番号 | IMQ2019-48,IE2019-130,MVE2019-69 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | IMQ-454,IE-456,MVE-457 |
| ページ範囲 | pp.165-169(IMQ), pp.165-169(IE), pp.165-169(MVE), |
| ページ数 | 5 |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) |