| 講演名 | 2019-10-26 作業写真列からの手順書の自動生成 西村 太一(京大), 橋本 敦史(OSX), 森 信介(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究は，写真列を入力として手順書を生成し，写真付き手順書の作成を容易にすることを目的とする．この目的を達成するために，モデルは写真を説明する上で欠かせない物体や動作の表現(重要語)を含んだ手順書を生成することが求められる．従来手法では重要語の存在は考慮されていなかった．これに対し，本研究では検索問題として取り組まれてきた手法を文生成の手法に組み込む手法を提案する．これにより，モデルは入力写真に適した重要語を含む手順を検索し，参照しながら単語を出力することで，写真に適した重要語を含んだ手順書を生成することができる．実験では，料理タスクを対象に手順書生成を行なった．その結果，本手法を適用することで生成文の自動評価尺度や，写真に適した重要語が生成文中に含まれているかといった評価においてベースラインと比較して性能が向上したことを確認できた． |
| 抄録(英) | In this paper, we tackle a problem to generate a procedural text from a photo sequence, which aims to help users create a multimedia procedural text only by taking photographs. For this goal, the output texts should include important words that make sense as an instructions. However, traditional methods do not consider these words. To select the important words to describe a photo, the proposed method incorporates a retrieval method into a generation model. From various experimental results, we confirmed that the method outperforms standard baselines. |
| キーワード(和) | 手順書 / 写真列 / 共有潜在空間 / 文生成 |
| キーワード(英) | Procedural text / Photo sequence / Cross modal embedding / Sentence generation |
| 資料番号 | HCS2019-47 |
| 発行日 | 2019-10-19 (HCS) |
| 研究会情報 | |
| 研究会 | HCS |
|---|---|
| 開催期間 | 2019/10/26(から1日開催) |
| 開催地（和） | 日本大学三軒茶屋キャンパス |
| 開催地（英） | Nihon Univ. |
| テーマ（和） | 「コミュニケーションと食および一般」 |
| テーマ（英） | |
| 委員長氏名（和） | 松田 昌史(NTT) |
| 委員長氏名（英） | Masafumi Matsuda(NTT) |
| 副委員長氏名（和） | 井上 智雄(筑波大) / 林 勇吾(立命館大) |
| 副委員長氏名（英） | Tomoo Inoue(Univ. of Tsukuba) / Yugo Hayashi(Ritsumeikan Univ.) |
| 幹事氏名（和） | 渡邊 伸行(金沢工大) / 小森 政嗣(阪電通大) / 吉田 悠(NEC) |
| 幹事氏名（英） | Nobuyuki Watanabe(Kanazawa Inst. of Tech.) / Masashi Komori(Osaka Electro-Comm. Univ.) / Haruka Yoshida(NEC) |
| 幹事補佐氏名（和） | 神田 智子(大阪工業大学) / 高嶋 和毅(東北大) / 藤原 健(阪経済大) / 寺田 和憲(岐阜大) / 木村 敦(日大) / 黄 宏軒(理研) |
| 幹事補佐氏名（英） | Tomoko Kanda(Osaka Inst. of Tech.) / Kazuki Takashima(Tohoku Univ.) / Ken Fujiwara(Osaka Univ. of Economic) / Kazunori Terada(Gifu Univ.) / Atsushi Kimura(Nihon Univ.) / HUANG HUNGHSUAN(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Communication Science |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 作業写真列からの手順書の自動生成 |
| サブタイトル（和） | |
| タイトル（英） | Procedural Text Generation from a Photo Sequence |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 手順書 / Procedural text |
| キーワード(2)（和/英） | 写真列 / Photo sequence |
| キーワード(3)（和/英） | 共有潜在空間 / Cross modal embedding |
| キーワード(4)（和/英） | 文生成 / Sentence generation |
| 第 1 著者 氏名（和/英） | 西村 太一 / Taichi Nishimura |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 橋本 敦史 / Atsushi Hashimoto |
| 第 2 著者 所属（和/英） | オムロンサイニックエックス株式会社(略称：OSX) OMRON SINICX Corporation(略称：OSX) |
| 第 3 著者 氏名（和/英） | 森 信介 / Shinsuke Mori |
| 第 3 著者 所属（和/英） | 京都大学学術メディアセンター(略称：京大) Academic Center for Computing and Media Studies, Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2019-10-26 |
| 資料番号 | HCS2019-47 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | HCS-252 |
| ページ範囲 | pp.41-46(HCS), |
| ページ数 | 6 |
| 発行日 | 2019-10-19 (HCS) |