講演抄録/キーワード |
講演名 |
2019-10-26 14:25
作業写真列からの手順書の自動生成 ○西村太一(京大)・橋本敦史(オムロン サイニックエックス)・森 信介(京大) HCS2019-47 |
抄録 |
(和) |
本研究は,写真列を入力として手順書を生成し,写真付き手順書の作成を容易にすることを目的とする.
この目的を達成するために,モデルは写真を説明する上で欠かせない物体や動作の表現(重要語)を含んだ手順書を生成することが求められる.
従来手法では重要語の存在は考慮されていなかった.これに対し,本研究では検索問題として取り組まれてきた手法を文生成の手法に組み込む手法を提案する.
これにより,モデルは入力写真に適した重要語を含む手順を検索し,参照しながら単語を出力することで,写真に適した重要語を含んだ手順書を生成することができる.
実験では,料理タスクを対象に手順書生成を行なった.その結果,本手法を適用することで生成文の自動評価尺度や,写真に適した重要語が生成文中に含まれているかといった評価においてベースラインと比較して性能が向上したことを確認できた. |
(英) |
In this paper, we tackle a problem to generate a procedural text from a photo sequence, which aims to help users create a multimedia procedural text only by taking photographs.
For this goal, the output texts should include important words that make sense as an instructions.
However, traditional methods do not consider these words.
To select the important words to describe a photo, the proposed method incorporates a retrieval method into a generation model.
From various experimental results, we confirmed that the method outperforms standard baselines. |
キーワード |
(和) |
手順書 / 写真列 / 共有潜在空間 / 文生成 / / / / |
(英) |
Procedural text / Photo sequence / Cross modal embedding / Sentence generation / / / / |
文献情報 |
信学技報, vol. 119, no. 252, HCS2019-47, pp. 41-46, 2019年10月. |
資料番号 |
HCS2019-47 |
発行日 |
2019-10-19 (HCS) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
HCS2019-47 |