講演抄録/キーワード |
講演名 |
2020-09-02 10:30
車載カメラ映像と動き情報による近未来キャプション生成 ○森 優樹・平川 翼・山下隆義・藤吉弘亘(中部大) PRMU2020-10 |
抄録 |
(和) |
画像キャプション生成は,入力画像に対する説明文を生成するタスクであり,ニュース文の自動生成や画 像検索のタグ生成などに利用されている.また,自動運転においては,搭乗者の心理的負担を軽減するために,運転 制御の判断根拠の言語的説明への応用も期待されている.一方で,これまでの画像キャプション生成は,入力された 画像に対するキャプション生成に留まっており,近未来に起きうるイベントに対するキャプションを生成していない. 自動運転においては,事故防止や搭乗者への注意喚起には,現時刻よりも今後起きうる近未来のイベントに対するキャ プション生成が重要となる.本研究では,近未来キャプション生成という新たなタスクを提案するとともに,車載カ メラ映像からの近未来キャプション生成に適したモデルの提案を行う.Berkeley Deep Drive eXplanation Dataset を用 いた評価実験では,近未来キャプション生成が可能であることを示した. |
(英) |
Image caption generation is a task to generate explanatory text for input images, which is used for automatic generation of news sentences and tags for image search. In addition, in order to reduce the psychological burden on passengers, automonous driving is also expected to be applied to provide verbal explanations of the decision-making basis for driving control. On the other hand, the image caption generation so far has been limited to captions for the input images and has not generated captions that can occur in the near future. In automonous driving, it is more important to generate captions for events in the near future than for the current time to prevent accidents and alert passengers. In this paper, we propose a new task of near-future caption generation and a model suitable for generating near-future captions from images captured by in-vehicle cameras. We showed that near-future caption generation is possible in evaluation experiments using the Berkeley Deep Drive eXplanation Dataset. |
キーワード |
(和) |
画像キャプション生成 / image captioning / LSTM / CNN / 車載カメラ映像 / in-vehicle camera / 近未来 / near-future |
(英) |
image captioning / LSTM / CNN / in-vehicle camera / near future / / / |
文献情報 |
信学技報, vol. 120, no. 154, PRMU2020-10, pp. 13-18, 2020年9月. |
資料番号 |
PRMU2020-10 |
発行日 |
2020-08-26 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2020-10 |