| 講演名 | 2018-12-07 深層学習を用いた料理動画からの全体的な整合性を考慮したレシピ文の自動生成 藤井 竜希(電通大), 清 雄一(電通大), 田原 康之(電通大), 大須賀 昭彦(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習を用いて画像や動画の内容を自然言語で修飾するキャプション生成の研究は大きな成果をあげ、近年注目を浴びている。本研究では、社会的に実用性のあるキャプション生成という観点で、YouCookⅡというYouTubeから取得し、アノテーションされた5～10分程度の調理動画データセットを対象として、調理動画ごとのレシピ文を生成する。提案手法である同一レシピ内で既に生成された文章のベクトルをEncoder-Decoderの入力に追加したモデルでキャプション生成を行い、実際にアノテーションされたレシピ文との比較を行う。評価指標として画像キャプション生成問題の評価に広く用いられるBleuを用いた。 |
| 抄録(英) | Research on caption generation that modifies the contents of images and moving images with natural language using deep learning has gained considerable results and attracted attention in recent years. In this research, from the viewpoint of socially practical caption generation, a recipe for each cooking movie is generated for cooking movie data set of about 5 to 10 minutes acquired from YouTube called YouTube and annotated . As a proposed method, caption generation is performed by a model in which a vector of a sentence already generated in the same recipe is added to the input of an Encoder-Decoder, and comparison with an actually annotated recipe sentence is performed. We used Bleu for evaluation which is widely used for evaluation of image caption generation problem . |
| キーワード(和) | 料理レシピ / 深層学習 / キャプション生成 / 整合性 / 文章ベクトル |
| キーワード(英) | Cooking Recipe / Deep Learning / Captioning / Contensity / Sentence Vector |
| 資料番号 | AI2018-32 |
| 発行日 | 2018-11-30 (AI) |
| 研究会情報 | |
| 研究会 | AI |
|---|---|
| 開催期間 | 2018/12/7(から2日開催) |
| 開催地（和） | 九州大学 伊都キャンパス |
| 開催地（英） | |
| テーマ（和） | 「コンテキストを意識した知識の利用」および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 峯 恒憲(九大) |
| 委員長氏名（英） | Tsunenori Mine(Kyushu Univ.) |
| 副委員長氏名（和） | 片上 大輔(東京工芸大) / 福田 直樹(静岡大) |
| 副委員長氏名（英） | Daisuke Katagami(Tokyo Polytechnic Univ.) / Naoki Fukuta(Shizuoka Univ.) |
| 幹事氏名（和） | 服部 宏充(立命館大) / 清 雄一(電通大) |
| 幹事氏名（英） | Hiromitsu Hattori(Ritsumeikan Univ.) / Yuichi Sei(Univ. of Electro-Comm.) |
| 幹事補佐氏名（和） | 櫻井 祐子(産総研) |
| 幹事補佐氏名（英） | Yuko Sakurai(AIST) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Artificial Intelligence and Knowledge-Based Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層学習を用いた料理動画からの全体的な整合性を考慮したレシピ文の自動生成 |
| サブタイトル（和） | |
| タイトル（英） | Generation of Curriculum-Based Multiple Choice Questions Using Linked Data |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 料理レシピ / Cooking Recipe |
| キーワード(2)（和/英） | 深層学習 / Deep Learning |
| キーワード(3)（和/英） | キャプション生成 / Captioning |
| キーワード(4)（和/英） | 整合性 / Contensity |
| キーワード(5)（和/英） | 文章ベクトル / Sentence Vector |
| 第 1 著者 氏名（和/英） | 藤井 竜希 / Tatsuki Fujii |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 清 雄一 / Yuichi Sei |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 第 3 著者 氏名（和/英） | 田原 康之 / Yasuyuki Tahara |
| 第 3 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 第 4 著者 氏名（和/英） | 大須賀 昭彦 / Akihiko Ohsuga |
| 第 4 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2018-12-07 |
| 資料番号 | AI2018-32 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | AI-350 |
| ページ範囲 | pp.37-41(AI), |
| ページ数 | 5 |
| 発行日 | 2018-11-30 (AI) |