| 講演名 | 2023-03-18 アテンションプーリングと対照学習による長文要約 加茂 司(芝浦工大), 杉本 徹(芝浦工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークによる自動要約は，Transformerをベースとした事前学習モデルの登場によって精度が向上した．しかし，Transformerの自己注意機構はメモリ・計算効率が入力長の二乗に依存しており，長文を扱うのが難しい．そこで，本研究では長文を効率よく扱えるTransformerを提案し，長文要約タスクに取り組む．まず，メモリ・計算効率が入力長に対して線形依存となるような代替の注意機構を二つ導入する．また，代替の注意機構が文章中の重要な情報を抜き出せるように，対照学習を利用した訓練を行う．代替の注意機構と対照学習という要素が要約精度にどのような影響を与えるかを評価実験によって明らかにする． |
| 抄録(英) | Automatic summarization using neural networks has improved with the advent of pre-training models based on the Transformer. However, the Transformer’s self-attention mechanism is difficult to handle long sequence because its memory and computational efficiency depend on the square of the input length. Therefore, we propose a Transformer that can efficiently handle long sequence and tackle a long document summarization. First, we introduce two alternative attention mechanisms whose memory and computational efficiency depend linearly on the input length. We also train the alternative attention mechanisms to extract important information from an input text using contrastive learning. Through evaluation experiments, we will clarify how the alternative attention mechanisms and contrastive learning affect summarization quality. |
| キーワード(和) | 自動要約 / 対照学習 / 注意機構 |
| キーワード(英) | Automatic Summarization / Contrastive Learning / Attention Mechanism |
| 資料番号 | NLC2022-28 |
| 発行日 | 2023-03-11 (NLC) |
| 研究会情報 | |
| 研究会 | NLC / IPSJ-NL |
|---|---|
| 開催期間 | 2023/3/18(から1日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | OIST |
| テーマ（和） | 言語処理の産業・社会応用、および一般 |
| テーマ（英） | Applications of natural language processing, and etc. |
| 委員長氏名（和） | 吉田 光男(筑波大) / 須藤 克仁(奈良先端科学技術大学院大学) |
| 委員長氏名（英） | Mitsuo Yoshida(Univ. of Tsukuba) / 須藤 克仁(奈良先端科学技術大学院大学) |
| 副委員長氏名（和） | 坂地 泰紀(東大) / 小早川 健(NHK) |
| 副委員長氏名（英） | Hiroki Sakaji(Univ. of Tokyo) / Takeshi Kobayakawa(NHK) |
| 幹事氏名（和） | 光田 航(NTT) / 石野 亜耶(広島経済大) / 内海 慶(LINE株式会社) / 内田 ゆず(北海学園大学) / 古宮 嘉那子(東京農工大学) / 萩行 正嗣(株式会社ウェザーニューズ) / 吉永 直樹(東京大学) / 吉野 幸一郎(理化学研究所) |
| 幹事氏名（英） | Ko Mitsuda(NTT) / Aya Ishino(Hiroshima Univ. of Economics) / 内海 慶(LINE株式会社) / 内田 ゆず(北海学園大学) / 古宮 嘉那子(東京農工大学) / 萩行 正嗣(株式会社ウェザーニューズ) / 吉永 直樹(東京大学) / 吉野 幸一郎(理化学研究所) |
| 幹事補佐氏名（和） | 高橋 寛治(Sansan) / 小川 泰弘(名大) |
| 幹事補佐氏名（英） | Kanjin Takahashi(Sansan) / Yasuhiro Ogawa(Nagoya Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication / Special Interest Group on Natural Language |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | アテンションプーリングと対照学習による長文要約 |
| サブタイトル（和） | |
| タイトル（英） | Contrastive Learning with Attention Pooling for Long Document Summarization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 自動要約 / Automatic Summarization |
| キーワード(2)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(3)（和/英） | 注意機構 / Attention Mechanism |
| 第 1 著者 氏名（和/英） | 加茂 司 / Tsukasa Kamo |
| 第 1 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute of Technology(略称：SIT) |
| 第 2 著者 氏名（和/英） | 杉本 徹 / Toru Sugimoto |
| 第 2 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute of Technology(略称：SIT) |
| 発表年月日 | 2023-03-18 |
| 資料番号 | NLC2022-28 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NLC-449 |
| ページ範囲 | pp.50-54(NLC), |
| ページ数 | 5 |
| 発行日 | 2023-03-11 (NLC) |