講演抄録/キーワード |
講演名 |
2022-03-07 17:05
生成的自然言語推論のためのデータ収集とモデル構築 ○榎本 悠・嶋田和孝(九工大) NLC2021-39 |
抄録 |
(和) |
我々は日常生活の中で常識を用いた推論をよく行っている.例えば,「目が覚める」というイベントの後に起きるイベントを考えたとき,「顔を洗う」や「朝ご飯を食べる」といったものが一般的に考えられる.このような自然言語推論は自然言語処理分野における主要なタスクの1つであり,盛んに研究が行われている.自然言語推論はそのほとんどが分類タスクとして解かれている.しかし,分類モデルは与えられた選択肢以外の回答を出力することができない.そのため,推論モデルは真の意味で推論を解いているといえない.これに対して,より柔軟に,真の意味で推論を解くことのできるモデルが生成モデルである.生成モデルは分類モデルと比べて,モデルの出力数を調整することで大量の推論結果を得ることが可能である.また,任意の入力に対して,生成モデルは対応するイベントを生成することができる.そこで本論文では,生成モデルを用いた自然言語推論を行う.しかし,生成モデルを用いた推論の研究は少なく,データも不十分である.そのため,Twitterデータを用いて前後関係を持った大量のイベント文のペアを収集する.その後,収集したデータを用いて生成モデルである Seq2Seq や T5 を学習させ,生成実験を行う.しかし,出力結果が正しいものであるかを人手で判断することは難しい.そこで,編集距離を用いた評価方法の提案を行い,その結果について考察する. |
(英) |
Recently, natural language inference have been actively studied and it's mainly solved as a classification task. However, classification models can only select answers that are included in the given choices. Therefore, it doesn't truly solve the inference task. In this paper, we propose a method to generate the next actions from a previous action. Generally, we need a large number of training data to learn a generation model. However, there are no data for the generation task of commonsense reasoning. Therefore, we automatically collect event-sentence pairs from Twitter. and we conduct a generation experiment. We apply the extracted data to neural network-based models; seq2seq with attention and T5. One problem of this task is to evaluate the applicability of the generated sentences. In this paper, we also propose an evaluation measure based on Levenshtein distance. Through the measure, we compare the outputs from two generation methods. |
キーワード |
(和) |
自然言語推論 / 常識的推論 / 文生成 / / / / / |
(英) |
Natural Language Inference / Commonsense Reasoning / Text Generation / / / / / |
文献情報 |
信学技報, vol. 121, no. 415, NLC2021-39, pp. 62-67, 2022年3月. |
資料番号 |
NLC2021-39 |
発行日 |
2022-02-28 (NLC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLC2021-39 |