| 講演名 | 2021-01-27 短答式試験における自動採点のための概念辞書を用いたデータ拡張手法の提案 加藤 博之(九大), 石岡 恒憲(DNC), 峯 恒憲(九大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 自然言語処理に関する研究では，BERT をはじめとする大規模汎用言語モデルの登場によって，様々な種類のタスクにおいて処理精度の向上がもたらされているものの，答案の自動採点など，いまだ実用的な精度には達しておらず，さらなる精度の向上が望まれている．そこで，本研究では短答式試験の自動採点において，概念辞書を用いて答案中の単語を置換するデータ拡張を行い，自動採点の精度を向上させる方法を提案する．高校生の社会科と国語の模試データを用いて行った実験では，社会科ではデータ数の少ない範囲で，国語ではデータ数の多い範囲で精度の向上が見られた．また，精度の高い学習においては学習器が置換後のデータと元データを乖離して捉えていることが分かった． |
| 抄録(英) | In the field of natural language processing, the invention of large-scale general-purpose language models such as BERT has brought improvements in processing accuracy for various types of tasks, but the accuracy has not yet reached a practical level, also in automatic short answer scoring, and further improvements are desired. In this paper, we propose a method to improve the accuracy of automatic short answer scoring using a thesaurus to replace words in the answers. In an experiment using data from social studies and Japanese language mock exams for high school students, we found that the accuracy improved in the range with a small number of data for social studies and in the range with a large number of data for Japanese language. In addition, we found that in the case of highly accurate learning, the model understands the data after substitution and the original data in a different manner. |
| キーワード(和) | 自然言語処理 / 自動採点 / データ拡張 / 概念辞書 / BERT |
| キーワード(英) | NLP / AutoScoring / DataAugmentation / Thesaurus / BERT |
| 資料番号 | AI2020-15 |
| 発行日 | 2021-01-20 (AI) |
| 研究会情報 | |
| 研究会 | AI |
|---|---|
| 開催期間 | 2021/1/27(から1日開催) |
| 開催地（和） | オンライン開催（ハイブリッド開催から変更） |
| 開催地（英） | Online |
| テーマ（和） | 「コンテキストを意識した知識の利用」および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 福田 直樹(静岡大) |
| 委員長氏名（英） | Naoki Fukuta(Shizuoka Univ.) |
| 副委員長氏名（和） | 清 雄一(電通大) / 櫻井 祐子(産総研) |
| 副委員長氏名（英） | Yuichi Sei(Univ. of Electro-Comm.) / Yuko Sakurai(AIST) |
| 幹事氏名（和） | 大囿 忠親(名工大) / 藤田 桂英(東京農工大) |
| 幹事氏名（英） | Tadachika Ozono(Nagoya Inst. of Tech.) / Katsuhide Fujita(Tokyo Univ. of Agriculture and Technology) |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Artificial Intelligence and Knowledge-Based Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 短答式試験における自動採点のための概念辞書を用いたデータ拡張手法の提案 |
| サブタイトル（和） | |
| タイトル（英） | Automatic Short Answer Scoring using Thesaurus-Based Data Augmentation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 自然言語処理 / NLP |
| キーワード(2)（和/英） | 自動採点 / AutoScoring |
| キーワード(3)（和/英） | データ拡張 / DataAugmentation |
| キーワード(4)（和/英） | 概念辞書 / Thesaurus |
| キーワード(5)（和/英） | BERT / BERT |
| 第 1 著者 氏名（和/英） | 加藤 博之 / Hiroyuki Kato |
| 第 1 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 2 著者 氏名（和/英） | 石岡 恒憲 / Tsunenori Ishioka |
| 第 2 著者 所属（和/英） | 大学入試センター(略称：DNC) National Center for University Entrance Examinations(略称：DNC) |
| 第 3 著者 氏名（和/英） | 峯 恒憲 / Tsunenori Mine |
| 第 3 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ) |
| 発表年月日 | 2021-01-27 |
| 資料番号 | AI2020-15 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | AI-344 |
| ページ範囲 | pp.7-12(AI), |
| ページ数 | 6 |
| 発行日 | 2021-01-20 (AI) |