| 講演名 | 2018-12-12 参照データとidfを利用した事前採点不要な小論文評価手法 大野 雅幸(岡山大), 竹内 孔一(岡山大), 泉仁 宏太(岡山大), 小畑 友也(岡山大), 田口 雅弘(岡山大), 稲田 佳彦(岡山大), 飯塚 誠也(岡山大), 阿保 達彦(岡山大), 上田 均(岡山大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 大学入試において2020年から記述式問題が導入されることから記述式の問題を自動で採点する手法の開発が求められている．本論では，エッセイタイプの小論文課題を対象に，課題に関連する参照データとWikipedia全文から作成したidfを利用した事前採点不要な自動採点手法を提案する．先行研究において，日本語小論文を対象とした自動採点では，多くの事前採点が必要となり，実際の数百人規模の試験では利用することが難しいと考えられる．そこで本研究では，事前採点が不要な小論文採点手法を提案する．また，小論文の模擬試験を実施して小論文データを構築する．構築した小論文データに対して採点手法を用い，実験を行い評価する．また小論文データの人手による採点に対しても評価を行う．評価実験の結果neologd辞書を利用した形態素解析器を用いて， idf値を利用した形態素の一致数が，人手の評価値と相関が高いことを示す． |
| 抄録(英) | In this paper, we describe an on-going study of developing anautomatic essay-scoring system in Japanese. Essay scoring systems havealready been developed and used mainly in English, while not manyprevious studies have been done on Japanese essay evaluations. Mostof the methods and systems of automatic essay evaluation need notsmall number of previously human-graded essays for calibrating theparameter of regression functions or parameter of machine learning. The previous studies show the high performance for essay evaluationtask, however, it must be not easy to assume large graded essays in, for example, actual tests or entrance examinations. Thus, we take aapproach to evaluate Japanese essays without previously human-gradedessays but with assuming reference data related to essay questions. The proposed method is a simple one, that is, evaluating the essayswith co-occurrences with the reference data in their words ormorphemes. In the method technical terms would be given high scoresusing neologd dictionary and idf values. Experimental results show that the proposed method works well in ourdeveloping Japanese mock trial writing tests. |
| キーワード(和) | 自動採点 / アノテーション / 採点支援 / idf / neologd |
| キーワード(英) | automatic scoring of essays / human annotation, supporting system of essay evaluation / idf / neologd |
| 資料番号 | NLC2018-33 |
| 発行日 | 2018-12-04 (NLC) |
| 研究会情報 | |
| 研究会 | NLC / IPSJ-NL / SP / IPSJ-SLP |
|---|---|
| 開催期間 | 2018/12/10(から3日開催) |
| 開催地（和） | 早稲田大学西早稲田キャンパス |
| 開催地（英） | Waseda Univ. Nishiwaseda Campus |
| テーマ（和） | 第5回自然言語処理シンポジウム & 第20回音声言語シンポジウム |
| テーマ（英） | The 5th Natural Language Processing Symposium & The 20th Spoken Language Symposium |
| 委員長氏名（和） | 榊 剛史(ホットリンク) / / 山下 洋一(立命館大) |
| 委員長氏名（英） | Takeshi Sakaki(Hottolink) / / Yoichi Yamashita(Ritsumeikan Univ.) |
| 副委員長氏名（和） | 吉田 光男(豊橋技科大) / 嶋田 和孝(九工大) / / 李 晃伸(名工大) |
| 副委員長氏名（英） | Mitsuo Yoshida(Toyohashi Univ. of Tech.) / Kazutaka Shimada(Kyushu Inst. of Tech.) / / Akinobu Ri(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 渡辺 靖彦(龍谷大) / 東中 竜一郎(NTT) / / 南條 浩輝(京大) / 坂野 秀樹(名城大) |
| 幹事氏名（英） | Yasuhiko Watanabe(Ryukoku Univ.) / Ryuichiro Higashinaka(NTT) / / Hiroaki Nanjo(Kyoto Univ.) / Hideki Banno(Meijo Univ.) |
| 幹事補佐氏名（和） | 小早川 健(NHK) / 坂地 泰紀(東大) / / 郡山 知樹(東工大) / 小橋川 哲(NTT) |
| 幹事補佐氏名（英） | Takeshi Kobayakawa(NHK) / Hiroki Sakaji(Univ. of Tokyo) / / Tomoki Koriyama(Tokyo Inst. of Tech.) / Satoshi Kobashikawa(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication / Special Interest Group on Natural Language / Technical Committee on Speech / Special Interest Group on Spoken Language Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 参照データとidfを利用した事前採点不要な小論文評価手法 |
| サブタイトル（和） | |
| タイトル（英） | Proposing an Unsupervised Approach to Evaluate Essays Using IDF on Reference Data |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 自動採点 / automatic scoring of essays |
| キーワード(2)（和/英） | アノテーション / human annotation, supporting system of essay evaluation |
| キーワード(3)（和/英） | 採点支援 / idf |
| キーワード(4)（和/英） | idf / neologd |
| キーワード(5)（和/英） | neologd |
| 第 1 著者 氏名（和/英） | 大野 雅幸 / Masayuki Ohno |
| 第 1 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 2 著者 氏名（和/英） | 竹内 孔一 / Koichi Takeuchi |
| 第 2 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 3 著者 氏名（和/英） | 泉仁 宏太 / Kota Motojin |
| 第 3 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 4 著者 氏名（和/英） | 小畑 友也 / Yuya Obata |
| 第 4 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 5 著者 氏名（和/英） | 田口 雅弘 / Masahiro Taguchi |
| 第 5 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 6 著者 氏名（和/英） | 稲田 佳彦 / Yoshihiko Inada |
| 第 6 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 7 著者 氏名（和/英） | 飯塚 誠也 / Masaya Iizuka |
| 第 7 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 8 著者 氏名（和/英） | 阿保 達彦 / Tatsuhiko Abo |
| 第 8 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 9 著者 氏名（和/英） | 上田 均 / Hitoshi Ueda |
| 第 9 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 発表年月日 | 2018-12-12 |
| 資料番号 | NLC2018-33 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | NLC-355 |
| ページ範囲 | pp.103-108(NLC), |
| ページ数 | 6 |
| 発行日 | 2018-12-04 (NLC) |