| 講演名 | 2021-12-16 Fully automatic scoring of handwritten descriptive answers in Japanese language tests グエン トゥアン フーン(農工大), グエン トゥアン クーン(農工大), 岡 知樹(東大), 石岡 恒憲(大学入試センター), 中川 正樹(農工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | This paper presents an experiment of automatically scoring handwritten descriptive answers in the trial tests for the new Japanese university entrance examination, which were made for about 120,000 examinees in 2017 and 2018. There are about 400,000 answers with more than 20 million characters. Although all answers have been scored by human examiners, handwritten characters are not labelled. We present our attempt to adapt deep neural network-based handwriting recognizers trained on a labelled handwriting dataset into this unlabeled answer set. Our proposed method combines different training strategies, ensembles multiple recognizers, and uses a language model built from a large general corpus to avoid overfitting into specific data. In our experiment, the proposed method records character accuracy of over 97% using about 2,000 verified labelled answers that account for less than 0.5% of the dataset. Then, the recognized answers are fed into a pre-trained automatic scoring system based on the BERT model without correcting misrecognized characters and providing rubric annotations. The automatic scoring system achieves from 0.84 to 0.98 of Quadratic Weighted Kappa (QWK). As QWK is over 0.8, it represents acceptable similarity of scoring between the automatic scoring system and the human examiners. These results are promising for further research on end-to-end automatic scoring of descriptive answers. |
| キーワード(和) | |
| キーワード(英) | handwritten language answershandwriting recognitionautomatic scoringensemble recognitiondeep neural networks |
| 資料番号 | PRMU2021-32 |
| 発行日 | 2021-12-09 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2021/12/16(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 時系列・因果推論・異常検知 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 岩村 雅一(阪府大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Masakazu Iwamura(Osaka Pref. Univ.) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 柴田 剛志(NTT) / 西山 正志(鳥取大) |
| 幹事氏名（英） | Takashi Shibata(NTT) / Masashi Nishiyama(Tottori Univ.) |
| 幹事補佐氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事補佐氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Fully automatic scoring of handwritten descriptive answers in Japanese language tests |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / handwritten language answershandwriting recognitionautomatic scoringensemble recognitiondeep neural networks |
| 第 1 著者 氏名（和/英） | グエン トゥアン フーン / Hung Tuan Nguyen |
| 第 1 著者 所属（和/英） | 東京農工大学(略称：農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 第 2 著者 氏名（和/英） | グエン トゥアン クーン / Cuong Tuan Nguyen |
| 第 2 著者 所属（和/英） | 東京農工大学(略称：農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 第 3 著者 氏名（和/英） | 岡 知樹 / Haruki Oka |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 4 著者 氏名（和/英） | 石岡 恒憲 / Tsunenori Ishioka |
| 第 4 著者 所属（和/英） | 大学入試センター(略称：大学入試センター) The National Center for University Entrance Examinations(略称：The National Center for University Entrance Examinations) |
| 第 5 著者 氏名（和/英） | 中川 正樹 / Masaki Nakagawa |
| 第 5 著者 所属（和/英） | 東京農工大学(略称：農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 発表年月日 | 2021-12-16 |
| 資料番号 | PRMU2021-32 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | PRMU-304 |
| ページ範囲 | pp.45-50(PRMU), |
| ページ数 | 6 |
| 発行日 | 2021-12-09 (PRMU) |