| 講演名 | 2023-11-11 回帰と分類のマルチタスク学習を適用した深層学習自動採点の不確かさ推定 高橋 祐斗(電通大), 宇都 雅輝(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，採点コストの低減や公平な採点を目指し，記述・論述式試験の自動採点に関する研究が注目されている．特に，近年では，深層学習を用いた自動採点モデルが多数提案され，高精度を達成している．一方で，高性能な深層学習自動採点モデルであっても，予測には一定の誤りが含まれており，このことがハイステークスな試験への自動採点導入の妨げとなっている．この問題を解決する方法の一つとして，得点を予測するだけでなく，予測した得点に対する予測の不確かさも推定できる深層学習自動採点モデルが提案されている．本研究では，不確かさの推定性能向上と得点予測の精度向上の両立を目指した新たな深層学習自動採点モデルを提案する． |
| 抄録(英) | In writing tests, grading by humans can be expensive and is not always sufficiently accurate. To resolve this problem, automatic scoring methods have attracted much attention. In recent years, approaches rooted in deep learning have attained notably high accuracy. However, the possibility of errors produced by an automatic scoring system cannot be eliminated, and this hinders the practical application of automatic scoring. One conventional solution to this problem is to estimate uncertainty in the automatic scoring model's predictions to detect prediction errors. In this study, we introduce a novel automatic scoring model based on deep learning which predict score and estimate uncertainty to improve both score accuracy and uncertainty estimation performance. |
| キーワード(和) | 記述式試験 / 自動採点 / 深層学習 / マルチタスク学習 / 自然言語処理 |
| キーワード(英) | Writing tests / automatic scoring / deep neural networks / multi-task learning / natural language processing |
| 資料番号 | ET2023-31 |
| 発行日 | 2023-11-04 (ET) |
| 研究会情報 | |
| 研究会 | ET |
|---|---|
| 開催期間 | 2023/11/11(から1日開催) |
| 開催地（和） | 香川大学 幸町キャンパス＋オンライン開催 |
| 開催地（英） | Kagawa University Saiwai-cho (Main) Campus / Online |
| テーマ（和） | 若手企画／一般 |
| テーマ（英） | Sessions for Young Researchers (Young Researcher Awards Selection), etc. |
| 委員長氏名（和） | 小尻 智子(関西大) |
| 委員長氏名（英） | Tomoko Kojiri(Kansai Univ.) |
| 副委員長氏名（和） | 國宗 永佳(千葉工大) |
| 副委員長氏名（英） | Hisayoshi Kunimune(Chiba Inst. of Tech.) |
| 幹事氏名（和） | 西尾 典洋(目白大) / 倉山 めぐみ(函館高専) |
| 幹事氏名（英） | Norihiro Nisio(Mejiro Univ.) / Megumi Kurayama(NITHC) |
| 幹事補佐氏名（和） | 吉原 和明(近畿大) / 裏 和宏(愛媛大) |
| 幹事補佐氏名（英） | Kazuaki Yoshihara(Kinki Univ.) / Kazuhiro Ura(Ehime Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Educational Technology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 回帰と分類のマルチタスク学習を適用した深層学習自動採点の不確かさ推定 |
| サブタイトル（和） | |
| タイトル（英） | Uncertainty Estimation in Neural Automatic Scoring Applying Multitask Learning of Regression and Classification |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 記述式試験 / Writing tests |
| キーワード(2)（和/英） | 自動採点 / automatic scoring |
| キーワード(3)（和/英） | 深層学習 / deep neural networks |
| キーワード(4)（和/英） | マルチタスク学習 / multi-task learning |
| キーワード(5)（和/英） | 自然言語処理 / natural language processing |
| 第 1 著者 氏名（和/英） | 高橋 祐斗 / Yuto Takahashi |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 宇都 雅輝 / Masaki Uto |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2023-11-11 |
| 資料番号 | ET2023-31 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | ET-254 |
| ページ範囲 | pp.40-46(ET), |
| ページ数 | 7 |
| 発行日 | 2023-11-04 (ET) |