| 講演名 | 2021-12-11 深層学習と多次元項目反応理論を用いた複数観点同時自動採点手法の開発 柴田 拓海(電通大), 宇都 雅輝(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，深層学習を利用した小論文自動採点手法が多数提案されている．これらの手法の多くは単一の全体得点のみを予測対象としているが，主に学習場面などで小論文試験を運用する場合には，受験者へのより詳細なフィードバックを行うために評価観点別の得点を活用したい場面も少なくない．このような需要に応えるため，全体得点に加えて複数評価観点に対応する細目得点も同時に予測できるモデルが提案されている．しかし従来モデルは各評価観点に応じた複雑なニューラルネットワーク層を持つ構造であるため，得点予測の根拠について解釈性が低いという問題があった．この問題を解決するため，本研究では多次元項目反応理論を使用し，予測根拠の解釈性を高めた新しい複数観点同時自動採点モデルを提案する． |
| 抄録(英) | In recent years, deep neural network (DNN)-based automated essay scoring (AES) models that can simultaneously predict the overall score and multiple trait-specific scores have been proposed. However, the main problem of conventional models is the lack of explainability. To resolve this problem, this study proposes a new trait-based DNN-AES model with high explainability by integrating multidimensional item response theory. The proposed model succeeded in improving explainability without a significant loss of accuracy compared to a state-of-the-art conventional model. |
| キーワード(和) | 記述・論述試験 / 自動採点 / 深層学習 / 多次元項目反応理論 / 説明可能性 |
| キーワード(英) | essay-type tests / automated essay scoring / deep neural networks / multidimensional item response theory / explainability |
| 資料番号 | ET2021-33 |
| 発行日 | 2021-12-04 (ET) |
| 研究会情報 | |
| 研究会 | ET |
|---|---|
| 開催期間 | 2021/12/11(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 若手企画／一般 |
| テーマ（英） | Sessions for Young Researchers (Young Researcher Awards Selection), etc. |
| 委員長氏名（和） | 渡辺 健次(広島大) |
| 委員長氏名（英） | Kenji Watanabe(Hiroshimai Univ.) |
| 副委員長氏名（和） | 藤原 康宏(兵庫医科大) |
| 副委員長氏名（英） | Yasuhiro Fujihara(Hyogo College of Medicine) |
| 幹事氏名（和） | 三好 康夫(高知大) / 立岩 佑一郎(名工大) |
| 幹事氏名（英） | Yasuo Miyoshi(Kochi Univ.) / Yuichiro Tateiwa(Nagoya Institute of Technology.) |
| 幹事補佐氏名（和） | 山元 翔(近畿大) / 加納 徹(東京理科大) |
| 幹事補佐氏名（英） | Sho Yamamoto(Kinki Univ.) / Toru Kano(Tokyo University of Science) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Educational Technology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層学習と多次元項目反応理論を用いた複数観点同時自動採点手法の開発 |
| サブタイトル（和） | |
| タイトル（英） | Development of trait-based neural automated essay scoring incorporating multidimensional item response theory |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 記述・論述試験 / essay-type tests |
| キーワード(2)（和/英） | 自動採点 / automated essay scoring |
| キーワード(3)（和/英） | 深層学習 / deep neural networks |
| キーワード(4)（和/英） | 多次元項目反応理論 / multidimensional item response theory |
| キーワード(5)（和/英） | 説明可能性 / explainability |
| 第 1 著者 氏名（和/英） | 柴田 拓海 / Takumi Shibata |
| 第 1 著者 所属（和/英） | 電気通信大学大学院(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 宇都 雅輝 / Masaki Uto |
| 第 2 著者 所属（和/英） | 電気通信大学大学院(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2021-12-11 |
| 資料番号 | ET2021-33 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | ET-294 |
| ページ範囲 | pp.23-28(ET), |
| ページ数 | 6 |
| 発行日 | 2021-12-04 (ET) |