| 講演名 | 2024-03-10 化学プロセス関連論文からの変数定義抽出に特化した言語モデル 加藤 祥太(京大), 永山 航太郎(京大), 加納 学(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 科学技術論文を理解し活用するには，変数定義の抽出が重要である．情報学分野を中心に変数定義抽出に関する研究が行われているが，既存の変数定義抽出手法は分野が変わると期待通りの性能が得られないことがある．本研究では，化学プロセス関連文書から高精度に変数定義を抽出するために，入力文中の定義抽出対象の変数を特殊トークンで示す手法を提案する．提案手法をDeBERTaV3$_text{large}$に適用したところ，既存手法を4.8ポイント上回り，正解率86.9%を達成した．一方，提案手法をBERTモデルに適用したときの性能は既存手法と同程度であり，BERTモデルにおいて変数情報の活用が難しいことが示された． |
| 抄録(英) | Extracting variable definitions from scientific papers is crucial for understanding and leveraging research findings, yet the performance of current extraction methods can vary significantly across disciplines. This study addresses the challenge of variable extraction from documents related to chemical processes. We introduce an approach incorporating special tokens to signal the target variable for variable definition extraction. Our methodology, applied to the DeBERTaV3$_text{large}$ model, demonstrated a significant improvement over the current best-performing method, enhancing accuracy by 4.8 points to reach 86.9%. However, when implementing our approach with four BERT models, the results were only on par with the existing method. This discrepancy highlights the limitations of BERT-based models in capturing variable information effectively. Our findings underscore the importance of model selection in the domain-specific application of variable definition extraction. |
| キーワード(和) | 変数定義抽出 / DeBERTaV3 / BERT / 学術文書処理 / ドメイン固有自然言語処理 / 化学プロセス |
| キーワード(英) | Variable definition extraction / DeBERTaV3 / BERT / Scholarly document processing / Domain-specific NLP / Chemical process |
| 資料番号 | NLC2023-25 |
| 発行日 | 2024-03-03 (NLC) |
| 研究会情報 | |
| 研究会 | NLC / IPSJ-NL |
|---|---|
| 開催期間 | 2024/3/10(から2日開催) |
| 開催地（和） | 三宮コンベンションセンター |
| 開催地（英） | |
| テーマ（和） | 言語処理の産業・社会応用、および一般 |
| テーマ（英） | Applications of natural language processing, and etc. |
| 委員長氏名（和） | 吉田 光男(筑波大) / 須藤 克仁(NAIST) |
| 委員長氏名（英） | Mitsuo Yoshida(Univ. of Tsukuba) / 須藤 克仁(NAIST) |
| 副委員長氏名（和） | 坂地 泰紀(北大) / 小早川 健(NHK) |
| 副委員長氏名（英） | Hiroki Sakaji(Univ. of Hokkaido) / Takeshi Kobayakawa(NHK) |
| 幹事氏名（和） | 光田 航(rinna) / 石野 亜耶(広島経済大) / 井之上 直也(JAIST) / 内田 ゆず(北海学園大) / 佐藤 敏紀(ソフトバンク) / 萩行 正嗣(ウェザーニューズ) / 吉永 直樹(東大) / 吉野 幸一郎(理研) |
| 幹事氏名（英） | Ko Mitsuda(rinna) / Aya Ishino(Hiroshima Univ. of Economics) / 井之上 直也(JAIST) / 内田 ゆず(北海学園大) / 佐藤 敏紀(ソフトバンク) / 萩行 正嗣(ウェザーニューズ) / 吉永 直樹(東大) / 吉野 幸一郎(理研) |
| 幹事補佐氏名（和） | 高橋 寛治(Sansan) / 小川 泰弘(名市大) |
| 幹事補佐氏名（英） | Kanjin Takahashi(Sansan) / Yasuhiro Ogawa(Nagoya City Univ.Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication / Special Interest Group on Natural Language |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 化学プロセス関連論文からの変数定義抽出に特化した言語モデル |
| サブタイトル（和） | |
| タイトル（英） | Language Model for Variable Definition Extraction from Chemical Process-related Papers |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 変数定義抽出 / Variable definition extraction |
| キーワード(2)（和/英） | DeBERTaV3 / DeBERTaV3 |
| キーワード(3)（和/英） | BERT / BERT |
| キーワード(4)（和/英） | 学術文書処理 / Scholarly document processing |
| キーワード(5)（和/英） | ドメイン固有自然言語処理 / Domain-specific NLP |
| キーワード(6)（和/英） | 化学プロセス / Chemical process |
| 第 1 著者 氏名（和/英） | 加藤 祥太 / Shota Kato |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 永山 航太郎 / Kotaro Nagayama |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 3 著者 氏名（和/英） | 加納 学 / Manabu Kano |
| 第 3 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2024-03-10 |
| 資料番号 | NLC2023-25 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | NLC-416 |
| ページ範囲 | pp.13-18(NLC), |
| ページ数 | 6 |
| 発行日 | 2024-03-03 (NLC) |