| 講演名 | 2021-09-16 金融ドメインにおける事前学習BERTモデルの性能検証 鈴木 雅弘(東大), 坂地 泰紀(東大), 平野 正徳(東大), 和泉 潔(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，BERTをはじめとした大規模コーパスによって事前学習された汎用言語モデルが盛んに用いられている．日本語においてもWikipediaによる事前学習モデルがいくつか公開されている．一方で金融分野においては専門的な言い回しが用いられるため，汎用モデルでは十分な効果が得られない可能性がある．本研究では，金融ドメインのコーパスを用いた事前学習モデルを構築し，金融ドメインのタスクにおける評価を行う． |
| 抄録(英) | Recently, general-purpose language models pre-trained on large corpora such as BERT have been widely used. In Japanese, several pre-trained models based on Wikipedia have been published. On the other hand, general-purpose models may not be sufficiently effective in the financial domain because of the use of specialized phrases. In this study, we construct a pre-training model using a corpus of the financial domain, and evaluate it on a task in the financial domain. |
| キーワード(和) | 自然言語処理 / 言語資源 / BERT / 金融文書 |
| キーワード(英) | Natural language processing / Language resources / BERT / Financial text |
| 資料番号 | NLC2021-12 |
| 発行日 | 2021-09-09 (NLC) |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2021/9/16(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 第18回テキストアナリティクス・シンポジウム |
| テーマ（英） | The 18th Text Analytics Symposium |
| 委員長氏名（和） | 嶋田 和孝(九工大) |
| 委員長氏名（英） | Kazutaka Shimada(Kyushu Inst. of Tech.) |
| 副委員長氏名（和） | 吉田 光男(筑波大) / 小早川 健(NHK) |
| 副委員長氏名（英） | Mitsuo Yoshida(Univ. of Tsukuba) / Takeshi Kobayakawa(NHK) |
| 幹事氏名（和） | 坂地 泰紀(東大) / 石野 亜耶(広島経済大) |
| 幹事氏名（英） | Hiroki Sakaji(Univ. of Tokyo) / Aya Ishino(Hiroshima Univ. of Economics) |
| 幹事補佐氏名（和） | 高橋 寛治(Sansan) / 光田 航(NTT) |
| 幹事補佐氏名（英） | Kanjin Takahashi(Sansan) / Ko Mitsuda(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 金融ドメインにおける事前学習BERTモデルの性能検証 |
| サブタイトル（和） | |
| タイトル（英） | Performance Validation of Pre-Trained BERT in the Financial Domain |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 自然言語処理 / Natural language processing |
| キーワード(2)（和/英） | 言語資源 / Language resources |
| キーワード(3)（和/英） | BERT / BERT |
| キーワード(4)（和/英） | 金融文書 / Financial text |
| 第 1 著者 氏名（和/英） | 鈴木 雅弘 / Masahiro Suzuki |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：The Univ. of Tokyo) |
| 第 2 著者 氏名（和/英） | 坂地 泰紀 / Hiroki Sakaji |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：The Univ. of Tokyo) |
| 第 3 著者 氏名（和/英） | 平野 正徳 / Masanori Hirano |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：The Univ. of Tokyo) |
| 第 4 著者 氏名（和/英） | 和泉 潔 / Kiyoashi Izumi |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：The Univ. of Tokyo) |
| 発表年月日 | 2021-09-16 |
| 資料番号 | NLC2021-12 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NLC-178 |
| ページ範囲 | pp.26-29(NLC), |
| ページ数 | 4 |
| 発行日 | 2021-09-09 (NLC) |