| 講演名 | 2020-11-13 ［ポスター講演］事前学習モデルを用いた自動オントロジー生成 大庭 淳史(会津大), 桑名 絢士(会津大), 白 寅天(会津大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークを用いたオントロジー生成の初期の試みとして、最近Recurrent Neural Network(RNN)ベースの手法が提案されている。この手法は、逐次ニューラルネットワークと事前に学習した単語のベクトル表現を組み合わせることで、オントロジー生成タスクを効率的に達成することができる。しかし、自然言語処理(NLP)の急速な発展により、アーキテクチャの更新が可能である。一方、BERTのような巨大な無標識コーパスで学習された言語モデルの伝達学習は、NLPのブレークスルーをもたらした。これらの手法は、学習手順を「事前学習」と「転移学習」の2段階に分ける2段階学習によって、言語モデルに幅広い言語知識と処理能力を持たせることを可能にしました。これらの成果に触発され，本研究では言語モデルの伝達学習を応用するために，二段階学習からなるオントロジー生成のための新しいワークフローを提案する．本論文では，提案手法と既存手法との定量的な比較を行う．実証的な証拠として，我々の提案手法は高度な構造を持たない場合でも，従来の精度を12.5%以上向上させることができた． |
| 抄録(英) | As an initial attempt of ontology generation with neural network, Recurrent Neural Network (RNN) based method is proposed recently. This method efficiently achieves the ontology generation task by combining sequential neural network and pretrained vector representation of words. However, updating the architecture is possible due to the rapid development of Natural Language Processing (NLP). In other hand, transfer learning of language models trained by huge unlabeled corpus such as BERT has brought a breakthrough in NLP. These methods allowed the language model to have a wide language knowledge and its processing ability by two-stage learning which divide training procedure into two stages, Pre-training and Fine-tuning. Inspired by these achievements, to apply transfer learning of language model, we propose novel workflow for ontology generation consists of two-stage learning. This paper also provides a quantitative comparison between the proposed method and existing methods. Empirical evidence showed that our best configuration update previous accuracy over 12.5% without sophisticated structure. |
| キーワード(和) | オントロジー / ニューラルネットワーク / 事前学習 / 自然言語処理 |
| キーワード(英) | ontology / neural network / pre-trained model / natural language processing |
| 資料番号 | KBSE2020-22,SC2020-26 |
| 発行日 | 2020-11-06 (KBSE, SC) |
| 研究会情報 | |
| 研究会 | KBSE / SC |
|---|---|
| 開催期間 | 2020/11/13(から2日開催) |
| 開催地（和） | オンライン＋機械振興会館 |
| 開催地（英） | Virtual / Kikai-Shinko-Kaikan Bldg. |
| テーマ（和） | 「ウィズコロナ／アフターコロナ時代の知能ソフトウエア工学とサービスコンピューティング」および一般（仮） |
| テーマ（英） | |
| 委員長氏名（和） | 中川 博之(阪大) / 菊地 伸治(物質・材料研究機構) |
| 委員長氏名（英） | Hiroyuki Nakagawa(Osaka Univ.) / Shinji Kikuchi(NIMS) |
| 副委員長氏名（和） | 猿渡 卓也(NTTデータ) / 山登 庸次(NTT) / 木村 功作(富士通研) |
| 副委員長氏名（英） | Takuya Saruwatari(NTT Data) / Yoji Yamato(NTT) / Kosaku Kimura(Fujitsu Lab.) |
| 幹事氏名（和） | 菊地 奈穂美(OKI) / 金子 朋子(NII) / 中村 匡秀(神戸大) / 細野 繁(東京工科大) |
| 幹事氏名（英） | Nahomi Kikuchi(OKI) / Tomoko Kaneko(NII) / Masahide Nakamura(Kobe Univ.) / Shigeru Hosono(Tokyo Univ. of Tech.) |
| 幹事補佐氏名（和） | 小形 真平(信州大) / 槇原 絵里奈(同志社大) |
| 幹事補佐氏名（英） | Shinpei Ogata(Shinshu Univ.) / Erina Nakihara(Doshisha Univ,) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Knowledge-Based Software Engineering / Technical Committee on Service Computing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ポスター講演］事前学習モデルを用いた自動オントロジー生成 |
| サブタイトル（和） | |
| タイトル（英） | [Poster Presentation] Automation of Ontology Generation by Pre-trained Language Model |
| サブタイトル（和） | |
| キーワード(1)（和/英） | オントロジー / ontology |
| キーワード(2)（和/英） | ニューラルネットワーク / neural network |
| キーワード(3)（和/英） | 事前学習 / pre-trained model |
| キーワード(4)（和/英） | 自然言語処理 / natural language processing |
| 第 1 著者 氏名（和/英） | 大庭 淳史 / Atusi Oba |
| 第 1 著者 所属（和/英） | 会津大学大学院(略称：会津大) the University of Aizu Graduate School(略称：UoA) |
| 第 2 著者 氏名（和/英） | 桑名 絢士 / Ayato Kuwana |
| 第 2 著者 所属（和/英） | 会津大学大学院(略称：会津大) the University of Aizu Graduate School(略称：UoA) |
| 第 3 著者 氏名（和/英） | 白 寅天 / Paik Incheon |
| 第 3 著者 所属（和/英） | 会津大学(略称：会津大) the University of Aizu(略称：UoA) |
| 発表年月日 | 2020-11-13 |
| 資料番号 | KBSE2020-22,SC2020-26 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | KBSE-231,SC-232 |
| ページ範囲 | pp.40-40(KBSE), pp.40-40(SC), |
| ページ数 | 1 |
| 発行日 | 2020-11-06 (KBSE, SC) |