| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-11-13 15:22 ［ポスター講演］事前学習モデルを用いた自動オントロジー生成 大庭淳史・○桑名絢士・白 寅天（会津大）  KBSE2020-22 SC2020-26 |
|
| 抄録 | （和） | ニューラルネットワークを用いたオントロジー生成の初期の試みとして、最近Recurrent Neural Network(RNN)ベースの手法が提案されている。この手法は、逐次ニューラルネットワークと事前に学習した単語のベクトル表現を組み合わせることで、オントロジー生成タスクを効率的に達成することができる。しかし、自然言語処理(NLP)の急速な発展により、アーキテクチャの更新が可能である。一方、BERTのような巨大な無標識コーパスで学習された言語モデルの伝達学習は、NLPのブレークスルーをもたらした。これらの手法は、学習手順を「事前学習」と「転移学習」の2段階に分ける2段階学習によって、言語モデルに幅広い言語知識と処理能力を持たせることを可能にしました。これらの成果に触発され，本研究では言語モデルの伝達学習を応用するために，二段階学習からなるオントロジー生成のための新しいワークフローを提案する．本論文では，提案手法と既存手法との定量的な比較を行う．実証的な証拠として，我々の提案手法は高度な構造を持たない場合でも，従来の精度を12.5%以上向上させることができた． |
| （英） | As an initial attempt of ontology generation with neural network, Recurrent Neural Network (RNN) based method is proposed recently. This method efficiently achieves the ontology generation task by combining sequential neural network and pretrained vector representation of words. However, updating the architecture is possible due to the rapid development of Natural Language Processing (NLP). In other hand, transfer learning of language models trained by huge unlabeled corpus such as BERT has brought a breakthrough in NLP. These methods allowed the language model to have a wide language knowledge and its processing ability by two-stage learning which divide training procedure into two stages, Pre-training and Fine-tuning. Inspired by these achievements, to apply transfer learning of language model, we propose novel workflow for ontology generation consists of two-stage learning. This paper also provides a quantitative comparison between the proposed method and existing methods. Empirical evidence showed that our best configuration update previous accuracy over 12.5% without sophisticated structure. | |
| キーワード | （和） | オントロジー / ニューラルネットワーク / 事前学習 / 自然言語処理 / / / / |
| （英） | ontology / neural network / pre-trained model / natural language processing / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 231, KBSE2020-22, pp. 40-40, 2020年11月. | |
| 資料番号 | KBSE2020-22 | |
| 発行日 | 2020-11-06 (KBSE, SC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| 査読に ついて |
本技術報告は査読を経ていない技術報告であり，推敲を加えられていずれかの場に発表されることがあります． | |
| PDFダウンロード | KBSE2020-22 SC2020-26 |
|
| 研究会情報 | |
| 研究会 | KBSE SC |
| 開催期間 | 2020-11-13 - 2020-11-14 |
| 開催地（和） | オンライン開催+機械振興会館 |
| 開催地（英） | Online + Kikai-Shinko-Kaikan Bldg. |
| テーマ（和） | 「ウィズコロナ／アフターコロナ時代の知能ソフトウエア工学とサービスコンピューティング」および一般（仮） |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | KBSE |
| 会議コード | 2020-11-KBSE-SC |
| 本文の言語 | 日本語 |
| タイトル（和） | 事前学習モデルを用いた自動オントロジー生成 |
| サブタイトル（和） | |
| タイトル（英） | Automation of Ontology Generation by Pre-trained Language Model |
| サブタイトル（英） | |
| キーワード(1)（和/英） | オントロジー / ontology |
| キーワード(2)（和/英） | ニューラルネットワーク / neural network |
| キーワード(3)（和/英） | 事前学習 / pre-trained model |
| キーワード(4)（和/英） | 自然言語処理 / natural language processing |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大庭 淳史 / Atusi Oba / オオバ アツシ |
| 第1著者 所属（和/英） | 会津大学大学院 (略称： 会津大) the University of Aizu Graduate School (略称： UoA) |
| 第2著者 氏名（和/英/ヨミ） | 桑名 絢士 / Ayato Kuwana / クワナ アヤト |
| 第2著者 所属（和/英） | 会津大学大学院 (略称： 会津大) the University of Aizu Graduate School (略称： UoA) |
| 第3著者 氏名（和/英/ヨミ） | 白 寅天 / Paik Incheon / ペク インチョン |
| 第3著者 所属（和/英） | 会津大学 (略称： 会津大) the University of Aizu (略称： UoA) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第2著者 |
| 発表日時 | 2020-11-13 15:22:00 |
| 発表時間 | 2分 |
| 申込先研究会 | KBSE |
| 資料番号 | KBSE2020-22, SC2020-26 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.231(KBSE), no.232(SC) |
| ページ範囲 | p.40 |
| ページ数 | 1 |
| 発行日 | 2020-11-06 (KBSE, SC) |
[研究会発表申込システムのトップページに戻る]