講演抄録/キーワード |
講演名 |
2020-02-17 11:10
[チュートリアル招待講演]対話処理へのBERTの利用方法 ○光田 航(NTT) NLC2019-43 |
抄録 |
(和) |
近年,自然言語処理では,転移学習という機械学習手法の有効性が多数報告されている.これは,大量のテキストデータを用いて事前学習モデルと呼ばれる汎用のモデルを学習したのち,解きたいタスクのデータを用いてモデルをチューニングするという手法である.現在,さまざまな事前学習モデルが公開されており,誰でも簡単に高度な言語処理アプリケーションを構築できるようになった.本チュートリアルでは,対話関連分野の研究者を対象として,2018 年にGoogle が公開したBERT(Bidirectional Encoder Representations from Transformers)などの手法を例に,その概要,具体的な使い方,性能などについて解説する. |
(英) |
Transfer learning, which is one of machine learning has been attracting attention in natural language processing. A general purpose model called pre-trained model is trained based on an enormous amount of plain text data and the model is tuned by downstream tasks. Using the released pre-trained models, we can easily create advanced natural language applications. This report introduces the overview of the transfer learning technique, such as BERT (Bidirectional Encoder Representations from Transformers) developed by Google in 2018, in terms of architecture, usage, and performance. |
キーワード |
(和) |
転移学習 / BERT / 対話処理 / 自然言語処理 / / / / |
(英) |
transfer learning / BERT / dialogue processing / natural language processing / / / / |
文献情報 |
信学技報, vol. 119, no. 415, NLC2019-43, pp. 37-37, 2020年2月. |
資料番号 |
NLC2019-43 |
発行日 |
2020-02-09 (NLC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLC2019-43 |