| 講演名 | 2020-02-17 ［チュートリアル招待講演］対話処理へのBERTの利用方法 光田 航(NTT), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，自然言語処理では，転移学習という機械学習手法の有効性が多数報告されている．これは，大量のテキストデータを用いて事前学習モデルと呼ばれる汎用のモデルを学習したのち，解きたいタスクのデータを用いてモデルをチューニングするという手法である．現在，さまざまな事前学習モデルが公開されており，誰でも簡単に高度な言語処理アプリケーションを構築できるようになった．本チュートリアルでは，対話関連分野の研究者を対象として，2018 年にGoogle が公開したBERT（Bidirectional Encoder Representations from Transformers）などの手法を例に，その概要，具体的な使い方，性能などについて解説する． |
| 抄録(英) | Transfer learning, which is one of machine learning has been attracting attention in natural language processing. A general purpose model called pre-trained model is trained based on an enormous amount of plain text data and the model is tuned by downstream tasks. Using the released pre-trained models, we can easily create advanced natural language applications. This report introduces the overview of the transfer learning technique, such as BERT (Bidirectional Encoder Representations from Transformers) developed by Google in 2018, in terms of architecture, usage, and performance. |
| キーワード(和) | 転移学習 / BERT / 対話処理 / 自然言語処理 |
| キーワード(英) | transfer learning / BERT / dialogue processing / natural language processing |
| 資料番号 | NLC2019-43 |
| 発行日 | 2020-02-09 (NLC) |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2020/2/16(から2日開催) |
| 開催地（和） | 成蹊大学 |
| 開催地（英） | Seikei University |
| テーマ（和） | 言語処理と非言語処理の融合と一般 (NLC+VNV合同研究会) |
| テーマ（英） | Integration of verbal and non-verbal information |
| 委員長氏名（和） | 榊 剛史(ホットリンク) |
| 委員長氏名（英） | Takeshi Sakaki(Hottolink) |
| 副委員長氏名（和） | 吉田 光男(豊橋技科大) / 嶋田 和孝(九工大) |
| 副委員長氏名（英） | Mitsuo Yoshida(Toyohashi Univ. of Tech.) / Kazutaka Shimada(Kyushu Inst. of Tech.) |
| 幹事氏名（和） | 渡辺 靖彦(龍谷大) / 東中 竜一郎(NTT) |
| 幹事氏名（英） | Yasuhiko Watanabe(Ryukoku Univ.) / Ryuichiro Higashinaka(NTT) |
| 幹事補佐氏名（和） | 小早川 健(NHK) / 坂地 泰紀(東大) |
| 幹事補佐氏名（英） | Takeshi Kobayakawa(NHK) / Hiroki Sakaji(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［チュートリアル招待講演］対話処理へのBERTの利用方法 |
| サブタイトル（和） | |
| タイトル（英） | [Tutorial Invited Lecture] BERT for dialogue systems |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 転移学習 / transfer learning |
| キーワード(2)（和/英） | BERT / BERT |
| キーワード(3)（和/英） | 対話処理 / dialogue processing |
| キーワード(4)（和/英） | 自然言語処理 / natural language processing |
| 第 1 著者 氏名（和/英） | 光田 航 / Koh Mitsuda |
| 第 1 著者 所属（和/英） | NTTメディアインテリジェンス研究所(略称：NTT) NTT(略称：NTT) |
| 発表年月日 | 2020-02-17 |
| 資料番号 | NLC2019-43 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | NLC-415 |
| ページ範囲 | pp.37-37(NLC), |
| ページ数 | 1 |
| 発行日 | 2020-02-09 (NLC) |