| 講演名 | 2002/12/13 確率的LSAに基づくngramモデルの変分ベイズ学習を利用した文脈適応化 三品 拓也, 山本 幹雄, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 本報告では,大域的な文脈をモデル化する確率的LSA(Probabilistic Latent Semantic Analysis: PLSA)を利用した統計的言語モデルに注目し,このモデルを未知の来脈に適応させる方法を検討する.従来の適応方法は,モデルを作成するときと同じ最尤推定(EMアルゴリズム)をそのまま使うものであるが,未知の文脈に動的に適応させる場合は使える文脈は少量であり,過適応を起しやすい.本報告では一般に過適応しにくいと言われているベイズ学習(変分ベイズ学習)を用いた適応手法を検討し,unigramとtrigramモデルのtest-set perplexityを使って比較評価した.結果として,PLSAが得意とする中頻度語彙に対しては,特に適応に使える文脈の量が少ない場合,ベイズ学習を用いた適応がEM適応よりも安定して高性能であることを確認した.高い出現頻度を持つ語彙を含む場合は,EM適応の方が高い混合数のときunigramモデルで優位であったが,trigramモデルではベイズ適応が優位であった. |
| 抄録(英) | This paper describes a context adaptation method using variational Bayesian learning for a statistical language model based on PLSA (Probabilistic Latent Semantic Analysis) which models global context. Gildea and Hofmann (1999) proposed an original training and adaptation method for PLSA which is based on EM algorithm. However, the EM adaptation method tends to over fit to a context, because the context which can be used for dynamic adaptation is so smaller than that for training. To avoid over-fitting, we use a variational Bayesian learning method for the adaptation which could be tolerant to the over-fitting problem. We compare two methods in test-set perplexity of unigram and trigram models. The experiments show a stable high performance of the Bayesian adaptation for small contexts made up of medium frequency words in perplexity compared to the EM adaptation. For contexts made up of high and medium frequency words, a unigram perplexity of the EM adaptation is comparable or lower than that of the Bayesian adaptation, but the Bayesian adaptation is better in perplexity of trigram models. |
| キーワード(和) | 確率的LSA / 統計的言語モデル / 変分ベイズ学習 / EMアルゴリズム |
| キーワード(英) | Probabilistic LSA / Statistical language model / Variational Bayesian learning / EM algorithm |
| 資料番号 | NLC2002-73 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2002/12/13(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 確率的LSAに基づくngramモデルの変分ベイズ学習を利用した文脈適応化 |
| サブタイトル（和） | |
| タイトル（英） | Context adaptation using variational Bayesian learning for ngram models based on probabilistic LSA |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 確率的LSA / Probabilistic LSA |
| キーワード(2)（和/英） | 統計的言語モデル / Statistical language model |
| キーワード(3)（和/英） | 変分ベイズ学習 / Variational Bayesian learning |
| キーワード(4)（和/英） | EMアルゴリズム / EM algorithm |
| 第 1 著者 氏名（和/英） | 三品 拓也 / Takuya MISHINA |
| 第 1 著者 所属（和/英） | 筑波大学 理工学研究科 Master's Program in Science and Engineering, University of Tsukuba |
| 第 2 著者 氏名（和/英） | 山本 幹雄 / Mikio YAMAMOTO |
| 第 2 著者 所属（和/英） | 筑波大学 電子・情報工学系 Institute of Information Sciences and Electronics, University of Tsukuba |
| 発表年月日 | 2002/12/13 |
| 資料番号 | NLC2002-73 |
| 巻番号（vol） | vol.102 |
| 号番号（no） | 528 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |