講演抄録/キーワード |
講演名 |
2009-01-19 13:30
独立でないデータによる隠れマルコフモデルの構造推定 ○松本匡史・渡辺澄夫(東工大) NC2008-86 |
抄録 |
(和) |
情報科学に広く用いられている多くの学習モデル、例えば混合分布、階層モデル、ベイズネットワーク、隠れマルコフモデル、ボルツマンマシン等はパラメータと確率分布が一対一に対応せず、フィッシャー情報行列の正定値性が成り立たないため正則でなく特異である。近年、このような特異モデルについてもデータが真の分布から独立に得られている場合の理論は数学的な基礎が確立された。学習の速さを表す学習係数がゼータ関数の最大極に一致し、代数幾何学的手法によってその値を得ることが明らかにされている。しかし、データが時間依存を持つ場合の学習については明らかにされていない。そこで本研究ではエルゴード的な汎化誤差を独立でないデータに対して定義し、実世界で時系列解析によく用いられる隠れマルコフモデルにおいてその挙動を実験的に考察した。定義された汎化誤差は学習データ数が増えるに従って小さくなっていき、データが独立な場合に類似した振る舞いを示すが、学習係数は真の分布の時間依存に強く影響を受けることが明らかとなった。 |
(英) |
A lot of learning machines used in information science, for example, mixture models, artificial neural networks, Bayesian networks, hidden Markov models and Boltzmann machines are non-identifiable and their Fisher information matrices are not positive definite. Therefore, they are not regular but singular. Recently, the learning theory for singular models was constructed under the condition that data are generated from the true distribution identically independent. However, if the training data are time-dependent, learning theory is not yet established. In this paper, we define an Ergodic generalization error for time-dependent learning and study its behavior by numerical experiments in hidden Markov models. As the result, It is clarified that the generalization error is in inverse proportion to the number of training data and the learning coefficient was strongly depends on time-dependency of the true distribution. |
キーワード |
(和) |
隠れマルコフモデル / ベイズ学習 / 学習曲線 / / / / / |
(英) |
hidden Markov models / Bayes learning / learning curve / / / / / |
文献情報 |
信学技報, vol. 108, no. 383, NC2008-86, pp. 25-30, 2009年1月. |
資料番号 |
NC2008-86 |
発行日 |
2009-01-12 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2008-86 |