講演抄録/キーワード |
講演名 |
2009-07-13 13:00
Learning to imitate stochastic time series in a compositional way by chaos ○Jun Namikawa・Jun Tani(RIKEN) NLP2009-18 NC2009-11 |
抄録 |
(和) |
本稿では、mixture of RNN experts と呼ばれる混合回帰モデルに確率的時系列を学習させることで、複数のパターンをカオス的に切り替える振る舞いが得られることを示す。Mixture of RNN experts の学習では、各エキスパートネットワークには局所的なパターンが学習され、ゲートネットワークにはパターンの(非決定的な)切り替え規則がカオス的遷移として学習される。シミュレーション実験では、複数のリサージュ曲線を確率的に遷移するマルコフ過程について学習した場合に、モデルがカオス的力学系として教示時系列を模倣することを示す。さらに、モデルは単純に非決定過程を模倣するのみでなく、その遷移確率も模倣していることを明らかにする。 |
(英) |
This study shows that a mixture of RNN experts model can acquire the ability to generate sequences that are combination of multiple primitive patterns by means of self-organizing chaos. By training of the model, each expert learns a primitive sequence pattern, and a gating network learns to imitate stochastic switching of the multiple primitives via a chaotic dynamics, utilizing a sensitive dependence on initial conditions. As a demonstration, we present a numerical simulation in which the model learns Markov chain switching among some Lissajous curves by a chaotic dynamics. Our analysis shows that a self-organized chaotic system can reconstruct the probability of primitive switching as observed in the training data. |
キーワード |
(和) |
リカレントニューラルネットワーク / mixture of experts / 最尤推定法 / カオス / / / / |
(英) |
recurrent neural network / mixture of experts / maximum likelihood estimation / chaos / / / / |
文献情報 |
信学技報, vol. 109, no. 125, NC2009-11, pp. 25-30, 2009年7月. |
資料番号 |
NC2009-11 |
発行日 |
2009-07-06 (NLP, NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLP2009-18 NC2009-11 |