講演抄録/キーワード |
講演名 |
2007-06-15 09:50
Mixture of RNN experts によるルールダイナミクスの学習 ○並川 淳・谷 淳(理研) NC2007-16 |
抄録 |
(和) |
本稿では、観測時系列を適切な部分時系列に分節化し、複数の時間発展規則の組み合わせとして学習する混合回帰モデルについての新しい学習則を提案する。我々の提案する学習則は Tani and Nolfi (1991)と同じ勾配法による最尤推定であるが、前提とする尤度関数が異なる。本稿では最初に九つのリサージュ曲線を確率的に遷移するマルコフ過程を学習した場合について、従来法で学習した場合と比較する。そして従来法では学習できないような場合でも、時系列を適切に文節化し、時間発展規則を正しく推定するすることができることを示す。次に、経験誤差と汎化誤差の観点から従来法との比較を行い、これまでの方法より学習性能が改善されることを示す。 |
(英) |
This paper proposes a learning method of the ``mixture of experts'' type model, which can acquire the ability to generate desired sequences as switching functions governing change of states. Our method is similar to Tani and Nolfi (1991) in that both are maximum likelihood estimation based on gradient descent algorithm, though the likelihood function is different. We first show a numerical simulation in which the model can learn Markov chain switching nine Lissajous curves using our method. Furthermore, we numerically examine generalization and training error to compare conventional method and proposed method. The simulation results shows that our method improves learning performance of the model. |
キーワード |
(和) |
リカレントニューラルネットワーク / Mixture of Experts / 最尤推定法 / ルールダイナミクス / / / / |
(英) |
recurrent neural network / mixture of experts architecture / maximum likelihood estimation / rule dynamics / / / / |
文献情報 |
信学技報, vol. 107, no. 92, NC2007-16, pp. 47-52, 2007年6月. |
資料番号 |
NC2007-16 |
発行日 |
2007-06-07 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2007-16 |