| 講演名 | 1997/3/18 Mixture of Experts を用いたリカレントネットワークによる時系列処理 田伏 未来, 木ノ内 誠, 萩原 将文, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 本論文では時系列処理が可能なリカレント構造をもつ混合エキスパートモデル(Mixture of Experts:ME)、Jordan型 ME(JME)を提案する。提案モデルでは時系列処理を可能にするため出力を入力の一部(文脈層)にフィードバックするJordanネットワークの構造をMEに付加している。Jordanネットワークでは一つであった文脈層を、必要とする過去の履歴情報を任意に設定できるように複数個に拡張している。提案モデルは従来法に比べ学習回数が大幅に減少している。時系列処理が可能な従来型リカレントニューラルネットワークの学習の多くは誤差逆伝播(Back-Propagation:BP)法を基本としていたため学習回数が非常に多いという問題点があった。提案法に用いるMEは学習対象となる複雑な問題を単純な問題に分割して考えるモジュール化アプローチを導入したモデルである。MEでは非常に高速なExpectation and Maximization(EM)アルゴリズムによって学習を行うことができる。計算機シミュレーションにおいて学習回数の点で従来法に比べ学習の高速性が確認された。 |
| 抄録(英) | In this paper, we propose a Mixture of Experts with recurrent connections for improved temporal processing. The proposed network has recurrent connections from the output layer to the context layer as Jordan network. The context layer is expanded to a number of sublayers so that the necessary information for sequence processing can be held for longer time. Most of the learning algorithms for the conventional recurrent networks are based on the Back-Propagation algorithm so that the number of epochs required for convergence tends to increase. The Mixture of Experts used in the proposed network employs a modular approach. Trained with the Expectation-Maximization(EM)algorithm, the Mixture of Experts performs very fast convergence especially in the initial steps. The proposed network can also use the EM algorithm so that faster convergence is expected. We have examined the ability of the proposed network by some computer simulations. It is shown that the proposed network is faster than the conventional ones in point of number of epochs required for convergence. |
| キーワード(和) | 時系列処理 / 混合エキスパートモデル / リカレントネットワーク / EMアルゴリズム |
| キーワード(英) | Time Series Processing / Mixture of Experts / Recurrent Neural Network / EM algorithm |
| 資料番号 | NC96-168 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1997/3/18(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Mixture of Experts を用いたリカレントネットワークによる時系列処理 |
| サブタイトル（和） | |
| タイトル（英） | Recurrent Neural Network using Mixture of Experts for time series processing |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 時系列処理 / Time Series Processing |
| キーワード(2)（和/英） | 混合エキスパートモデル / Mixture of Experts |
| キーワード(3)（和/英） | リカレントネットワーク / Recurrent Neural Network |
| キーワード(4)（和/英） | EMアルゴリズム / EM algorithm |
| 第 1 著者 氏名（和/英） | 田伏 未来 / Mirai TABUSE |
| 第 1 著者 所属（和/英） | 慶應義塾大学 理工学部 電気工学科 Department of Electrical Engineering, Faculty of Science and Technology, Keio University |
| 第 2 著者 氏名（和/英） | 木ノ内 誠 / Makoto KINOUCHI |
| 第 2 著者 所属（和/英） | 慶應義塾大学 理工学部 電気工学科 Department of Electrical Engineering, Faculty of Science and Technology, Keio University |
| 第 3 著者 氏名（和/英） | 萩原 将文 / Masafumi HAGIWARA |
| 第 3 著者 所属（和/英） | 慶應義塾大学 理工学部 電気工学科 Department of Electrical Engineering, Faculty of Science and Technology, Keio University |
| 発表年月日 | 1997/3/18 |
| 資料番号 | NC96-168 |
| 巻番号（vol） | vol.96 |
| 号番号（no） | 584 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |