| 講演抄録／キーワード |
| 講演名 |
2006-01-24 10:40
大規模システムのための強化学習 ～ 多変量解析に基づく状態空間の圧縮 ～
○佐藤仁樹（公立はこだて未来大） |
| 抄録 |
（和） |
本報告では，多変量解析を用いて状態空間を圧縮する方法を提案し，これを高次元連続環境における強化学習に適用する．まず，重回帰分析により，状態変数の有効な成分を抽出する．次に，主成分分析により状態空間を低次元の主成分空間に写像し，状態空間を圧縮する．さらに，主成分空間において制御関数を直交基底により展開し，関数近似を行う．これにより，環境に関する事前知識を用いることなく自律的に特徴空間を構成し，高次元状態空間における非線形制御関数を効率良く近似することができる．ロジスティック写像の同期問題により提案手法を評価し，提案手法により，外乱の影響を受けることなく高次元空間で強化学習を実行できることを示す． |
| （英） |
A state space compression method based on multivariate analysis was developed and applied to reinforcement learning for high-dimensional continuous state spaces. First, useful components in the state variables of the environment are extracted and meaningless ones are removed by using multiple regression analysis. Next, the state space of the environment is compressed by using principal component analysis so that only a few principal components can express the dynamics of the environment. Then, a basis of a feature space for function approximation of a nonlinear environment is constructed based on orthonormal bases of the important principal components. A feature space is thus autonomously construct without preliminary knowledge of the environment, and the environment is effectively expressed in the feature space. An example synchronization problem for multiple logistic maps was solved using this method, demonstrating that it solves the curse of dimensionality and exhibits high performance without suffering from disturbance states. |
| キーワード |
（和） |
多変量解析 / 強化学習 / アクタークリティック / 関数近似 / 高次元 / / / |
| （英） |
multivariate analysis / reinforcement learning / actor-critic / function approximation / high-dimensiona / / / |
| 文献情報 |
信学技報, vol. 105, no. 547, NLP2005-99, pp. 7-12, 2006年1月. |
| 資料番号 |
NLP2005-99 |
| 発行日 |
2006-01-17 (NLP) |
| ISSN |
Print edition: ISSN 0913-5685 |
| PDFダウンロード |
|