| 講演抄録／キーワード |
| 講演名 |
2006-06-16 09:40
部分観測環境での意思決定に必要な特徴空間の抽出
○藤田 肇・中村 泰・石井 信（奈良先端大） |
| 抄録 |
（和） |
本報告では，部分観測環境での意思決定に必要な特徴空間の抽出法を提案する．ここでの意思決定では，未知環境において期待累積報酬を最大化することを目的とするため，報酬の獲得に関わる確率変数上のモデルを推定することが重要である．本手法に基づく学習エージェントは，内部状態と呼ばれるマルコフの遷移過程を持った補助変数を保持する．環境から得られる報酬は，内部状態とエージェントの行動に依存すると仮定し，報酬系列に基づいて内部状態に関する確率モデルを最尤推定することにより，背後に存在する環境モデルや非観測状態を暗に推定しながら，報酬の獲得に関わる特徴空間を取り出すことができる．方策は推定された内部状態の空間で強化学習されるため，既存の枠組みと比較して学習効率が改善される．簡単な意思決定問題へ適用することにより，本手法に基づいて推定される特徴空間モデルは適切であることを確認し，獲得される方策も妥当であることを示す． |
| （英） |
We propose a feature extraction technique for decision-theoretic planning problems in partially observable stochastic domains and show a novel approach for solving them. To maximize an expected future reward in unknown environment, all the agent has to do is to estimate a Markov chain over a statistic variable related to rewards. In our approach, an auxiliary state variable whose stochastic process satisfies the Markov property, called internal state, is introduced to the model with the assumption that the rewards are dependent on a pair of an internal state and an action. The agent then estimates the dynamics of an internal state model based on the maximum likelihood inference along with acquiring its policy; the internal state model represents an essential feature necessary to decision-making. Computer simulation results show that our technique can find an appropriate feature for acquiring a good policy and achieve faster learning with fewer policy parameters than a conventional algorithm, in a reasonably sized partially observable problem. |
| キーワード |
（和） |
部分観測環境 / 意思決定問題 / 内部状態 / 最尤推定 / 特徴空間の抽出 / / / |
| （英） |
Partially observable environments / Decision-theoretic planning / Internal state / Maximum likelihood inference / Feature extraction / / / |
| 文献情報 |
信学技報, vol. 106, no. 102, NC2006-24, pp. 13-18, 2006年6月. |
| 資料番号 |
NC2006-24 |
| 発行日 |
2006-06-09 (NC) |
| ISSN |
Print edition: ISSN 0913-5685 |
| PDFダウンロード |
|