| 講演名 | 2006-06-16 部分観測環境での意思決定に必要な特徴空間の抽出(「機械学習によるバイオデータマインニング」及び「一般」) 藤田 肇, 中村 泰, 石井 信, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本報告では,部分観測環境での意思決定に必要な特徴空間の抽出法を提案する.ここでの意思決定では,未知環境において期待累積報酬を最大化することを目的とするため,報酬の獲得に関わる確率変数上のモデルを推定することが重要である.本手法に基づく学習エージェントは,内部状態と呼ばれるマルコフの遷移過程を持った補助変数を保持する.環境から得られる報酬は,内部状態とエージェントの行動に依存すると仮定し,報酬系列に基づいて内部状態に関する確率モデルを最尤推定することにより,背後に存在する環境モデルや非観測状態を暗に推定しながら,報酬の獲得に関わる特徴空間を取り出すことができる.方策は推定された内部状態の空間で強化学習されるため,既存の枠組みと比較して学習効率が改善される.簡単な意思決定問題へ適用することにより,本手法に基づいて推定される特徴空間モデルは適切であることを確認し,獲得される方策も妥当であることを示す. |
| 抄録(英) | We propose a feature extraction technique for decision-theoretic planning problems in partially observable stochastic domains and show a novel approach for solving them. To maximize an expected future reward in unknown environment, all the agent has to do is to estimate a Markov chain over a statistic variable related to rewards. In our approach, an auxiliary state variable whose stochastic process satisfies the Markov property, called internal state, is introduced to the model with the assumption that the rewards are dependent on a pair of an internal state and an action. The agent then estimates the dynamics of an internal state model based on the maximum likelihood inference along with acquiring its policy; the internal state model represents an essential feature necessary to decision-making. Computer simulation results show that our technique can find an appropriate feature for acquiring a good policy and achieve faster learning with fewer policy parameters than a conventional algorithm, in a reasonably sized partially observable problem. |
| キーワード(和) | 部分観測環境 / 意思決定問題 / 内部状態 / 最尤推定 / 特徴空間の抽出 |
| キーワード(英) | Partially observable environments / Decision-theoretic planning / Internal state / Maximum likelihood inference / Feature extraction |
| 資料番号 | NC2006-24 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2006/6/9(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 部分観測環境での意思決定に必要な特徴空間の抽出(「機械学習によるバイオデータマインニング」及び「一般」) |
| サブタイトル（和） | |
| タイトル（英） | Feature Extraction for Decision-Theoretic Planning in Partially Observable Stochastic Domains |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 部分観測環境 / Partially observable environments |
| キーワード(2)（和/英） | 意思決定問題 / Decision-theoretic planning |
| キーワード(3)（和/英） | 内部状態 / Internal state |
| キーワード(4)（和/英） | 最尤推定 / Maximum likelihood inference |
| キーワード(5)（和/英） | 特徴空間の抽出 / Feature extraction |
| 第 1 著者 氏名（和/英） | 藤田 肇 / Hajime FUJITA |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学 Nara Institute of Science and Technology |
| 第 2 著者 氏名（和/英） | 中村 泰 / Yutaka NAKAMURA |
| 第 2 著者 所属（和/英） | 奈良先端科学技術大学院大学 Nara Institute of Science and Technology |
| 第 3 著者 氏名（和/英） | 石井 信 / Shin ISHII |
| 第 3 著者 所属（和/英） | 奈良先端科学技術大学院大学 Nara Institute of Science and Technology |
| 発表年月日 | 2006-06-16 |
| 資料番号 | NC2006-24 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 102 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |