| 講演名 | 2007-12-22 Adaptive Importance Sampling with Automatic Model Selection in Value Function Approximation , |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | Off-policy reinforcement learning is aimed at efficiently reusing data samples gathered in the past. A common approach is to use importance sampling techniques for compensating for the bias caused by the difference between data-collecting policies and the target policy. However, existing off-policy methods do not often take the variance of value function estimators explicitly into account and therefore their performance tends to be unstable. To cope with this problem, we propose using an adaptive importance sampling technique which allows us to actively control the trade-off between bias and variance. We further provide a method for optimally determining the trade-off parameter based on a statistical machine learning theory. |
| キーワード(和) | |
| キーワード(英) | Off-policy Reinforcement learning / Value function approximation / Importance sampling |
| 資料番号 | NC2007-84 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2007/12/15(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Adaptive Importance Sampling with Automatic Model Selection in Value Function Approximation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / Off-policy Reinforcement learning |
| 第 1 著者 氏名（和/英） | / Hirotaka HACHIYA |
| 第 1 著者 所属（和/英） | Department of Computer Science, Tokyo Institute of Technology |
| 発表年月日 | 2007-12-22 |
| 資料番号 | NC2007-84 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | 410 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |