| 講演名 | 2012-12-12 遷移した状態の集約によって適切なShaping報酬を提示する強化学習(一般) 岡 晋之介, 村越 一支, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Shapingの概念が取り入れられた強化学習は,容易な行動から複雑な行動へと誘導的にShaping報酬という強化信号を与えることで,学習の収束を早める手法である.Grzes and Kudenko(2010)は複数の状態を一つの状態に集約させることでShaping報酬を求める手法を提案した.しかしこの手法は,状態の位置的な隣接関係を利用して状態集約を行っており,遷移的に遠く価値が大きく異なる状態を集約してしまう可能性がある.この問題点を改善するため,本研究ではエージェントが遷移した経路によって状態集約を行う手法を提案する.この改善により迷路問題でのシミュレーション実験において,従来手法と比べ本手法が学習効果をより高められる適切なShaping報酬を提示できていることを確認した. |
| 抄録(英) | Reinforcement learning adapting the idea of "Shaping" is a method to speed up the learning process by giving additional shaping reward that leads an agent from simple to complicated actions. Grzes and Kudenko(2010) proposed the online learning of shaping rewards by aggregating some states in the environment to one abstract state. Their method, however, used a position of the state in the state space to aggregate some states. This has a possibility that could aggregate some states which are far different from their values. In order to address that question, we propose a learning method which aggregates states the learning agent transported. We showed higher effectiveness of learning in a maze problem of our method than one in the conventional method. |
| キーワード(和) | 強化学習 / Shaping報酬 / 状態集約 |
| キーワード(英) | reinforcement learning / shaping reward / state aggregation |
| 資料番号 | NC2012-74 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2012/12/5(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 遷移した状態の集約によって適切なShaping報酬を提示する強化学習(一般) |
| サブタイトル（和） | |
| タイトル（英） | Appropriate shaping rewards in reinforcement learning by aggregating transported states |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | Shaping報酬 / shaping reward |
| キーワード(3)（和/英） | 状態集約 / state aggregation |
| 第 1 著者 氏名（和/英） | 岡 晋之介 / Shinnosuke Oka |
| 第 1 著者 所属（和/英） | 豊橋技術科学大学 Toyohashi University of Technology |
| 第 2 著者 氏名（和/英） | 村越 一支 / Kazushi Murakoshi |
| 第 2 著者 所属（和/英） | 豊橋技術科学大学 Toyohashi University of Technology |
| 発表年月日 | 2012-12-12 |
| 資料番号 | NC2012-74 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 345 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |