| 講演名 | 2012-03-14 リカレントネットを用いた強化学習による探索行動と多値記憶の創発 柴田 克成, 後藤 健太, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 著者らは,ニューラルネットを用いた強化学習を行うことでさまざまな機能が合目的的かつ調和的に創発することを提唱してきた.本稿では,記憶を利用した決定論的な探索行動の創発に焦点を当てる.ゴールが見えない3×3のランダム迷路タスクのQ学習において,リカレントネットを導入することでエージェントは過去の経験を考慮したより適切なQ値を表現し,より適切な探索行動を学習することができること,さらに,未知の環境でもある程度有効に働くことを確認した.また,分岐位置がランダムに出現する単純な環境での学習では,最適行動実現に必ずしも必要ではないが,適切なQ値を表現するために多値の分岐位置を記憶するようになることを示した. |
| 抄録(英) | The authors have propounded that various functions emerge purposively and harmoniously through reinforcement learning with a neural network. In this paper, emergence of deterministic "exploration" behavior utilizing memory is focused on. In the simulation of 3 × 3 random maze with an invisible goal task, by introducing a recurrent neural network for Q-learning, an agent could represent more accurate Q-values considering past experiences, and learn more appropriate exploration behaviors. The acquired knowledge could be generalized in some unknown environments to some extent. It is also shown that through the learning in a simple environment with a random-located branch, the recurrent neural network memorizes and keeps the multi-valued branch position to represent accurate Q-values even though that is not required to realize the optimal path. |
| キーワード(和) | 強化学習 / リカレントニューラルネット / 探索の学習 / 記憶 / 機能創発 |
| キーワード(英) | reinforcement learning / recurrent neural network / learning of exploration / memory / function emergence |
| 資料番号 | NC2011-134 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2012/3/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | リカレントネットを用いた強化学習による探索行動と多値記憶の創発 |
| サブタイトル（和） | |
| タイトル（英） | Emergence of Exploration Behavior and Multi-valued Memory through Reinforcement Learning with a Recurrent Neural Network |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | リカレントニューラルネット / recurrent neural network |
| キーワード(3)（和/英） | 探索の学習 / learning of exploration |
| キーワード(4)（和/英） | 記憶 / memory |
| キーワード(5)（和/英） | 機能創発 / function emergence |
| 第 1 著者 氏名（和/英） | 柴田 克成 / Katsunari SHIBATA |
| 第 1 著者 所属（和/英） | 大分大学工学部電気電子工学科 Oita University |
| 第 2 著者 氏名（和/英） | 後藤 健太 / Kenta GOTO |
| 第 2 著者 所属（和/英） | 大分大学工学部電気電子工学科:(現)ナブテスコ(株) Oita University:(Present Office)Nabtesco Corporation |
| 発表年月日 | 2012-03-14 |
| 資料番号 | NC2011-134 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | 483 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |