| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2007-06-15 09:00 エピソードタスクにおける方策オフ型 LSTD(λ) 法とその収束性 ○森 健・前田新一・石井 信（奈良先端大）  NC2007-14 |
|
| 抄録 | （和） | 近年提案された線形関数近似器を用いた方策オフ型 TD($\lambda$) 法は, サンプル再利用や探索$\cdot$搾取などの強化学習における重要な問題を効果的に解決する可能性があるため, 注目されている. しかしながら, サンプル系列を用いて推定した価値関数の分散は系列の長さについて指数関数的に大きくなり, 極限において発散するという問題がある. このため, 系列の長さを有限にしたエピソードタスクを仮定して分散を抑える必要があるが, 一方で TD($\lambda$) 法が収束する条件が満たされなくなり, やはり発散する可能性がある. つまり, 線形関数近似器を用いた方策オフ型 TD($\lambda$) 法では, サンプル系列の長さを有限にしても無限にしても, 収束は保証されない. 本報告では, 最小二乗法に基づく方策オフ型 LSTD($\lambda$) 法を提案し, サンプル系列の長さを有限にした場合に, 収束が保証されることを示す. 方策オフ型 TD($\lambda$) 法が発散するエピソードタスクにおいて, 提案手法が収束することをシミュレーション実験により確認した. |
| （英） | Recently-developed off-policy temporal difference (TD) learning with linear function approximation has attracted attention because of the possibility of sample reuse and dealing effectively with exploration and exploitation. However, the variance of the value function becomes exponentially large as the length of trajectory grows and hence the learning diverges. It is then necessary to truncate the length of trajectory, but the bias of such a finite horizon trajectory can be so harmful that the value function also diverges. Therefore, both in such infinite and finite horizon problems, the off-policy TD learning has no convergence guarantee. In this study, we propose an off-policy least-squares temporal difference (LSTD) learning and show the convergence in finite horizon problems. Computer simulation shows that our method converges in a finite horizon problem whereas the off-policy TD learning diverges. |
|
| キーワード | （和） | 強化学習 / 方策オフ型法 / 重点サンプリング / LSTD($\lambda$) 法 / エピソードタスク / / / |
| （英） | reinforcement learning / off-policy learning / importance sampling / least-squares temporal difference learning / finite horizon problem / / / | |
| 文献情報 | 信学技報, vol. 107, no. 92, NC2007-14, pp. 35-40, 2007年6月. | |
| 資料番号 | NC2007-14 | |
| 発行日 | 2007-06-07 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2007-14 |
|
| 研究会情報 | |
| 研究会 | NC |
| 開催期間 | 2007-06-14 - 2007-06-15 |
| 開催地（和） | 沖縄科学技術研究基盤整備機構 |
| 開催地（英） | OIST Seaside House |
| テーマ（和） | 機械学習によるバイオデータマインニング，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2007-06-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | エピソードタスクにおける方策オフ型 LSTD(λ) 法とその収束性 |
| サブタイトル（和） | |
| タイトル（英） | Off-policy least-squares temporal difference learning and its convergence guarantee in finite horizon prorblems |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | 方策オフ型法 / off-policy learning |
| キーワード(3)（和/英） | 重点サンプリング / importance sampling |
| キーワード(4)（和/英） | LSTD($\lambda$) 法 / least-squares temporal difference learning |
| キーワード(5)（和/英） | エピソードタスク / finite horizon problem |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 森 健 / Takeshi Mori / モリ タケシ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 前田 新一 / Shin-ichi Maeda / マエダ シンイチ |
| 第2著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | 石井 信 / Shin Ishii / イシイ シン |
| 第3著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2007-06-15 09:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2007-14 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | no.92 |
| ページ範囲 | pp.35-40 |
| ページ数 | 6 |
| 発行日 | 2007-06-07 (NC) |
[研究会発表申込システムのトップページに戻る]