| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2015-06-23 16:35 学習途上エージェントの挙動に基づく逆強化学習 ○櫻井俊輔・大羽成征・石井 信（京大）  IBISML2015-15 |
|
| 抄録 | （和） | 強化学習で特定のゴールを達成するための最適方策を効率的に獲得するために，適切な報酬関数設計が重要である． 同じゴールを表現していたとしても，異なる報酬関数の間では学習の収束速度が異なるからである． しかし，与えられた環境のもとで良い報酬関数を決定する系統的方法は無い． そこで，参照エージェントの挙動をもとに報酬関数を決定する。 特に，本研究では，時折切り替わる環境に効率的に追従している参照エージェントの学習戦略の模倣を行うための報酬関数について考える． 本研究では，徒弟学習の枠組みを拡張して学習途上エージェント（方策は最適でなく学習によって変化している途上である）の状態行動履歴データを受け入れるようにする． この拡張により，方策変化の推定に基づく逆強化学習を用いることで、発展途上である参照エージェントの報酬関数を推定できる． こうして推定した報酬関数に基いた学習を行うことで，参照エージェントの方策変化を対象エージェントにおいて模倣できる． 参照エージェントが単純な２状態マルコフ決定過程を学習するプロセスをシミュレートした行動データに対して，複数の逆強化学習法を応用してそれぞれ報酬関数を求め，これに基づいて最適方策を学習させたところ、提案手法によって参照エージェントの方策変化を模倣できることを示した． |
| （英） | An appropriate design of reward function is important for reinforcement learning to efficiently obtain an optimal policy to achieve an intended goal because different reward functions for the same goal can cause different convergence speed of learning. However, there is no systematic way to determine a good reward function for any environments. How can we imitate a training strategy of a reference agent who efficiently adapts occasional changes of environment? In this study, we extend the apprenticeship learning framework to accept state-action-history data of developing agent whose policy is not optimal but changing toward optimal. By this extension, reward function is estimated by inverse reinforcement learning using the estimated change of policy of a developing reference agent, and the objective agent can imitate the policy learning process of the reference agent using the estimated reward function. We applied the proposed method to estimate reward function of a developing agent that trained at a simple 2-state Markov decision process (MDP) and showed that the process to determining optimal policy is imitated by the reward that was estimated by the proposed method. |
|
| キーワード | （和） | 強化学習 / 逆強化学習 / 徒弟学習 / 学習過程 / / / / |
| （英） | reinforcement learning / inverse reinforcement learning / apprenticeship learning / learning process / / / / | |
| 文献情報 | 信学技報, vol. 115, no. 112, IBISML2015-15, pp. 95-99, 2015年6月. | |
| 資料番号 | IBISML2015-15 | |
| 発行日 | 2015-06-16 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2015-15 |
|
| 研究会情報 | |
| 研究会 | NC IPSJ-BIO IBISML IPSJ-MPS |
| 開催期間 | 2015-06-23 - 2015-06-25 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | 機械学習によるバイオデータマインニング、一般 |
| テーマ（英） | Machine Learning Approach to Biodata Mining, and General |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2015-06-NC-BIO-IBISML-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | 学習途上エージェントの挙動に基づく逆強化学習 |
| サブタイトル（和） | |
| タイトル（英） | Inverse reinforcemnet learing based on behaviors of a learning agent |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | 逆強化学習 / inverse reinforcement learning |
| キーワード(3)（和/英） | 徒弟学習 / apprenticeship learning |
| キーワード(4)（和/英） | 学習過程 / learning process |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 櫻井 俊輔 / Shunsuke Sakurai / サクライ シュンスケ |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 大羽 成征 / Shigeyuki Oba / オオバ シゲユキ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 石井 信 / Shin Ishii / |
| 第3著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2015-06-23 16:35:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2015-15 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | no.112 |
| ページ範囲 | pp.95-99 |
| ページ数 | 5 |
| 発行日 | 2015-06-16 (IBISML) |
[研究会発表申込システムのトップページに戻る]