| 講演名 | 2015-06-23 学習途上エージェントの挙動に基づく逆強化学習 櫻井 俊輔(京大), 大羽 成征(京大), 石井 信(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 強化学習で特定のゴールを達成するための最適方策を効率的に獲得するために，適切な報酬関数設計が重要である．同じゴールを表現していたとしても，異なる報酬関数の間では学習の収束速度が異なるからである．しかし，与えられた環境のもとで良い報酬関数を決定する系統的方法は無い．そこで，参照エージェントの挙動をもとに報酬関数を決定する。特に，本研究では，時折切り替わる環境に効率的に追従している参照エージェントの学習戦略の模倣を行うための報酬関数について考える．本研究では，徒弟学習の枠組みを拡張して学習途上エージェント（方策は最適でなく学習によって変化している途上である）の状態行動履歴データを受け入れるようにする．この拡張により，方策変化の推定に基づく逆強化学習を用いることで、発展途上である参照エージェントの報酬関数を推定できる．こうして推定した報酬関数に基いた学習を行うことで，参照エージェントの方策変化を対象エージェントにおいて模倣できる．参照エージェントが単純な２状態マルコフ決定過程を学習するプロセスをシミュレートした行動データに対して，複数の逆強化学習法を応用してそれぞれ報酬関数を求め，これに基づいて最適方策を学習させたところ、提案手法によって参照エージェントの方策変化を模倣できることを示した． |
| 抄録(英) | An appropriate design of reward function is important for reinforcement learning to efficiently obtain an optimal policy to achieve an intended goal because different reward functions for the same goal can cause different convergence speed of learning. However, there is no systematic way to determine a good reward function for any environments. How can we imitate a training strategy of a reference agent who efficiently adapts occasional changes of environment?In this study, we extend the apprenticeship learning framework to accept state-action-history data of developing agent whose policy is not optimal but changing toward optimal. By this extension, reward function is estimated by inverse reinforcement learning using the estimated change of policy of a developing reference agent, and the objective agent can imitate the policy learning process of the reference agent using the estimated reward function. We applied the proposed method to estimate reward function of a developing agent that trained at a simple 2-state Markov decision process (MDP) and showed that the process to determining optimal policy is imitated by the reward that was estimated by the proposed method. |
| キーワード(和) | 強化学習 / 逆強化学習 / 徒弟学習 / 学習過程 |
| キーワード(英) | reinforcement learning / inverse reinforcement learning / apprenticeship learning / learning process |
| 資料番号 | IBISML2015-15 |
| 発行日 | 2015-06-16 (IBISML) |
| 研究会情報 | |
| 研究会 | NC / IPSJ-BIO / IBISML / IPSJ-MPS |
|---|---|
| 開催期間 | 2015/6/23(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | 機械学習によるバイオデータマインニング、一般 |
| テーマ（英） | Machine Learning Approach to Biodata Mining, and General |
| 委員長氏名（和） | 斎藤 利通(法政大) / 関嶋 政和(東工大) / 鷲尾 隆(阪大) / 庄野 逸(電通大) |
| 委員長氏名（英） | Toshimichi Saito(Hosei Univ.) / Masakazu Sekijima(東工大) / Takashi Washio(Osaka Univ.) / Hayaru Shouno(電通大) |
| 副委員長氏名（和） | 佐藤 茂雄(東北大) / / 福水 健次(統計数理研) / 杉山 将(東工大) |
| 副委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / / Kenji Fukumizu(ISM) / Masashi Sugiyama(Tokyo Inst. of Tech.) |
| 幹事氏名（和） | 堀尾 恵一(九工大) / 田中 宏喜(京都産大) / 大羽 成征(京大) / 瀬々 潤(お茶の水女子大) / 吉本 潤一郎(OIST) / 松井 知子(統計数理研) / 大羽 成征(京大) / 小野 智司(鹿児島大) / 但馬 康宏(岡山県立大) / 林田 守広(京大) / 岩田 具治(NTT) / 吉田 哲也(北大) / 松田 健(静岡理工科大) |
| 幹事氏名（英） | Keiichi Horio(Kyushu Inst. of Tech.) / Hiroki Tanaka(Kyoto Sangyo Univ.) / Shigeyuki Oba(京大) / Jun Sese(お茶の水女子大) / Junichiro Yoshimoto(OIST) / Tomoko Matsui(ISM) / Shigeyuki Ohba(Kyoto Univ.) / Satoshi Ono(鹿児島大) / Yasuhiro Tajima(岡山県立大) / Morihiro Hayashida(京大) / Tomoharu Iwata(NTT) / Tetsuya Yoshida(北大) / Takeshi Matsuda(静岡理工科大) |
| 幹事補佐氏名（和） | 神原 裕行(東工大) / 秋間 学尚(東北大) / / 津田 宏治(東大) / 鹿島 久嗣(京大) |
| 幹事補佐氏名（英） | Hiroyuki Kanbara(Tokyo Inst. of Tech.) / Hisanao Akima(Tohoku Univ.) / / Koji Tsuda(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Special Interest Group on Bioinformatics and Genomics / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 学習途上エージェントの挙動に基づく逆強化学習 |
| サブタイトル（和） | |
| タイトル（英） | Inverse reinforcemnet learing based on behaviors of a learning agent |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | 逆強化学習 / inverse reinforcement learning |
| キーワード(3)（和/英） | 徒弟学習 / apprenticeship learning |
| キーワード(4)（和/英） | 学習過程 / learning process |
| 第 1 著者 氏名（和/英） | 櫻井 俊輔 / Shunsuke Sakurai |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 大羽 成征 / Shigeyuki Oba |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 3 著者 氏名（和/英） | 石井 信 / Shin Ishii |
| 第 3 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2015-06-23 |
| 資料番号 | IBISML2015-15 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | IBISML-112 |
| ページ範囲 | pp.95-99(IBISML), |
| ページ数 | 5 |
| 発行日 | 2015-06-16 (IBISML) |