| 講演名 | 2020-12-02 マルコフ決定過程問題における学習期間の行動のベイズ決定理論に基づく最適化 一條 尚希(早大), 中原 悠太(早大), 本村 勇人(早大), 松嶋 敏泰(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 遷移確率未知のマルコフ決定過程 (MDP) 問題においては学習と報酬獲得を両立する必要がある.これに 対して，期間を学習期間と制御期間に分割して行動選択を行う手法がある.本研究では，遷移確率未知の期間を分割した MDP を用いて学習期間の遷移サンプル収集の問題を考える.その上で，学習期間の行動選択の目的を「 御期間の割引総報酬のベイズ規準での最大化」と定めて解を導出する. そして，学習期間の長さについて指数オー ダーである解の計算量を減らす近似アルゴリズムを提案する. |
| 抄録(英) | In Markov decision process(MDP) problems with an unknown transition probability, a learning agent has to learn the unknown information and get rewards at the same time. One way to deal with this difficulty is to separate the period of the MDP into two parts; the learning period and the earning period. In this paper, we consider a decision problem of sampling actions to learn the unknown information in the learning period of the divided MDP. Our purpose is formulated as a maximization of the total discounted reward based on the Bayes decision theory. We derive a theoretical solution for it. However, its computational complexity is on the exponential order with respect to the length of the learning period. Therefore, we propose two approximation algorithms to reduce computational complexity. |
| キーワード(和) | マルコフ決定過程 / 動的計画法 / 価値反復法 / 強化学習 / ベイズ決定理論 |
| キーワード(英) | Markov decision process / Dynamic Programming / Policy iteration / Reinforcement learning / Bayes decision theory |
| 資料番号 | IT2020-31 |
| 発行日 | 2020-11-24 (IT) |
| 研究会情報 | |
| 研究会 | IT |
|---|---|
| 開催期間 | 2020/12/1(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 若手研究者のための講演会，一般 |
| テーマ（英） | Lectures for Young Researchers, General |
| 委員長氏名（和） | 和田山 正(名工大) |
| 委員長氏名（英） | Tadashi Wadayama(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 小嶋 徹也(東京高専) |
| 副委員長氏名（英） | Tetsuya Kojima(Tokyo Kosen) |
| 幹事氏名（和） | 野崎 隆之(山口大) / 廣友 雅徳(佐賀大) |
| 幹事氏名（英） | Takayuki Nozaki(Yamaguchi Univ.) / Masanori Hirotomo(Saga Univ.) |
| 幹事補佐氏名（和） | 太田 隆博(専修大) |
| 幹事補佐氏名（英） | Takahiro Ohta(Senshu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Information Theory |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | マルコフ決定過程問題における学習期間の行動のベイズ決定理論に基づく最適化 |
| サブタイトル（和） | |
| タイトル（英） | Policy Optimization Based on Bayesian Decision Theory in Learning Period on Markov Decision Process |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マルコフ決定過程 / Markov decision process |
| キーワード(2)（和/英） | 動的計画法 / Dynamic Programming |
| キーワード(3)（和/英） | 価値反復法 / Policy iteration |
| キーワード(4)（和/英） | 強化学習 / Reinforcement learning |
| キーワード(5)（和/英） | ベイズ決定理論 / Bayes decision theory |
| 第 1 著者 氏名（和/英） | 一條 尚希 / Naoki Ichijo |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 中原 悠太 / Yuta Nakahara |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | 本村 勇人 / Yuto Motomura |
| 第 3 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 4 著者 氏名（和/英） | 松嶋 敏泰 / Toshiyasu Matsushima |
| 第 4 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2020-12-02 |
| 資料番号 | IT2020-31 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | IT-268 |
| ページ範囲 | pp.38-43(IT), |
| ページ数 | 6 |
| 発行日 | 2020-11-24 (IT) |