| 講演名 | 2024-01-25 深層強化学習における状態遷移を考慮した内発的動機付けによる探索の効率化 大鹿 海都(中部大), 板谷 英典(中部大), 平川 翼(中部大), 山下 隆義(中部大), 藤吉 弘亘(中部大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層強化学習ではエージェントと環境間の相互作用により学習データを収集するため，環境の効率的な探索は網羅的な学習データの獲得に繋がる．この課題を解決する手法として，エージェントの内発的動機付けによる探索の効率化が提案されている．観測情報の新規性を評価し未知の状態空間への探索を促すことで効率的な探索を実現する．しかし，従来の内発的動機付けは現状態のみに着目しているため，環境の時系列情報を考慮していない．そこで，環境の状態遷移に着目した内発的動機付けを提案する．Atari2600を用いた評価実験により，エージェント性能を解析することで状態遷移を考慮する有効性を示す． |
| 抄録(英) | In deep reinforcement learning, learning data is collected through the interaction between the agent and the environment, so efficient exploration of the environment leads to the acquisition of exhaustive learning data. To solve this problem, a method to improve the efficiency of exploration with intrinsic motivation of the agent has been proposed. Efficient search is achieved by evaluating the novelty of observed information and encouraging exploration into unknown state spaces. However, conventional intrinsic motivation focuses only on the current state and does not consider time series information of the environment. We propose an intrinsic motivation system that focuses on state transitions of the environment, and show the effectiveness of considering state transitions by analyzing agent performance in evaluation experiments using the Atari2600. |
| キーワード(和) | 強化学習 / 内発的動機 / 状態遷移 |
| キーワード(英) | reinforcement learning / intrinsic motivation / state transitions |
| 資料番号 | PRMU2023-42 |
| 発行日 | 2024-01-18 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / MVE / VRSJ-SIG-MR / IPSJ-CVIM |
|---|---|
| 開催期間 | 2024/1/25(から2日開催) |
| 開催地（和） | 慶應義塾大学 日吉キャンパス(来往舎) |
| 開催地（英） | Keio Univ. (Hiyoshi Campus) |
| テーマ（和） | メタバースと深層学習 |
| テーマ（英） | |
| 委員長氏名（和） | 柏野 邦夫(NTT) / 清川 清(奈良先端大) / / 日浦 慎作(兵庫県立大) |
| 委員長氏名（英） | Kunio Kashio(NTT) / Kiyoshi Kiyokawa(NAIST) / / 日浦 慎作(兵庫県立大) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 入江 豪(東京理科大) / 新井田 統(KDDI総合研究所) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Go Irie(Tokyo Univ. of Science) / Sumaru Niida(KDDI Research) |
| 幹事氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 磯山 直也(大妻女子大) / 原 豪紀(大日本印刷) / 福嶋 政期(九大) / 後藤 充裕(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Naoya Isoyama(Otsuma Women's University) / Takenori Hara(DNP) / Shogo Fukushima(Kyushu Univ.) / Mitsuhiro Goto(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事補佐氏名（和） | 下西 慶(京大) / 原 健翔(産総研) / 宍戸 英彦(創価大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) / 畑田 裕二(東大) |
| 幹事補佐氏名（英） | Kei Shimonishi(Kyoto Univ.) / Kensho Hara(AIST) / Hidehiko Shishido(Soka University) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) / Yuji Tatada(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Media Experience and Virtual Environment / SIG-MR / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層強化学習における状態遷移を考慮した内発的動機付けによる探索の効率化 |
| サブタイトル（和） | |
| タイトル（英） | Efficient exploration with intrinsic motivation considering state transitions in deep reinforcement learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | 内発的動機 / intrinsic motivation |
| キーワード(3)（和/英） | 状態遷移 / state transitions |
| 第 1 著者 氏名（和/英） | 大鹿 海都 / Kaito Ohshika |
| 第 1 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 第 2 著者 氏名（和/英） | 板谷 英典 / Hidenori Itaya |
| 第 2 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 第 3 著者 氏名（和/英） | 平川 翼 / Tsubasa Hirakawa |
| 第 3 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 第 4 著者 氏名（和/英） | 山下 隆義 / Takayoshi Yamashita |
| 第 4 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 第 5 著者 氏名（和/英） | 藤吉 弘亘 / Hironobu Fujiyoshi |
| 第 5 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 発表年月日 | 2024-01-25 |
| 資料番号 | PRMU2023-42 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-358 |
| ページ範囲 | pp.14-19(PRMU), |
| ページ数 | 6 |
| 発行日 | 2024-01-18 (PRMU) |