| 講演名 | 2009-11-12 モデルフリーとモデルベース戦略の課題依存的な選択(BCI/BMIとその周辺) 船水 章大, 伊藤 真, 銅谷 賢治, 神崎 亮平, 高橋 宏知, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 学習段階に応じた行動戦略の変化を調べるために,自由選択課題時のラットの行動が,モデルフリーとモデルベース戦略のどちらに適合するかを調べた.同課題は,20から230試行で報酬確率の切り替わる条件(報酬変動条件)と報酬確率一定の条件(報酬一定条件)を任意の順序で持つ.なお,報酬一定条件試行のみ,光刺激を提示した.報酬変動条件で,選択の定まっていない学習途上では,ラットの行動はモデルベースに適合した.一方,i)報酬変動条件で,特定の選択を80%以上行うとき,ii)常に特定の選択をする報酬一定条件のときの両者,すなわち,学習の進んだときでは,ラットの行動はモデルフリーに適合した.これらの結果は,ラットの行動戦略は,学習段階に応じて,モデルベースからモデルフリーに切り替わることを示唆する. |
| 抄録(英) | To investigate the roles of model-free and model-based strategies in action learning, we examined how well the two behavioral strategies fitted to a choice sequence of rats performing a free-choice task which consisted of random sequence of variable-reward and fixed-reward trials. Light stimulus was presented only in fixed-reward condition. While the reward probability for each choice was fixed in fixed-reward condition, it was varied after 20 to 230 trials in variable-reward condition. The performances of model-based strategy matched the rats' choices in variable-reward trials without a specific choice target, i.e., in the early phase of learning. On the other hand, model-free strategy performed better in i) variable-reward trials with a specific target and ii) fixed-reward trials in which rats always choose one target, i.e., in the later phase of learning. These results suggest that rats' behavioral strategy changes model-based to model-free as the learning progressed. |
| キーワード(和) | モデルフリー / モデルベース / 強化学習 / 隠れマルコフモデル / 意思決定 / 学習 |
| キーワード(英) | Model-free / Model-based / Reinforcement learning / Hidden Markov model / Decision making / Learning |
| 資料番号 | NC2009-57 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2009/11/5(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | モデルフリーとモデルベース戦略の課題依存的な選択(BCI/BMIとその周辺) |
| サブタイトル（和） | |
| タイトル（英） | Task-dependent selection of model-free and model-based strategies |
| サブタイトル（和） | |
| キーワード(1)（和/英） | モデルフリー / Model-free |
| キーワード(2)（和/英） | モデルベース / Model-based |
| キーワード(3)（和/英） | 強化学習 / Reinforcement learning |
| キーワード(4)（和/英） | 隠れマルコフモデル / Hidden Markov model |
| キーワード(5)（和/英） | 意思決定 / Decision making |
| キーワード(6)（和/英） | 学習 / Learning |
| 第 1 著者 氏名（和/英） | 船水 章大 / Akihiro FUNAMIZU |
| 第 1 著者 所属（和/英） | 東京大学大学院情報理工学系研究科 Graduate School of Information Science and Technology, University of Tokyo |
| 第 2 著者 氏名（和/英） | 伊藤 真 / Makoto ITO |
| 第 2 著者 所属（和/英） | 沖縄科学技術研究基盤整備機構 Okinawa Institute of Science and Technology |
| 第 3 著者 氏名（和/英） | 銅谷 賢治 / Kenji DOYA |
| 第 3 著者 所属（和/英） | 沖縄科学技術研究基盤整備機構 Okinawa Institute of Science and Technology |
| 第 4 著者 氏名（和/英） | 神崎 亮平 / Ryohei KANZAKI |
| 第 4 著者 所属（和/英） | 東京大学大学院情報理工学系研究科:東京大学先端科学技術研究センター Graduate School of Information Science and Technology, University of Tokyo:Research Center for Advanced Science and Technology, University of Tokyo |
| 第 5 著者 氏名（和/英） | 高橋 宏知 / Hirokazu TAKAHASHI |
| 第 5 著者 所属（和/英） | 東京大学大学院情報理工学系研究科:東京大学先端科学技術研究センター:科学技術振興機構さきがけ Graduate School of Information Science and Technology, University of Tokyo:Research Center for Advanced Science and Technology, University of Tokyo:PRESTO-JST |
| 発表年月日 | 2009-11-12 |
| 資料番号 | NC2009-57 |
| 巻番号（vol） | vol.109 |
| 号番号（no） | 280 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |