講演抄録/キーワード |
講演名 |
2009-11-12 14:55
モデルフリーとモデルベース戦略の課題依存的な選択 ○船水章大(東大)・伊藤 真・銅谷賢治(沖縄科学技研基盤整備機構)・神崎亮平(東大)・高橋宏知(東大/JST) NC2009-57 |
抄録 |
(和) |
学習段階に応じた行動戦略の変化を調べるために,自由選択課題時のラットの行動が,モデルフリーとモデルベース戦略のどちらに適合するかを調べた.同課題は,20から230試行で報酬確率の切り替わる条件 (報酬変動条件) と報酬確率一定の条件 (報酬一定条件) を任意の順序で持つ.なお,報酬一定条件試行のみ,光刺激を提示した.報酬変動条件で,選択の定まっていない学習途上では,ラットの行動はモデルベースに適合した.一方,i) 報酬変動条件で,特定の選択を80 %以上行うとき,ii) 常に特定の選択をする報酬一定条件のときの両者,すなわち,学習の進んだときでは,ラットの行動はモデルフリーに適合した.これらの結果は,ラットの行動戦略は,学習段階に応じて,モデルベースからモデルフリーに切り替わることを示唆する. |
(英) |
To investigate the roles of model-free and model-based strategies in action learning, we examined how well the two behavioral strategies fitted to a choice sequence of rats performing a free-choice task which consisted of random sequence of variable-reward and fixed-reward trials. Light stimulus was presented only in fixed-reward condition. While the reward probability for each choice was fixed in fixed-reward condition, it was varied after 20 to 230 trials in variable-reward condition. The performances of model-based strategy matched the rats’ choices in variable-reward trials without a specific choice target, i.e., in the early phase of learning. On the other hand, model-free strategy performed better in i) variable-reward trials with a specific target and ii) fixed-reward trials in which rats always choose one target, i.e., in the later phase of learning. These results suggest that rats' behavioral strategy changes model-based to model-free as the learning progressed. |
キーワード |
(和) |
モデルフリー / モデルベース / 強化学習 / 隠れマルコフモデル / 意思決定 / 学習 / / |
(英) |
Model-free / Model-based / Reinforcement learning / Hidden Markov model / Decision making / Learning / / |
文献情報 |
信学技報, vol. 109, no. 280, NC2009-57, pp. 41-46, 2009年11月. |
資料番号 |
NC2009-57 |
発行日 |
2009-11-05 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2009-57 |