お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2009-11-12 14:55
モデルフリーとモデルベース戦略の課題依存的な選択
船水章大東大)・伊藤 真銅谷賢治沖縄科学技研基盤整備機構)・神崎亮平東大)・高橋宏知東大/JSTNC2009-57
抄録 (和) 学習段階に応じた行動戦略の変化を調べるために,自由選択課題時のラットの行動が,モデルフリーとモデルベース戦略のどちらに適合するかを調べた.同課題は,20から230試行で報酬確率の切り替わる条件 (報酬変動条件) と報酬確率一定の条件 (報酬一定条件) を任意の順序で持つ.なお,報酬一定条件試行のみ,光刺激を提示した.報酬変動条件で,選択の定まっていない学習途上では,ラットの行動はモデルベースに適合した.一方,i) 報酬変動条件で,特定の選択を80 %以上行うとき,ii) 常に特定の選択をする報酬一定条件のときの両者,すなわち,学習の進んだときでは,ラットの行動はモデルフリーに適合した.これらの結果は,ラットの行動戦略は,学習段階に応じて,モデルベースからモデルフリーに切り替わることを示唆する. 
(英) To investigate the roles of model-free and model-based strategies in action learning, we examined how well the two behavioral strategies fitted to a choice sequence of rats performing a free-choice task which consisted of random sequence of variable-reward and fixed-reward trials. Light stimulus was presented only in fixed-reward condition. While the reward probability for each choice was fixed in fixed-reward condition, it was varied after 20 to 230 trials in variable-reward condition. The performances of model-based strategy matched the rats’ choices in variable-reward trials without a specific choice target, i.e., in the early phase of learning. On the other hand, model-free strategy performed better in i) variable-reward trials with a specific target and ii) fixed-reward trials in which rats always choose one target, i.e., in the later phase of learning. These results suggest that rats' behavioral strategy changes model-based to model-free as the learning progressed.
キーワード (和) モデルフリー / モデルベース / 強化学習 / 隠れマルコフモデル / 意思決定 / 学習 / /  
(英) Model-free / Model-based / Reinforcement learning / Hidden Markov model / Decision making / Learning / /  
文献情報 信学技報, vol. 109, no. 280, NC2009-57, pp. 41-46, 2009年11月.
資料番号 NC2009-57 
発行日 2009-11-05 (NC) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NC2009-57

研究会情報
研究会 NC MBE  
開催期間 2009-11-12 - 2009-11-13 
開催地(和) 東北大学 
開催地(英) Tohoku Univ. 
テーマ(和) BCI/BMIとその周辺,NCおよびMBE一般 
テーマ(英) BCI/BMI and related topics, NC, ME, etc. 
講演論文情報の詳細
申込み研究会 NC 
会議コード 2009-11-NC-MBE 
本文の言語 日本語 
タイトル(和) モデルフリーとモデルベース戦略の課題依存的な選択 
サブタイトル(和)  
タイトル(英) Task-dependent selection of model-free and model-based strategies 
サブタイトル(英)  
キーワード(1)(和/英) モデルフリー / Model-free  
キーワード(2)(和/英) モデルベース / Model-based  
キーワード(3)(和/英) 強化学習 / Reinforcement learning  
キーワード(4)(和/英) 隠れマルコフモデル / Hidden Markov model  
キーワード(5)(和/英) 意思決定 / Decision making  
キーワード(6)(和/英) 学習 / Learning  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 船水 章大 / Akihiro Funamizu / フナミズ アキヒロ
第1著者 所属(和/英) 東京大学 (略称: 東大)
University of Tokyo (略称: Univ. Tokyo)
第2著者 氏名(和/英/ヨミ) 伊藤 真 / Makoto Ito / イトウ マコト
第2著者 所属(和/英) 沖縄科学技術研究基盤整備機構 (略称: 沖縄科学技研基盤整備機構)
Okinawa Institute of Science and Technology (略称: OIST)
第3著者 氏名(和/英/ヨミ) 銅谷 賢治 / Kenji Doya / ドウヤ ケンジ
第3著者 所属(和/英) 沖縄科学技術研究基盤整備機構 (略称: 沖縄科学技研基盤整備機構)
Okinawa Institute of Science and Technology (略称: OIST)
第4著者 氏名(和/英/ヨミ) 神崎 亮平 / Ryohei Kanzaki / カンザキ リョウヘイ
第4著者 所属(和/英) 東京大学 (略称: 東大)
University of Tokyo (略称: Univ. Tokyo)
第5著者 氏名(和/英/ヨミ) 高橋 宏知 / Hirokazu Takahashi / タカハシ ヒロカズ
第5著者 所属(和/英) 東京大学/科学技術振興機構 さきがけ (略称: 東大/JST)
University of Tokyo/PRESTO JST (略称: Univ. of Tokyo/PRESTO JST)
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2009-11-12 14:55:00 
発表時間 25分 
申込先研究会 NC 
資料番号 NC2009-57 
巻番号(vol) vol.109 
号番号(no) no.280 
ページ範囲 pp.41-46 
ページ数
発行日 2009-11-05 (NC) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会