講演抄録/キーワード |
講演名 |
2009-03-12 16:05
不確実な報酬予測におけるドーパミン活動の計算論的モデル ○朝比奈亜貴代(奈良先端大/京大)・平山淳一郎(京大)・石井 信(京大/奈良先端大) NC2008-148 |
抄録 |
(和) |
動物にとって,不確かな環境で生存するためには,未来に与えられる報酬をできるだけ正確に予測することが重要である.霊長類の中脳にあるドーパミン作動性(DA)細胞は,報酬予測に関与し,学習や運動制御にも関わることから多くの生理学的,計算論的研究がなされている.計算論的には,DA細胞の活動は,強化学習におけるTD誤差を表現するという仮説が提案されている.しかし近年,確率的報酬課題におけるDA細胞の活動頻度が,実際の報酬を得る時刻に向けてなだらかに増加することが報告されており,これは単純なTDモデルでは一見説明できないことから,議論を呼んでいる.
本研究では,確率的報酬課題に内在する不確かさに着目し,DA細胞の予測的な活動度上昇を説明できる計算論的モデルを提案する.
計算機実験により,確率的定式化によって定義された期待誤差が,報酬待ち時刻のDA細胞の活動をより良く説明できることと,さらに単試行の結果をも再現できることを示す. |
(英) |
In order for animals to behave effectively in their surrounding
uncertain environments, it is essentially important to predict future outcomes
as accurately as possible.
Dopaminergic (DA) neurons in the primate midbrain have been known to
be involved in the brain's reward system and in many brain functions including
learning and motor control, and therefore many physiological
and computational studies have investigated the role of DA neurons.
From a computational perspective, phasic activities of DA neurons
have been considered as representing temporal difference (TD) errors, a learning signal in reinforcement learning. Recently, however, several studies have reported that, in stochastic reward tasks, the DA activities gradually increase before receiving actual rewards, which cannot be well explained by the simple TD model. In this study, we propose an alternative model based on a probabilistic formulation of the stochastic reward task to explain the predictive increase of DA activities. In simulation experiments, expectation errors defined by the probabilistic modeling, well described the gradually increasing DA activities during a wait period even in a single trial. |
キーワード |
(和) |
ドーパミン細胞 / 確率的報酬課題 / 強化学習 / TD誤差 / 不確実性 / / / |
(英) |
dopamine neurons / stochastic reward task / reinforcement learning / temporal difference errors / uncertainty / / / |
文献情報 |
信学技報, vol. 108, no. 480, NC2008-148, pp. 267-271, 2009年3月. |
資料番号 |
NC2008-148 |
発行日 |
2009-03-04 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2008-148 |