講演名 2006-03-16
不確実な報酬の予測に対するドーパミン細胞活動の解析
高橋 大樹, 伊藤 秀昭, 澤 繁美, 中村 清彦,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 機械学習の一つである強化学習は条件付けのモデルとして提案された計算モデルである。中脳のドーパミン細胞活動が強化学習における時間差分予測誤差を表現しているという報告がされている。また、近年、確率的に報酬が与えられる場合、不確実さを表すドーパミン細胞活動が示された。本研究の目的はこの不確実さの活動を計算モデルを用いて再現する事である。大脳基底核の計算モデルとして強化学習を仮定し、正の時間差分予測誤差より負の時間差分予測誤差を重視して学習を行う事で不確実さを表す活動を再現する事ができることを示す。また、このモデルが人間の行動特性であるプロスペクト理論の一部をも再現できる事を示す。
抄録(英) Reinforcement learning is one of the machine learning, and is proposed as a computational model of conditioning. It was reported that activity of dopamine neurons in midbrain may encode temporal difference error in reinforcement learning. Recently, electrophysiology research has shown that dopamine neurons respond to uncertain reward. We study the activity of dopamine neurons responding to uncertain reward with computational model. Reinforcement learning is suggested to be implemented with basal ganglia. We show that the activity is reproduced by an asymmetric learning in which the negative prediction error is assumed to be more important than the positive prediction error. Furthermore, this model partially reproduces Prospect Theory which explains the economical features of human behavior.
キーワード(和) ドーパミン / プロスペクト理論 / TD学習
キーワード(英) dopamine / Prospect Theory / TD learning
資料番号 NC2005-129
発行日

研究会情報
研究会 NC
開催期間 2006/3/9(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Neurocomputing (NC)
本文の言語 JPN
タイトル(和) 不確実な報酬の予測に対するドーパミン細胞活動の解析
サブタイトル(和)
タイトル(英) Analysis on activity of dopamine neurons encoding prediction of uncertain reward
サブタイトル(和)
キーワード(1)(和/英) ドーパミン / dopamine
キーワード(2)(和/英) プロスペクト理論 / Prospect Theory
キーワード(3)(和/英) TD学習 / TD learning
第 1 著者 氏名(和/英) 高橋 大樹 / Hiroki TAKAHASHI
第 1 著者 所属(和/英) 東京工業大学 大学院総合理工学研究科 知能システム科学専攻
Interdiscip. Grad. Sch., Tokyo Institute of Technology
第 2 著者 氏名(和/英) 伊藤 秀昭 / Hideaki ITOH
第 2 著者 所属(和/英) 東京工業大学 大学院総合理工学研究科 知能システム科学専攻
Interdiscip. Grad. Sch., Tokyo Institute of Technology
第 3 著者 氏名(和/英) 澤 繁美 / Shigemi SAWA
第 3 著者 所属(和/英) 東京工業大学 大学院総合理工学研究科 知能システム科学専攻
Interdiscip. Grad. Sch., Tokyo Institute of Technology
第 4 著者 氏名(和/英) 中村 清彦 / Kiyohiko NAKAMURA
第 4 著者 所属(和/英) 東京工業大学 大学院総合理工学研究科 知能システム科学専攻
Interdiscip. Grad. Sch., Tokyo Institute of Technology
発表年月日 2006-03-16
資料番号 NC2005-129
巻番号(vol) vol.105
号番号(no) 658
ページ範囲 pp.-
ページ数 6
発行日