| 講演名 | 2006-03-16 不確実な報酬の予測に対するドーパミン細胞活動の解析 高橋 大樹, 伊藤 秀昭, 澤 繁美, 中村 清彦, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 機械学習の一つである強化学習は条件付けのモデルとして提案された計算モデルである。中脳のドーパミン細胞活動が強化学習における時間差分予測誤差を表現しているという報告がされている。また、近年、確率的に報酬が与えられる場合、不確実さを表すドーパミン細胞活動が示された。本研究の目的はこの不確実さの活動を計算モデルを用いて再現する事である。大脳基底核の計算モデルとして強化学習を仮定し、正の時間差分予測誤差より負の時間差分予測誤差を重視して学習を行う事で不確実さを表す活動を再現する事ができることを示す。また、このモデルが人間の行動特性であるプロスペクト理論の一部をも再現できる事を示す。 |
| 抄録(英) | Reinforcement learning is one of the machine learning, and is proposed as a computational model of conditioning. It was reported that activity of dopamine neurons in midbrain may encode temporal difference error in reinforcement learning. Recently, electrophysiology research has shown that dopamine neurons respond to uncertain reward. We study the activity of dopamine neurons responding to uncertain reward with computational model. Reinforcement learning is suggested to be implemented with basal ganglia. We show that the activity is reproduced by an asymmetric learning in which the negative prediction error is assumed to be more important than the positive prediction error. Furthermore, this model partially reproduces Prospect Theory which explains the economical features of human behavior. |
| キーワード(和) | ドーパミン / プロスペクト理論 / TD学習 |
| キーワード(英) | dopamine / Prospect Theory / TD learning |
| 資料番号 | NC2005-129 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2006/3/9(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 不確実な報酬の予測に対するドーパミン細胞活動の解析 |
| サブタイトル（和） | |
| タイトル（英） | Analysis on activity of dopamine neurons encoding prediction of uncertain reward |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ドーパミン / dopamine |
| キーワード(2)（和/英） | プロスペクト理論 / Prospect Theory |
| キーワード(3)（和/英） | TD学習 / TD learning |
| 第 1 著者 氏名（和/英） | 高橋 大樹 / Hiroki TAKAHASHI |
| 第 1 著者 所属（和/英） | 東京工業大学 大学院総合理工学研究科 知能システム科学専攻 Interdiscip. Grad. Sch., Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 伊藤 秀昭 / Hideaki ITOH |
| 第 2 著者 所属（和/英） | 東京工業大学 大学院総合理工学研究科 知能システム科学専攻 Interdiscip. Grad. Sch., Tokyo Institute of Technology |
| 第 3 著者 氏名（和/英） | 澤 繁美 / Shigemi SAWA |
| 第 3 著者 所属（和/英） | 東京工業大学 大学院総合理工学研究科 知能システム科学専攻 Interdiscip. Grad. Sch., Tokyo Institute of Technology |
| 第 4 著者 氏名（和/英） | 中村 清彦 / Kiyohiko NAKAMURA |
| 第 4 著者 所属（和/英） | 東京工業大学 大学院総合理工学研究科 知能システム科学専攻 Interdiscip. Grad. Sch., Tokyo Institute of Technology |
| 発表年月日 | 2006-03-16 |
| 資料番号 | NC2005-129 |
| 巻番号（vol） | vol.105 |
| 号番号（no） | 658 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |