| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2009-01-19 17:25 強化メタ学習則による遅延報酬問題の解決 ○荒木尚二郎・酒井 裕（玉川大）  NC2008-95 |
|
| 抄録 | （和） | スパイクタイミング依存性シナプス可塑性(STDP)は，可塑性を引き起こす前のシナプス強度に依存し，その初期強度依存性は増強と減弱で非対称であることが知られている．この事実をそのまま解釈すると，全てのシナプスの強度はその依存性だけで決まるようなある範囲に落ち着いてしまい，入出力の履歴をほとんど反映しない，という問題が指摘されている．我々はこの問題を解決するために，シナプス増強のレベルが強化信号によって変化する強化メタ学習則を提案し，非対称な初期強度依存性を用いたまま，入力の相関を反映したシナプスパターンが獲得されることをシミュレーションで示した．ここで導入した強化信号は，動物が得た報酬に由来し，脳全体に広がることを想定している．報酬は動物が行った行動の結果として得られるものであり，その行動を生んだ神経活動は，報酬より数秒以上先行している．時間的に離れた報酬との関係をどのように神経系で強化するか，という問題は遅延報酬問題と呼ばれ，一般に解決が困難である．ここでは，我々が提案している強化メタ学習則は，1～2秒後に得られる報酬に相関のある入力が入ってきたシナプスだけ増強されることをシミュレーションで示し，遅延報酬問題も自然に解決することを示した． |
| （英） | It is known that spike-timing-dependent synaptic plasticity (STDP) epends on the initial strength of the synapse, and that the dependence is asymmetric for potentiation and depression. It is pointed out that this fact implies a problem: the destination of a synapse should be restricted in a small region detemined by the initial-strength dependence, and little reflect the input-output statistics. If it holds true, then the learning paradigm drawn by Hebb would be broken. In order to solve the problem, we proposed a meta-learning rule depending on reinforcement signals. We applied the meta-learning for STDP learning rule that possesses asymmetric initial-strength dependence, and demonstrated that a single model neuron can learn the selectivity reflecting input statistics. We assume that the reinforcement signals reflect rewards given to the animal, and spread over the whole brain. Here we demonstrate that a single model neuron can learn the selectivity reflecting inputs correlated with rewards given a few seconds after the inputs. The proposed reinforcement meta-learning can solve the distal reward problem as well as the problem in the initial-strength dependence. | |
| キーワード | （和） | STDP / ドーパミン / メタ学習則 / 遅延報酬 / / / / |
| （英） | STDP / dopamine / meta-learning rule / distal reword / / / / | |
| 文献情報 | 信学技報, vol. 108, no. 383, NC2008-95, pp. 79-83, 2009年1月. | |
| 資料番号 | NC2008-95 | |
| 発行日 | 2009-01-12 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2008-95 |
|
| 研究会情報 | |
| 研究会 | NC |
| 開催期間 | 2009-01-19 - 2009-01-20 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univ. |
| テーマ（和） | 神経ダイナミクス，一般 |
| テーマ（英） | Neural Dynamics, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2009-01-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | 強化メタ学習則による遅延報酬問題の解決 |
| サブタイトル（和） | |
| タイトル（英） | Reinforcement Meta-learning rule solves the distal reword problem |
| サブタイトル（英） | |
| キーワード(1)（和/英） | STDP / STDP |
| キーワード(2)（和/英） | ドーパミン / dopamine |
| キーワード(3)（和/英） | メタ学習則 / meta-learning rule |
| キーワード(4)（和/英） | 遅延報酬 / distal reword |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 荒木 尚二郎 / Shojiro Araki / アラキ ショウジロウ |
| 第1著者 所属（和/英） | 玉川大学 (略称： 玉川大) Tamagawa University (略称： Tamagawa Univ) |
| 第2著者 氏名（和/英/ヨミ） | 酒井 裕 / Yutaka Sakai / サカイ ユタカ |
| 第2著者 所属（和/英） | 玉川大学 (略称： 玉川大) Tamagawa Univ. Brain Scie Inst. (略称： Tamagawa Univ. Brain Scie Inst.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2009-01-19 17:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2008-95 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | no.383 |
| ページ範囲 | pp.79-83 |
| ページ数 | 5 |
| 発行日 | 2009-01-12 (NC) |
[研究会発表申込システムのトップページに戻る]