電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2017-11-10 13:00
複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 ~ プラトー現象の再検討 ~
吉田雄紀東大)・唐木田 亮産総研)・岡田真人東大/産総研/理研)・甘利俊一理研
技報オンラインサービス実施中
抄録 (和) ニューラルネットワークの学習を困難にする要因の一つに,学習中に誤差が停滞するプラトー現象が挙げられる.
ニューラルネットワークの構造に由来する「特異領域」が
このようなプラトーの一因となることを Amari らが指摘して以降,
三層のネットワークによるプラトー周りでの学習力学の解析が様々なされてきた.
しかしながら,いずれの研究も,出力素子数が 1 個のネットワークを解析しており,
複数の出力素子をもつ場合は調べられていない.
Amari らによれば,出力素子が複数の場合には,プラトーに陥りにくくなる可能性があるという.
そこで今回,出力素子が複数の場合について,統計力学的定式化の下で,学習ダイナミクスを検討した.
三層非線形ネットワークの結合加重に関するオーダパラメータが従う微分方程式を解析的に導出し,その数値解によって,
学習の挙動を調べた.その結果,少なくともシンプルなモデルにおいて,
特異領域由来のプラトーが軽減または消失することが実際に確認された.
これは,正解データを出力するモデルが,出力素子が1個の場合と等価なモデルから離れるほど,
すなわち,非退化なモデルとなるほど,その傾向にあり,
また,最も非退化な状況である直交初期化を行った場合には,特異領域由来のプラトーが全く生じないことが,理論的に導出された. 
(英) The plateau phenomenon --- stopping decrease of error in the middle of learning --- is problematic.
Since Amari et al. pointed out that singular regions stemming from structure of neural network cause such plateaus,
dynamics of learning with two-layered networks has been studied intensively. However, all these researches deal
with networks which have one-dimensional output, thus two-or-more dimensional output cases are
overlooked.according to Amari et al., such networks might be unlikely to be trapped in a plateau.
In this article, we analyze the dynamics of learning with two-layer perceptron with
multidimensional output under a statistical mechanical formalization.
We derive order parameters which capture macroscopic characteristics of connection weights and
differential equations which they follow.
We show that singular-region-driven plateaus do diminish or vanish
at least in a simple setting with multidimensional output.
We found that more the model being non-degenerative (i.e. far from one-dimensional output),
the more plateaus are alleviated.
Moreover, we showed theoretically that singular-region-driven plateaus are not shown at all
in the case with orthogonalized initializations.
キーワード (和) ニューラルネットワーク / パーセプトロン / プラトー / 統計力学 / / / /  
(英) Neural network / Perceptron / Plateau / Statistical Mechanics / / / /  
文献情報 信学技報, vol. 117, no. 293, IBISML2017-83, pp. 347-354, 2017年11月.
資料番号 IBISML2017-83 
発行日 2017-11-02 (IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 IBISML  
開催期間 2017-11-08 - 2017-11-10 
開催地(和) 東京大学 
開催地(英) Univ. of Tokyo 
テーマ(和) 情報論的学習理論ワークショップ (IBIS2017) 
テーマ(英) Information-Based Induction Science Workshop (IBIS2017) 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2017-11-IBISML 
本文の言語 日本語 
タイトル(和) 複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 
サブタイトル(和) プラトー現象の再検討 
タイトル(英) Statistical Mechanical Analysis of Learning with Two-Layer Perceptron with Multiple Output Units 
サブタイトル(英) Reconsidering Plateau Phenomenon 
キーワード(1)(和/英) ニューラルネットワーク / Neural network  
キーワード(2)(和/英) パーセプトロン / Perceptron  
キーワード(3)(和/英) プラトー / Plateau  
キーワード(4)(和/英) 統計力学 / Statistical Mechanics  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ
第1著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo)
第2著者 氏名(和/英/ヨミ) 唐木田 亮 / Ryo Karakida / カラキダ リョウ
第2著者 所属(和/英) 産業総合技術研究所 (略称: 産総研)
National Institute of Advanced Industrial Science and Technology (略称: AIST)
第3著者 氏名(和/英/ヨミ) 岡田 真人 / Masato Okada / オカダ マサト
第3著者 所属(和/英) 東京大学/産業総合技術研究所/理化学研究所脳科学総合研究センター (略称: 東大/産総研/理研)
The University of Tokyo/National Institute of Advanced Industrial Science and Technology/RIKEN Brain Science Institute (略称: UTokyo/AIST/RIKEN BSI)
第4著者 氏名(和/英/ヨミ) 甘利 俊一 / Shun-ichi Amari / アマリ シュンイチ
第4著者 所属(和/英) 理化学研究所脳科学総合研究センター (略称: 理研)
RIKEN Brain Science Institute (略称: RIKEN BSI)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2017-11-10 13:00:00 
発表時間 150 
申込先研究会 IBISML 
資料番号 IEICE-IBISML2017-83 
巻番号(vol) IEICE-117 
号番号(no) no.293 
ページ範囲 pp.347-354 
ページ数 IEICE-8 
発行日 IEICE-IBISML-2017-11-02 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会