講演抄録/キーワード |
講演名 |
2017-11-10 13:00
複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 ~ プラトー現象の再検討 ~ ○吉田雄紀(東大)・唐木田 亮(産総研)・岡田真人(東大/産総研/理研)・甘利俊一(理研) IBISML2017-83 |
抄録 |
(和) |
ニューラルネットワークの学習を困難にする要因の一つに,学習中に誤差が停滞するプラトー現象が挙げられる.
ニューラルネットワークの構造に由来する「特異領域」が
このようなプラトーの一因となることを Amari らが指摘して以降,
三層のネットワークによるプラトー周りでの学習力学の解析が様々なされてきた.
しかしながら,いずれの研究も,出力素子数が 1 個のネットワークを解析しており,
複数の出力素子をもつ場合は調べられていない.
Amari らによれば,出力素子が複数の場合には,プラトーに陥りにくくなる可能性があるという.
そこで今回,出力素子が複数の場合について,統計力学的定式化の下で,学習ダイナミクスを検討した.
三層非線形ネットワークの結合加重に関するオーダパラメータが従う微分方程式を解析的に導出し,その数値解によって,
学習の挙動を調べた.その結果,少なくともシンプルなモデルにおいて,
特異領域由来のプラトーが軽減または消失することが実際に確認された.
これは,正解データを出力するモデルが,出力素子が1個の場合と等価なモデルから離れるほど,
すなわち,非退化なモデルとなるほど,その傾向にあり,
また,最も非退化な状況である直交初期化を行った場合には,特異領域由来のプラトーが全く生じないことが,理論的に導出された. |
(英) |
The plateau phenomenon --- stopping decrease of error in the middle of learning --- is problematic.
Since Amari et al. pointed out that singular regions stemming from structure of neural network cause such plateaus,
dynamics of learning with two-layered networks has been studied intensively. However, all these researches deal
with networks which have one-dimensional output, thus two-or-more dimensional output cases are
overlooked.according to Amari et al., such networks might be unlikely to be trapped in a plateau.
In this article, we analyze the dynamics of learning with two-layer perceptron with
multidimensional output under a statistical mechanical formalization.
We derive order parameters which capture macroscopic characteristics of connection weights and
differential equations which they follow.
We show that singular-region-driven plateaus do diminish or vanish
at least in a simple setting with multidimensional output.
We found that more the model being non-degenerative (i.e. far from one-dimensional output),
the more plateaus are alleviated.
Moreover, we showed theoretically that singular-region-driven plateaus are not shown at all
in the case with orthogonalized initializations. |
キーワード |
(和) |
ニューラルネットワーク / パーセプトロン / プラトー / 統計力学 / / / / |
(英) |
Neural network / Perceptron / Plateau / Statistical Mechanics / / / / |
文献情報 |
信学技報, vol. 117, no. 293, IBISML2017-83, pp. 347-354, 2017年11月. |
資料番号 |
IBISML2017-83 |
発行日 |
2017-11-02 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2017-83 |