お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2017-11-10 13:00
複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 ~ プラトー現象の再検討 ~
吉田雄紀東大)・唐木田 亮産総研)・岡田真人東大/産総研/理研)・甘利俊一理研IBISML2017-83
抄録 (和) ニューラルネットワークの学習を困難にする要因の一つに,学習中に誤差が停滞するプラトー現象が挙げられる.
ニューラルネットワークの構造に由来する「特異領域」が
このようなプラトーの一因となることを Amari らが指摘して以降,
三層のネットワークによるプラトー周りでの学習力学の解析が様々なされてきた.
しかしながら,いずれの研究も,出力素子数が 1 個のネットワークを解析しており,
複数の出力素子をもつ場合は調べられていない.
Amari らによれば,出力素子が複数の場合には,プラトーに陥りにくくなる可能性があるという.
そこで今回,出力素子が複数の場合について,統計力学的定式化の下で,学習ダイナミクスを検討した.
三層非線形ネットワークの結合加重に関するオーダパラメータが従う微分方程式を解析的に導出し,その数値解によって,
学習の挙動を調べた.その結果,少なくともシンプルなモデルにおいて,
特異領域由来のプラトーが軽減または消失することが実際に確認された.
これは,正解データを出力するモデルが,出力素子が1個の場合と等価なモデルから離れるほど,
すなわち,非退化なモデルとなるほど,その傾向にあり,
また,最も非退化な状況である直交初期化を行った場合には,特異領域由来のプラトーが全く生じないことが,理論的に導出された. 
(英) The plateau phenomenon --- stopping decrease of error in the middle of learning --- is problematic.
Since Amari et al. pointed out that singular regions stemming from structure of neural network cause such plateaus,
dynamics of learning with two-layered networks has been studied intensively. However, all these researches deal
with networks which have one-dimensional output, thus two-or-more dimensional output cases are
overlooked.according to Amari et al., such networks might be unlikely to be trapped in a plateau.
In this article, we analyze the dynamics of learning with two-layer perceptron with
multidimensional output under a statistical mechanical formalization.
We derive order parameters which capture macroscopic characteristics of connection weights and
differential equations which they follow.
We show that singular-region-driven plateaus do diminish or vanish
at least in a simple setting with multidimensional output.
We found that more the model being non-degenerative (i.e. far from one-dimensional output),
the more plateaus are alleviated.
Moreover, we showed theoretically that singular-region-driven plateaus are not shown at all
in the case with orthogonalized initializations.
キーワード (和) ニューラルネットワーク / パーセプトロン / プラトー / 統計力学 / / / /  
(英) Neural network / Perceptron / Plateau / Statistical Mechanics / / / /  
文献情報 信学技報, vol. 117, no. 293, IBISML2017-83, pp. 347-354, 2017年11月.
資料番号 IBISML2017-83 
発行日 2017-11-02 (IBISML) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード IBISML2017-83

研究会情報
研究会 IBISML  
開催期間 2017-11-08 - 2017-11-10 
開催地(和) 東京大学 
開催地(英) Univ. of Tokyo 
テーマ(和) 情報論的学習理論ワークショップ (IBIS2017) 
テーマ(英) Information-Based Induction Science Workshop (IBIS2017) 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2017-11-IBISML 
本文の言語 日本語 
タイトル(和) 複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 
サブタイトル(和) プラトー現象の再検討 
タイトル(英) Statistical Mechanical Analysis of Learning with Two-Layer Perceptron with Multiple Output Units 
サブタイトル(英) Reconsidering Plateau Phenomenon 
キーワード(1)(和/英) ニューラルネットワーク / Neural network  
キーワード(2)(和/英) パーセプトロン / Perceptron  
キーワード(3)(和/英) プラトー / Plateau  
キーワード(4)(和/英) 統計力学 / Statistical Mechanics  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ
第1著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo)
第2著者 氏名(和/英/ヨミ) 唐木田 亮 / Ryo Karakida / カラキダ リョウ
第2著者 所属(和/英) 産業総合技術研究所 (略称: 産総研)
National Institute of Advanced Industrial Science and Technology (略称: AIST)
第3著者 氏名(和/英/ヨミ) 岡田 真人 / Masato Okada / オカダ マサト
第3著者 所属(和/英) 東京大学/産業総合技術研究所/理化学研究所脳科学総合研究センター (略称: 東大/産総研/理研)
The University of Tokyo/National Institute of Advanced Industrial Science and Technology/RIKEN Brain Science Institute (略称: UTokyo/AIST/RIKEN BSI)
第4著者 氏名(和/英/ヨミ) 甘利 俊一 / Shun-ichi Amari / アマリ シュンイチ
第4著者 所属(和/英) 理化学研究所脳科学総合研究センター (略称: 理研)
RIKEN Brain Science Institute (略称: RIKEN BSI)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2017-11-10 13:00:00 
発表時間 150分 
申込先研究会 IBISML 
資料番号 IBISML2017-83 
巻番号(vol) vol.117 
号番号(no) no.293 
ページ範囲 pp.347-354 
ページ数
発行日 2017-11-02 (IBISML) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会