| 講演名 | 2020-03-06 層毎貪欲学習および各種正則化項によるクラス分類深層ネットワークのスパース化 石川 眞澄(九工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層ネットワークのナイーブな学習は逆伝播過程の勾配減衰により困難である．クラス分類課題においてはたとえば層毎の貪欲学習により学習が可能となる．ただ深層学習では学習結果がブラックボックスになるという深刻な問題点があり，これを解決するためスパースモデリングが期待されている．最も良く用いられるのは結合重みに対するL1ノルムであるが，それ以外にもさまざまな正則化項が提案されている．本稿では，データ適合度及びスパース度からなるパレート最適性の概念を正則化項の有効性の基準として用いることを提案する．計算機実験により，結合重みに対するL1ノルム及び選択的L1ノルム，隠れニューロン出力に対するL1ノルム，L2ノルム及びこれらの選択的適用がデータ適合度及びスパース度の観点から有効である一方，有効性に乏しい正則化項も存在することを示した．また，データ適合度及びスパース度の観点から階層数の異なるネットワークの有効性比較が可能であることを示した． |
| 抄録(英) | Training of deep networks is difficult due to vanishing gradients. To overcome this difficulty, layer-wise greedy learning is available in classification tasks. Deep learning has a serious drawback in that the resulting models tend to be a black box. A sparse modeling approach is expected to ameliorate the drawback. Various regularization terms are proposed so far, the most popular one being L1-norm to connection weights. The paper proposes to use the concept of Pareto optimality composed of data fitting and the sparseness of models as a yardstick for judging the effectiveness of regularization terms. It clarifies that L1-norm to connection weights and hidden outputs, L2 norm to hidden outputs, and their selective applications are effective regularization terms. On the other hand, off-diagonal covariance and KL divergence turned out to be not effective. The proposal also contributes to compare the effectiveness of networks with different number of layers. |
| キーワード(和) | 貪欲学習 / 深層学習 / スパースモデリング / 正則化 / クラス分類 |
| キーワード(英) | greedy learning / deep learning / sparse modeling / regularization / classification |
| 資料番号 | NC2019-116 |
| 発行日 | 2020-02-26 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2020/3/4(から3日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | University of Electro Communications |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 委員長氏名（和） | 庄野 逸(電通大) / 野村 泰伸(阪大) |
| 委員長氏名（英） | Hayaru Shouno(UEC) / Taishin Nomura(Osaka Univ.) |
| 副委員長氏名（和） | 鮫島 和行(玉川大) / 渡邊 高志(東北大) |
| 副委員長氏名（英） | Kazuyuki Samejima(Tamagawa Univ) / Takashi Watanabe(Tohoku Univ.) |
| 幹事氏名（和） | 吉本 潤一郎(奈良先端大) / 安部川 直稔(NTT) / 伊良皆 啓治(九大) |
| 幹事氏名（英） | Junichiro Yoshimoto(NAIST) / Naotoshi Abekawa(NTT) / Keiji Iramina(Kyushu Univ.) |
| 幹事補佐氏名（和） | 篠崎 隆志(NICT) / 瀧山 健(東京農工大) / 鈴木 康之(阪大) / 辛島 彰洋(東北工大) |
| 幹事補佐氏名（英） | Takashi Shinozaki(NICT) / Ken Takiyama(TUAT) / Yasuyuki Suzuki(Osaka Univ.) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 層毎貪欲学習および各種正則化項によるクラス分類深層ネットワークのスパース化 |
| サブタイトル（和） | |
| タイトル（英） | Sparse modeling of deep classification networks with layer-wise greedy learning and various regularization terms |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 貪欲学習 / greedy learning |
| キーワード(2)（和/英） | 深層学習 / deep learning |
| キーワード(3)（和/英） | スパースモデリング / sparse modeling |
| キーワード(4)（和/英） | 正則化 / regularization |
| キーワード(5)（和/英） | クラス分類 / classification |
| 第 1 著者 氏名（和/英） | 石川 眞澄 / Masumi Ishikawa |
| 第 1 著者 所属（和/英） | 九州工業大学(略称：九工大) Kyushu Institute of Technology(略称：Kyutech) |
| 発表年月日 | 2020-03-06 |
| 資料番号 | NC2019-116 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | NC-453 |
| ページ範囲 | pp.231-236(NC), |
| ページ数 | 6 |
| 発行日 | 2020-02-26 (NC) |