| 講演名 | 2020-01-09 Swish関数を用いた階層型神経回路網の実対数閾値 田中 来輝(東工大), 渡辺 澄夫(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークの学習において，活性化関数の選択は学習挙動や精度に大きく影響を与える．広く利用されている活性化関数にReLU関数があるが，近年，Google Brainのチームにより，強化学習ベースの探索と全数探索の組み合わせによって，新しい活性化関数であるSwish関数が発見された．Swish関数を用いたディープネットワークを画像分類や機械翻訳などに用いたところ，ReLU関数より良い性能を示すことが実験的に示されている．本論文では，これまで未解明であったSwish活性化関数を用いた三層ニューラルネットワークの実対数閾値を代数幾何的な方法で導出し，ベイズ推測における汎化誤差や自由エネルギーの漸近挙動を解明する． |
| 抄録(英) | In neural network learning, it is known that selection of activation function effects generalization performance. Although a ReLU function is often employed in many applications, a new Swish function was found by reinforcement learning by Google Brain team. It is experimentally shown that neural newtorks using Swith function have better performance than other activation functions in image recognition and machine translation. However, the theoretical property of Swith function has not yet been studied. In this paper, we derive the real log canonical threshold of Swith function using algebraic geomeric method, and clafiy the generalization error and the free energy in Bayesian estimation. |
| キーワード(和) | ベイズ学習 / ニューラルネットワーク / 実対数閾値 / ベイズ汎化誤差 / 自由エネルギー |
| キーワード(英) | Bayesian Learning / Neural Network / Real Log Canonical Threshold / Bayesian Generalization Error / Free Energy |
| 資料番号 | IBISML2019-19 |
| 発行日 | 2020-01-02 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2020/1/9(から2日開催) |
| 開催地（和） | 統計数理研究所 |
| 開催地（英） | ISM |
| テーマ（和） | 機械学習一般 |
| テーマ（英） | Machine learning, etc. |
| 委員長氏名（和） | 鹿島 久嗣(京大) |
| 委員長氏名（英） | Hisashi Kashima(Kyoto Univ.) |
| 副委員長氏名（和） | 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 竹内 一郎(名工大) / 神嶌 敏弘(産総研) |
| 幹事氏名（英） | Ichiro Takeuchi(Nagoya Inst. of Tech.) / Toshihiro Kamishima(AIST) |
| 幹事補佐氏名（和） | 岩田 具治(NTT) / 大羽 成征(京大) |
| 幹事補佐氏名（英） | Tomoharu Iwata(NTT) / Shigeyuki Oba(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Swish関数を用いた階層型神経回路網の実対数閾値 |
| サブタイトル（和） | |
| タイトル（英） | Real Log Canonical Threshold of Three Layered Neural Network with Swish Activation Function |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ベイズ学習 / Bayesian Learning |
| キーワード(2)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(3)（和/英） | 実対数閾値 / Real Log Canonical Threshold |
| キーワード(4)（和/英） | ベイズ汎化誤差 / Bayesian Generalization Error |
| キーワード(5)（和/英） | 自由エネルギー / Free Energy |
| 第 1 著者 氏名（和/英） | 田中 来輝 / Raiki Tanaka |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio Watanabe |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2020-01-09 |
| 資料番号 | IBISML2019-19 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | IBISML-360 |
| ページ範囲 | pp.9-15(IBISML), |
| ページ数 | 7 |
| 発行日 | 2020-01-02 (IBISML) |