| 講演名 | 2017-03-06 積分表現とKernel HerdingによるNeural Networkの学習 松原 拓央(早大), 園田 翔(早大), 村田 昇(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Neural Networkによる関数近似問題において, 近似誤差がパラメータ数$ n $に対して$ mathcal{O}(frac{1}{n}) $で収束する学習アルゴリズムを提案する. まず, Neural Networkの積分表現を再生核理論の観点で再定式化し, 再生核積分表現を導入する. そして, 再生核積分表現にkernel herdingを適用することで, Neural Networkの学習法を提案する. Kernel herding と組み合わせることで, これまで得られていた収束レート $ mathcal{O}(frac{1}{sqrt{n}}) $よりも速い収束レート $ mathcal{O}(frac{1}{n}) $が達成される. |
| 抄録(英) | A new learning algorithm for neural networks that converges at $mathcal{O}(frac{1}{n})$ with respect to model complexity $n$ is proposed. First, we derive an RKHS (reproducing kernel Hilbert space) version of the integral representation of neural networks. Then, combined with kernel herding, we propose a new learning algorithm for neural networks. Numerical experiments supported the theoretical analysis that our method converges at $mathcal{O}(frac{1}{n})$, which is faster than known rate, $mathcal{O}(frac{1}{sqrt{n}})$. |
| キーワード(和) | Neural Network / 積分表現 / 再生核ヒルベルト空間 / Kernel Herding / 収束レート |
| キーワード(英) | Neural Network / Integral Representation / RKHS / Kernel Herding / Convergence rate |
| 資料番号 | IBISML2016-103 |
| 発行日 | 2017-02-27 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2017/3/6(から2日開催) |
| 開催地（和） | 東京工業大学 |
| 開催地（英） | Tokyo Institute of Technology |
| テーマ（和） | 統計数理，機械学習，データマイニング，一般 |
| テーマ（英） | Statistical Mathematics, Machine Learning, Data Mining, etc. |
| 委員長氏名（和） | 福水 健次(統計数理研) |
| 委員長氏名（英） | Kenji Fukumizu(ISM) |
| 副委員長氏名（和） | 杉山 将(東大) / 鹿島 久嗣(京大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 幹事氏名（和） | 津田 宏治(東大) / 竹内 一郎(名工大) |
| 幹事氏名（英） | Koji Tsuda(Univ. of Tokyo) / Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事補佐氏名（英） | Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 積分表現とKernel HerdingによるNeural Networkの学習 |
| サブタイトル（和） | |
| タイトル（英） | New Lerning Algorythm of Neural Network using Integral Representation and Kernel Herding |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Neural Network / Neural Network |
| キーワード(2)（和/英） | 積分表現 / Integral Representation |
| キーワード(3)（和/英） | 再生核ヒルベルト空間 / RKHS |
| キーワード(4)（和/英） | Kernel Herding / Kernel Herding |
| キーワード(5)（和/英） | 収束レート / Convergence rate |
| 第 1 著者 氏名（和/英） | 松原 拓央 / Takuo Matsubara |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 園田 翔 / Sho Sonoda |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | 村田 昇 / Noboru Murata |
| 第 3 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2017-03-06 |
| 資料番号 | IBISML2016-103 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | IBISML-500 |
| ページ範囲 | pp.25-31(IBISML), |
| ページ数 | 7 |
| 発行日 | 2017-02-27 (IBISML) |