| 講演名 | 2017-03-07 正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法 村田 智也(東工大), 鈴木 大慈(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives. |
| 抄録(英) | We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives. |
| キーワード(和) | 凸最適化 / 経験誤差最小化 / 確率的最適化 / 分散縮小 / 二重加速 / ミニバッチ法 |
| キーワード(英) | convex optimizaition / empirical risk minimization / stochastic optimization / variance reduction / double acceleration / mini-batch method |
| 資料番号 | IBISML2016-106 |
| 発行日 | 2017-02-27 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2017/3/6(から2日開催) |
| 開催地（和） | 東京工業大学 |
| 開催地（英） | Tokyo Institute of Technology |
| テーマ（和） | 統計数理，機械学習，データマイニング，一般 |
| テーマ（英） | Statistical Mathematics, Machine Learning, Data Mining, etc. |
| 委員長氏名（和） | 福水 健次(統計数理研) |
| 委員長氏名（英） | Kenji Fukumizu(ISM) |
| 副委員長氏名（和） | 杉山 将(東大) / 鹿島 久嗣(京大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 幹事氏名（和） | 津田 宏治(東大) / 竹内 一郎(名工大) |
| 幹事氏名（英） | Koji Tsuda(Univ. of Tokyo) / Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事補佐氏名（英） | Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | 正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法 |
| サブタイトル（和） | |
| タイトル（英） | Doubly Accelerated Stochastic Variance Reduced Gradient Method for Regularized Empirical Risk Minimization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 凸最適化 / convex optimizaition |
| キーワード(2)（和/英） | 経験誤差最小化 / empirical risk minimization |
| キーワード(3)（和/英） | 確率的最適化 / stochastic optimization |
| キーワード(4)（和/英） | 分散縮小 / variance reduction |
| キーワード(5)（和/英） | 二重加速 / double acceleration |
| キーワード(6)（和/英） | ミニバッチ法 / mini-batch method |
| 第 1 著者 氏名（和/英） | 村田 智也 / Tomoya Murata |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 鈴木 大慈 / Taiji Suzuki |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2017-03-07 |
| 資料番号 | IBISML2016-106 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | IBISML-500 |
| ページ範囲 | pp.49-56(IBISML), |
| ページ数 | 8 |
| 発行日 | 2017-02-27 (IBISML) |