電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2017-03-07 10:30
正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法
村田智也鈴木大慈東工大
技報オンラインサービス実施中
抄録 (和) We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives. 
(英) We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives.
キーワード (和) 凸最適化 / 経験誤差最小化 / 確率的最適化 / 分散縮小 / 二重加速 / ミニバッチ法 / /  
(英) convex optimizaition / empirical risk minimization / stochastic optimization / variance reduction / double acceleration / mini-batch method / /  
文献情報 信学技報, vol. 116, no. 500, IBISML2016-106, pp. 49-56, 2017年3月.
資料番号 IBISML2016-106 
発行日 2017-02-27 (IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 IBISML  
開催期間 2017-03-06 - 2017-03-07 
開催地(和) 東京工業大学 
開催地(英) Tokyo Institute of Technology 
テーマ(和) 統計数理,機械学習,データマイニング,一般 
テーマ(英) Statistical Mathematics, Machine Learning, Data Mining, etc. 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2017-03-IBISML 
本文の言語 英語(日本語タイトルあり) 
タイトル(和) 正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法 
サブタイトル(和)  
タイトル(英) Doubly Accelerated Stochastic Variance Reduced Gradient Method for Regularized Empirical Risk Minimization 
サブタイトル(英)  
キーワード(1)(和/英) 凸最適化 / convex optimizaition  
キーワード(2)(和/英) 経験誤差最小化 / empirical risk minimization  
キーワード(3)(和/英) 確率的最適化 / stochastic optimization  
キーワード(4)(和/英) 分散縮小 / variance reduction  
キーワード(5)(和/英) 二重加速 / double acceleration  
キーワード(6)(和/英) ミニバッチ法 / mini-batch method  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 村田 智也 / Tomoya Murata / ムラタ トモヤ
第1著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第2著者 氏名(和/英/ヨミ) 鈴木 大慈 / Taiji Suzuki / スズキ タイジ
第2著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2017-03-07 10:30:00 
発表時間 30 
申込先研究会 IBISML 
資料番号 IEICE-IBISML2016-106 
巻番号(vol) IEICE-116 
号番号(no) no.500 
ページ範囲 pp.49-56 
ページ数 IEICE-8 
発行日 IEICE-IBISML-2017-02-27 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会