| 講演名 | 2013-11-13 交互方向乗数法を用いた確率的双対座標降下法(ポスターセッション,第16回情報論的学習理論ワークショップ) 鈴木 大慈, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 教師有り構造的正則化学習の双対問題を交互乗数法で解く際に,各更新で一つの座標方向のみを更新する確率的双対座標降下法の技法を用いた手法を提案する.提案手法を用いることにより,双対関数が陽に書きくだせないような構造的正則化問題においても確率的双対座標降下法の技法が適用できるようになる.提案手法は各更新で一サンプルのみを観測すれば良い点で確率的勾配法と似ているが,有限個のサンプルからの繰り返し観測を行うことで指数的収束を示すことが証明される. |
| 抄録(英) | We propose a new stochastic dual coordinate ascent technique that can be applied to a wide range of regularized learning problems. Our method is based on Alternating Direction Multiplier Method (ADMM) to deal with complex regularization functions such as structured regularizations. Although the original ADMM is a batch method, the proposed method offers a stochastic update rule where each iteration requires only one or few sample observations. Moreover, our method can naturally afford mini-batch update and it gives speed up of convergence. We show that, under mild assumptions, our method converges exponentially. The numerical experiments show that our method actually performs efficiently. |
| キーワード(和) | 確率的座標降下法 / 交互方向乗数法 / 指数的収束 / 構造的正則化 |
| キーワード(英) | Stochastic Dual Coordinate Ascent / Alternating Direction Multiplier Method / Exponential Convergence / Structured Sparsity |
| 資料番号 | IBISML2013-63 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2013/11/5(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 交互方向乗数法を用いた確率的双対座標降下法(ポスターセッション,第16回情報論的学習理論ワークショップ) |
| サブタイトル（和） | |
| タイトル（英） | Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 確率的座標降下法 / Stochastic Dual Coordinate Ascent |
| キーワード(2)（和/英） | 交互方向乗数法 / Alternating Direction Multiplier Method |
| キーワード(3)（和/英） | 指数的収束 / Exponential Convergence |
| キーワード(4)（和/英） | 構造的正則化 / Structured Sparsity |
| 第 1 著者 氏名（和/英） | 鈴木 大慈 / Taiji SUZUKI |
| 第 1 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科数理・計算科学専攻 Department of Mathematical and Computing Sciences |
| 発表年月日 | 2013-11-13 |
| 資料番号 | IBISML2013-63 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | 286 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |