| 講演名 | 2010-06-14 2次損失サポートベクトルマシンの非線形正則化パスに関する一考察(一般講演(学習の理論),機械学習とその応用) 烏山 昌幸, 竹内 一郎, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | サポートベクトルマシン(SVM)はモデルの複雑さを調節する正則化パラメータを持つが,最適な正則化パラメータを設定するには様々な値に対して学習を行い,汎化性能を比較する必要がある.正則化パスアルゴリズムはSVMの解が正則化パラメータに対して区分線形に変化する性質を利用して,正則化パラメータを変化させた時に効率よく解の変化を追跡する.しかし,SVMにおいて2次の損失関数を用いた場合には区分線形性が失われ,従来の正則化パスアルゴリズムを適用することはできない.本稿では,2次損失SVMの解の軌跡が有理関数と呼ばれる形の非線形関数で表わされることを利用して,精度と効率に優れた変化点検出アルゴリズムを提案し,非線形パス追跡が可能であることを示す. |
| 抄録(英) | Regularization path algorithm has been proposed for model selection problem of Support Vector Machine (SVM). The algorithm explores the entire path of solutions w.r.t. the regularization parameter by exploiting piecewise linearity of the solutions. However, if we use a quadratic loss function in the SVM, the solutions are no longer piecewise linear w.r.t. the regularization parameter. In this paper, we propose nonlinear regularization path for the SVM with the quadratic loss functions. We use a rational approximation approach to find an event point which is the change point of the solution path. We demonstrate this approach has some advantages in terms of the efficiency and the accuracy of the path following algorithm. Experimental results show that our algorithm traces the regularization path faster than the naive grid search approach using state-of-the-art SVM solver. |
| キーワード(和) | サポートベクトルマシン / 正則化パス / 有理近似 |
| キーワード(英) | Support vector Machines / regularization path / rational approximation |
| 資料番号 | IBISML2010-6 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2010/6/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 2次損失サポートベクトルマシンの非線形正則化パスに関する一考察(一般講演(学習の理論),機械学習とその応用) |
| サブタイトル（和） | |
| タイトル（英） | A Study on the Exact Nonlinear Regularization Path for L2 Loss Support Vector Machines |
| サブタイトル（和） | |
| キーワード(1)（和/英） | サポートベクトルマシン / Support vector Machines |
| キーワード(2)（和/英） | 正則化パス / regularization path |
| キーワード(3)（和/英） | 有理近似 / rational approximation |
| 第 1 著者 氏名（和/英） | 烏山 昌幸 / Masayuki KARASUYAMA |
| 第 1 著者 所属（和/英） | 名古屋工業大学 Department of Engineering, Nagoya Institute of Technology |
| 第 2 著者 氏名（和/英） | 竹内 一郎 / Ichiro TAKEUCHI |
| 第 2 著者 所属（和/英） | 名古屋工業大学 Department of Engineering, Nagoya Institute of Technology |
| 発表年月日 | 2010-06-14 |
| 資料番号 | IBISML2010-6 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 76 |
| ページ範囲 | pp.- |
| ページ数 | 9 |
| 発行日 | |