| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2014-11-18 15:00 ［ポスター講演］情報量規準WAICを用いたLASSOハイパーパラメータの最適化法 ○宮崎 大・渡辺澄夫（東工大）  IBISML2014-63 |
|
| 抄録 | （和） | LASSO(Least Absolute Shrinkage and Selection Operator) 回帰は回帰問題の罰則項としてパラメータの要素の絶対値の総和を用いる方法であり，推定されるパラメータがスパースである場合に有効であると考えられている．LASSO回帰は様々な統計的推測の問題への応用が試みられているが，罰則項の大きさの決定方法については未だに十分には確立されていない．本論文ではLASSO回帰の罰則項の決定問題をベイズ法の事前分布の最適化問題であると考え，事後分布が正規分布で近似できてもできなくても予測損失の漸近的な不偏推定を与える情報量規準 WAIC を用いて最適化する方法を提案し，その有効性を実験的に検討し，次の４点を明らかにする．(1) LASSO 回帰の平均予測損失をWAIC で推定することができる．(2) 真のパラメータがスパースであるとき，LASSO回帰は有効であり，平均予測損失を最小にするハイパーパラメータを WAIC の最小化により推測することができる．(3) 真のパラメータがスパースでないときLASSO回帰は有効ではなく，有効でないことをWAICの値を観測することで知ることができる．(4)LASSO回帰においては周辺尤度を最大にするハイパーパラメータはWAICを最小にするハイパーパラメータと同じではなく，また周辺尤度の最大化は平均予測損失の最小化と等価ではない． |
| （英） | LASSO (Least Absolute Shrinkage and Selection Operator) was proposed as a regression method using a penalty term made of the sum of absolute values of parameters, which is expected to be effective when the true parameter is sparse. However, it is not yet established how to optimize its hyperparameter. In this paper, we study LASSO from the Bayesian point of view, and propose an optimization method of the hyperparameter using the information criterion WAIC which is an asymptotic unbiased estimator of the generalization error. Experimentally, we show four points. (1) By using WAIC, the average generalization error of LASSO can be estimated. (2) If the true parameter is sparse, then LASSO is effective and the optimal hyperparameter can be found by WAIC. (3) If the true parameter is not sparse, then LASSO is not effective which can be observed by using WAIC. (4) In, LASSO, the hyperparameter which minimizes the marginal likelihood is different from the hyperparameter which minimizes WAIC and the average generalization error. | |
| キーワード | （和） | LASSO回帰 / ハイパーパラメータ / WAIC / / / / / |
| （英） | LASSO regression / Hyperparameter / WAIC / / / / / | |
| 文献情報 | 信学技報, vol. 114, no. 306, IBISML2014-63, pp. 213-218, 2014年11月. | |
| 資料番号 | IBISML2014-63 | |
| 発行日 | 2014-11-10 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2014-63 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2014-11-17 - 2014-11-19 |
| 開催地（和） | 名古屋大学 |
| 開催地（英） | Nagoya Univ. |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2014) |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2014-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 情報量規準WAICを用いたLASSOハイパーパラメータの最適化法 |
| サブタイトル（和） | |
| タイトル（英） | Optimization Method of LASSO Hyperparameter using WAIC |
| サブタイトル（英） | |
| キーワード(1)（和/英） | LASSO回帰 / LASSO regression |
| キーワード(2)（和/英） | ハイパーパラメータ / Hyperparameter |
| キーワード(3)（和/英） | WAIC / WAIC |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮崎 大 / Dai Miyazaki / ミヤザキ ダイ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2014-11-18 15:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2014-63 |
| 巻番号（vol） | vol.114 |
| 号番号（no） | no.306 |
| ページ範囲 | pp.213-218 |
| ページ数 | 6 |
| 発行日 | 2014-11-10 (IBISML) |
[研究会発表申込システムのトップページに戻る]