| 講演名 | 2015-03-03 L1罰則付き線形回帰のMDLによる推定誤差上界について 豊暉原 侑心, 川喜田 雅則, 竹内 純一, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 1991年に,Barron and Coverは,MDL推定の推定誤差に関して,誤差の上界がMDL推定量に対応する二段階符号化の符号長ので与えられることを示した.このとき,モデルのパラメータを符号化するため,パラメータ空間を量子化し,可算のパラメータ空間を用いる必要がある.Chatterjee and Barronは最近この理論を拡張し,量子化を行うことなく罰則付き最尤推定の誤差上界を得る方法を提案した.本研究では,重み付L1正則化(Lassoの拡張)を例に,実際の誤差と理論による上界との差について,数値シミュレーションによる評価を行った. |
| 抄録(英) | In 1991, Barron and Cover showed for the MDL estimator that its estimation error is bounded by codelength of the corresponding two stage code to the estimator, where the parameter space must be quantized to be encoded. Recently, Chatterjee and Barron enhanced the theory for continuous parameter space and proposed a method to obtain upper bounds on its estimation error without quantization of parameters. In this work we performed numerical experiments to evaluate difference between estimation error and its upper bound for least squared regression with weighted L1 penalty. |
| キーワード(和) | MDL / Lasso / 罰則付き最尤推定 / リスク上界 |
| キーワード(英) | MDL / Lasso / penalised likelihood / risk bound |
| 資料番号 | IT2014-93,ISEC2014-106,WBS2014-85 |
| 発行日 |
| 研究会情報 | |
| 研究会 | ISEC |
|---|---|
| 開催期間 | 2015/2/23(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information Security (ISEC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | L1罰則付き線形回帰のMDLによる推定誤差上界について |
| サブタイトル（和） | |
| タイトル（英） | On Upper Bounds on Estimation Error of Least Squares Regression with L1 Penalty |
| サブタイトル（和） | |
| キーワード(1)（和/英） | MDL / MDL |
| キーワード(2)（和/英） | Lasso / Lasso |
| キーワード(3)（和/英） | 罰則付き最尤推定 / penalised likelihood |
| キーワード(4)（和/英） | リスク上界 / risk bound |
| 第 1 著者 氏名（和/英） | 豊暉原 侑心 / Yushin TOYOKIHARA |
| 第 1 著者 所属（和/英） | 九州大学工学部電気情報工学科 Department of Electrical Engineering and Computer Science, Kyushu University |
| 第 2 著者 氏名（和/英） | 川喜田 雅則 / Masanori KAWAKITA |
| 第 2 著者 所属（和/英） | 九州大学大学院システム情報科学研究院 Graduate School of Information Science and Electrical Engineering Kyushu University |
| 第 3 著者 氏名（和/英） | 竹内 純一 / Jun'ichi TAKEUCHI |
| 第 3 著者 所属（和/英） | 九州大学大学院システム情報科学研究院 Graduate School of Information Science and Electrical Engineering Kyushu University |
| 発表年月日 | 2015-03-03 |
| 資料番号 | IT2014-93,ISEC2014-106,WBS2014-85 |
| 巻番号（vol） | vol.114 |
| 号番号（no） | 471 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |