| 講演名 | 2015-06-23 MDL理論によるlassoのリスク上界 川喜田 雅則(九大), 豊暉原 侑心(九大), 竹内 純一(九大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 無作為計画線形回帰問題におけるlassoの情報理論的リスク上界を導出する．罰則付き最尤推定は二段階符号化の手続きと解釈することができて，その二段階符号の冗長度によりリスクが上から押さえられることが知られている．しかしこのテクニックを使うためにはパラメータ空間の量子化が必要であった．この量子化を避けるためにBarronらはリスク妥当性という新しい概念を導入し，固定計画線形回帰問題においてlassoの冗長度リスク上界を導出した．しかし汎化誤差を評価するためには固定計画では十分ではなく，無作為計画で議論する必要がある．無作為計画の場合にBarronらの理論を適用することは固定計画のときより遥かに難しい．そこで我々は最初の一歩として共変量が正規分布に従う場合についてlassoの冗長度リスク上界の導出を試みた．結果的に固定計画のときの上界と大きくは変わらない上界を導くことに成功した．また損失関数が確率的に二段階符号のリグ レットにより押さえられることも示した．さらに数値実験によりリグレット上 界の振る舞いも例証した． |
| 抄録(英) | We derive a risk bound of lasso in random design linear regression. Pastworks of MDL principle revealed that penalized maximum likelihood methodscan be interpreted as a two stage coding procedure and have a redundancyrisk bound. Barron et. al. derived a risk bound of lasso in fixed designlinear regression by extending those past works. To assess thegeneralization error, however, we need to consider the random designsetting, which is much more difficult. We give a risk bound (and aregret bound) of lasso in random design cases under normality ofcovariates as a first step. |
| キーワード(和) | lasso / リスク上界 / MDL原理 / 二段階符号化 |
| キーワード(英) | lasso / risk bound / MDL principle / two stage coding |
| 資料番号 | IBISML2015-16 |
| 発行日 | 2015-06-16 (IBISML) |
| 研究会情報 | |
| 研究会 | NC / IPSJ-BIO / IBISML / IPSJ-MPS |
|---|---|
| 開催期間 | 2015/6/23(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | 機械学習によるバイオデータマインニング、一般 |
| テーマ（英） | Machine Learning Approach to Biodata Mining, and General |
| 委員長氏名（和） | 斎藤 利通(法政大) / 関嶋 政和(東工大) / 鷲尾 隆(阪大) / 庄野 逸(電通大) |
| 委員長氏名（英） | Toshimichi Saito(Hosei Univ.) / Masakazu Sekijima(東工大) / Takashi Washio(Osaka Univ.) / Hayaru Shouno(電通大) |
| 副委員長氏名（和） | 佐藤 茂雄(東北大) / / 福水 健次(統計数理研) / 杉山 将(東工大) |
| 副委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / / Kenji Fukumizu(ISM) / Masashi Sugiyama(Tokyo Inst. of Tech.) |
| 幹事氏名（和） | 堀尾 恵一(九工大) / 田中 宏喜(京都産大) / 大羽 成征(京大) / 瀬々 潤(お茶の水女子大) / 吉本 潤一郎(OIST) / 松井 知子(統計数理研) / 大羽 成征(京大) / 小野 智司(鹿児島大) / 但馬 康宏(岡山県立大) / 林田 守広(京大) / 岩田 具治(NTT) / 吉田 哲也(北大) / 松田 健(静岡理工科大) |
| 幹事氏名（英） | Keiichi Horio(Kyushu Inst. of Tech.) / Hiroki Tanaka(Kyoto Sangyo Univ.) / Shigeyuki Oba(京大) / Jun Sese(お茶の水女子大) / Junichiro Yoshimoto(OIST) / Tomoko Matsui(ISM) / Shigeyuki Ohba(Kyoto Univ.) / Satoshi Ono(鹿児島大) / Yasuhiro Tajima(岡山県立大) / Morihiro Hayashida(京大) / Tomoharu Iwata(NTT) / Tetsuya Yoshida(北大) / Takeshi Matsuda(静岡理工科大) |
| 幹事補佐氏名（和） | 神原 裕行(東工大) / 秋間 学尚(東北大) / / 津田 宏治(東大) / 鹿島 久嗣(京大) |
| 幹事補佐氏名（英） | Hiroyuki Kanbara(Tokyo Inst. of Tech.) / Hisanao Akima(Tohoku Univ.) / / Koji Tsuda(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Special Interest Group on Bioinformatics and Genomics / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | MDL理論によるlassoのリスク上界 |
| サブタイトル（和） | |
| タイトル（英） | Risk Bound of Lasso Based on MDL Theory |
| サブタイトル（和） | |
| キーワード(1)（和/英） | lasso / lasso |
| キーワード(2)（和/英） | リスク上界 / risk bound |
| キーワード(3)（和/英） | MDL原理 / MDL principle |
| キーワード(4)（和/英） | 二段階符号化 / two stage coding |
| 第 1 著者 氏名（和/英） | 川喜田 雅則 / Masanori Kawakita |
| 第 1 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 2 著者 氏名（和/英） | 豊暉原 侑心 / Yushin Toyokihara |
| 第 2 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 3 著者 氏名（和/英） | 竹内 純一 / Jun'ichi Takeuchi |
| 第 3 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 発表年月日 | 2015-06-23 |
| 資料番号 | IBISML2015-16 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | IBISML-112 |
| ページ範囲 | pp.101-107(IBISML), |
| ページ数 | 7 |
| 発行日 | 2015-06-16 (IBISML) |