| 講演名 | 2002/3/11 無限次元仮説空間における正則化パラメータの決定法 杉山 将, Muller Klaus-Robert, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | カーネル回帰における正則化パラメータの決定法について論じる.これまでに,subspcce information criterion(SIC)と呼ばれる規準が提案され,正則化パラメータを適切に決定できることが示された.SICは,学習対象の関数が再生核ヒルベルト空間Hに属し,カーネル回帰モデルがH全体を張る場合に,有限サンプルに対して汎化誤差の不偏推定量となる.これらの条件が成立する時,dim H≦M(M(<∽)はサンプル数)となるため,これまでSICは有限次元の再生核ヒルベルト空間Hにしか適用できなかった.本論文ではSICの適用範囲を拡張し,カーネル回帰モデルがH全体を張らない場合でも,SICが汎化誤差の本質的な部分の不偏推定量となることを示す.この拡張により,dim H>Mとなる場合もSICが適用できるようになり,無限次元の再生核ヒルベルト空間Hも扱うことができるようになる,更に,カーネル行列が正則な場合はSICが簡単な形で表現でき,非常に効率良く計算できることを示す.最後に,拡張したSICによって正則化パラメータが適切に決定できることを,人工データと実データを用いた計算機実験で示す. |
| 抄録(英) | We discuss the problem of determining ridge parameter in the context of kernel regression. Previously, a generalization error estimator called the subspace information criterion (SIC) was proposed, that could be successfully applied to determining the ridge parameter. SIC is an unbiased estimator of the generalization error for the finite sample case under the conditions that the learning target function belongs to a specified reproducing kernel Hubert space (RKHS) H and the kernel regression model spans the whole space H. These conditions hold only if dim H ≦ M where M (<∽) is the number of training samples. Therefore, SIC could be applied only to finite dimensional RKHSs. In this paper, we extend the range of applicability of SIC, and show that even if the kernel regression model does not span the whole space H, SIC is an unbiased estimator of an essential part of the generalization error. Our extension allows us to make use of any RKHSs including infinite dimensional ones. We further show that when the kernel matrix is invertible, SIC can be expressed in a much simpler form, making its computation highly efficient. Finally, we show by computer simulations with real and artificial data sets that the extended SIC works well in ridge parameter selection. |
| キーワード(和) | 汎化誤差 / モデル選択 / subspace information criterion / カーネル回帰 / 再生核ヒルベルト空間 / 交差確認法 |
| キーワード(英) | generalization error / model selection / subspace information criterion / kernel regression / reproducing kernel Hubert space / cross-validation |
| 資料番号 | NC2001-135 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2002/3/11(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 無限次元仮説空間における正則化パラメータの決定法 |
| サブタイトル（和） | |
| タイトル（英） | Ridge Parameter Determination in Infinite Dimensional Hypothesis Spaces |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 汎化誤差 / generalization error |
| キーワード(2)（和/英） | モデル選択 / model selection |
| キーワード(3)（和/英） | subspace information criterion / subspace information criterion |
| キーワード(4)（和/英） | カーネル回帰 / kernel regression |
| キーワード(5)（和/英） | 再生核ヒルベルト空間 / reproducing kernel Hubert space |
| キーワード(6)（和/英） | 交差確認法 / cross-validation |
| 第 1 著者 氏名（和/英） | 杉山 将 / Masashi SUGIYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科 計算工学専攻 Department of Computer Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | Muller Klaus-Robert / Klaus-Robert MULLER |
| 第 2 著者 所属（和/英） | Fraunhofer FIRST,IDA:Department of Computer Science, University of Potsdam Fraunhofer FIRST, IDA:Department of Computer Science,University of Potsudam |
| 発表年月日 | 2002/3/11 |
| 資料番号 | NC2001-135 |
| 巻番号（vol） | vol.101 |
| 号番号（no） | 735 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |