| 講演名 | 2005/3/23 訓練入力とテスト入力が異なる確率分布に従う場合の汎化誤差推定 杉山 将, ミュラー クラウス・ロバート, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 教師付き学習では, 訓練入力とテスト入力が同じ確率分布に従うと仮定することが多い.しかし, 内挿, 外挿, 能動学習などでは, この仮定が満たされない.このような状況下では, 交差確認法などの標準的な汎化誤差推定法はバイアスを持ってしまい, 適切にモデル選択を行うことができない.そこで本論文では, 訓練入力とテスト入力の分布が異なる場合にうまく対応できる汎化誤差推定法を提案する.提案する汎化誤差推定量は, 学習したい真の関数がモデルに含まれる場合には不偏性を持ち, 一般には漸近的不偏性を持つ.外挿問題の計算機実験により, 提案する汎化誤差推定量を用いたモデル選択は, 交差確認法によるモデル選択よりも優れていることを示す. |
| 抄録(英) | A common assumption in supervised learning is that the training and test input points follow the same probability distribution. However, this assumption is not fulfilled, e.g., in interpolation, extrapolation, or active learning scenarios. The violation of this assumption-known as the covariate shift-causes a heavy bias in standard generalization error estimation schemes such as cross-validation, and thus they result in poor model selection. In this paper, we therefore propose an alternative estimator of the generalization error. Under the covariate shift, the proposed generalization error estimator is exactly unbiased with finite samples if the learning target function is in the model at hand, and it is asymptotically unbiased in general. We experimentally show that model selection with the proposed generalization error estimator is compared favorably to cross-validation in extrapolation. |
| キーワード(和) | 線形回帰 / 汎化誤差 / モデル選択 / 共変量シフト / 標本選択バイアス / 内挿 / 外挿 / 能動学習 |
| キーワード(英) | linear regression / generalization error / model selection / covariate shift / sample selection bias / interpolation / extrapolation / active learning |
| 資料番号 | NC2004-215 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2005/3/23(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 訓練入力とテスト入力が異なる確率分布に従う場合の汎化誤差推定 |
| サブタイトル（和） | |
| タイトル（英） | Generalization Error Estimation When Training and Test Input Points Follow Different Probability Distributions |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 線形回帰 / linear regression |
| キーワード(2)（和/英） | 汎化誤差 / generalization error |
| キーワード(3)（和/英） | モデル選択 / model selection |
| キーワード(4)（和/英） | 共変量シフト / covariate shift |
| キーワード(5)（和/英） | 標本選択バイアス / sample selection bias |
| キーワード(6)（和/英） | 内挿 / interpolation |
| キーワード(7)（和/英） | 外挿 / extrapolation |
| キーワード(8)（和/英） | 能動学習 / active learning |
| 第 1 著者 氏名（和/英） | 杉山 将 / Masashi SUGIYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学 Department of Computer Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | ミュラー クラウス・ロバート / Klaus Robert MULLER |
| 第 2 著者 所属（和/英） | フラウンホーファー研究所FIRST.IDA:ポツダム大学 Fraunhofer FIRST.IDA:Department of Computer Science, University of Potsdam |
| 発表年月日 | 2005/3/23 |
| 資料番号 | NC2004-215 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 760 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |