| 講演名 | 2007-12-22 交差検証誤差逆伝播法によるランク縮小 関野 正志, 新田 克己, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では,交差検証法(Cross-Validation)に基づく汎化誤差の推定量を最小化するように学習する,ニユーラルネットの学習法を提案する.線形ニューラルネットに適用した結果,通常の誤差逆伝播法やEarly-Stopping,ベイズ推定よりも良い近似性能を示したこと,真の関数のランクが小さいときに,大きなランクの学習モデルによって小さなランクの学習モデルと同様の学習結果が得られたこと,通常の誤差逆伝播法において観察される学習の停滞が提案手法においても観察されたこと,真の関数がほぼ識別不能な場合にも良好な推定性能が得られたことを報告する. |
| 抄録(英) | In this paper, we propose cross-validated backpropagation for training neural networks. The experimental results show that the average generalization error of the proposed method is smaller than those of the ordinal backpropagation, early-stopping and Bayes estimation, that the proposed method gives the same results as those by large rank models and small rank models when the rank of the true function is small, that the plateau of the learning, which is observed, when the backpropagation is applied, , is also observed when the proposed method is applied, and that the proposed method also gives good approximation performance when the true function is almost unidentifiable. |
| キーワード(和) | ニューラルネット / 誤差逆伝播法 / 過学習 / 交差検証法 / 縮小ランク回帰 |
| キーワード(英) | Neural Network / Backpropagation / Overfitting / Cross-Validation / Reduced Rank Regression |
| 資料番号 | NC2007-76 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2007/12/15(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 交差検証誤差逆伝播法によるランク縮小 |
| サブタイトル（和） | |
| タイトル（英） | Rank Reduction by Cross-Validated Backpropagation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネット / Neural Network |
| キーワード(2)（和/英） | 誤差逆伝播法 / Backpropagation |
| キーワード(3)（和/英） | 過学習 / Overfitting |
| キーワード(4)（和/英） | 交差検証法 / Cross-Validation |
| キーワード(5)（和/英） | 縮小ランク回帰 / Reduced Rank Regression |
| 第 1 著者 氏名（和/英） | 関野 正志 / Masashi SEKINO |
| 第 1 著者 所属（和/英） | |
| 第 2 著者 氏名（和/英） | 新田 克己 / Katsumi NITTA |
| 第 2 著者 所属（和/英） | 東京工業大学大学院総合理工学研究科 Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology |
| 発表年月日 | 2007-12-22 |
| 資料番号 | NC2007-76 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | 410 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |