| 講演名 | 1999/3/18 正規雑音に対する学習誤差の期待値と入力が確定的な場合の汎化誤差の期待値について 萩原 克幸, 臼井 支朗, 久野 和宏, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 階層型ニューラルネットのモデル選択においては、ネットワークの族が真の関数を含み最小でない場合に、Fisher情報行列が縮退し, 学習誤差の期待値と汎化誤差の期待値の関係を漸近展開により導けないことが知られている。こうした問題に対して, これまでに, ネットワークのFisher情報行列が縮退するようなデータとして, 正規雑音のみを仮定し, Radial Basis FunctionやBell型の出力関数をもつ素子を中間層に配置した3層階層型ニューラルネットに対して, 任意の入力確率分布の下での学習誤差の期待値の上界が導かれている。本稿では, この結果をネットワークに関して一般化するとともに, 入力が確定的な場合について, 汎化誤差の期待値の下界を導く。 |
| 抄録(英) | In the model selection problem of layered neural nets, it is known that when the true target function is in a family of networks and the family is not minimal, the relationship between the expected training error and the expected generalization error can not be derived by using the well-known asymptotic expansion due to the degeneration of the Fisher information matrix. For the problem, we have been derived the upper bounds of the expected training errors of Radial Basis Function and 3-layered neural nets with bell shaped activation function in the hidden layer provided that the output data is a Gaussian noise sequence, for which the Fisher information matrix of a network degenerates. The bound is independent of the probability distribution of input data. In this article, we extend the result in terms of the types of networks and derive the lower bound of the expected generalization error provided that the input data is not stochastic. |
| キーワード(和) | モデル選択 / 最小二乗誤差規範 / 学習誤差の期待値 / 汎化誤差の期待値 |
| キーワード(英) | model selection / the squared error loss / the expected training error / the expected generalization error |
| 資料番号 | NC98-143 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1999/3/18(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 正規雑音に対する学習誤差の期待値と入力が確定的な場合の汎化誤差の期待値について |
| サブタイトル（和） | |
| タイトル（英） | The Expected Generalization Error in Case of Non-stochastic Inputs and the Expected Training Error for a Gaussian Noise Sequeuce |
| サブタイトル（和） | |
| キーワード(1)（和/英） | モデル選択 / model selection |
| キーワード(2)（和/英） | 最小二乗誤差規範 / the squared error loss |
| キーワード(3)（和/英） | 学習誤差の期待値 / the expected training error |
| キーワード(4)（和/英） | 汎化誤差の期待値 / the expected generalization error |
| 第 1 著者 氏名（和/英） | 萩原 克幸 / Katsuyuki HAGIWARA |
| 第 1 著者 所属（和/英） | 三重大学工学部物理工学科 Faculty of Physics Engineering, Mie University |
| 第 2 著者 氏名（和/英） | 臼井 支朗 / Shiro USUI |
| 第 2 著者 所属（和/英） | 豊橋技術科学大学情報工学系 Department of Information and Computer Sciences, Toyohashi University of Technology |
| 第 3 著者 氏名（和/英） | 久野 和宏 / Kazuhiro KUNO |
| 第 3 著者 所属（和/英） | 三重大学工学部物理工学科 Faculty of Physics Engineering, Mie University |
| 発表年月日 | 1999/3/18 |
| 資料番号 | NC98-143 |
| 巻番号（vol） | vol.98 |
| 号番号（no） | 673 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |