| 講演名 | 1994/10/13 多層パーセプトロンのFisher情報行列の正定値性について 福水 健次, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 統計的推定においてパラメータの推定値の漸近的挙動を記述するにはFisher情報行列が重要な役割を果たす。しかし多層パーセプトロンではFisher情報行列が特異になることがあり、その場合には、正定値性を仮定した統計的手法を適用できないことが指摘されている。本稿では、出力に関与しない中間層素子が存在せず、かつ複数の中間層素子を1個に置き換えられない場合に、そのネットワークを既約と定義し、Fisher情報行列の正定値性とネットワークの既約性が同値であることを数学的に証明する。この定理により、Fisher情報行列が正定値でない場合、冗長な中間層素子を削除していくことにより入出力写像を変化させることなく正定値なネットワークに変換できることが結論できる。 |
| 抄録(英) | It is known that the Fisher information matrix of a multi-layer perceptron can be singular at certain parameters.In such a case many statistical techniques based on asymptotic theory fail to be applied properly.In this paper we prove rigorously that the Fisher information matrix of a three-layer perceptron is positive definite if and only if the network is irreducible,i.e.if,there do not exist a hidden unit that makes no contribution to the output, and there is no pair of hidden units that could be collapsed to a single unit without altering the input-output map.This fact implies,that,if a network has a singulax Fisher information matrix, it can be reduced to a network with a positive definite Fisher Information matrix by eliminating redundant hidden units. |
| キーワード(和) | 多層パーセプトロン / フィッシャー情報行列 / 正定値性 / 既約性 / 極小性 / 複素解析 |
| キーワード(英) | Multi-layer perceptron / Fisher information matrix / Positive difiniteness / Irreducibility / Minimality / Complex analysis |
| 資料番号 | NC94-33 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1994/10/13(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 多層パーセプトロンのFisher情報行列の正定値性について |
| サブタイトル（和） | |
| タイトル（英） | An irreducible multi-layer perceptron has a positive definite Fisher information matrix |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 多層パーセプトロン / Multi-layer perceptron |
| キーワード(2)（和/英） | フィッシャー情報行列 / Fisher information matrix |
| キーワード(3)（和/英） | 正定値性 / Positive difiniteness |
| キーワード(4)（和/英） | 既約性 / Irreducibility |
| キーワード(5)（和/英） | 極小性 / Minimality |
| キーワード(6)（和/英） | 複素解析 / Complex analysis |
| 第 1 著者 氏名（和/英） | 福水 健次 / Kenji Fukumizu |
| 第 1 著者 所属（和/英） | リコー Ricoh |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio Watanabe |
| 第 2 著者 所属（和/英） | リコー Ricoh |
| 発表年月日 | 1994/10/13 |
| 資料番号 | NC94-33 |
| 巻番号（vol） | vol.94 |
| 号番号（no） | 272 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |