| 講演名 | 2002/3/11 ランク縮小写像のベイズ汎化誤差の解析 渡辺 一帆, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | ランク縮小写像は、線形写像の推定において,写像のランクが一定値以下のものから最適なものを見出そうとする学習モデルであり,高次元入力から高次元出力への推論が実質的に低次元の自由度を持つと考えられる場合などに利用されている.また3層パーセプトロンにおいて中間ユニットが線形応答を持つ場合に相当するため,階層型の神経回路網の性質を数理的に考察するためのモデルとして研究されている.一方,ランク縮小写像は,多くの神経回路網や混合正規分布と同じく,その動作からパラメータを特定することができない「特定不能な学習モデル」であり,統計モデルとしては最尤推定量が漸近正規性を持つための正則条件を満たさないため,その学習の性質は,いまだに十分には解明されていない1本論文では,ランク縮小写像のベイズ学習を考察し,代数幾何学的な方法に基づいて確率的複雑さの上限を求め,ベイズ汎化誤差の上限を考察する. |
| 抄録(英) | Reduced rank approximation corresponds to a three-layer linear neural network with reduced hidden layer size. A lot of attention is paid to the properties of it and some basic questions can sometimes be answered analytically for its linearity. However, as is the case with other layered models such as neural networks and gaussian mixtures, its true parameter is not identifiable. Therefore some problems related to learning remain unsolved. In this paper, we analyze the generalization error of the reduced rank approximation in Bayesian estimation, and figure out its upper bound using an algebraic geometrical method. |
| キーワード(和) | ランク縮小写像 / ベイズ推測 / 汎化誤差 / 代数幾何 / 特異点 |
| キーワード(英) | Reduced rank approximation / Bayesian estimation / generalization error / algebraic geometry / singularities |
| 資料番号 | NC2001-149 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2002/3/11(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ランク縮小写像のベイズ汎化誤差の解析 |
| サブタイトル（和） | |
| タイトル（英） | Bayes Generalization Errors of Reduced Rank Approximation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ランク縮小写像 / Reduced rank approximation |
| キーワード(2)（和/英） | ベイズ推測 / Bayesian estimation |
| キーワード(3)（和/英） | 汎化誤差 / generalization error |
| キーワード(4)（和/英） | 代数幾何 / algebraic geometry |
| キーワード(5)（和/英） | 特異点 / singularities |
| 第 1 著者 氏名（和/英） | 渡辺 一帆 / Kazuho WATANABE |
| 第 1 著者 所属（和/英） | 東京工業大学工学部情報工学科 Department of Computer Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumlo WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 P&I Lab., Tokyo Institute of Technology |
| 発表年月日 | 2002/3/11 |
| 資料番号 | NC2001-149 |
| 巻番号（vol） | vol.101 |
| 号番号（no） | 735 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |