| 講演名 | 2022-01-21 単純なReLUネットワークにおけるフィッシャー情報行列の近似的な固有値分解 武石 啓成(九大), 飯田 昌澄(九大), 竹内 純一(九大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ReLU活性化関数をもつ隠れ層1層のネットワークのFisher情報行列(FIM)の性質を議論する．入力の次元を$d$，中間層のノード数を$p$，出力の次元を1とし，入力から中間層への重みを行列$W in Re^{dtimes p}$，中間層から出力への重みをベクトル$v$で表し，$v$のFIMを$I$とする．$W$はバイアス項を含まないとし，各成分は，平均0，分散$1/p$の正規分布から独立に生成したとする．$p > d^2$かつ$d$が小さくないとき，次のことが高確率で近似的に成立する．1)固有値分布に，3つの主要なクラスタがある．2)$I$はReLUの採用により非負行列となるため，第一固有値はPerron-Frobenius固有値．3)次に大きいクラスタに対応する固有空間は$W$の行ベクトルを基底とする．．4)その次に大きい固有値群の固有空間と第1固有値の固有空間の直和は，$W$の行ベクトルの対のアダマール積を基底とする． |
| 抄録(英) | We argue the Fisher information matrix (FIM) of one hidden layer networks with the ReLU activation function. Let $W$ denote the $d times p$ weight matrix from the $d$-dimensional input to the inner layer consisting of $p$ neurons, and $v$ the $p$-dimensional weight vector from the inner layer to the scalar output. We focus on the FIM of $v$, which we denote as $I$. Then, under certain conditions, the following approximately holds. 1) There are three major clusters in the eigenvalue distribution. 2) Since $I$ is non-negative owing to the ReLU, the first eigenvalue is the Perron-Frobenius eigenvalue. 3) For the cluster of the next maximum values, the eigenspace is spanned by the row vectors of $W$. 4) For the third cluster of the eigenvalues, the direct sum of the eigenspace of the cluster and the eigenspace of the first eigenvalue is spanned by the set of each Hadamard product of a pair of row vectors of $W$. |
| キーワード(和) | 機械学習 / ニューラルネットワーク / フィッシャー情報量 |
| キーワード(英) | machine learning / neural networks / Fisher information |
| 資料番号 | IT2021-68,SIP2021-76,RCS2021-236 |
| 発行日 | 2022-01-13 (IT, SIP, RCS) |
| 研究会情報 | |
| 研究会 | RCS / SIP / IT |
|---|---|
| 開催期間 | 2022/1/20(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 無線通信のための信号処理，学習，数理，情報理論および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 岡本 英二(名工大) / 坂東 幸浩(NTT) / 和田山 正(名工大) |
| 委員長氏名（英） | Eiji Okamoto(Nagoya Inst. of Tech.) / Yukihiro Bandou(NTT) / Tadashi Wadayama(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 西村 寿彦(北大) / 旦代 智哉(東芝) / 児島 史秀(NICT) / 田中 聡久(東京農工大) / 仲地 孝之(琉球大学) / 小嶋 徹也(東京高専) |
| 副委員長氏名（英） | Toshihiko Nishimura(Hokkaido Univ.) / Tomoya Tandai(Toshiba) / Fumihide Kojima(NICT) / Toshihisa Tanaka(Tokyo Univ. Agri.&Tech.) / Takayuki Nakachi(Ryukyu Univ.) / Tetsuya Kojima(Tokyo Kosen) |
| 幹事氏名（和） | 村岡 一志(NEC) / 山本 哲矢(パナソニック) / 杉本 憲治郎(Xiaomi) / 渡辺 修(拓殖大) / 田中 雄一(東京農工大) / 松田 哲直(埼玉大) / 野崎 隆之(山口大) |
| 幹事氏名（英） | Kazushi Muraoka(NEC) / Tetsuya Yamamoto(Panasonic) / Kenjiro Sugimoto(Xiaomi) / Osamu Watanabe(Takushoku Univ.) / Yuichi Tanaka(Tokyo Univ. Agri.&Tech.) / Tetsunao Matsuta(Saitamai Univ.) / Takayuki Nozaki(Yamaguchi Univ.) |
| 幹事補佐氏名（和） | 安達 宏一(電通大) / 中村 理(シャープ) / 酒井 学(三菱電機) / 岩渕 匡史(NTT) / 奥山 達樹(NTTドコモ) / 吉田 太一(電通大) / 京地 清介(北九州市立大) / 廣友 雅徳(佐賀大) |
| 幹事補佐氏名（英） | Koichi Adachi(Univ. of Electro-Comm.) / Osamu Nakamura(Sharp) / Manabu Sakai(Mitsubishi Electric) / Masashi Iwabuchi(NTT) / Tatsuki Okuyama(NTT DOCOMO) / Taichi Yoshida(UEC) / Seisuke Kyochi(Univ. of Kitakyushu) / Masanori Hirotomo(Saga Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Radio Communication Systems / Technical Committee on Signal Processing / Technical Committee on Information Theory |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | 単純なReLUネットワークにおけるフィッシャー情報行列の近似的な固有値分解 |
| サブタイトル（和） | |
| タイトル（英） | Approximate Eigenvalue Decomposition of Fisher Information Matrix for Simple ReLU Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械学習 / machine learning |
| キーワード(2)（和/英） | ニューラルネットワーク / neural networks |
| キーワード(3)（和/英） | フィッシャー情報量 / Fisher information |
| 第 1 著者 氏名（和/英） | 武石 啓成 / Yoshinari Takeishi |
| 第 1 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 2 著者 氏名（和/英） | 飯田 昌澄 / Masazumi Iida |
| 第 2 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 3 著者 氏名（和/英） | 竹内 純一 / Jun'ichi Takeuchi |
| 第 3 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 発表年月日 | 2022-01-21 |
| 資料番号 | IT2021-68,SIP2021-76,RCS2021-236 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | IT-327,SIP-328,RCS-329 |
| ページ範囲 | pp.225-230(IT), pp.225-230(SIP), pp.225-230(RCS), |
| ページ数 | 6 |
| 発行日 | 2022-01-13 (IT, SIP, RCS) |