| 講演名 | 2022-03-02 積層自己符号化器学習における種々のスパース化の適用と有効性評価および情報圧縮機構の解明 石川 眞澄(九工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習によって得られたモデルがブラックボックス的であり，人が理解できないという深刻な問題点の解消のために，スパースモデリングが有効であると考えられる．本稿では米国国勢調査データ等を用いて積層自己符号化器による情報圧縮を行う際，データ適合度及びスパース度からなるパレート最適性の概念の導入によりさまざまなスパース化の有効性を定量的に評価する．スパースモデリングで最も良く用いられる結合重みに対するL1ノルムを基準にすると，結合重みに対する選択的L1ノルムの方がより有効であり，これに隠れ層出力に対する選択的L1ノルム，選択的L2ノルム，KL divergence，非対角共分散の自乗和を付加するとさらに有効度が増すことを実証した．また情報圧縮のメカニズムとして恒等写像あるいは疑似恒等写像を用いていることを実証した． |
| 抄録(英) | Deep learning has a serious drawback in that the resulting models tend to be a black box, hence hard to understand. A sparse modeling approach is expected to ameliorate the drawback. Various regularization terms are proposed so far. The paper proposes to use the concept of Pareto optimality composed of data fitting and the sparseness of models for judging the effectiveness of regularization terms using DB such as US census data. We have demonstrated that compared to the most popular L1-norm to connection weights, the selective L1-norm to connection weights is more effective, the selective L1 norm or L2 norm to hidden outputs and KL divergence or off-diagonal squared covariance of hidden outputs are yet more effective. This enables the clarification of information compression mechanism of the resulting stacked autoencoders. |
| キーワード(和) | 深層学習 / ブラックボックス / 積層自己符号化器 / 説明可能 / スパースモデリング / 正則化項 |
| キーワード(英) | Deep learning / Black-box model / Stacked autoencoder / Explainable / Sparse modeling / Regularizers |
| 資料番号 | NC2021-49 |
| 発行日 | 2022-02-23 (NC) |
| 研究会情報 | |
| 研究会 | MBE / NC |
|---|---|
| 開催期間 | 2022/3/2(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 奥野 竜平(摂南大) / 大須 理英子(早大) |
| 委員長氏名（英） | Ryuhei Okuno(Setsunan Univ.) / Rieko Osu(Waseda Univ.) |
| 副委員長氏名（和） | 堀 潤一(新潟大) / 山川 宏(東大) |
| 副委員長氏名（英） | Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 幹事氏名（和） | 中村 英夫(大阪電気通信大) / 内部 英治(ATR) / 西田 知史(NICT) |
| 幹事氏名（英） | Hideo Nakamura(Osaka Electro-Communication Univ) / Eiji Uchibe(ATR) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 赤澤 淳(明治国際医療大学) / 湯田 恵美(東北大) / 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Jun Akazawa(Meiji Univ. of Integrative Medicine) / Emi Yuda(Tohoku Univ) / Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 積層自己符号化器学習における種々のスパース化の適用と有効性評価および情報圧縮機構の解明 |
| サブタイトル（和） | |
| タイトル（英） | Learning of a stacked autoencoder with regularizers added to the cost function, evaluation of their effectiveness, and clarification of its information compression mechanism |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep learning |
| キーワード(2)（和/英） | ブラックボックス / Black-box model |
| キーワード(3)（和/英） | 積層自己符号化器 / Stacked autoencoder |
| キーワード(4)（和/英） | 説明可能 / Explainable |
| キーワード(5)（和/英） | スパースモデリング / Sparse modeling |
| キーワード(6)（和/英） | 正則化項 / Regularizers |
| 第 1 著者 氏名（和/英） | 石川 眞澄 / Masumi Ishikawa |
| 第 1 著者 所属（和/英） | 九州工業大学(略称：九工大) Kyushu Institute of Technology(略称：Kyutech) |
| 発表年月日 | 2022-03-02 |
| 資料番号 | NC2021-49 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NC-390 |
| ページ範囲 | pp.17-22(NC), |
| ページ数 | 6 |
| 発行日 | 2022-02-23 (NC) |