| 講演名 | 2023-03-15 スパース化DenseNetにおけるNode Fusionの提案 種田 祥吾(日大), 野口 尚馬(日大), 山内 ゆかり(日大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Gao HuangらはDenseNetという深層学習モデルを提案した．この深層学習モデルは前層と後続層の連結を行うことで情報を保存，維持することで情報の損失を防ぐことに成功した。本研究ではDenseNetに対し，畳み込み部分にL1正則化を導入することで学習パラメータをスパース化し，汎化性能の向上を目指す．また，全結合層に対してもL1正則化を導入し，学習パラメータをスパース化する．この時，隠れ層のノードの前後につながる重みの二乗和が0に近づいたときノードを削除し，削除対象の重みを削除したノードに似ているノードに付加するNode Fusionを提案し，計算量の削減と精度の向上を目指す． |
| 抄録(英) | Gao Huang et al. proposed a deep learning model called DenseNet. This deep learning model successfully prevents information loss by preserving and maintaining information by concatenating the front and back layers. In this study, we introduce L1 regularization in the convolutional part of DenseNet to sparsify the learning parameters and improve the generalization performance. We also introduce L1 regularization for fully connected layers to sparsify the learning parameters. In addition, we propose Node Fusion to sparsify units in fully connected layers. First, the node in the hidden layer with the smallest sum of squares of weights connected to the previous and next layers is targeted for deletion. Delete the node after fusing the weight to a node with high similarity to the node to be deleted. We aim to reduce computation and improve accuracy by Node Fusion. |
| キーワード(和) | DenseNet / スパース / L1正則化 / Node Fusion |
| キーワード(英) | DenseNet / Sparse / L1-Regularization / Node Fusion |
| 資料番号 | NC2022-110 |
| 発行日 | 2023-03-06 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2023/3/13(から3日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | The Univ. of Electro-Communications |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain architecture, General |
| 委員長氏名（和） | 山川 宏(東大) / 堀 潤一(新潟大) |
| 委員長氏名（英） | Hiroshi Yamakawa(Univ of Tokyo) / Junichi Hori(Niigata Univ.) |
| 副委員長氏名（和） | 田中 宏和(東京都市大学) / 吉田 久(近畿大) |
| 副委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Hisashi Yoshida(Kinki Univ.) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 西田 知史(NICT) / 奥野 竜平(摂南大) / 辛島 彰洋(東北工大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Satoshi Nishida(NICT) / Ryuhei Okuno(Setsunan Univ) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 栗川 知己(関西医科大) / 湯田 恵美(東北大) / 金子 美樹(阪大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Tomoki Kurikawa(KMU) / Emi Yuda(Tohoku Univ) / Miki Kaneko(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | スパース化DenseNetにおけるNode Fusionの提案 |
| サブタイトル（和） | |
| タイトル（英） | Proposal of Node Fusion in Sparse DenseNet |
| サブタイトル（和） | |
| キーワード(1)（和/英） | DenseNet / DenseNet |
| キーワード(2)（和/英） | スパース / Sparse |
| キーワード(3)（和/英） | L1正則化 / L1-Regularization |
| キーワード(4)（和/英） | Node Fusion / Node Fusion |
| 第 1 著者 氏名（和/英） | 種田 祥吾 / Shogo Taneda |
| 第 1 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 第 2 著者 氏名（和/英） | 野口 尚馬 / Shoma Noguchi |
| 第 2 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 第 3 著者 氏名（和/英） | 山内 ゆかり / Yukari Yamauchi |
| 第 3 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 発表年月日 | 2023-03-15 |
| 資料番号 | NC2022-110 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NC-425 |
| ページ範囲 | pp.105-108(NC), |
| ページ数 | 4 |
| 発行日 | 2023-03-06 (NC) |