| 講演名 | 2019-03-05 残差スキップ接続の表現力とネットワークの設計 長瀬 准平(芝浦工大), 石渡 哲哉(芝浦工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習の研究課題の一つとしてモデルの設計がある．より良いモデルの提案は活発に行われているが，モデル設計とモデル構造の体系的理論やは未だない．本研究では，スキップ接続と呼ばれる構造を体系的に議論することを目的に，ResNetとDenseNetのスキップ接続を比較する．結果として，全結合層の正則性が両者のモデルの表現力に差異を与えることを理論的に確認し，その解析に基づいたモデルの設計を提案する． |
| 抄録(英) | Model design is one of research topics in deep learning. Proposing a better model has been extensively studied, but there is no systematic theory of model design and model structure yet. In this research, we compare the structures of ResNet and DenseNet with a view to systematically understand the skip connection which is one of the structure of the model. As a result, we confirmed the theoretical fact that the regularity of Fully Connected Layer makes a difference in expressive power of both models and we propose network design based on that analysis. |
| キーワード(和) | 深層ニューラルネットワークモデル / スキップ接続 / 表現力 / ネットワーク設計 / ResNet / DenseNet / 深層学習 |
| キーワード(英) | deep neural networks model / skip connection / expressive power / networks design / ResNet / DenseNet / deep learning |
| 資料番号 | IBISML2018-106 |
| 発行日 | 2019-02-26 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2019/3/5(から2日開催) |
| 開催地（和） | 理研AIP |
| 開催地（英） | RIKEN AIP |
| テーマ（和） | 機械学習一般 |
| テーマ（英） | Machine learning, etc. |
| 委員長氏名（和） | 鹿島 久嗣(京大) |
| 委員長氏名（英） | Hisashi Kashima(Kyoto Univ.) |
| 副委員長氏名（和） | 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 竹内 一郎(名工大) / 神嶌 敏弘(産総研) |
| 幹事氏名（英） | Ichiro Takeuchi(Nagoya Inst. of Tech.) / Toshihiro Kamishima(AIST) |
| 幹事補佐氏名（和） | 岩田 具治(NTT) / 大羽 成征(京大) |
| 幹事補佐氏名（英） | Tomoharu Iwata(NTT) / Shigeyuki Oba(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 残差スキップ接続の表現力とネットワークの設計 |
| サブタイトル（和） | |
| タイトル（英） | Expressive power of skip connection and network architecture |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層ニューラルネットワークモデル / deep neural networks model |
| キーワード(2)（和/英） | スキップ接続 / skip connection |
| キーワード(3)（和/英） | 表現力 / expressive power |
| キーワード(4)（和/英） | ネットワーク設計 / networks design |
| キーワード(5)（和/英） | ResNet / ResNet |
| キーワード(6)（和/英） | DenseNet / DenseNet |
| キーワード(7)（和/英） | 深層学習 / deep learning |
| 第 1 著者 氏名（和/英） | 長瀬 准平 / Jumpei Nagase |
| 第 1 著者 所属（和/英） | 芝浦工業大学大学院(略称：芝浦工大) Shibaura Institute of Technology(略称：Shibaura Inst. of Tech.) |
| 第 2 著者 氏名（和/英） | 石渡 哲哉 / Tetsuya Ishiwata |
| 第 2 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute of Technology(略称：Shibaura Inst. of Tech.) |
| 発表年月日 | 2019-03-05 |
| 資料番号 | IBISML2018-106 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | IBISML-472 |
| ページ範囲 | pp.9-15(IBISML), |
| ページ数 | 7 |
| 発行日 | 2019-02-26 (IBISML) |