| 講演名 | 2019-01-23 SVCCAを用いた異なるデータセットで訓練されたDCNNの類似性測定 寺元 陶冶(電通大), 庄野 逸(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層畳み込みニューラルネットワーク (Deep Convolutional Neural Network; DCNN) は画像分類や領域分割などのコンピュータビジョ分野で成功が著しく一般的な手法となっている．しかし,DCNNが獲得している特徴表現は未だ不透明なままであり，近年DCNNがどのような特徴表現を学習するのかを解析するため多くの研究が行われている．DCNNの得る特徴を理解することは，性能の向上につながり，また不透明なシステムを利用できない場面でも利用可能になるため重要である．本研究では解析を少しでも進めるために，データセットとモデルアーキテクチャの観点からどの程度モデルの学習に差異が出るのかを検証する．我々の疑問は，同じアーキテクチャのモデルが同系統のデータセットを学習したときにモデルの特徴表現はどの程度類似しているのか？である．工学的な品質の観点から考えた場合，仮に2つの学習機械が類似のデータセットをそれぞれ学習した場合，これらのシステムは，何らかの意味で類似しているという性質を持つべきである. コンピュータビジョンの観点では，この類似性は主に新たな議題である. 本研究では異なる類似データセットを学習したモデル同士で比較しモデルの容量を変化させると，どの程度ネットワークに差異がでるのか検討する. 実験において類似性を保つにはネットワークの容量を保つことが重要であると示した． |
| 抄録(英) | Deep Convolutional Neural Network (DCNN) is a successful model in the field of computer vision such like image classification and segmentation and so on. However, the DCNN has still been regarded as block box. And many researches are try to analyze what kind of feature expression DCNN learns in recent years. Understanding the DCNN is important because it leads to an improvement in performance, and it is also available in products where an black-box system can not be used. In this research, in oder to analyzing, we investigate the difference of feature representations in DCNNs which are trained with similar datasets. We also investigate the difference from the viewpoint of the model structures. In this study, we compare models learned with different but similar datasets and consider how much difference will occur in the network by changing the capacity of the model. As a results, we obtain the network capacity is important to keep similarity in representations. |
| キーワード(和) | 深層学習 / ネオコグニトロン / 正準相関分析 |
| キーワード(英) | Deep Learning / Neocognitron / Canonical Correlation Analysis |
| 資料番号 | NC2018-40 |
| 発行日 | 2019-01-16 (NC) |
| 研究会情報 | |
| 研究会 | NLP / NC |
|---|---|
| 開催期間 | 2019/1/23(から2日開催) |
| 開催地（和） | 北海道大学 百年記念会館 |
| 開催地（英） | The Centennial Hall, Hokkaido Univ. |
| テーマ（和） | ニューロコンピューティングの実装および人間科学のための解析・モデル化，一般 |
| テーマ（英） | General Implementation of Neuro Computing, Analysis and Modeling of Human Science, etc. |
| 委員長氏名（和） | 高橋 規一(岡山大) / 平田 豊(中部大) |
| 委員長氏名（英） | Norikazu Takahashi(Okayama Univ.) / Yutaka Hirata(Chubu Univ.) |
| 副委員長氏名（和） | 黒川 弘章(東京工科大) / 庄野 逸(電通大) |
| 副委員長氏名（英） | Hiroaki Kurokawa(Tokyo Univ. of Tech.) / Hayaru Shouno(UEC) |
| 幹事氏名（和） | 山内 将行(広島工大) / 木村 貴幸(日本工大) / 吉川 大弘(名大) / 吉本 潤一郎(奈良先端大) |
| 幹事氏名（英） | Masayuki Yamauchi(Hiroshima Inst. of Tech.) / Takayuki Kimura(Nippon Inst. of Tech.) / Tomohiro Yoshikawa(Nagoya Univ.) / Junichiro Yoshimoto(NAIST) |
| 幹事補佐氏名（和） | 木村 真之(京大) / 島田 裕(埼玉大) / 稲垣 圭一郎(中部大) / 篠崎 隆志(NICT) |
| 幹事補佐氏名（英） | Masayuki Kimura(Kyoto Univ.) / Yutaka Shimada(Saitama Univ.) / Keiichiro Inagaki(Chubu Univ.) / Takashi Shinozaki(NICT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | SVCCAを用いた異なるデータセットで訓練されたDCNNの類似性測定 |
| サブタイトル（和） | |
| タイトル（英） | Measuring the Convolution Neural Network similarities trained with different dataset using SVCCA |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | ネオコグニトロン / Neocognitron |
| キーワード(3)（和/英） | 正準相関分析 / Canonical Correlation Analysis |
| 第 1 著者 氏名（和/英） | 寺元 陶冶 / Toya Teramoto |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 庄野 逸 / Hayaru Shouno |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2019-01-23 |
| 資料番号 | NC2018-40 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | NC-414 |
| ページ範囲 | pp.11-16(NC), |
| ページ数 | 6 |
| 発行日 | 2019-01-16 (NC) |