| 講演名 | 2019-03-06 自己蒸留によるDNNの蒸留の効率化 高木 純平(山梨大), 服部 元信(山梨大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 蒸留は,教師ニューラルネットの学習によって獲得した知識を生徒ニューラルネットの学習に用いることでより高精度な生徒を作成する手法である.また,作成した生徒を教師としてさらに蒸留を行うことでより高精度な生徒を作成できることもわかっている.しかし,そのような複数世代の蒸留は学習に時間がかかる問題がある.そこで本稿では,蒸留に必要な世代数を削減し,学習時間を短縮することを目的とし,学習途中に得られた最高精度のネットワークを教師として1世代内で蒸留を行う自己蒸留を提案する.画像分類タスクにおいて自己蒸留が,従来の蒸留に比べて少ない世代,短い学習時間で高精度を獲得できることを確認した. |
| 抄録(英) | Knowledge distillation is a method to create a superior student by using knowledge obtained from a trained teacher neural network. Recent studies have shown that much superior students can be obtained by distilling the trained student further as a teacher. Distilling the knowledge through multiple generations, however, takes a long time for learning. In this paper, we propose a self distillation method which can reduce both the number of generations and learning time for knowledge distillation. In self distillation, the most accurate network is obtained during intra-generation learning, and it is used as a teacher of intra-generational distillation. Our experiments for image classification task demonstrate that the proposed self distillation acquires high accuracy with fewer generations and less learning time than the conventional method. |
| キーワード(和) | 知識蒸留 / 自己蒸留 / 深層学習 / 画像分類 |
| キーワード(英) | Knowledge Distillation / Self Distillation / Deep Learning / Image Classification |
| 資料番号 | NC2018-83 |
| 発行日 | 2019-02-25 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2019/3/4(から3日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | University of Electro Communications |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 平田 豊(中部大) / 京相 雅樹(東京都市大) |
| 委員長氏名（英） | Yutaka Hirata(Chubu Univ.) / Masaki Kyoso(TCU) |
| 副委員長氏名（和） | 庄野 逸(電通大) / 野村 泰伸(阪大) |
| 副委員長氏名（英） | Hayaru Shouno(UEC) / Taishin Nomura(Osaka Univ.) |
| 幹事氏名（和） | 吉川 大弘(名大) / 吉本 潤一郎(奈良先端大) / 永岡 隆(近畿大) |
| 幹事氏名（英） | Tomohiro Yoshikawa(Nagoya Univ.) / Junichiro Yoshimoto(NAIST) / Takashi Nagaoka(Kindai Univ.) |
| 幹事補佐氏名（和） | 稲垣 圭一郎(中部大) / 篠崎 隆志(NICT) / 小林 匠(横浜国大) / 鈴木 康之(阪大) |
| 幹事補佐氏名（英） | Keiichiro Inagaki(Chubu Univ.) / Takashi Shinozaki(NICT) / Takumi Kobayashi(YNU) / Ｙａｓｕｙｕｋｉ Ｓｕｚｕｋｉ(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 自己蒸留によるDNNの蒸留の効率化 |
| サブタイトル（和） | |
| タイトル（英） | Efficient Learning for Distillation of DNN by Self Distillation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 知識蒸留 / Knowledge Distillation |
| キーワード(2)（和/英） | 自己蒸留 / Self Distillation |
| キーワード(3)（和/英） | 深層学習 / Deep Learning |
| キーワード(4)（和/英） | 画像分類 / Image Classification |
| 第 1 著者 氏名（和/英） | 高木 純平 / Jumpei Takagi |
| 第 1 著者 所属（和/英） | 山梨大学(略称：山梨大) University of Yamanashi(略称：Univ of Yamanashi) |
| 第 2 著者 氏名（和/英） | 服部 元信 / Motonobu Hattori |
| 第 2 著者 所属（和/英） | 山梨大学(略称：山梨大) University of Yamanashi(略称：Univ of Yamanashi) |
| 発表年月日 | 2019-03-06 |
| 資料番号 | NC2018-83 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | NC-470 |
| ページ範囲 | pp.209-214(NC), |
| ページ数 | 6 |
| 発行日 | 2019-02-25 (NC) |