| 講演名 | 2018-09-20 ニューロンの出力に基づくニューラルネットワークの構造学習 菅間 幸司(和歌山大), 磯田 雄基(和歌山大), 和田 俊和(和歌山大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿で 本稿で は DNN の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する ．提案手法は 提案手法は ，ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 づける づける Neuro NeuroNeuro-CodingCodingCodingCoding Codingと，ふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すNeuro NeuroNeuro-Unification UnificationUnificationUnificationUnification Unification Unificationの 2手法で構成される 手法で構成される 手法で構成される 手法で構成される ．従 来手法である 来手法である 来手法である PruningPruningPruningPruningPruning Pruningでは ，ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ，本手法の場合は取り除 本手法の場合は取り除 本手法の場合は取り除 本手法の場合は取り除 かれ たニューロン たニューロン たニューロン のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって 代替 されるため されるため ，推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで きる ．そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 の手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ．また ，従来法の多くでは 従来法の多くでは 従来法の多くでは 従来法の多くでは 軽量化後の 軽量化後の ネッ トワーク構造を トワーク構造を トワーク構造を トワーク構造を 事前に手動で決める 事前に手動で決める 事前に手動で決める 必要が あった必要が あった必要が あった，本手法 本手法 では初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 能性があり 能性があり 能性があり ，構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される ． |
| 抄録(英) | This paper presents a method of compaction on DNNs. Our method includes two steps, 1) Neuro-Coding: feature the neuron behaviors by their outputs, and 2) Neuro-Unification: unify the neurons which behave similarly. While the existing pruning methods just remove the neurons or the weights, our method let another neuron succeed the behavior of the removed one. Therefore, our method can reduce the parameters while the sacrifice of inference accuracy stays small. Moreover, many of the existing methods require people to manually determine the network structure after compaction, but our method can explore an adequate structure automatically. Thus, our method could be valuable as a structural learning method. |
| キーワード(和) | ニューラルネットワーク / 軽量化 / Neuro-Coding / Neuro-Unification |
| キーワード(英) | Deep Neural Network (DNN) / Compaction / Neuro-Coding / Neuro-Unification |
| 資料番号 | PRMU2018-40,IBISML2018-17 |
| 発行日 | 2018-09-13 (PRMU, IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IBISML / IPSJ-CVIM |
|---|---|
| 開催期間 | 2018/9/20(から2日開催) |
| 開催地（和） | 福岡工業大学 |
| 開催地（英） | |
| テーマ（和） | 機械学習と実応用 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 真一(NII) / 鹿島 久嗣(京大) |
| 委員長氏名（英） | Shinichi Sato(NII) / Hisashi Kashima(Kyoto Univ.) |
| 副委員長氏名（和） | 井尻 善久(オムロン) / 玉木 徹(広島大) / 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Yoshihisa Ijiri(Omron) / Toru Tamaki(Hiroshima Univ.) / Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 石井 雅人(NEC) / 菅野 裕介(阪大) / 竹内 一郎(名工大) / 神嶌 敏弘(産総研) |
| 幹事氏名（英） | Masato Ishii(NEC) / Yusuke Sugano(Osaka Univ.) / Ichiro Takeuchi(Nagoya Inst. of Tech.) / Toshihiro Kamishima(AIST) |
| 幹事補佐氏名（和） | 入江 豪(NTT) / 牛久 祥孝(東大) / 岩田 具治(NTT) / 大羽 成征(京大) |
| 幹事補佐氏名（英） | Go Irie(NTT) / Yoshitaka Ushiku(Univ. of Tokyo) / Tomoharu Iwata(NTT) / Shigeyuki Oba(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | ニューロンの出力に基づくニューラルネットワークの構造学習 |
| サブタイトル（和） | |
| タイトル（英） | Structural Learning of Neural Network based on Outputs of Neurons |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Deep Neural Network (DNN) |
| キーワード(2)（和/英） | 軽量化 / Compaction |
| キーワード(3)（和/英） | Neuro-Coding / Neuro-Coding |
| キーワード(4)（和/英） | Neuro-Unification / Neuro-Unification |
| 第 1 著者 氏名（和/英） | 菅間 幸司 / Koji Kamma |
| 第 1 著者 所属（和/英） | 和歌山大学(略称：和歌山大) Wakayama University(略称：Wakayama Univ.) |
| 第 2 著者 氏名（和/英） | 磯田 雄基 / Yuki Isoda |
| 第 2 著者 所属（和/英） | 和歌山大学(略称：和歌山大) Wakayama University(略称：Wakayama Univ.) |
| 第 3 著者 氏名（和/英） | 和田 俊和 / Toshikazu Wada |
| 第 3 著者 所属（和/英） | 和歌山大学(略称：和歌山大) Wakayama University(略称：Wakayama Univ.) |
| 発表年月日 | 2018-09-20 |
| 資料番号 | PRMU2018-40,IBISML2018-17 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | PRMU-219,IBISML-220 |
| ページ範囲 | pp.31-36(PRMU), pp.31-36(IBISML), |
| ページ数 | 6 |
| 発行日 | 2018-09-13 (PRMU, IBISML) |