| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2017-09-15 10:30 ［ショートペーパー］正則化による深層学習の重み量子化手法の検討 ○大屋 優・井田安俊・藤原靖宏・岩村相哲（NTT）  PRMU2017-45 IBISML2017-17 |
|
| 抄録 | （和） | ディープニューラルネットワーク(DNN)は画像や音声認識をはじめ様々な分野で用いられるモデルである．一般に，DNNは多層構造をとるため重みと呼ばれるパラメータを多く有する．そのため，近年ではパラメータのメモリ使用量を確実に減らす量子化が注目されている．DNNを量子化する既存手法として，ステップ関数を用いて強制的にパラメータの値を目的のビット幅に格納できる個数に離散化する手法が提案されている．しかし，ステップ関数の導関数はほとんどが0をとるため，確率的勾配降下法をベースとした誤差逆伝播法が使えない問題がある．そこで，本稿では，連続関数のみで構成されたDNNからパラメータを量子化する手法を提案する．まず，パラメータを任意の連続関数で射影することで値域を制約する．次に，量子化に向け，パラメータ更新時に三角関数による正則化項を設けることで，目的の値でないパラメータに罰則を与える．これにより，本提案手法は学習が進むに連れ徐々にパラメータを量子化することが期待できる．その検証実験として連続関数や正則化項のハイパーパラメータ次第で様々なメモリ幅の量子化が可能であることを確認した． |
| （英） | (Not available yet) | |
| キーワード | （和） | ディープニューラルネットワーク / 量子化 / 正則化 / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 117, no. 211, IBISML2017-17, pp. 51-52, 2017年9月. | |
| 資料番号 | IBISML2017-17 | |
| 発行日 | 2017-09-08 (PRMU, IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2017-45 IBISML2017-17 |
|
| 研究会情報 | |
| 研究会 | PRMU IBISML IPSJ-CVIM |
| 開催期間 | 2017-09-15 - 2017-09-16 |
| 開催地（和） | 東京大学 本郷キャンパス |
| 開催地（英） | |
| テーマ（和） | パターン認識・機械学習基盤技術および深層学習によるメディア生成・変換・認識 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2017-09-PRMU-IBISML-CVIM |
| 本文の言語 | 日本語（英語タイトルなし） |
| タイトル（和） | 正則化による深層学習の重み量子化手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク / |
| キーワード(2)（和/英） | 量子化 / |
| キーワード(3)（和/英） | 正則化 / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大屋 優 / Yu Oya / オオヤ ユウ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 井田 安俊 / Yasutoshi Ida / イダ ヤストシ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 藤原 靖宏 / Yasuhiro Fujiwara / フジワラ ヤスヒロ |
| 第3著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 岩村 相哲 / Sotetsu Iwamura / イワムラ ソウテツ |
| 第4著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2017-09-15 10:30:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IBISML |
| 資料番号 | PRMU2017-45, IBISML2017-17 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.210(PRMU), no.211(IBISML) |
| ページ範囲 | pp.51-52 |
| ページ数 | 2 |
| 発行日 | 2017-09-08 (PRMU, IBISML) |
[研究会発表申込システムのトップページに戻る]