| 講演名 | 2023-12-06 隠れニューラルネットワークにおける整数学習手法の検討 劉 世?(東大), 筒井 政成(東大), 金子 竜也(東大), 高前田 伸也(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | エッジデバイスにおける深層学習モデルの推論は，その消費電力や計算資源が限られているため，低ビット幅の整数演算で行うことが望ましい．連合学習などのアプリケーションでは推論に加えて，エッジデバイス上での学習を要求する．本研究では，重み・活性値・勾配がいずれも8ビット整数であるニューラルネットワークの学習手法を，オプティマイザの工夫とともに紹介し，画像認識タスクにおいて通常の学習と同程度の精度を達成できることを示す．また，通常の整数学習がうまく機能しないfine-tuningタスクにおいて，隠れニューラルネットワークを用いた整数学習の適用を試みる．これは重みを更新する代わりに，モデルの中から良い部分ネットワークを発見するというものである．枝刈りによってfine-tuningができること，そして，これを利用すれば整数演算でもfine-tuningができることを実験によって示す． |
| 抄録(英) | |
| キーワード(和) | 深層学習 / 量子化 / 整数学習 / Edge-popup アルゴリズム / Fine-tuning |
| キーワード(英) | |
| 資料番号 | CPSY2023-33 |
| 発行日 | 2023-11-28 (CPSY) |
| 研究会情報 | |
| 研究会 | CPSY / IPSJ-ARC / IPSJ-HPC |
|---|---|
| 開催期間 | 2023/12/5(から2日開催) |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Industry Support Center |
| テーマ（和） | コンピュータシステム, HPC, 一般 |
| テーマ（英） | Computer Systems, HPC, etc. |
| 委員長氏名（和） | 中島 耕太(富士通研) / 津邑 公暁(名工大) / 片桐 孝洋(名大) |
| 委員長氏名（英） | Kota Nakajima(Fujitsu Lab.) / 津邑 公暁(名工大) / Takahiro Katagiri(名大) |
| 副委員長氏名（和） | 井口 寧(北陸先端大) / 津邑 公暁(名工大) |
| 副委員長氏名（英） | Yasushi Inoguchi(JAIST) / Tomoaki Tsumura(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 小林 諒平(筑波大) / 小川 周吾(日立) / 栗原 康志(富士通) / 谷本 輝夫(九大) / 新田 高庸(会津大) / 八巻 隼人(電通大) / 滝沢 寛之(東北大) / 横田 理央(東工大) / 中尾 昌広(理研) / 中島 耕太(富士通) / 小松 一彦(東北大) |
| 幹事氏名（英） | Ryohei Kobayashi(Univ. of Tsukuba) / Shugo Ogawa(Hitachi) / 栗原 康志(富士通) / 谷本 輝夫(九大) / 新田 高庸(会津大) / 八巻 隼人(電通大) / Hiroyuki Takizawa(東北大) / Rio Yokota(東工大) / Masahiro Nakao(理研) / Kohta Nakashima(富士通) / Kazuhiko Komatsu(東北大) |
| 幹事補佐氏名（和） | 坂本 龍一(東工大) / 本田 巧(富士通) |
| 幹事補佐氏名（英） | Ryuichi Sakamoto(Tokyo Inst. of Tech.) / Takumi Honda(Fujitsu) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Special Interest Group on System Architecture / Special Interest Group on High Performance Computing |
|---|---|
| 本文の言語 | JPN-ONLY |
| タイトル（和） | 隠れニューラルネットワークにおける整数学習手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 |
| キーワード(2)（和/英） | 量子化 |
| キーワード(3)（和/英） | 整数学習 |
| キーワード(4)（和/英） | Edge-popup アルゴリズム |
| キーワード(5)（和/英） | Fine-tuning |
| 第 1 著者 氏名（和/英） | 劉 世? / Sefutsu Ryu |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 筒井 政成 / Masayoshi Tsutsui |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 金子 竜也 / Tatsuya Kaneko |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 4 著者 氏名（和/英） | 高前田 伸也 / Shinya Takamaeda |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2023-12-06 |
| 資料番号 | CPSY2023-33 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | CPSY-293 |
| ページ範囲 | pp.36-41(CPSY), |
| ページ数 | 6 |
| 発行日 | 2023-11-28 (CPSY) |