| 講演名 | 2022-03-27 エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案 金子 竜也(北大), 山岸 善治(北大), 百瀬 啓(北大), 浅井 哲也(北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，ニューラルネットワーク (NN)の学習もエッジで行うというコンセプトが注目を集めている．NNのパラメータ更新には多量のメモリアクセスを要し，このメモリアクセスはNNの消費電力の約50¥%を占めている．特に電力制約の大きいエッジデバイスでは消費電力の削減は重要な課題となる．本提案は情報量たるビット精度と学習回数を削減することで，メモリ容量の削減と低電力化を可能とする．従来取り組まれていた量子化による情報量削減では，精度の低下に伴う学習回数の増加という問題点があった．本提案では一部の乗算を量子化で置き換えることにより個々のパラメータに応じた勾配の調整を行う．これにより効率的なパラメータ探索を実現し高速な学習を実現している．ベンチマーク関数を用いた評価では安定した収束性と高速性を示し，MNISTデータセットにおいて従来手法に比べ2倍以上の学習の高速化を行なったことを示す． |
| 抄録(英) | In recently, the concept of training neural networks (NN) at the edge has attracted much attention. Updating parameters of NN requires a large amount of memory accesses, and these memory accesses account for about 50¥% of the power consumption of NN. In particular, power consumption reduction is an important issue for edge devices with large power constraints. In this paper, we propose a novel method to reduce a memory capacity and power consumption by reducing a bit precision and the number of training. The conventional approach of reducing the bit precision by quantization has the problem of increasing the number of training iterations due to the decrease in accuracy. In the proposed method, the gradient is adjusted according to each parameter by replacing some of the multiplications with quantization. This allows us to achieve efficient parameter search and fast learning. The above results show that online learning is possible even on edge devices with severe constraints. |
| キーワード(和) | 機械学習 / 最適化手法 / エッジAI / オンライン学習 |
| キーワード(英) | Machine Learning / Optimizer / Edge AI / Online Learning |
| 資料番号 | CCS2021-39 |
| 発行日 | 2022-03-20 (CCS) |
| 研究会情報 | |
| 研究会 | CCS |
|---|---|
| 開催期間 | 2022/3/27(から1日開催) |
| 開催地（和） | 北海道 ルスツリゾートホテル&コンベンション（ハイブリッド開催，主：現地開催，副） |
| 開催地（英） | RUSUTSU RESORT HOTEL & CONVENTION |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 浅井 哲也(北大) |
| 委員長氏名（英） | Tetsuya Asai(Hokkaido Univ.) |
| 副委員長氏名（和） | 赤井 恵(北大) / 会田 雅樹(都立大) |
| 副委員長氏名（英） | Megumi Akai(Hokkaido Univ.) / Masaki Aida(TMU) |
| 幹事氏名（和） | 中田 一紀(TDK) / 眞田 耕輔(三重大) |
| 幹事氏名（英） | Kazuki Nakada(TDK) / Kosuke Sanada(Mie Univ.) |
| 幹事補佐氏名（和） | 中野 秀洋(東京都市大) / 安東 弘泰(筑波大) / 松原 崇(阪大) / 宮田 純子(芝浦工大) |
| 幹事補佐氏名（英） | Hidehiro Nakano(Tokyo City Univ.) / Hiroyasu Ando(Tsukuba Univ.) / Takashi Matsubara(Osaka Univ.) / Sumiko Miyata(Shibaura Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Complex Communication Sciences |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案 |
| サブタイトル（和） | |
| タイトル（英） | A novel hardware-oriented log-quantized optimizer for edge AI devices and their online learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械学習 / Machine Learning |
| キーワード(2)（和/英） | 最適化手法 / Optimizer |
| キーワード(3)（和/英） | エッジAI / Edge AI |
| キーワード(4)（和/英） | オンライン学習 / Online Learning |
| 第 1 著者 氏名（和/英） | 金子 竜也 / Tatsuya Kaneko |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 2 著者 氏名（和/英） | 山岸 善治 / Yoshiharu Yamagishi |
| 第 2 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 3 著者 氏名（和/英） | 百瀬 啓 / Hiroshi Momose |
| 第 3 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 4 著者 氏名（和/英） | 浅井 哲也 / Tetsuya Asai |
| 第 4 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 発表年月日 | 2022-03-27 |
| 資料番号 | CCS2021-39 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | CCS-442 |
| ページ範囲 | pp.19-24(CCS), |
| ページ数 | 6 |
| 発行日 | 2022-03-20 (CCS) |