講演名 2021-03-03
Evaluation on Approximate Multiplier for CNN Calculation
張 悦川(東大), 藤田 昌弘(東大), 松本 高士(東大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 畳み込みニューラルネットワーク(CNN)の精度を向上させるには、通常、より大きなハードウェアとより多くのエネルギー消費が必要となる。一方、CNNのエラー許容度により、近似計算によって実装コストを削減することができる。乗算はCNNで最もリソースを消費し、電力を消費する操作であるため、近似乗算器(Approximate Multiplier, AM)を使用してハードウェアコストの削減を図る。さまざまな既存の近似乗数生成方法が存在するが、特定のAMがCNN計算に適しているかどうか、およびその推論精度への影響ははよくわかっていない。そこで本論文では、8ビットに量子化されたAlexnetをハードウェアに実装することを念頭に、AMによって引き起こされるエラーとCNN推論の精度の間の関係を解析する。主に2つのAMを使用する:1)デカルト遺伝的プログラミング(CGP)に基づいたAM 2)柔軟なエラー推定に基づいたAM。さらにそれらの結果を踏まえて、CNN計算でAMのパフォーマンスを向上させるために、入力ズームとエラー補正の2つの手法を提案する。
抄録(英) Improving the accuracy of a convolutional neural network (CNN) typically requires larger hardware with more energy consumption. On the other hand, the error tolerance of CNNs allows approximate computing to cut down the implementation costs. Given that multiplication is the most resource-intensive and power-hungry operation in CNNs, approximate multipliers (AMs) can be used to reduce hardware cost. There are various existing approximate multiplier generation methods. However, it remains unknown whether a specific AM is suitable for CNN calculation and its effect on inference accuracy. In this paper, we implement an 8-bit quantized Alexnet into hardware. The relationship between error caused by AMs and the accuracy of CNN inference is established. Mainly two AMs are considered: 1) Cartesian Genetic Programming (CGP)-based AMs 2) flexible Error-estimating based AMs. Besides, we propose two techniques, input zoom and error compensation to improve the performance of AMs in CNN calculation.
キーワード(和) CNN / 近似乗算器 / エラー補正
キーワード(英) CNN / Approximate multiplier / Error compensation
資料番号 VLD2020-68,HWS2020-43
発行日 2021-02-24 (VLD, HWS)

研究会情報
研究会 HWS / VLD
開催期間 2021/3/3(から2日開催)
開催地(和) オンライン開催
開催地(英) Online
テーマ(和) システムオンシリコンを支える設計技術, ハードウェアセキュリティ, 一般
テーマ(英) Design Technology for System-on-Silicon, Hardware Security, etc.
委員長氏名(和) 池田 誠(東大) / 福田 大輔(富士通研)
委員長氏名(英) Makoto Ikeda(Univ. of Tokyo) / Daisuke Fukuda(Fujitsu Labs.)
副委員長氏名(和) 島崎 靖久(ルネサスエレクトロニクス) / 永田 真(神戸大) / 小林 和淑(京都工繊大)
副委員長氏名(英) Yasuhisa Shimazaki(Renesas Electronics) / Makoto Nagata(Kobe Univ.) / Kazutoshi Kobayashi(Kyoto Inst. of Tech.)
幹事氏名(和) 小野 貴継(九大) / 高橋 順子(NTT) / 桜井 祐市(日立) / 兼本 大輔(大阪大学)
幹事氏名(英) Takatsugu Ono(Kyushu Univ.) / Junko Takahashi(NTT) / Yuichi Sakurai(Hitachi) / Daisuke Kanemoto(Osaka Univ.)
幹事補佐氏名(和) / 西元 琢真(日立)
幹事補佐氏名(英) / Takuma Nishimoto(Hitachi)

講演論文情報詳細
申込み研究会 Technical Committee on Hardware Security / Technical Committee on VLSI Design Technologies
本文の言語 ENG
タイトル(和)
サブタイトル(和)
タイトル(英) Evaluation on Approximate Multiplier for CNN Calculation
サブタイトル(和)
キーワード(1)(和/英) CNN / CNN
キーワード(2)(和/英) 近似乗算器 / Approximate multiplier
キーワード(3)(和/英) エラー補正 / Error compensation
第 1 著者 氏名(和/英) 張 悦川 / Yuechuan Zhang
第 1 著者 所属(和/英) 東京大学(略称:東大)
Univerisity of Tokyo(略称:UTokyo)
第 2 著者 氏名(和/英) 藤田 昌弘 / Masahiro Fujita
第 2 著者 所属(和/英) 東京大学(略称:東大)
Univerisity of Tokyo(略称:UTokyo)
第 3 著者 氏名(和/英) 松本 高士 / Takashi Matsumoto
第 3 著者 所属(和/英) 東京大学(略称:東大)
Univerisity of Tokyo(略称:UTokyo)
発表年月日 2021-03-03
資料番号 VLD2020-68,HWS2020-43
巻番号(vol) vol.120
号番号(no) VLD-400,HWS-401
ページ範囲 pp.7-12(VLD), pp.7-12(HWS),
ページ数 6
発行日 2021-02-24 (VLD, HWS)