講演名 2021-12-01
シストリックアレイによる多層パーセプトロンの学習アクセラレータについて
妹尾 豪士(東工大), 神宮司 明良(東工大), 倉持 亮佑(東工大), 中原 啓貴(東工大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和) ニューラルネットワークは多様な用途で用いられ, ネットワークの攻撃検知のような高速な学習を必要とする需要がある. 誤差逆伝搬による学習をハードウェアで高速化するとき, 誤差逆伝搬でパラメータを更新する計算の依存関係により並列処理が困難である. 学習の推論と誤差逆伝搬を同時に計算できるデータフローアーキテクチャを実現するために, パラメータ更新を遅延させても多層パーセプトロンが正常に学習できることを示した. このハードウェアをXilinx Alveo U50に実装し, Intel Core i9 CPUと比較して3倍高速で11.5倍優れた電力効率を実現しており, またNVIDIA RTX 3090 GPUと比較して2.5倍高速で21.4倍優れた電力効率であることを示した.
抄録(英) Neural networks are being used in various applications, and the demand for fast training with large amounts of data is emerging. For example, a network intrusion detection~(NID) system needs to be trained in a short period to detect attacks based on large amount of traffic logs. We propose a training accelerator as a systolic array on a Xilinx U50 Alveo FPGA card to solve this problem. We found that the accuracy is almost the same as conventional training even when the forward and backward paths are run simultaneously by delaying the weight update. Compared to the Intel Core i9 CPU and NVIDIA RTX 3090 GPU, it was three times faster than the CPU and 2.5 times faster than the GPU. The processing speed per power consumption was 11.5 times better than the CPU and 21.4 times better than the GPU. From these results, we can conclude that implementing a training accelerator on FPGAs as a systolic array can achieve high speed and high energy efficiency.
キーワード(和) ニューラルネットワーク / 多層パーセプトロン / 学習アクセラレータ / 機械学習 / 侵入検知システム
キーワード(英) neural network / multilayer perceptron / training accelerator / machine learning / intrusion detection system
資料番号 VLD2021-23,ICD2021-33,DC2021-29,RECONF2021-31
発行日 2021-11-24 (VLD, ICD, DC, RECONF)

研究会情報
研究会 VLD / DC / RECONF / ICD / IPSJ-SLDM
開催期間 2021/12/1(から2日開催)
開催地(和) オンライン開催
開催地(英) Online
テーマ(和) デザインガイア2021 -VLSI設計の新しい大地-
テーマ(英) Design Gaia 2021 -New Field of VLSI Design-
委員長氏名(和) 小林 和淑(京都工繊大) / 高橋 寛(愛媛大) / 佐野 健太郎(理研) / 高橋 真史(キオクシア) / 中村 祐一(NEC)
委員長氏名(英) Kazutoshi Kobayashi(Kyoto Inst. of Tech.) / Hiroshi Takahashi(Ehime Univ.) / Kentaro Sano(RIKEN) / Masafumi Takahashi(Kioxia) / Yuichi Nakamura(NEC)
副委員長氏名(和) 池田 奈美子(NTT) / 土屋 達弘(阪大) / 山口 佳樹(筑波大) / 泉 知論(立命館大) / 池田 誠(東大)
副委員長氏名(英) Minako Ikeda(NTT) / Tatsuhiro Tsuchiya(Osaka Univ.) / Yoshiki Yamaguchi(Tsukuba Univ.) / Tomonori Izumi(Ritsumeikan Univ.) / Makoto Ikeda(Univ. of Tokyo)
幹事氏名(和) 兼本 大輔(大阪大学) / 宮村 信(NEC) / 新井 雅之(日大) / 難波 一輝(千葉大) / 小林 悠記(NEC) / 中原 啓貴(東工大) / 廣瀬 哲也(阪大) / 新居 浩二(TSMCデザインテクノロジージャパン) / 瀬戸 謙修(東京都市大) / 川村 一志(東工大) / 廣本 正之(富士通) / 細田 浩希(ソニーLSIデザイン)
幹事氏名(英) Daisuke Kanemoto(Osaka Univ.) / Makoto Miyamura(NEC) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Tetsuya Hirose(Osaka Univ.) / Koji Nii(TSMC) / Kenshu Seto(Tokyo City Univ.) / Kazushi Kawamura(Tokyo Inst. of Tech.) / Masayuki Hiromoto(Fujitsu) / Hiroki Hosoda(Sony LSI Design)
幹事補佐氏名(和) / / 竹村 幸尚(インテル) / 長名 保範(琉球大学) / 宮地 幸祐(信州大) / 吉原 義昭(キオクシア) / 久保木 猛(九大)
幹事補佐氏名(英) / / Yukitaka Takemura(INTEL) / Yasunori Osana(Ryukyu Univ.) / Kosuke Miyaji(Shinshu Univ.) / Yoshiaki Yoshihara(キオクシア) / Takeshi Kuboki(Kyushu Univ.)

講演論文情報詳細
申込み研究会 Technical Committee on VLSI Design Technologies / Technical Committee on Dependable Computing / Technical Committee on Reconfigurable Systems / Technical Committee on Integrated Circuits and Devices / Special Interest Group on System and LSI Design Methodology
本文の言語 JPN
タイトル(和) シストリックアレイによる多層パーセプトロンの学習アクセラレータについて
サブタイトル(和)
タイトル(英) A Multilayer Perceptron Training Accelerator using Systolic Array
サブタイトル(和)
キーワード(1)(和/英) ニューラルネットワーク / neural network
キーワード(2)(和/英) 多層パーセプトロン / multilayer perceptron
キーワード(3)(和/英) 学習アクセラレータ / training accelerator
キーワード(4)(和/英) 機械学習 / machine learning
キーワード(5)(和/英) 侵入検知システム / intrusion detection system
第 1 著者 氏名(和/英) 妹尾 豪士 / Takeshi Senoo
第 1 著者 所属(和/英) 東京工業大学(略称:東工大)
Tokyo Institute of Technology(略称:Toyko Tech)
第 2 著者 氏名(和/英) 神宮司 明良 / Akira Jinguji
第 2 著者 所属(和/英) 東京工業大学(略称:東工大)
Tokyo Institute of Technology(略称:Toyko Tech)
第 3 著者 氏名(和/英) 倉持 亮佑 / Ryosuke Kuramochi
第 3 著者 所属(和/英) 東京工業大学(略称:東工大)
Tokyo Institute of Technology(略称:Toyko Tech)
第 4 著者 氏名(和/英) 中原 啓貴 / Hiroki Nakahara
第 4 著者 所属(和/英) 東京工業大学(略称:東工大)
Tokyo Institute of Technology(略称:Toyko Tech)
発表年月日 2021-12-01
資料番号 VLD2021-23,ICD2021-33,DC2021-29,RECONF2021-31
巻番号(vol) vol.121
号番号(no) VLD-277,ICD-278,DC-279,RECONF-280
ページ範囲 pp.37-42(VLD), pp.37-42(ICD), pp.37-42(DC), pp.37-42(RECONF),
ページ数 6
発行日 2021-11-24 (VLD, ICD, DC, RECONF)