| 講演名 | 2021-12-01 gMLPを用いた画像認識向けDNNアクセラレータのFPGA実装 神宮司 明良(東工大), 中原 啓貴(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Convolutionを用いない画像認識の深層学習モデルであるVision Transformerが登場してから、CNNの代替としてMLPベースのモデルに大きな注目が集まっている。MLPベースのモデルは、Convolutionを持たないにもかかわらず、画像認識において高い認識精度を達成する。MLP-MixerやgMLPなどのMLPベースモデルの研究では、よりシンプルな構造で高い認識精度を達成する。低レイテンシな推論は、処理単位あたりの計算データが小さいためGPUでは計算効率が低下し、FPGAなどの専用回路による設計が向いていると考えられる。本稿では、我々はMLPベースモデルのための推論アクセラレータのFPGA回路を提案する。MLPベースのモデルではMLPレイヤーにおける単純な行列積が計算の大部分を占めるため、提案回路において我々は行列積を高い並列度で効率的に計算することに注力する。我々はビット幅の広いGEMMと専用命令セットを設計し、2つの大きな行列の積を1サイクルで計算する回路を設計した。本稿では、提案回路をXilinx社 ZCU102 FPGAボード上に実装し、gMLP-Sモデルの推論を実行した。ImageNetデータセットを用いたクラス分類の実験結果によると、我々の実装は74.5%の認識精度であり、159.0FPSと6.3msの推論速度であり、24.9Wの消費電力だった。モバイルGPUと比較して、提案する実装は4.4倍高速であり、6.1倍良い電力効率であった。CNNモデルを実装した既存FPGA実装と比較して、我々の実装は同等の推論速度でありながら、3%以上高い認識精度であった。 |
| 抄録(英) | Since the advent of Vision Transformer, a deep learning model for image recognition without Convolution, MLP-based models have attracted a lot of attention as an alternative to CNNs. MLP-based achieve high recognition accuracy in image recognition despite the lack of Convolution. Research on MLP-based, such as MLP-Mixer and gMLP, achieves high recognition accuracy with a simpler structure. For low-latency inference, the computational efficiency is reduced on GPUs due to the small amount of computational data per processing unit, and dedicated circuits such as FPGAs are considered to be more suitable. In this paper, we propose an FPGA circuit for an inference accelerator for MLP-based model, where we focus on efficiently computing the matrix product with high parallelism, since the simple matrix product in the MLP layer accounts for most of the computation in MLP-based models. We have designed a circuit that computes the product of two large matrices in one cycle by designing a bit-wide GEMM and a dedicated instruction set. In this paper, we implemented the proposed circuit on a Xilinx ZCU102 FPGA board and performed inference on the gMLP-S model. experimental results for class classification on the ImageNet dataset show that our implementation has a recognition accuracy of 74.5%, an inference speed of 159.0FPS and 6.3ms, and a power consumption of 24.9W. Compared to a mobile GPU, the proposed implementation is 4.4 times faster and 6.1 times more power efficient; compared to an existing FPGA implementation of the CNN model, our implementation has over 3% higher recognition accuracy with comparable inference speed. |
| キーワード(和) | DNN / Vision Transformer / MLP / gMLP / FPGA |
| キーワード(英) | DNN / Vision Transformer / MLP / gMLP / FPGA |
| 資料番号 | VLD2021-21,ICD2021-31,DC2021-27,RECONF2021-29 |
| 発行日 | 2021-11-24 (VLD, ICD, DC, RECONF) |
| 研究会情報 | |
| 研究会 | VLD / DC / RECONF / ICD / IPSJ-SLDM |
|---|---|
| 開催期間 | 2021/12/1(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | デザインガイア2021 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2021 -New Field of VLSI Design- |
| 委員長氏名（和） | 小林 和淑(京都工繊大) / 高橋 寛(愛媛大) / 佐野 健太郎(理研) / 高橋 真史(キオクシア) / 中村 祐一(NEC) |
| 委員長氏名（英） | Kazutoshi Kobayashi(Kyoto Inst. of Tech.) / Hiroshi Takahashi(Ehime Univ.) / Kentaro Sano(RIKEN) / Masafumi Takahashi(Kioxia) / Yuichi Nakamura(NEC) |
| 副委員長氏名（和） | 池田 奈美子(NTT) / 土屋 達弘(阪大) / 山口 佳樹(筑波大) / 泉 知論(立命館大) / 池田 誠(東大) |
| 副委員長氏名（英） | Minako Ikeda(NTT) / Tatsuhiro Tsuchiya(Osaka Univ.) / Yoshiki Yamaguchi(Tsukuba Univ.) / Tomonori Izumi(Ritsumeikan Univ.) / Makoto Ikeda(Univ. of Tokyo) |
| 幹事氏名（和） | 兼本 大輔(大阪大学) / 宮村 信(NEC) / 新井 雅之(日大) / 難波 一輝(千葉大) / 小林 悠記(NEC) / 中原 啓貴(東工大) / 廣瀬 哲也(阪大) / 新居 浩二(TSMCデザインテクノロジージャパン) / 瀬戸 謙修(東京都市大) / 川村 一志(東工大) / 廣本 正之(富士通) / 細田 浩希(ソニーLSIデザイン) |
| 幹事氏名（英） | Daisuke Kanemoto(Osaka Univ.) / Makoto Miyamura(NEC) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Tetsuya Hirose(Osaka Univ.) / Koji Nii(TSMC) / Kenshu Seto(Tokyo City Univ.) / Kazushi Kawamura(Tokyo Inst. of Tech.) / Masayuki Hiromoto(Fujitsu) / Hiroki Hosoda(Sony LSI Design) |
| 幹事補佐氏名（和） | / / 竹村 幸尚(インテル) / 長名 保範(琉球大学) / 宮地 幸祐(信州大) / 吉原 義昭(キオクシア) / 久保木 猛(九大) |
| 幹事補佐氏名（英） | / / Yukitaka Takemura(INTEL) / Yasunori Osana(Ryukyu Univ.) / Kosuke Miyaji(Shinshu Univ.) / Yoshiaki Yoshihara(キオクシア) / Takeshi Kuboki(Kyushu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Dependable Computing / Technical Committee on Reconfigurable Systems / Technical Committee on Integrated Circuits and Devices / Special Interest Group on System and LSI Design Methodology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | gMLPを用いた画像認識向けDNNアクセラレータのFPGA実装 |
| サブタイトル（和） | |
| タイトル（英） | Block Sparse MLP-based Vision DNN Accelerators on Embedded FPGAs |
| サブタイトル（和） | |
| キーワード(1)（和/英） | DNN / DNN |
| キーワード(2)（和/英） | Vision Transformer / Vision Transformer |
| キーワード(3)（和/英） | MLP / MLP |
| キーワード(4)（和/英） | gMLP / gMLP |
| キーワード(5)（和/英） | FPGA / FPGA |
| 第 1 著者 氏名（和/英） | 神宮司 明良 / Akira Jinguji |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 中原 啓貴 / Hiroki Nakahara |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2021-12-01 |
| 資料番号 | VLD2021-21,ICD2021-31,DC2021-27,RECONF2021-29 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | VLD-277,ICD-278,DC-279,RECONF-280 |
| ページ範囲 | pp.25-30(VLD), pp.25-30(ICD), pp.25-30(DC), pp.25-30(RECONF), |
| ページ数 | 6 |
| 発行日 | 2021-11-24 (VLD, ICD, DC, RECONF) |