| 講演名 | 2023-11-15 多重量子化オプティマイザを用いたエッジAIオンライン学習アーキテクチャの提案 明野 樹紀(北大), 山崎 比伊呂(北大), 浅井 哲也(北大), 安藤 洸太(北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究ではニューラルネットワークによる学習のできるハードウェアのアーキテクチャを検討評価し、そのFPGA 実装を行った。現在ニューラルネットワークを用いた AI は広く使われており、AI の学習計算をするための専用ハードウェアの開発が急がれている。そこでハードウェア指向のオプティマイザとして Holmes があり、これを用いると他のオプティマイザに比べて小さいメモリの割に早い収束をする学習ができることがわかっている。よって本論文では Holmes を搭載し、また並列化とパイプライン化によって大きなスループットが出せるハードウェアのアーキテクチャを提案した。また、そのアーキテクチャをもとにプロトタイプとして XOR、NOR の学習を行うハードウェアを FPGA に実装し、資源の評価を行った。 |
| 抄録(英) | We propose a processor architecture for neural network (NN) training in edge and prototype it on an FPGA (Field--Programmable Gate Array). Currently, neural networks are widely employed in arti?cial intelligence (AI), and there is a pressing need for the development of dedicated hardware for edge side AI training. To address this demand, the Holmes optimizer has been proposed and proved to have capability of faster convergence with a smaller memory footprint compared toother optimizers. Therefore, this paper presents a hardware architecture that incorporates Holmes and leverages parallelization and pipelining techniques to achieve signi?can't throughput improvements. Furthermore, based on this architecture, we evaluated the hardware resource consumption of the proposed architecture by implementing it on an FPGA. This research focuseson proposing a hardware architecture suitable for neural network learning and its FPGA implementation. It contributes to theadvancement of hardware for neural network-based AI learning, which is of paramount importance given the widespread usageof neural networks in AI applications. |
| キーワード(和) | ニューラルネットワーク / エッジコンピューティング / アーキテクチャ / FPGA / オプティマイザ |
| キーワード(英) | Neural Network / Edge Computing / Architecture / FPGA / Optimizer |
| 資料番号 | VLD2023-41,ICD2023-49,DC2023-48,RECONF2023-44 |
| 発行日 | 2023-11-08 (VLD, ICD, DC, RECONF) |
| 研究会情報 | |
| 研究会 | VLD / DC / RECONF / ICD / IPSJ-SLDM |
|---|---|
| 開催期間 | 2023/11/15(から3日開催) |
| 開催地（和） | くまもと市民会館シアーズホーム夢ホール |
| 開催地（英） | Civic Auditorium Sears Home Yume Hall |
| テーマ（和） | デザインガイア2023 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2023 -New Field of VLSI Design- |
| 委員長氏名（和） | 中武 繁寿(北九州市大) / 土屋 達弘(阪大) / 山口 佳樹(筑波大) / 池田 誠(東大) / 越智 裕之(立命館大) |
| 委員長氏名（英） | Shigetoshi Nakatake(Univ. of Kitakyushu) / Tatsuhiro Tsuchiya(Osaka Univ.) / Yoshiki Yamaguchi(Tsukuba Univ.) / Makoto Ikeda(Univ. of Tokyo) / Hiroyuki Ochi(Ritsumeikan Univ.) |
| 副委員長氏名（和） | 桜井 祐市(日立) / 細川 利典(日大) / 井口 寧(北陸先端大) / 泉 知論(立命館大) / 若林 準人(ソニーセミコンダクタソリューションズ) |
| 副委員長氏名（英） | Yuichi Sakurai(Hitachi) / Toshinori Hosokawa(Nihon Univ.) / Yasushi Inoguchi(JAIST) / Tomonori Izumi(Ritsumeikan Univ.) / Hayato Wakabayashi(Sony Semiconductor Solutions) |
| 幹事氏名（和） | 笹川 幸宏(ソシオネクスト) / 今井 雅(弘前大) / 新井 雅之(日大) / 難波 一輝(千葉大) / 小林 悠記(NEC) / 佐藤 幸紀(豊橋技科大) / 吉原 義昭(キオクシア) / 宮地 幸祐(信州大) / 今川 隆司(明大) / 岸田 亮(富山県立大) / 田中 勇気(日立) / 五十嵐 友則(ルネサス) |
| 幹事氏名（英） | Yukihiro Sasagawa(Socionext) / Masashi Imai(Hirosaki Univ.) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Yuuki Kobayashi(NEC) / Yukinori Sato(Toyohashi Univ. of Tech.) / Yoshiaki Yoshihara(Kioxia) / Kosuke Miyaji(Shinshu Univ.) / Takashi Imagawa(Meiji Univ.) / Ryo Kishida(Toyama Prefectural Univ.) / Yuki Tanaka(HITACHI) / Tomonori Igarashi(Renesas) |
| 幹事補佐氏名（和） | 西元 琢真(日立) / / 竹村 幸尚(インテル) / 長名 保範(熊本大) / 白井 僚(京大) / 塩見 準(阪大) / 久保木 猛(熊本大) |
| 幹事補佐氏名（英） | Takuma Nishimoto(Hitachi) / / Yukitaka Takemura(INTEL) / Yasunori Osana(Kumamoto Univ.) / Ryo Shirai(Kyoto Univ.) / Jun Shiomi(Osaka Univ.) / Takeshi Kuboki(Kumamoto University) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Dependable Computing / Technical Committee on Reconfigurable Systems / Technical Committee on Integrated Circuits and Devices / Special Interest Group on System and LSI Design Methodology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 多重量子化オプティマイザを用いたエッジAIオンライン学習アーキテクチャの提案 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | エッジコンピューティング / Edge Computing |
| キーワード(3)（和/英） | アーキテクチャ / Architecture |
| キーワード(4)（和/英） | FPGA / FPGA |
| キーワード(5)（和/英） | オプティマイザ / Optimizer |
| 第 1 著者 氏名（和/英） | 明野 樹紀 / Itsuki Akeno |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ) |
| 第 2 著者 氏名（和/英） | 山崎 比伊呂 / Hiro Yamazaki |
| 第 2 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ) |
| 第 3 著者 氏名（和/英） | 浅井 哲也 / Tetsuya Asai |
| 第 3 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ) |
| 第 4 著者 氏名（和/英） | 安藤 洸太 / Kota Ando |
| 第 4 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ) |
| 発表年月日 | 2023-11-15 |
| 資料番号 | VLD2023-41,ICD2023-49,DC2023-48,RECONF2023-44 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | VLD-258,ICD-259,DC-260,RECONF-261 |
| ページ範囲 | pp.64-69(VLD), pp.64-69(ICD), pp.64-69(DC), pp.64-69(RECONF), |
| ページ数 | 6 |
| 発行日 | 2023-11-08 (VLD, ICD, DC, RECONF) |