| 講演名 | 2020-10-12 常微分方程式を用いたニューラルネットワークのFPGA実装の検討 渡邉 寛悠(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ODE-Netとは、深層学習におけるResNetを常微分方程式の解法の一種であるオイラー法であるとみなし、ResNetにおける積層構造を、常微分方程式のソルバーに置換、パラメータ数の削減や、ソルバーの切り替えによる精度と速度のトレードオフの取捨選択が可能になるという利点が挙げられる。これらの利点は、資源の限られたエッジデバイスでの推論の高速化や、パラメータ数を維持したままでの深層学習モデルの高精度化や、あるいは精度を落とさずに、パラメータ数の削減等が期待できる点である。しかしながら、このODE-Netは、通常の深層学習モデルとはことなり、勾配の計算時に、誤差逆伝播法以外の手法を使用し、また、勾配の計算時にもソルバーを使用するという特徴がある。従って、通常の深層学習モデルとは、推論や学習、アーキテクチャの変化に伴って、ボトルネックの箇所が変化し得る。そのため、本論文では、オイラー法と2次ルンゲクッタ法、4次ルンゲクッタ法に対して実行時間と精度に対する解析を行い、ソルバーの実行がボトルネックとなっていることを示した。また、オイラー法をPynq-Z2のFPGAに実装した場合、オイラー法の実行時間における性能向上が5.913倍となることを見積もりに基づく評価によって示した。 |
| 抄録(英) | |
| キーワード(和) | ニューラルネットワーク / 常微分方程式 / Neural ODE / FPGA |
| キーワード(英) | |
| 資料番号 | CPSY2020-21,DC2020-21 |
| 発行日 | 2020-10-05 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | DC / CPSY / IPSJ-ARC |
|---|---|
| 開催期間 | 2020/10/12(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | HotSPA2020: アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Architecture, Computer Systems, Dependable Computing, etc. (HotSPA2020) |
| 委員長氏名（和） | 高橋 寛(愛媛大) / 入江 英嗣(東大) / 井上 弘士(九大) |
| 委員長氏名（英） | Hiroshi Takahashi(Ehime Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 土屋 達弘(阪大) / 鯉渕 道紘(NII) / 中島 耕太(富士通研) |
| 副委員長氏名（英） | Tatsuhiro Tsuchiya(Osaka Univ.) / Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) |
| 幹事氏名（和） | 新井 雅之(日大) / 難波 一輝(千葉大) / 高前田 伸也(北大) / 津邑 公暁(名工大) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Shinya Takameda(Hokkaido Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | / 小川 周吾(日立) / 有間 英志(東大) |
| 幹事補佐氏名（英） | / Shugo Ogawa(Hitachi) / Eiji Arima(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Dependable Computing / Technical Committee on Computer Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 常微分方程式を用いたニューラルネットワークのFPGA実装の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Case for FPGA Implementation of ODE-Based Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク |
| キーワード(2)（和/英） | 常微分方程式 |
| キーワード(3)（和/英） | Neural ODE |
| キーワード(4)（和/英） | FPGA |
| 第 1 著者 氏名（和/英） | 渡邉 寛悠 / Hirohisa Watanabe |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2020-10-12 |
| 資料番号 | CPSY2020-21,DC2020-21 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | CPSY-188,DC-189 |
| ページ範囲 | pp.22-27(CPSY), pp.22-27(DC), |
| ページ数 | 6 |
| 発行日 | 2020-10-05 (CPSY, DC) |