講演名 | 2020-09-10 通信効率の高い分散深層学習を実現するGPU-FPGAヘテロコンピューティング 田仲 顕至(NTT), 有川 勇輝(NTT), 伊藤 猛(NTT), 森田 和孝(NTT), 根本 成(NTT), 三浦 史光(NTT), 寺田 和彦(NTT), 寺本 純司(NTT), 坂本 健(NTT), |
---|---|
PDFダウンロードページ | ![]() |
抄録(和) | 分散深層学習において、学習結果のGPU間での共有に用いられる集団通信(Allreduce)は大きなボトルネックになる。提案システムでは、Allreduce機能を備えたネットワークインターフェイスカード(NIC)をFPGAで作成し、GPUとFPGA間のリモートダイレクトメモリアクセス(RDMA)用のデバイスドライバを開発した。提案システムと、従来のRDMAシステムを比較した結果、通信オーバヘッドの9割を隠蔽し、スケーラビリティを2割向上させることができた。ResNet-50モデルに、ImageNetをエンドツーエンドで学習させる時間は、精度を低下させることなく87.3 %に短縮できた。 |
抄録(英) | In distributed deep learning (DL), collective communication (Allreduce) used to share training results between GPUs is a bottleneck. We develop a network interface card (NIC) implementing the Allreduce circuit in FPGA and a device driver for remote direct memory access (RDMA) between GPU and FPGA. A comparison of our system with a conventional RDMA system shows that our system can also conceal about 90 % of the communication overhead and improve scalability by 20 %. The end-to-end time consumed for training in distributed DL with ResNet-50 and ImageNet is reduced to 87.3 % without any degradation in validation accuracy. |
キーワード(和) | 分散深層学習 / 並列コンピューティング / ヘテロジニアスコンピューティング / FPGA |
キーワード(英) | Distributed Deep Learning / Parallel Computing / Heterogeneous Computing / FPGA |
資料番号 | RECONF2020-19 |
発行日 | 2020-09-03 (RECONF) |
研究会情報 | |
研究会 | RECONF |
---|---|
開催期間 | 2020/9/10(から2日開催) |
開催地(和) | オンライン開催 |
開催地(英) | Online |
テーマ(和) | リコンフィギャラブルシステム,一般 |
テーマ(英) | Reconfigurable system, etc. |
委員長氏名(和) | 柴田 裕一郎(長崎大) |
委員長氏名(英) | Yuichiro Shibata(Nagasaki Univ.) |
副委員長氏名(和) | 佐野 健太郎(理研) / 山口 佳樹(筑波大) |
副委員長氏名(英) | Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) |
幹事氏名(和) | 三好 健文(イーツリーズ・ジャパン) / 小林 悠記(NEC) |
幹事氏名(英) | Takefumi Miyoshi(e-trees.Japan) / Yuuki Kobayashi(NEC) |
幹事補佐氏名(和) | 中原 啓貴(東工大) / 竹村 幸尚(インテル) |
幹事補佐氏名(英) | Hiroki Nakahara(Tokyo Inst. of Tech.) / Yukitaka Takemura(INTEL) |
講演論文情報詳細 | |
申込み研究会 | Technical Committee on Reconfigurable Systems |
---|---|
本文の言語 | JPN |
タイトル(和) | 通信効率の高い分散深層学習を実現するGPU-FPGAヘテロコンピューティング |
サブタイトル(和) | |
タイトル(英) | With GPU-FPGA Heterogeneous computing, Highly Effective Communication for Distributed Deep Learning |
サブタイトル(和) | |
キーワード(1)(和/英) | 分散深層学習 / Distributed Deep Learning |
キーワード(2)(和/英) | 並列コンピューティング / Parallel Computing |
キーワード(3)(和/英) | ヘテロジニアスコンピューティング / Heterogeneous Computing |
キーワード(4)(和/英) | FPGA / FPGA |
第 1 著者 氏名(和/英) | 田仲 顕至 / Kenji Tanaka |
第 1 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
第 2 著者 氏名(和/英) | 有川 勇輝 / Yuki Arikawa |
第 2 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
第 3 著者 氏名(和/英) | 伊藤 猛 / Tsuyoshi Ito |
第 3 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
第 4 著者 氏名(和/英) | 森田 和孝 / Kazutaka Morita |
第 4 著者 所属(和/英) | NTT ソフトウェアイノベーションセンター(略称:NTT) NTT Software Innovation Center(略称:NTT) |
第 5 著者 氏名(和/英) | 根本 成 / Naru Nemoto |
第 5 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
第 6 著者 氏名(和/英) | 三浦 史光 / Fumiaki Miura |
第 6 著者 所属(和/英) | NTT ソフトウェアイノベーションセンター(略称:NTT) NTT Software Innovation Center(略称:NTT) |
第 7 著者 氏名(和/英) | 寺田 和彦 / Kazuhiko Terada |
第 7 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
第 8 著者 氏名(和/英) | 寺本 純司 / Junji Teramoto |
第 8 著者 所属(和/英) | NTT ソフトウェアイノベーションセンター(略称:NTT) NTT Software Innovation Center(略称:NTT) |
第 9 著者 氏名(和/英) | 坂本 健 / Takashi Sakamoto |
第 9 著者 所属(和/英) | NTT 先端集積デバイス研究所(略称:NTT) NTT Device Technology Laboratories(略称:NTT) |
発表年月日 | 2020-09-10 |
資料番号 | RECONF2020-19 |
巻番号(vol) | vol.120 |
号番号(no) | RECONF-168 |
ページ範囲 | pp.1-6(RECONF), |
ページ数 | 6 |
発行日 | 2020-09-03 (RECONF) |