| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-09-10 13:30 通信効率の高い分散深層学習を実現するGPU-FPGAヘテロコンピューティング ○田仲顕至・有川勇輝・伊藤 猛・森田和孝・根本 成・三浦史光・寺田和彦・寺本純司・坂本 健（NTT）  RECONF2020-19 |
|
| 抄録 | （和） | 分散深層学習において、学習結果のGPU間での共有に用いられる集団通信（Allreduce）は大きなボトルネックになる。提案システムでは、Allreduce機能を備えたネットワークインターフェイスカード（NIC）をFPGAで作成し、GPUとFPGA間のリモートダイレクトメモリアクセス（RDMA）用のデバイスドライバを開発した。提案システムと、従来のRDMAシステムを比較した結果、通信オーバヘッドの9割を隠蔽し、スケーラビリティを2割向上させることができた。ResNet-50モデルに、ImageNetをエンドツーエンドで学習させる時間は、精度を低下させることなく87.3 ％に短縮できた。 |
| （英） | In distributed deep learning (DL), collective communication (Allreduce) used to share training results between GPUs is a bottleneck. We develop a network interface card (NIC) implementing the Allreduce circuit in FPGA and a device driver for remote direct memory access (RDMA) between GPU and FPGA. A comparison of our system with a conventional RDMA system shows that our system can also conceal about 90 % of the communication overhead and improve scalability by 20 %. The end-to-end time consumed for training in distributed DL with ResNet-50 and ImageNet is reduced to 87.3 % without any degradation in validation accuracy. | |
| キーワード | （和） | 分散深層学習 / 並列コンピューティング / ヘテロジニアスコンピューティング / FPGA / / / / |
| （英） | Distributed Deep Learning / Parallel Computing / Heterogeneous Computing / FPGA / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 168, RECONF2020-19, pp. 1-6, 2020年9月. | |
| 資料番号 | RECONF2020-19 | |
| 発行日 | 2020-09-03 (RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| 査読に ついて |
本技術報告は査読を経ていない技術報告であり，推敲を加えられていずれかの場に発表されることがあります． | |
| PDFダウンロード | RECONF2020-19 |
|
| 研究会情報 | |
| 研究会 | RECONF |
| 開催期間 | 2020-09-10 - 2020-09-11 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | リコンフィギャラブルシステム，一般 |
| テーマ（英） | Reconfigurable system, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | RECONF |
| 会議コード | 2020-09-RECONF |
| 本文の言語 | 日本語 |
| タイトル（和） | 通信効率の高い分散深層学習を実現するGPU-FPGAヘテロコンピューティング |
| サブタイトル（和） | |
| タイトル（英） | With GPU-FPGA Heterogeneous computing, Highly Effective Communication for Distributed Deep Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 分散深層学習 / Distributed Deep Learning |
| キーワード(2)（和/英） | 並列コンピューティング / Parallel Computing |
| キーワード(3)（和/英） | ヘテロジニアスコンピューティング / Heterogeneous Computing |
| キーワード(4)（和/英） | FPGA / FPGA |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 田仲 顕至 / Kenji Tanaka / タナカ ケンジ |
| 第1著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 有川 勇輝 / Yuki Arikawa / アリカワ ユキ |
| 第2著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 伊藤 猛 / Tsuyoshi Ito / イトウ ツヨシ |
| 第3著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 森田 和孝 / Kazutaka Morita / モリタ カズタカ |
| 第4著者 所属（和/英） | NTT ソフトウェアイノベーションセンター (略称： NTT) NTT Software Innovation Center (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 根本 成 / Naru Nemoto / ネモト ナル |
| 第5著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第6著者 氏名（和/英/ヨミ） | 三浦 史光 / Fumiaki Miura / ミウラ フミアキ |
| 第6著者 所属（和/英） | NTT ソフトウェアイノベーションセンター (略称： NTT) NTT Software Innovation Center (略称： NTT) |
| 第7著者 氏名（和/英/ヨミ） | 寺田 和彦 / Kazuhiko Terada / テラダ カズヒコ |
| 第7著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第8著者 氏名（和/英/ヨミ） | 寺本 純司 / Junji Teramoto / テラモト ジュンジ |
| 第8著者 所属（和/英） | NTT ソフトウェアイノベーションセンター (略称： NTT) NTT Software Innovation Center (略称： NTT) |
| 第9著者 氏名（和/英/ヨミ） | 坂本 健 / Takashi Sakamoto / サカモト タケシ |
| 第9著者 所属（和/英） | NTT 先端集積デバイス研究所 (略称： NTT) NTT Device Technology Laboratories (略称： NTT) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-09-10 13:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | RECONF |
| 資料番号 | RECONF2020-19 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.168 |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2020-09-03 (RECONF) |
[研究会発表申込システムのトップページに戻る]