| 講演名 | 2016-01-20 PEACH3の通信性能評価 金田 隆大(慶大), 鶴田 千晴(慶大), 塙 敏博(東大), 天野 英晴(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年,グラフィックプロセッサ(Graphic Processing Unit,以下GPU)の一般目的への利用(General Purpose computation using on GPUs,以下GPGPU)の普及が進み,複数のGPUを利用するヘテロジーニアスクラスタがハイパフォーマンスコンピューティングの分野において一般的になってきた. しかしながら,ノードをまたいだGPU同士の通信はそれぞれのホストCPUのメモリを介した間接的通信を行う必要があり,通信遅延が大きい点が問題である. そこで,筑波大学計算科学研究センターは,GPU同士の直接通信を可能とするPEACH2(PCI-Express Adaptive Communication Hub 2)を利用することで複数のGPUを密に接続することができる密結合並列演算加速機構(Tightly Coupled Accelerators, TCA)を提案した. しかしPEACH2は通信にPCIe Gen 2 x8を利用しており,バンド幅が不足していた. そのためPCIe Gen 3 x8を利用できるPEACH3を新たに開発した. 本報告では,このPEACH3を用いた通信テストを行い,PEACH3の性能の評価を行った. CPU-GPU通信ではCUDA APIに比べ2倍の高バンド幅,低レイテンシを達成した. GPU-GPU通信ではPEACH2とバンド幅,レイテンシともにおおよそ同等の通信性能を達成できる事が確認できた. CPU-CPU通信では過去に測定したドライバレベルの通信と今回APIを利用した通信と比較したところドライバレベルの通信と同程度の通信を実現した. |
| 抄録(英) | A recent rapid increase of GPU performance makes GPGPU (General Purpose Computation using on GPUs) a mainstream of high performance computing. For a large scale target, multi-GPU systems in which a node with a few GPUs are connected through each host CPU have become popular. However, such systems suffer a large latency to communicate between GPUs attached to different hosts. In order to cope with this problem, Center for Computational Sciences, University of Tsukuba has developed a tightly couple accelerators (TCA) architecture which connects a large number of GPUs directly with dedicated switches PEACH2 (PCI-Express Adaptive Communication Hub 2). PEACH2 connects a host directly with PCI express Generation 2 x8, and forms a ring network by connecting neighboring PEACH2 switches directly also with PCI express. But, the PCIe Gen 2 protocol's bandwidths are smaller for the HPC. We developed the new board, PEACH3 with PCIe Gen 3 x8. In this report, We had a communication test and evaluated the performance of the PEACH3, and we achieved about twice higher bandwidth and lower latency as compared to the CUDA API in CPU-GPU communication within the node. In GPU-GPU communication that's across the nodes, PEACH3s have achieved almost the same performance as PEACH2s. Even if a communication driver level compared to CPU-CPU communication, by utilizing the API was less performance loss. |
| キーワード(和) | ヘテロジーニアスクラスタ / アクセラレータ / GPU / TCA / PEACH3 |
| キーワード(英) | Heterogeneous cluster / Accelerator / GPU / TCA / PEACH3 |
| 資料番号 | VLD2015-96,CPSY2015-128,RECONF2015-78 |
| 発行日 | 2016-01-12 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | VLD / CPSY / RECONF / IPSJ-SLDM / IPSJ-ARC |
|---|---|
| 開催期間 | 2016/1/19(から3日開催) |
| 開催地（和） | 慶應義塾大学 日吉キャンパス |
| 開催地（英） | Hiyoshi Campus, Keio University |
| テーマ（和） | FPGA応用および一般 |
| テーマ（英） | FPGA Applications, etc |
| 委員長氏名（和） | 松永 裕介(九大) / 中島 康彦(奈良先端大) / 渡邊 実(静岡大) / 福井 正博(立命館大) / 五島 正裕(国情研) |
| 委員長氏名（英） | Yusuke Matsunaga(Kyushu Univ.) / Yasuhiko Nakashima(NAIST) / Minoru Watanabe(Shizuoka Univ.) / Masahiro Fukui(Ritsumeikan Univ.) / Masahiro Goshima(国情研) |
| 副委員長氏名（和） | 竹中 崇(NEC) / 中野 浩嗣(広島大) / 入江 英嗣(東大) / 本村 真人(北大) / 柴田 裕一郎(長崎大) |
| 副委員長氏名（英） | Takashi Takenana(NEC) / Koji Nakano(Hiroshima Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Masato Motomura(Hokkaido Univ.) / Yuichiro Shibata(Nagasaki Univ.) |
| 幹事氏名（和） | 冨山 宏之(立命館大) / 福田 大輔(富士通研) / 三吉 貴史(富士通研) / 鯉渕 道紘(NII) / 山田 裕(東芝) / 山口 佳樹(筑波大) / 横山 昌生(シャープ) / 高島 康裕(北九州市大) / 西出 岳央(東芝) / 小野 貴継(九大) / 津邑 公暁(名工大) / 三輪 忍(電通大) / 山下 浩一郎(富士通研) |
| 幹事氏名（英） | Hiroyuki Tomiyama(Ritsumeikan Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Takashi Miyoshi(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Yutaka Yamada(Toshiba) / Yoshiki Yamaguchi(Univ. of Tsukuba) / Masao Yokoyama(Sharp) / Yasuhiro Takashima(Kitakyushu City Univ.) / Takeo Nishide(Toshiba) / Takatsugu Ono(九大) / Tomoaki Tsumura(名工大) / Shinobu Miwa(電通大) / Koichiro Yamashita(富士通研) |
| 幹事補佐氏名（和） | 谷口 一徹(立命館大) / 高前田 伸也(奈良先端大) / 大川 猛(宇都宮大) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) |
| 幹事補佐氏名（英） | Ittetsu Taniguchi(Ritsumeikan Univ.) / Shinya Takameda(NAIST) / Takeshi Ohkawa(Utsunomiya Univ.) / Kazuya Tanikagawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Special Interest Group on System and LSI Design Methodology / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | PEACH3の通信性能評価 |
| サブタイトル（和） | |
| タイトル（英） | A performance evaluation of PEACH3 |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ヘテロジーニアスクラスタ / Heterogeneous cluster |
| キーワード(2)（和/英） | アクセラレータ / Accelerator |
| キーワード(3)（和/英） | GPU / GPU |
| キーワード(4)（和/英） | TCA / TCA |
| キーワード(5)（和/英） | PEACH3 / PEACH3 |
| 第 1 著者 氏名（和/英） | 金田 隆大 / Takahiro Kaneda |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ) |
| 第 2 著者 氏名（和/英） | 鶴田 千晴 / Chiharu Tsuruta |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ) |
| 第 3 著者 氏名（和/英） | 塙 敏博 / Toshihiro Hanawa |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University Tokyo(略称：UTokyo) |
| 第 4 著者 氏名（和/英） | 天野 英晴 / Hideharu Amano |
| 第 4 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ) |
| 発表年月日 | 2016-01-20 |
| 資料番号 | VLD2015-96,CPSY2015-128,RECONF2015-78 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | VLD-398,CPSY-399,RECONF-400 |
| ページ範囲 | pp.155-160(VLD), pp.155-160(CPSY), pp.155-160(RECONF), |
| ページ数 | 6 |
| 発行日 | 2016-01-12 (VLD, CPSY, RECONF) |