| 講演名 | 2019-06-11 FPGAスイッチを用いたマルチGPU深層学習の高速化 井坪 知也(慶大), 竹本 一馬(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習を用いた学習は大量の訓練データに対して大量の行列演算を行うため、学習の完了には膨大な時間がかかる。近年では、行列演算を高速に処理できるGPU(Graphics Processing Unit)を複数用いて並列に計算を行うことで高速に学習が行えることから、GPU搭載マシンを相互接続したクラスタを使用した分散深層学習が広く利用されている。計算負荷という点ではGPUによる勾配計算が支配的ではあるが、このような分散深層学習においてはGPUを搭載したホストマシンによる勾配集約のオーバヘッドも無視できない。そこで、本論文では、PCI-Express over 10Gbit Ethernet技術を用いてGPUとホストマシンをリモート接続することで単一のホストマシンに接続されるGPUの数を増やす。そのうえでEthernetでリモート接続されたGPUとホスト間に勾配集約を専用回路で行うFPGAベースの10Gbit Ethernetスイッチを導入する。このように勾配計算をリモートGPU、勾配集約をFPGAスイッチで実現することで分散深層学習処理の高効率化を狙う。 |
| 抄録(英) | |
| キーワード(和) | 深層学習 / リモートGPU / FPGAスイッチ |
| キーワード(英) | |
| 資料番号 | CPSY2019-5,DC2019-5 |
| 発行日 | 2019-06-04 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | DC / CPSY / IPSJ-ARC |
|---|---|
| 開催期間 | 2019/6/11(から2日開催) |
| 開催地（和） | 指宿温泉 休暇村 指宿 |
| 開催地（英） | National Park Resort Ibusuki |
| テーマ（和） | HotSPA2019: アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Architecture, Computer Systems, Dependable Computing, etc. (HotSPA2019) |
| 委員長氏名（和） | 福本 聡(首都大東京) / 入江 英嗣(東大) / 井上 弘士(九大) |
| 委員長氏名（英） | Satoshi Fukumoto(Tokyo Metropolitan Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 高橋 寛(愛媛大) / 鯉渕 道紘(NII) / 中島 耕太(富士通研) |
| 副委員長氏名（英） | Hiroshi Takahashi(Ehime Univ.) / Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) |
| 幹事氏名（和） | 新井 雅之(日大) / 難波 一輝(千葉大) / 津邑 公暁(名工大) / 高前田 伸也(北大) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Shinya Takameda(Hokkaido Univ.) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | / 有間 英志(東大) / 小川 周吾(日立) |
| 幹事補佐氏名（英） | / Eiji Arima(Univ. of Tokyo) / Shugo Ogawa(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Dependable Computing / Technical Committee on Computer Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | FPGAスイッチを用いたマルチGPU深層学習の高速化 |
| サブタイトル（和） | |
| タイトル（英） | Accelerating Deep Learning for Multiple GPUs using FPGA Based Switch |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 |
| キーワード(2)（和/英） | リモートGPU |
| キーワード(3)（和/英） | FPGAスイッチ |
| 第 1 著者 氏名（和/英） | 井坪 知也 / Tomoya Itsubo |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 竹本 一馬 / Kazuma Takemoto |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 3 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 3 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2019-06-11 |
| 資料番号 | CPSY2019-5,DC2019-5 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | CPSY-76,DC-77 |
| ページ範囲 | pp.45-50(CPSY), pp.45-50(DC), |
| ページ数 | 6 |
| 発行日 | 2019-06-04 (CPSY, DC) |