| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-01-24 11:00 ソフトウェアスイッチによるマルチGPU深層学習のパラメータ集約 ○古川雅輝・井坪知也・松谷宏紀（慶大）  VLD2019-83 CPSY2019-81 RECONF2019-73 |
|
| 抄録 | （和） | 近年、GPUを搭載した複数のマシンをリモート接続したGPUクラスタを用いた分散深層学習が注目を集めている。GPUクラスタを用いた分散深層学習では、勾配の集約処理を行うために頻繁にノード間で通信を行う必要があり、複数GPUによる学習高速化のボトルネックとなっている。特に広帯域のインターコネクトを用いたGPUクラスタでは、勾配の送受信におけるカーネル処理のオーバーヘッドが無視できない。そこで、本論文では40Gbit Ethernetでリモート接続されたGPUクラスタとホストマシンの間に、勾配集約を行うDPDKベースのソフトウェアスイッチを導入する。ネットワークスイッチ上で集約処理を行うことにより、汎用マシンで構成されるクラスタ環境においてUDP通信を用いた場合、ホストマシン上での集約処理と比較して約2.2-2.5倍の高速化を達成した。ExpEtherを用いた環境においても集約処理の高速化が期待される。 |
| （英） | (Not available yet) | |
| キーワード | （和） | 深層学習 / リモートGPU / ソフトウェアスイッチ / DPDK / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 119, no. 372, CPSY2019-81, pp. 175-180, 2020年1月. | |
| 資料番号 | CPSY2019-81 | |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2019-83 CPSY2019-81 RECONF2019-73 |
|
| 研究会情報 | |
| 研究会 | IPSJ-SLDM RECONF VLD CPSY IPSJ-ARC |
| 開催期間 | 2020-01-22 - 2020-01-24 |
| 開催地（和） | 慶応義塾大学 日吉キャンパス 来往舎 |
| 開催地（英） | Raiosha, Hiyoshi Campus, Keio University |
| テーマ（和） | FPGA応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2020-01-SLDM-RECONF-VLD-CPSY-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | ソフトウェアスイッチによるマルチGPU深層学習のパラメータ集約 |
| サブタイトル（和） | |
| タイトル（英） | Parameter Aggregation using Software Switch for Multi-GPU Deep Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層学習 / |
| キーワード(2)（和/英） | リモートGPU / |
| キーワード(3)（和/英） | ソフトウェアスイッチ / |
| キーワード(4)（和/英） | DPDK / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古川 雅輝 / Masaki Furukawa / フルカワ マサキ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 井坪 知也 / Tomoya Itsubo / イツボ トモヤ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 松谷 宏紀 / Hiroki Matsutani / マツタニ ヒロキ |
| 第3著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-01-24 11:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | VLD2019-83, CPSY2019-81, RECONF2019-73 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.371(VLD), no.372(CPSY), no.373(RECONF) |
| ページ範囲 | pp.175-180 |
| ページ数 | 6 |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) |
[研究会発表申込システムのトップページに戻る]