| 講演名 | 2021-03-25 Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 横手 宥則(電通大), 三輪 忍(電通大), 八巻 隼人(電通大), 本多 弘樹(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習には膨大な計算時間を要することから、複数GPUを用いた並列化が行われることが多い。深層学習の並列化方式の1つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている。Mesh TensorFlowは最初のバージョンがリリースされてからまだ日が浅く、利用法に関する知見が十分に得られているとは言い難い。そこで本稿では、Mesh TensorFlowを用いたモデル並列化においてCPU-GPU間のデータ転送の最適化を行う。具体的には、Mesh TensorFlowのサンプルコードでCPUからGPUへの訓練データ転送を特定のGPUを経由するのではなく、CPUから各GPUに並列に直接転送するようにする。これにより、経由していたGPUメモリの利用効率改善とデータ転送時間の短縮が期待できる。評価の結果、上記の最適化によって最適化前よりも訓練データ転送時間を短縮可能であり、また経由地となっていたGPUの使用メモリ量も削減可能なことを確認できた。 |
| 抄録(英) | Since deep learning requires an enormous amount of computation time, it is often executed on multiple GPUs. Mesh TensorFlow has been proposed as a language for model parallelization, which is one of the parallelization methods for deep learning. In this paper, we optimize data transfer between CPU and GPU in model parallelization using Mesh TensorFlow. Specifically, our optimization enables training data to be transferred from the CPU to each GPU directly in parallel, though it is originally transferred via a specific GPU in the sample code of Mesh TensorFlow. Our experimental results show that our optimization can both reduce the time of the data transfer and improve the efficiency of GPU-memory utilization. |
| キーワード(和) | Mesh TensorFlow / モデル並列学習 / GPU |
| キーワード(英) | Mesh TensorFlow / Model Parallel / GPU |
| 資料番号 | CPSY2020-56,DC2020-86 |
| 発行日 | 2021-03-18 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-SLDM / IPSJ-EMB / IPSJ-ARC |
|---|---|
| 開催期間 | 2021/3/25(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2021 |
| テーマ（英） | ETNET2021 |
| 委員長氏名（和） | 入江 英嗣(東大) / 高橋 寛(愛媛大) / 中村 祐一(NEC) / / 井上 弘士(九大) |
| 委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Takahashi(Ehime Univ.) / Yuichi Nakamura(NEC) / / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 鯉渕 道紘(NII) / 中島 耕太(富士通研) / 土屋 達弘(阪大) |
| 副委員長氏名（英） | Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) / Tatsuhiro Tsuchiya(Osaka Univ.) |
| 幹事氏名（和） | 高前田 伸也(東大) / 津邑 公暁(名工大) / 新井 雅之(日大) / 難波 一輝(千葉大) / 瀬戸 謙修(東京都市大) / 密山 幸男(高知工科大) / 君家 一紀(三菱電機) / 廣本 正之(富士通研) / / 今村 智(富士通研) / 塩谷 亮太(東大) / 谷本 輝夫(九大) / 新田 高庸(NTT) |
| 幹事氏名（英） | Shinya Takameda(Univ. of Tokyo) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Kenshu Seto(Tokyo City Univ.) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Kazuki Oya(Mitsubishi Electric) / Masayuki Hiromoto(Fujistu Lab.) / / Satoshi Imamura(Fujitsu Lab.) / Ryota Shioya(Univ. of Tokyo) / Teruo Tanimoto(Kyushu Univ.) / Koyo Nitta(NTT) |
| 幹事補佐氏名（和） | 小川 周吾(日立) / 有間 英志(東大) |
| 幹事補佐氏名（英） | Shugo Ogawa(Hitachi) / Eiji Arima(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System and LSI Design Methodology / Special Interest Group on Embedded Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimizing Data Transfer between CPU and GPU in Model Parallel Training with Mesh TensorFlow |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Mesh TensorFlow / Mesh TensorFlow |
| キーワード(2)（和/英） | モデル並列学習 / Model Parallel |
| キーワード(3)（和/英） | GPU / GPU |
| 第 1 著者 氏名（和/英） | 横手 宥則 / Hironori Yokote |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 三輪 忍 / Shinobu Miwa |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 3 著者 氏名（和/英） | 八巻 隼人 / Hayato Yamaki |
| 第 3 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 4 著者 氏名（和/英） | 本多 弘樹 / Hiroki Honda |
| 第 4 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2021-03-25 |
| 資料番号 | CPSY2020-56,DC2020-86 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | CPSY-435,DC-436 |
| ページ範囲 | pp.37-42(CPSY), pp.37-42(DC), |
| ページ数 | 6 |
| 発行日 | 2021-03-18 (CPSY, DC) |