| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-25 16:00 Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 ○横手宥則・三輪 忍・八巻隼人・本多弘樹（電通大）  CPSY2020-56 DC2020-86 |
|
| 抄録 | （和） | 深層学習には膨大な計算時間を要することから、複数GPUを用いた並列化が行われることが多い。深層学習の並列化方式の1つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている。Mesh TensorFlowは最初のバージョンがリリースされてからまだ日が浅く、利用法に関する知見が十分に得られているとは言い難い。そこで本稿では、Mesh TensorFlowを用いたモデル並列化においてCPU-GPU間のデータ転送の最適化を行う。具体的には、Mesh TensorFlowのサンプルコードでCPUからGPUへの訓練データ転送を特定のGPUを経由するのではなく、CPUから各GPUに並列に直接転送するようにする。これにより、経由していたGPUメモリの利用効率改善とデータ転送時間の短縮が期待できる。評価の結果、上記の最適化によって最適化前よりも訓練データ転送時間を短縮可能であり、また経由地となっていたGPUの使用メモリ量も削減可能なことを確認できた。 |
| （英） | Since deep learning requires an enormous amount of computation time, it is often executed on multiple GPUs. Mesh TensorFlow has been proposed as a language for model parallelization, which is one of the parallelization methods for deep learning. In this paper, we optimize data transfer between CPU and GPU in model parallelization using Mesh TensorFlow. Specifically, our optimization enables training data to be transferred from the CPU to each GPU directly in parallel, though it is originally transferred via a specific GPU in the sample code of Mesh TensorFlow. Our experimental results show that our optimization can both reduce the time of the data transfer and improve the efficiency of GPU-memory utilization. | |
| キーワード | （和） | Mesh TensorFlow / モデル並列学習 / GPU / / / / / |
| （英） | Mesh TensorFlow / Model Parallel / GPU / / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 435, CPSY2020-56, pp. 37-42, 2021年3月. | |
| 資料番号 | CPSY2020-56 | |
| 発行日 | 2021-03-18 (CPSY, DC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2020-56 DC2020-86 |
|
| 研究会情報 | |
| 研究会 | CPSY DC IPSJ-SLDM IPSJ-EMB IPSJ-ARC |
| 開催期間 | 2021-03-25 - 2021-03-26 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2021 |
| テーマ（英） | ETNET2021 |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2021-03-CPSY-DC-SLDM-EMB-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimizing Data Transfer between CPU and GPU in Model Parallel Training with Mesh TensorFlow |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Mesh TensorFlow / Mesh TensorFlow |
| キーワード(2)（和/英） | モデル並列学習 / Model Parallel |
| キーワード(3)（和/英） | GPU / GPU |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 横手 宥則 / Hironori Yokote / ヨコテ ヒロノリ |
| 第1著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第2著者 氏名（和/英/ヨミ） | 三輪 忍 / Shinobu Miwa / ミワ シノブ |
| 第2著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第3著者 氏名（和/英/ヨミ） | 八巻 隼人 / Hayato Yamaki / ヤマキ ハヤト |
| 第3著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第4著者 氏名（和/英/ヨミ） | 本多 弘樹 / Hiroki Honda / ホンダ ヒロキ |
| 第4著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-25 16:00:00 |
| 発表時間 | 20分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2020-56, DC2020-86 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.435(CPSY), no.436(DC) |
| ページ範囲 | pp.37-42 |
| ページ数 | 6 |
| 発行日 | 2021-03-18 (CPSY, DC) |
[研究会発表申込システムのトップページに戻る]