講演抄録/キーワード |
講演名 |
2012-03-09 13:50
計算サーバ間相互接続網の構造がMapReduce処理のシャッフル完了時間に与える影響について ○松木辰真(阪大)・木村達明・森 達哉(NTT)・滝根哲哉(阪大) IN2011-200 |
抄録 |
(和) |
データセンターにおける代表的な分散処理機構である MapReduce 処理では,
シャッフルと呼ばれる大量のデータ転送が計算サーバ間で行われる.本稿で
は,計算サーバ間を相互接続するネットワークの構造が MapReduce 処理にお
けるシャッフルの完了時間にどのような影響を与えるかについて考察する.特
に本稿では,代表的なネットワーク構造として単純木構造とFat-Tree 構造を
取り上げ,理論的な検討並びにシミュレーション実験を併用して,相互接続網の
構造がシャッフルの完了時間に与える影響について考察する. |
(英) |
MapReduce processing, a typical distributed processing scheme in data
centers, includes shuffle operation, where a massive amount of data
are transferred between computation servers. In this article, we
investigate the impact of the interconnection network structure on the
shuffle completion time. For this purpose, we consider a simple tree
structure and fat-tree strucure, and investigate their impact on the
shuffle completion time through theoretical examination and simulation
experiments. |
キーワード |
(和) |
MapReduce処理 / シャッフル完了時間 / 単純木構造 / Fat-Tree構造 / / / / |
(英) |
MapReduce processing / shuffle completion time / tree structure / fat-tree structure / / / / |
文献情報 |
信学技報, vol. 111, no. 469, IN2011-200, pp. 377-382, 2012年3月. |
資料番号 |
IN2011-200 |
発行日 |
2012-03-01 (IN) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IN2011-200 |