講演抄録/キーワード |
講演名 |
2016-09-13 16:10
MapReduceにおけるShuffleの性能解析 ○大黒晴之・川島英之・建部修見(筑波大) DE2016-15 |
抄録 |
(和) |
本研究ではMapReduceにおけるshuffleの性能に関して,ネットワークI/OとディスクI/Oの2つの観点から詳細な解析を行う.解析対象として現在一般に幅広く用いられているin-memory MapReduce処理系であるApache Sparkを採用し,Spark 1.6.2の提供する2種類のshuffle実装 (Sort-based Shuffle, Hash-based Shuffle) に関して性能検証及び比較を行う.検証の結果,ネットワークI/Oに関しては2つのshuffle実装の間で大きな差は見られず,ディスクI/Oに関してはHash-based Shuffleの方が頻繁にディスクへのアクセスを行っているものの,最終的な実行時間に関してはHash-based Shuffleの方がSort-based Shuffleに対して有利になるという結果となった. |
(英) |
This paper analyzes shuffling performance of Apache Spark, which is one of the most popular MapReduce implementations in recent years. The performance of Sort-based Shuffle and Hash-based Shuffle, which are the two shuffle implementations provided by Spark 1.6.2, are evaluated and compared in terms of network I/O and disk I/O. The evaluation results showed that, while there was little difference between those two implementations in regards to network I/O, and more frequent disk I/O operations were confirmed on Hash-based implementation compared to Sort-based implementation, Hash-based Shuffle showed better performance than Sort-based Shuffle in terms of the overall execution time. |
キーワード |
(和) |
MapReduce / Shuffle / Apache Spark / 性能解析 / / / / |
(英) |
MapReduce / Shuffle / Apache Spark / Performance Analysis / / / / |
文献情報 |
信学技報, vol. 116, no. 214, DE2016-15, pp. 19-24, 2016年9月. |
資料番号 |
DE2016-15 |
発行日 |
2016-09-06 (DE) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
DE2016-15 |
研究会情報 |
研究会 |
DE |
開催期間 |
2016-09-13 - 2016-09-15 |
開催地(和) |
慶応大学日吉キャンパス |
開催地(英) |
Keio Univ. (Hiyoshi Campus) |
テーマ(和) |
ビッグデータを対象とした管理・情報検索・知識獲得,および一般 |
テーマ(英) |
Big Data Management, Information Retrieval, Knowledge Discovery, etc. |
講演論文情報の詳細 |
申込み研究会 |
DE |
会議コード |
2016-09-DE |
本文の言語 |
日本語 |
タイトル(和) |
MapReduceにおけるShuffleの性能解析 |
サブタイトル(和) |
|
タイトル(英) |
Performance Analysis of MapReduce Shuffling |
サブタイトル(英) |
|
キーワード(1)(和/英) |
MapReduce / MapReduce |
キーワード(2)(和/英) |
Shuffle / Shuffle |
キーワード(3)(和/英) |
Apache Spark / Apache Spark |
キーワード(4)(和/英) |
性能解析 / Performance Analysis |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
大黒 晴之 / Harunobu Daikoku / ダイコク ハルノブ |
第1著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. Tsukuba) |
第2著者 氏名(和/英/ヨミ) |
川島 英之 / Hideyuki Kawashima / カワシマ ヒデユキ |
第2著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. Tsukuba) |
第3著者 氏名(和/英/ヨミ) |
建部 修見 / Osamu Tatebe / タテベ オサム |
第3著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. Tsukuba) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2016-09-13 16:10:00 |
発表時間 |
30分 |
申込先研究会 |
DE |
資料番号 |
DE2016-15 |
巻番号(vol) |
vol.116 |
号番号(no) |
no.214 |
ページ範囲 |
pp.19-24 |
ページ数 |
6 |
発行日 |
2016-09-06 (DE) |