| 講演名 | 2016-09-13 MapReduceにおけるShuffleの性能解析 大黒 晴之(筑波大), 川島 英之(筑波大), 建部 修見(筑波大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究ではMapReduceにおけるshuffleの性能に関して，ネットワークI/OとディスクI/Oの2つの観点から詳細な解析を行う．解析対象として現在一般に幅広く用いられているin-memory MapReduce処理系であるApache Sparkを採用し，Spark 1.6.2の提供する2種類のshuffle実装 (Sort-based Shuffle, Hash-based Shuffle) に関して性能検証及び比較を行う．検証の結果，ネットワークI/Oに関しては2つのshuffle実装の間で大きな差は見られず，ディスクI/Oに関してはHash-based Shuffleの方が頻繁にディスクへのアクセスを行っているものの，最終的な実行時間に関してはHash-based Shuffleの方がSort-based Shuffleに対して有利になるという結果となった． |
| 抄録(英) | This paper analyzes shuffling performance of Apache Spark, which is one of the most popular MapReduce implementations in recent years. The performance of Sort-based Shuffle and Hash-based Shuffle, which are the two shuffle implementations provided by Spark 1.6.2, are evaluated and compared in terms of network I/O and disk I/O. The evaluation results showed that, while there was little difference between those two implementations in regards to network I/O, and more frequent disk I/O operations were confirmed on Hash-based implementation compared to Sort-based implementation, Hash-based Shuffle showed better performance than Sort-based Shuffle in terms of the overall execution time. |
| キーワード(和) | MapReduce / Shuffle / Apache Spark / 性能解析 |
| キーワード(英) | MapReduce / Shuffle / Apache Spark / Performance Analysis |
| 資料番号 | DE2016-15 |
| 発行日 | 2016-09-06 (DE) |
| 研究会情報 | |
| 研究会 | DE |
|---|---|
| 開催期間 | 2016/9/13(から3日開催) |
| 開催地（和） | 慶応大学日吉キャンパス |
| 開催地（英） | Keio Univ. (Hiyoshi Campus) |
| テーマ（和） | ビッグデータを対象とした管理・情報検索・知識獲得，および一般 |
| テーマ（英） | Big Data Management, Information Retrieval, Knowledge Discovery, etc. |
| 委員長氏名（和） | 小口 正人(お茶の水女子大) |
| 委員長氏名（英） | Masato Oguchi(Ochanomizu Univ.) |
| 副委員長氏名（和） | 鬼塚 真(阪大) / 豊田 正史(東大) |
| 副委員長氏名（英） | Makoto Onizuka(Osaka Univ.) / Masashi Toyoda(Univ. of Tokyo) |
| 幹事氏名（和） | 牛尼 剛聡(九大) / 北山 大輔(工学院大) |
| 幹事氏名（英） | Taketoshi Ushiama(Kyushu Univ.) / Daisuke Kitayama(Kogakuin Univ.) |
| 幹事補佐氏名（和） | 上田 真由美(流通科学大) / 大塚 真吾(神奈川工科大) |
| 幹事補佐氏名（英） | Mayuki Ueda(Univ. of Marketing and Distrbution Science) / Shingo Otsuka(Kanagawa Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Data Engineering |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | MapReduceにおけるShuffleの性能解析 |
| サブタイトル（和） | |
| タイトル（英） | Performance Analysis of MapReduce Shuffling |
| サブタイトル（和） | |
| キーワード(1)（和/英） | MapReduce / MapReduce |
| キーワード(2)（和/英） | Shuffle / Shuffle |
| キーワード(3)（和/英） | Apache Spark / Apache Spark |
| キーワード(4)（和/英） | 性能解析 / Performance Analysis |
| 第 1 著者 氏名（和/英） | 大黒 晴之 / Harunobu Daikoku |
| 第 1 著者 所属（和/英） | 筑波大学(略称：筑波大) University of Tsukuba(略称：Univ. Tsukuba) |
| 第 2 著者 氏名（和/英） | 川島 英之 / Hideyuki Kawashima |
| 第 2 著者 所属（和/英） | 筑波大学(略称：筑波大) University of Tsukuba(略称：Univ. Tsukuba) |
| 第 3 著者 氏名（和/英） | 建部 修見 / Osamu Tatebe |
| 第 3 著者 所属（和/英） | 筑波大学(略称：筑波大) University of Tsukuba(略称：Univ. Tsukuba) |
| 発表年月日 | 2016-09-13 |
| 資料番号 | DE2016-15 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | DE-214 |
| ページ範囲 | pp.19-24(DE), |
| ページ数 | 6 |
| 発行日 | 2016-09-06 (DE) |