講演名 | 2016-01-19 GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価 大野 泰弘(慶大), 森島 信(慶大), 松谷 宏紀(慶大), |
---|---|
PDFダウンロードページ | ![]() |
抄録(和) | Sparkは大規模データ向けの分散処理フレームワークである。Sparkはデータを処理する際、RDDというデータ形式に変換して使用時にそれをメモリに保持するため、ディスクアクセス回数が少なく反復処理や機械学習に向いている。本論文では、計算インテンシブな処理の際、RDDを基にした配列を作成しGPUに転送してGPUで処理することを提案する。これにより、Sparkのリダクション及びトランスフォーメーションの計算量が多い操作を高速化できる。また、これらの操作は従来のSparkのRDD操作と同様に行え、制限はほとんどない。これにより、INT型の1GBデータを対象としたリダクション処理の総和計算が6.2-24.2倍、トランスフォーメーション処理のキーソートが11.1-15.7倍、リダクションとトランスフォーメーションの複合処理の分散の値を求める計算が8.1-24.6倍の性能向上を実現した。 |
抄録(英) | |
キーワード(和) | GPU / Spark / RDD / リダクション / トランスフォーメーション |
キーワード(英) | |
資料番号 | VLD2015-81,CPSY2015-113,RECONF2015-63 |
発行日 | 2016-01-12 (VLD, CPSY, RECONF) |
研究会情報 | |
研究会 | VLD / CPSY / RECONF / IPSJ-SLDM / IPSJ-ARC |
---|---|
開催期間 | 2016/1/19(から3日開催) |
開催地(和) | 慶應義塾大学 日吉キャンパス |
開催地(英) | Hiyoshi Campus, Keio University |
テーマ(和) | FPGA応用および一般 |
テーマ(英) | FPGA Applications, etc |
委員長氏名(和) | 松永 裕介(九大) / 中島 康彦(奈良先端大) / 渡邊 実(静岡大) / 福井 正博(立命館大) / 五島 正裕(国情研) |
委員長氏名(英) | Yusuke Matsunaga(Kyushu Univ.) / Yasuhiko Nakashima(NAIST) / Minoru Watanabe(Shizuoka Univ.) / Masahiro Fukui(Ritsumeikan Univ.) / Masahiro Goshima(国情研) |
副委員長氏名(和) | 竹中 崇(NEC) / 中野 浩嗣(広島大) / 入江 英嗣(東大) / 本村 真人(北大) / 柴田 裕一郎(長崎大) |
副委員長氏名(英) | Takashi Takenana(NEC) / Koji Nakano(Hiroshima Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Masato Motomura(Hokkaido Univ.) / Yuichiro Shibata(Nagasaki Univ.) |
幹事氏名(和) | 冨山 宏之(立命館大) / 福田 大輔(富士通研) / 三吉 貴史(富士通研) / 鯉渕 道紘(NII) / 山田 裕(東芝) / 山口 佳樹(筑波大) / 横山 昌生(シャープ) / 高島 康裕(北九州市大) / 西出 岳央(東芝) / 小野 貴継(九大) / 津邑 公暁(名工大) / 三輪 忍(電通大) / 山下 浩一郎(富士通研) |
幹事氏名(英) | Hiroyuki Tomiyama(Ritsumeikan Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Takashi Miyoshi(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Yutaka Yamada(Toshiba) / Yoshiki Yamaguchi(Univ. of Tsukuba) / Masao Yokoyama(Sharp) / Yasuhiro Takashima(Kitakyushu City Univ.) / Takeo Nishide(Toshiba) / Takatsugu Ono(九大) / Tomoaki Tsumura(名工大) / Shinobu Miwa(電通大) / Koichiro Yamashita(富士通研) |
幹事補佐氏名(和) | 谷口 一徹(立命館大) / 高前田 伸也(奈良先端大) / 大川 猛(宇都宮大) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) |
幹事補佐氏名(英) | Ittetsu Taniguchi(Ritsumeikan Univ.) / Shinya Takameda(NAIST) / Takeshi Ohkawa(Utsunomiya Univ.) / Kazuya Tanikagawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) |
講演論文情報詳細 | |
申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Special Interest Group on System and LSI Design Methodology / Special Interest Group on System Architecture |
---|---|
本文の言語 | JPN |
タイトル(和) | GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価 |
サブタイトル(和) | |
タイトル(英) | Performance Evaluations on Reduction and Transformation of Spark Using GPU |
サブタイトル(和) | |
キーワード(1)(和/英) | GPU |
キーワード(2)(和/英) | Spark |
キーワード(3)(和/英) | RDD |
キーワード(4)(和/英) | リダクション |
キーワード(5)(和/英) | トランスフォーメーション |
第 1 著者 氏名(和/英) | 大野 泰弘 / Yasuhiro Ohno |
第 1 著者 所属(和/英) | 慶應義塾大学(略称:慶大) Keio University(略称:Keio Univ.) |
第 2 著者 氏名(和/英) | 森島 信 / Shin Morishima |
第 2 著者 所属(和/英) | 慶應義塾大学(略称:慶大) Keio University(略称:Keio Univ.) |
第 3 著者 氏名(和/英) | 松谷 宏紀 / Hiroki Matsutani |
第 3 著者 所属(和/英) | 慶應義塾大学(略称:慶大) Keio University(略称:Keio Univ.) |
発表年月日 | 2016-01-19 |
資料番号 | VLD2015-81,CPSY2015-113,RECONF2015-63 |
巻番号(vol) | vol.115 |
号番号(no) | VLD-398,CPSY-399,RECONF-400 |
ページ範囲 | pp.25-30(VLD), pp.25-30(CPSY), pp.25-30(RECONF), |
ページ数 | 6 |
発行日 | 2016-01-12 (VLD, CPSY, RECONF) |