講演名 2016-01-19
GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価
大野 泰弘(慶大), 森島 信(慶大), 松谷 宏紀(慶大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和) Sparkは大規模データ向けの分散処理フレームワークである。Sparkはデータを処理する際、RDDというデータ形式に変換して使用時にそれをメモリに保持するため、ディスクアクセス回数が少なく反復処理や機械学習に向いている。本論文では、計算インテンシブな処理の際、RDDを基にした配列を作成しGPUに転送してGPUで処理することを提案する。これにより、Sparkのリダクション及びトランスフォーメーションの計算量が多い操作を高速化できる。また、これらの操作は従来のSparkのRDD操作と同様に行え、制限はほとんどない。これにより、INT型の1GBデータを対象としたリダクション処理の総和計算が6.2-24.2倍、トランスフォーメーション処理のキーソートが11.1-15.7倍、リダクションとトランスフォーメーションの複合処理の分散の値を求める計算が8.1-24.6倍の性能向上を実現した。
抄録(英)
キーワード(和) GPU / Spark / RDD / リダクション / トランスフォーメーション
キーワード(英)
資料番号 VLD2015-81,CPSY2015-113,RECONF2015-63
発行日 2016-01-12 (VLD, CPSY, RECONF)

研究会情報
研究会 VLD / CPSY / RECONF / IPSJ-SLDM / IPSJ-ARC
開催期間 2016/1/19(から3日開催)
開催地(和) 慶應義塾大学 日吉キャンパス
開催地(英) Hiyoshi Campus, Keio University
テーマ(和) FPGA応用および一般
テーマ(英) FPGA Applications, etc
委員長氏名(和) 松永 裕介(九大) / 中島 康彦(奈良先端大) / 渡邊 実(静岡大) / 福井 正博(立命館大) / 五島 正裕(国情研)
委員長氏名(英) Yusuke Matsunaga(Kyushu Univ.) / Yasuhiko Nakashima(NAIST) / Minoru Watanabe(Shizuoka Univ.) / Masahiro Fukui(Ritsumeikan Univ.) / Masahiro Goshima(国情研)
副委員長氏名(和) 竹中 崇(NEC) / 中野 浩嗣(広島大) / 入江 英嗣(東大) / 本村 真人(北大) / 柴田 裕一郎(長崎大)
副委員長氏名(英) Takashi Takenana(NEC) / Koji Nakano(Hiroshima Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Masato Motomura(Hokkaido Univ.) / Yuichiro Shibata(Nagasaki Univ.)
幹事氏名(和) 冨山 宏之(立命館大) / 福田 大輔(富士通研) / 三吉 貴史(富士通研) / 鯉渕 道紘(NII) / 山田 裕(東芝) / 山口 佳樹(筑波大) / 横山 昌生(シャープ) / 高島 康裕(北九州市大) / 西出 岳央(東芝) / 小野 貴継(九大) / 津邑 公暁(名工大) / 三輪 忍(電通大) / 山下 浩一郎(富士通研)
幹事氏名(英) Hiroyuki Tomiyama(Ritsumeikan Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Takashi Miyoshi(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Yutaka Yamada(Toshiba) / Yoshiki Yamaguchi(Univ. of Tsukuba) / Masao Yokoyama(Sharp) / Yasuhiro Takashima(Kitakyushu City Univ.) / Takeo Nishide(Toshiba) / Takatsugu Ono(九大) / Tomoaki Tsumura(名工大) / Shinobu Miwa(電通大) / Koichiro Yamashita(富士通研)
幹事補佐氏名(和) 谷口 一徹(立命館大) / 高前田 伸也(奈良先端大) / 大川 猛(宇都宮大) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン)
幹事補佐氏名(英) Ittetsu Taniguchi(Ritsumeikan Univ.) / Shinya Takameda(NAIST) / Takeshi Ohkawa(Utsunomiya Univ.) / Kazuya Tanikagawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan)

講演論文情報詳細
申込み研究会 Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Special Interest Group on System and LSI Design Methodology / Special Interest Group on System Architecture
本文の言語 JPN
タイトル(和) GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価
サブタイトル(和)
タイトル(英) Performance Evaluations on Reduction and Transformation of Spark Using GPU
サブタイトル(和)
キーワード(1)(和/英) GPU
キーワード(2)(和/英) Spark
キーワード(3)(和/英) RDD
キーワード(4)(和/英) リダクション
キーワード(5)(和/英) トランスフォーメーション
第 1 著者 氏名(和/英) 大野 泰弘 / Yasuhiro Ohno
第 1 著者 所属(和/英) 慶應義塾大学(略称:慶大)
Keio University(略称:Keio Univ.)
第 2 著者 氏名(和/英) 森島 信 / Shin Morishima
第 2 著者 所属(和/英) 慶應義塾大学(略称:慶大)
Keio University(略称:Keio Univ.)
第 3 著者 氏名(和/英) 松谷 宏紀 / Hiroki Matsutani
第 3 著者 所属(和/英) 慶應義塾大学(略称:慶大)
Keio University(略称:Keio Univ.)
発表年月日 2016-01-19
資料番号 VLD2015-81,CPSY2015-113,RECONF2015-63
巻番号(vol) vol.115
号番号(no) VLD-398,CPSY-399,RECONF-400
ページ範囲 pp.25-30(VLD), pp.25-30(CPSY), pp.25-30(RECONF),
ページ数 6
発行日 2016-01-12 (VLD, CPSY, RECONF)