| 講演名 | 2016-01-19 GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価 大野 泰弘(慶大), 森島 信(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Sparkは大規模データ向けの分散処理フレームワークである。Sparkはデータを処理する際、RDDというデータ形式に変換して使用時にそれをメモリに保持するため、ディスクアクセス回数が少なく反復処理や機械学習に向いている。本論文では、計算インテンシブな処理の際、RDDを基にした配列を作成しGPUに転送してGPUで処理することを提案する。これにより、Sparkのリダクション及びトランスフォーメーションの計算量が多い操作を高速化できる。また、これらの操作は従来のSparkのRDD操作と同様に行え、制限はほとんどない。これにより、INT型の1GBデータを対象としたリダクション処理の総和計算が6.2-24.2倍、トランスフォーメーション処理のキーソートが11.1-15.7倍、リダクションとトランスフォーメーションの複合処理の分散の値を求める計算が8.1-24.6倍の性能向上を実現した。 |
| 抄録(英) | |
| キーワード(和) | GPU / Spark / RDD / リダクション / トランスフォーメーション |
| キーワード(英) | |
| 資料番号 | VLD2015-81,CPSY2015-113,RECONF2015-63 |
| 発行日 | 2016-01-12 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | VLD / CPSY / RECONF / IPSJ-SLDM / IPSJ-ARC |
|---|---|
| 開催期間 | 2016/1/19(から3日開催) |
| 開催地（和） | 慶應義塾大学 日吉キャンパス |
| 開催地（英） | Hiyoshi Campus, Keio University |
| テーマ（和） | FPGA応用および一般 |
| テーマ（英） | FPGA Applications, etc |
| 委員長氏名（和） | 松永 裕介(九大) / 中島 康彦(奈良先端大) / 渡邊 実(静岡大) / 福井 正博(立命館大) / 五島 正裕(国情研) |
| 委員長氏名（英） | Yusuke Matsunaga(Kyushu Univ.) / Yasuhiko Nakashima(NAIST) / Minoru Watanabe(Shizuoka Univ.) / Masahiro Fukui(Ritsumeikan Univ.) / Masahiro Goshima(国情研) |
| 副委員長氏名（和） | 竹中 崇(NEC) / 中野 浩嗣(広島大) / 入江 英嗣(東大) / 本村 真人(北大) / 柴田 裕一郎(長崎大) |
| 副委員長氏名（英） | Takashi Takenana(NEC) / Koji Nakano(Hiroshima Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Masato Motomura(Hokkaido Univ.) / Yuichiro Shibata(Nagasaki Univ.) |
| 幹事氏名（和） | 冨山 宏之(立命館大) / 福田 大輔(富士通研) / 三吉 貴史(富士通研) / 鯉渕 道紘(NII) / 山田 裕(東芝) / 山口 佳樹(筑波大) / 横山 昌生(シャープ) / 高島 康裕(北九州市大) / 西出 岳央(東芝) / 小野 貴継(九大) / 津邑 公暁(名工大) / 三輪 忍(電通大) / 山下 浩一郎(富士通研) |
| 幹事氏名（英） | Hiroyuki Tomiyama(Ritsumeikan Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Takashi Miyoshi(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Yutaka Yamada(Toshiba) / Yoshiki Yamaguchi(Univ. of Tsukuba) / Masao Yokoyama(Sharp) / Yasuhiro Takashima(Kitakyushu City Univ.) / Takeo Nishide(Toshiba) / Takatsugu Ono(九大) / Tomoaki Tsumura(名工大) / Shinobu Miwa(電通大) / Koichiro Yamashita(富士通研) |
| 幹事補佐氏名（和） | 谷口 一徹(立命館大) / 高前田 伸也(奈良先端大) / 大川 猛(宇都宮大) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) |
| 幹事補佐氏名（英） | Ittetsu Taniguchi(Ritsumeikan Univ.) / Shinya Takameda(NAIST) / Takeshi Ohkawa(Utsunomiya Univ.) / Kazuya Tanikagawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Special Interest Group on System and LSI Design Methodology / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価 |
| サブタイトル（和） | |
| タイトル（英） | Performance Evaluations on Reduction and Transformation of Spark Using GPU |
| サブタイトル（和） | |
| キーワード(1)（和/英） | GPU |
| キーワード(2)（和/英） | Spark |
| キーワード(3)（和/英） | RDD |
| キーワード(4)（和/英） | リダクション |
| キーワード(5)（和/英） | トランスフォーメーション |
| 第 1 著者 氏名（和/英） | 大野 泰弘 / Yasuhiro Ohno |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 森島 信 / Shin Morishima |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 3 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 3 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2016-01-19 |
| 資料番号 | VLD2015-81,CPSY2015-113,RECONF2015-63 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | VLD-398,CPSY-399,RECONF-400 |
| ページ範囲 | pp.25-30(VLD), pp.25-30(CPSY), pp.25-30(RECONF), |
| ページ数 | 6 |
| 発行日 | 2016-01-12 (VLD, CPSY, RECONF) |