講演名 2016-01-15
Workflow Transformation for Real-Time Big Data Processing
石塚 雄二(会津大), 陳 武輝(会津大), 白 寅天(会津大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和)
抄録(英) With the explosion of big data, processing and analyzing large numbers of continuous data streams in real-time, such as social media streams, sensor data streams, log streams, stock exchanges streams, etc., has become a crucial requirement for many scientific and industrial applications in recent years. Increased volume of streaming data as well as the demand for more complex real-time analytics require for execution of processing pipelines among heterogeneous event processing engines as a workflow. In this paper, we propose a workflow transformation for cost minimization in real-time big data processing. We first give the definition of stream-based workflow; and then we define eight different patterns as rules for workflow transformation; next, we give our workflow transformation algorithm based on our designed rules. Finally, our experiment shows that our proposed workflow transformation method can reduce the communication and computation cost effectively.
キーワード(和)
キーワード(英) big data processingstream dataworkflow transformationgeo-distributed data centersworkflow allocation
資料番号 SC2015-16
発行日 2016-01-08 (SC)

研究会情報
研究会 SC
開催期間 2016/1/15(から1日開催)
開催地(和) 京都大学(KRP拠点)
開催地(英) Kyoto University (Design Innovation Center)
テーマ(和) 「クラウドのIoT応用とサービスイノベーション」および一般
テーマ(英) Cloud, IoT, and Service Innovation
委員長氏名(和) 細野 繁(NEC)
委員長氏名(英) Shigeru Hosono(NEC)
副委員長氏名(和) Incheon Paik(会津大)
副委員長氏名(英) Incheon Paik(Univ. of Aizu)
幹事氏名(和) 田仲 正弘(NICT) / 井垣 宏(阪大)
幹事氏名(英) Masahiro Tanaka(NICT) / Hiroshi Igaki(Osaka Univ.)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Technical Committee on Service Computing
本文の言語 ENG
タイトル(和)
サブタイトル(和)
タイトル(英) Workflow Transformation for Real-Time Big Data Processing
サブタイトル(和)
キーワード(1)(和/英) / big data processingstream dataworkflow transformationgeo-distributed data centersworkflow allocation
第 1 著者 氏名(和/英) 石塚 雄二 / Yuji Ishizuka
第 1 著者 所属(和/英) 会津大学(略称:会津大)
University of Aizu(略称:University of Aizu)
第 2 著者 氏名(和/英) 陳 武輝 / Wuhui Chen
第 2 著者 所属(和/英) 会津大学(略称:会津大)
University of Aizu(略称:University of Aizu)
第 3 著者 氏名(和/英) 白 寅天 / Incheon Paik
第 3 著者 所属(和/英) 会津大学(略称:会津大)
University of Aizu(略称:University of Aizu)
発表年月日 2016-01-15
資料番号 SC2015-16
巻番号(vol) vol.115
号番号(no) SC-393
ページ範囲 pp.7-12(SC),
ページ数 6
発行日 2016-01-08 (SC)