| 講演名 | 2010-06-28 分散オブジェクトキャッシュ連携によるストリームデータ処理システムの高信頼化(ストリームデータ処理,センサデータ処理,ストリームデータベース,及び一般) 樫山 俊彦, 馬場 恒彦, 渡辺 聡, 鈴木 芳生, 西澤 格, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 株式自動取引等で使用されるストリームデータ処理では,障害時のインメモリ上のデータ消失を防ぐためシステムを現用系・待機系で2重化しているが,性能劣化の問題があった.本研究では,上記2重化システムのデータ整合性保証処理向けの通信をなくす新たな高信頼化方式を提案する.本方式では,従来2重化されたストリームデータ処理システムに実装されていたデータ整合性保証機能を出力結果利用システムに搭載することで,性能劣化防止を図った.本方式を株式取引データで検証したところ,2重化しないシステムの90%以上のスループットであることが確認でき,提案方式が高信頼なストリームデータ処理システムの性能劣化防止に有効であることが明らかとなった. |
| 抄録(英) | In data stream processing system used by algorithmic stock trading, in-memory data is disappeared when the system is down. To prevent data disappearance, active/standby system is introduced, but this causes system performance degradation. Then, we propose a new high availability method which eliminates communication for data consistency verification between the above dual systems. Previously, data consistency verification function is implemented in data stream processing system. On the other hand, proposed method implements the function in user application system. Evaluation using the stock trading data indicates 90% or more throughput compared to single system. Proposed method is effective for preventing performance degradation of highly available data stream processing system. |
| キーワード(和) | ストリームデータ処理 / 高信頼 / 分散オブジェクトキャッシュ / GemFire |
| キーワード(英) | Data Stream Processing / High Availability / Distributed Object Cache / GemFire |
| 資料番号 | DE2010-12 |
| 発行日 |
| 研究会情報 | |
| 研究会 | DE |
|---|---|
| 開催期間 | 2010/6/21(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Data Engineering (DE) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 分散オブジェクトキャッシュ連携によるストリームデータ処理システムの高信頼化(ストリームデータ処理,センサデータ処理,ストリームデータベース,及び一般) |
| サブタイトル（和） | |
| タイトル（英） | Highly Available Data Stream Management System with Distributed Object Cache |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ストリームデータ処理 / Data Stream Processing |
| キーワード(2)（和/英） | 高信頼 / High Availability |
| キーワード(3)（和/英） | 分散オブジェクトキャッシュ / Distributed Object Cache |
| キーワード(4)（和/英） | GemFire / GemFire |
| 第 1 著者 氏名（和/英） | 樫山 俊彦 / Toshihiko KASHIYAMA |
| 第 1 著者 所属（和/英） | 株式会社日立製作所中央研究所 Central Research Laboratory, Hitachi, Ltd. |
| 第 2 著者 氏名（和/英） | 馬場 恒彦 / Tsunehiko BABA |
| 第 2 著者 所属（和/英） | 株式会社日立製作所中央研究所 Central Research Laboratory, Hitachi, Ltd. |
| 第 3 著者 氏名（和/英） | 渡辺 聡 / Satoru WATANABE |
| 第 3 著者 所属（和/英） | 株式会社日立製作所中央研究所 Central Research Laboratory, Hitachi, Ltd. |
| 第 4 著者 氏名（和/英） | 鈴木 芳生 / Yoshio SUZUKI |
| 第 4 著者 所属（和/英） | 株式会社日立製作所中央研究所 Central Research Laboratory, Hitachi, Ltd. |
| 第 5 著者 氏名（和/英） | 西澤 格 / Itaru NISHIZAWA |
| 第 5 著者 所属（和/英） | 株式会社日立製作所中央研究所 Central Research Laboratory, Hitachi, Ltd. |
| 発表年月日 | 2010-06-28 |
| 資料番号 | DE2010-12 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 107 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |