講演抄録/キーワード |
講演名 |
2010-07-16 09:25
データストリーム永続化処理の適応的最適化 ○阿部泰芽・川島英之・北川博之(筑波大) USN2010-17 |
抄録 |
(和) |
現在,各種センサやGPS,ネットワークカメラなどのセンシングデバイスの発展により,デバイスから自律的に発信されるストリームデータが増加し,ストリームデータ処理技術がますます重要となってきている.ストリームデータはリアルタイムに処理されるだけでなく,永続化された後に解析される.このストリームデータの永続化処理は高速である事が望ましい.我々は先行研究において,データの重複した書き込みに着目した.そして,重複した出力を持つ演算子同士を併合し,その出力を永続化することで永続化処理の高速化を実現した.しかしながら,永続化した結果をデータ領域へ書き戻す処理を無視していた.そこで本稿では,永続化した結果を元のクエリの永続化結果と整合させるための書き戻し手法について述べる.まず永続化したデータを即座に書き戻す単純法について述べる.書き戻し処理においてディスクアクセスが発生するため単純法では永続化処理速度を劣化させてしまう.そこで,本研究では永続化処理速度を悪化させずに永続化した結果をデータ領域へ書き戻す手法を提案する.入力レートに応じて書き戻し処理の実行時間を制御することで永続化処理速度の劣化を避けることが可能となる.そして,入力レートを変化させ,提案手法の有効性を検証した.実験の結果,単純法より提案手法の方が高速に永続化処理を行えた.また提案手法は理想値に非常に近い推移を示し,15(tuple/sec)まで永続化処理速度を悪化させずに書き戻し処理を実行可能であることがわかった. |
(英) |
Recently, stream data have been increasing by the development of sensing devices such as sensors, GPS and network cameras. One of the requirements of stream data is to provide persistence for analysis. We focused on providing duplicative persistence, and achieved fast persisting process by optimizing the processing tree. But this method ignore rewriting process that rewrite persisted data to data area. We propose a method that makes persisted data to original result. First we discuss a naive method. The method decreases persistent performance because rewriting process includes disk access. Then we propose a method that rewrites the data without harming persisting process. It is possible to rewrite without harming persisting process by control rewriting processing time. And we prove the effectiveness of proposed method through an experiment. Naive method can't persist data at 5 tuples/sec. On the other hand, proposed method can persist data until 15 tuples/sec. |
キーワード |
(和) |
ストリームデータ処理 / 永続化 / 最適化 / / / / / |
(英) |
Stream Data Processing / Persistence / Optimization / / / / / |
文献情報 |
信学技報, vol. 110, no. 130, USN2010-17, pp. 103-108, 2010年7月. |
資料番号 |
USN2010-17 |
発行日 |
2010-07-08 (USN) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
USN2010-17 |
研究会情報 |
研究会 |
USN IPSJ-UBI |
開催期間 |
2010-07-15 - 2010-07-16 |
開催地(和) |
筑波大学 |
開催地(英) |
Tsukuba Univ. |
テーマ(和) |
ユビキタス・センサネットワークの要素技術、コンテクストの抽出、スマートスペース、ユビキタス生活支援、一般 |
テーマ(英) |
Technology components for ubiquitous and sensor networks, context extraction, smart space, living support, etc. |
講演論文情報の詳細 |
申込み研究会 |
USN |
会議コード |
2010-07-USN-UBI |
本文の言語 |
日本語 |
タイトル(和) |
データストリーム永続化処理の適応的最適化 |
サブタイトル(和) |
|
タイトル(英) |
An Adaptive Optimization Method of Data Stream Processing |
サブタイトル(英) |
|
キーワード(1)(和/英) |
ストリームデータ処理 / Stream Data Processing |
キーワード(2)(和/英) |
永続化 / Persistence |
キーワード(3)(和/英) |
最適化 / Optimization |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
阿部 泰芽 / Taiga Abe / アベ タイガ |
第1著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. of Tsukuba) |
第2著者 氏名(和/英/ヨミ) |
川島 英之 / Hideyuki Kawashima / カワシマ ヒデユキ |
第2著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. of Tsukuba) |
第3著者 氏名(和/英/ヨミ) |
北川 博之 / Hiroyuki Kitagawa / キタガワ ヒロユキ |
第3著者 所属(和/英) |
筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. of Tsukuba) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2010-07-16 09:25:00 |
発表時間 |
25分 |
申込先研究会 |
USN |
資料番号 |
USN2010-17 |
巻番号(vol) |
vol.110 |
号番号(no) |
no.130 |
ページ範囲 |
pp.103-108 |
ページ数 |
6 |
発行日 |
2010-07-08 (USN) |