講演抄録/キーワード |
講演名 |
2014-06-20 16:40
NICTサイエンスクラウドによるセンシングデータ高速処理 ○村田健史(NICT) SANE2014-40 |
抄録 |
(和) |
現在、センシング技術等による地球環境計測においてもビッグデータの波が到来しており、センシングデータの有効な解析がプロジェクトの成否を握っているといえる。すなわち、センシング技術とそれにより生成されるデータの処理が連動することが、多くのセンシングプロジェクトで期待されている。センシングデータの特徴は、(1)多くのデータが時系列データである、(2)多くの処理はデータファイル間の依存性がない、(3)多くのプロジェクトで既存のデータ処理アプリケーション・プログラムが用意されておりそれを活用したい、の3点である。NICTサイエンスクラウドではこれらに着目し、MPIのようなライブラリにより既存のプログラムを書き換える必要なく、大規模センシングデータを処理できる技術開発を行ってきた。さらに、それらを科学衛星長期観測データや宇宙環境数値シミュレーションに適用し、100倍から200倍程度の高速化に成功している。本発表では、この技術をさまざまなタイプのセンシングプロジェクトに応用する方法について紹介する。対象とするプロジェクトは、(1)センシングプロジェクト実施前のシミュレータの高速計算、(2)リアルタイムセンシングデータ処理、(3)アーカイブされたセンシングビッグデータ処理の3つである。 |
(英) |
In many scientific fields, most data are digitized and handled on computers and networks. The data files are getting larger in size and numbers. Science clouds, which are equipped with both flexibility and specialty applicable for countless scientific studies, are called upon to play important roles as an infrastructure of big-data sciences and inter-disciplinary studies. The NICT Science Cloud is designed to work with functions of data crawling and transfer, data preservation and management, and data processing and visualization. We have developed applications, tools, systems and services designed for these three functions (especially for Earth and space environmental sciences) installed on the NICT Science Cloud. By applying these functions to each sensing project, researchers are able to advance their studies. In this paper, we first introduce the NICT Science Cloud. We next report our 2-years applications of the cloud system based on several long durational satellite data processing. Finally, I propose a design to make progress of various types of sensing projects; post-project simulator, real-time data processing and archived data processing. |
キーワード |
(和) |
サイエンスクラウド / センシング / ビッグデータ / 並列分散処理 / リアルタイムデータ処理 / / / |
(英) |
Science Cloud / Sensing / Big data / Parallel Distributed Processing / Real-time processing / / / |
文献情報 |
信学技報, vol. 114, no. 87, SANE2014-40, pp. 97-101, 2014年6月. |
資料番号 |
SANE2014-40 |
発行日 |
2014-06-12 (SANE) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
SANE2014-40 |