| 講演抄録／キーワード |
| 講演名 |
2014-07-11 16:20
ヘテロ分散型高速データ処理技術
○村田健史・渡邉英伸（NICT）・木村映善（愛媛大）・建部修見・田中昌宏（筑波大） |
| 抄録 |
（和） |
多くの科学データが大規模化する中、様々なビッグデータの信号処理技術が求められている。HPC（High-Performance Computing）技術がスーパーコンピュータを中心に進められているが、一方でヘテロ環境において高速データ処理・信号処理を行う技術は実用上重要である。特に、データサイズの大規模化を背景に、処理の分散だけではなくI/O分散が必要とされている。本発表では、広域分散型のクラウド環境において広域分散処理を行うための技術を紹介する。今後、様々な信号処理に有効であると考えられるため、その応用について議論する。 |
| （英） |
Science cloud is a cloud system designed for scientific researches, and expected as a new infrastructure for big data sciences. Not only parallelization of CPU as in super-computers, but I/O and network throughput parallelization are crucial for the big data science. One of the typical structures of science cloud is a scalable cluster in which multiple clusters in a cloud are connected with high-speed network. In the present study, we study a performance of parallelization of both CPU and I/O inside a cloud as a first step to the high performance scalable clusters. In case with few processes executed on each computational node (server), parallelization efficiency is almost 100%. This high efficiency is expected to maintain in larger-scale cluster systems such as those with 30 servers. On the other hand, under the condition of multi-processes on each node, the present parallelization does not show good performance due to the congestions of I/O. Parallelization efficiency is as low as 15.6. New techniques of decentralization of I/O within each node are required in the next step. |
| キーワード |
（和） |
高速データ処理 / 分散ストレージ / タスクスケジューリング / 衛星観測データ / / / / |
| （英） |
HPC / distributed storage / task scheduling / satellite observation data / / / / |
| 文献情報 |
信学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
|
| PDFダウンロード |
|