| 講演名 | 2013-10-04 NICTサイエンスクラウド : 地球科学・宇宙科学ビッグデータ分散処理技術(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携) 磯田 総子, 村田 健史, 渡邉 英伸, 深沢 圭一郎, 山本 和憲, 久保田 康文, 笠井 康子, 佐藤 晋介, 鵜川 健太郎, 村永 和哉, 鈴木 豊, 黒澤 隆, 木村 映善, 建部 修見, 田中 昌宏, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | データ指向型科学は第4の科学と言われており,観測・実験や数値シミュレーションによる膨大なデータを解析することによる新しい科学を目指している.NICTサイエンスクラウドは科学研究を主目的としたクラウドシステムであり,特に宇宙環境科学や地球環境科学といった自然科学のビッグデータサイエンスを主対象の一つとしている.10TBを超えるデータ処理(例えば大規模可視化)や100TBを超える観測データ検索(たとえば特徴検出)などはこれからの地球および宇宙科学ではますます重要になる.本研究では,NICTサイエンスクラウドにおいて,Gfarmにより実装した広域分散ストレージ上のデータファイルを30ノード・320コアから構成されるクライアントノードにより高速に読み出す技術開発を行った.Pwrakeによるタスクスケジューリングを用い,データ読み込みプロセス数を最適化し,さらにファイル配置を工夫することにより,約19GB/s(150Gbps)でのデータ読み出しに成功した. |
| 抄録(英) | Science cloud is a cloud system designed for scientific researches, and expected as a new infrastructure for big data sciences. Not only parallelization of CPU as in super-computers, but I/O and network throughput parallelization are crucial for the big data science. One of the typical structures of science cloud is a scalable cluster in which multiple clusters in a cloud are connected with high-speed network. In the present study, we study a performance of parallelization of both CPU and I/O inside a cloud as a first step to the high performance scalable clusters. In case with few processes executed on each computational node (server), parallelization efficiency is almost 100%. This high efficiency is expected to maintain in larger-scale cluster systems such as those with 30 servers. On the other hand, under the condition of multi-processes on each node, the present parallelization does not show good performance due to the congestions of I/O. Parallelization efficiency is as low as 15.6. New techniques of decentralization of I/O within each node are required in the next step. |
| キーワード(和) | サイエンスクラウド / Gfarm / Pwrake / ビッグデータ / 宇宙環境科学 / 地球環境科学 |
| キーワード(英) | Science Cloud / Gfarm / Pwrake / Big data / Earth Environment Science / Space Environment Science |
| 資料番号 | PRMU2013-62 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2013/9/26(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | NICTサイエンスクラウド : 地球科学・宇宙科学ビッグデータ分散処理技術(テーマセッション,大規模データとパターン認識・メディア理解,地球をとらえる,CEATEC連携) |
| サブタイトル（和） | |
| タイトル（英） | NICT Science Cloud : Big-data Analyses via Parallel and Distributed Processing Technique for Earth and Space Science |
| サブタイトル（和） | |
| キーワード(1)（和/英） | サイエンスクラウド / Science Cloud |
| キーワード(2)（和/英） | Gfarm / Gfarm |
| キーワード(3)（和/英） | Pwrake / Pwrake |
| キーワード(4)（和/英） | ビッグデータ / Big data |
| キーワード(5)（和/英） | 宇宙環境科学 / Earth Environment Science |
| キーワード(6)（和/英） | 地球環境科学 / Space Environment Science |
| 第 1 著者 氏名（和/英） | 磯田 総子 / Fusako ISODA |
| 第 1 著者 所属（和/英） | 株式会社サイエンス・サービス Sciece Service Co., LTD. |
| 第 2 著者 氏名（和/英） | 村田 健史 / Ken T. |
| 第 2 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 3 著者 氏名（和/英） | 渡邉 英伸 / Hidenobu WATANABE |
| 第 3 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 4 著者 氏名（和/英） | 深沢 圭一郎 / Keiichiro FUKAZAWA |
| 第 4 著者 所属（和/英） | 九州大学情報基盤研究開発センター Research Institute for Information Technology, Kyushu University |
| 第 5 著者 氏名（和/英） | 山本 和憲 / Kazunori YAMAMOTO |
| 第 5 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 6 著者 氏名（和/英） | 久保田 康文 / Yasufumi KUBOTA |
| 第 6 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 7 著者 氏名（和/英） | 笠井 康子 / Yasuko KASAI |
| 第 7 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 8 著者 氏名（和/英） | 佐藤 晋介 / Shinsuke SATOH |
| 第 8 著者 所属（和/英） | 情報通信研究機構 National Institute of Information and Communications Technology |
| 第 9 著者 氏名（和/英） | 鵜川 健太郎 / Kentaro UKAWA |
| 第 9 著者 所属（和/英） | 株式会社セック Systems Engineering Consultants Co., LTD. |
| 第 10 著者 氏名（和/英） | 村永 和哉 / Kazuya MURANAGA |
| 第 10 著者 所属（和/英） | 株式会社セック Systems Engineering Consultants Co., LTD. |
| 第 11 著者 氏名（和/英） | 鈴木 豊 / Yutaka SUZUKI |
| 第 11 著者 所属（和/英） | 株式会社セック Systems Engineering Consultants Co., LTD. |
| 第 12 著者 氏名（和/英） | 黒澤 隆 / Takashi KUROSAWA |
| 第 12 著者 所属（和/英） | 株式会社日立ソリューションズ東日本 Hitachi Solutions East Japan, Ltd. |
| 第 13 著者 氏名（和/英） | 木村 映善 / Eizen KIMURA |
| 第 13 著者 所属（和/英） | 愛媛大学医学部 Department of Medical Informatics Ehime University |
| 第 14 著者 氏名（和/英） | 建部 修見 / Osamu TATEBE |
| 第 14 著者 所属（和/英） | 筑波大学計算科学研究センター Center for Computational Sciences, University of Tsukuba |
| 第 15 著者 氏名（和/英） | 田中 昌宏 / Masahiro TANAKA |
| 第 15 著者 所属（和/英） | 筑波大学計算科学研究センター Center for Computational Sciences, University of Tsukuba |
| 発表年月日 | 2013-10-04 |
| 資料番号 | PRMU2013-62 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | 230 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |