電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2013-10-04 14:30
NICTサイエンスクラウド ~ 地球科学・宇宙科学ビッグデータ分散処理技術 ~
磯田総子サイエンスサービス)・村田健史渡邉英伸NICT)・深沢圭一郎九大/NICT)・山本和憲久保田康文笠井康子佐藤晋介NICT)・鵜川健太郎村永和哉鈴木 豊セック)・黒澤 隆日立ソリューションズ東日本)・木村映善愛媛大)・建部修見田中昌宏筑波大
技報オンラインサービス実施中
抄録 (和) データ指向型科学は第4の科学と言われており,観測・実験や数値シミュレーションによる膨大なデータを解析することによる新しい科学を目指している.NICTサイエンスクラウドは科学研究を主目的としたクラウドシステムであり,特に宇宙環境科学や地球環境科学といった自然科学のビッグデータサイエンスを主対象の一つとしている.10TBを超えるデータ処理(例えば大規模可視化)や100TBを超える観測データ検索(たとえば特徴検出)などはこれからの地球および宇宙科学ではますます重要になる.本研究では,NICTサイエンスクラウドにおいて,Gfarmにより実装した広域分散ストレージ上のデータファイルを30ノード・320コアから構成されるクライアントノードにより高速に読み出す技術開発を行った.Pwrakeによるタスクスケジューリングを用い,データ読み込みプロセス数を最適化し,さらにファイル配置を工夫することにより,約19GB/s(150Gbps)でのデータ読み出しに成功した. 
(英) Science cloud is a cloud system designed for scientific researches, and expected as a new infrastructure for big data sciences. Not only parallelization of CPU as in super-computers, but I/O and network throughput parallelization are crucial for the big data science. One of the typical structures of science cloud is a scalable cluster in which multiple clusters in a cloud are connected with high-speed network. In the present study, we study a performance of parallelization of both CPU and I/O inside a cloud as a first step to the high performance scalable clusters. In case with few processes executed on each computational node (server), parallelization efficiency is almost 100%. This high efficiency is expected to maintain in larger-scale cluster systems such as those with 30 servers. On the other hand, under the condition of multi-processes on each node, the present parallelization does not show good performance due to the congestions of I/O. Parallelization efficiency is as low as 15.6. New techniques of decentralization of I/O within each node are required in the next step.
キーワード (和) サイエンスクラウド / Gfarm / Pwrake / ビッグデータ / 宇宙環境科学 / 地球環境科学 / /  
(英) Science Cloud / Gfarm / Pwrake / Big data / Earth Environment Science / Space Environment Science / /  
文献情報 信学技報, vol. 113, no. 230, PRMU2013-62, pp. 29-34, 2013年10月.
資料番号 PRMU2013-62 
発行日 2013-09-26 (PRMU) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 PRMU  
開催期間 2013-10-03 - 2013-10-04 
開催地(和) 幕張メッセ国際会議場 
開催地(英)  
テーマ(和) 大規模データとパターン認識・メディア理解, 地球をとらえる,CEATEC連携 
テーマ(英)  
講演論文情報の詳細
申込み研究会 PRMU 
会議コード 2013-10-PRMU 
本文の言語 日本語 
タイトル(和) NICTサイエンスクラウド 
サブタイトル(和) 地球科学・宇宙科学ビッグデータ分散処理技術 
タイトル(英) NICT Science Cloud 
サブタイトル(英) Big-data Analyses via Parallel and Distributed Processing Technique for Earth and Space Science 
キーワード(1)(和/英) サイエンスクラウド / Science Cloud  
キーワード(2)(和/英) Gfarm / Gfarm  
キーワード(3)(和/英) Pwrake / Pwrake  
キーワード(4)(和/英) ビッグデータ / Big data  
キーワード(5)(和/英) 宇宙環境科学 / Earth Environment Science  
キーワード(6)(和/英) 地球環境科学 / Space Environment Science  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 磯田 総子 / Fusako Isoda / イソダ フサコ
第1著者 所属(和/英) サイエンスサービス (略称: サイエンスサービス)
Sciece Service Co., LTD. (略称: Sciece Service)
第2著者 氏名(和/英/ヨミ) 村田 健史 / Ken T. Murata / ムラタ タケシ
第2著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第3著者 氏名(和/英/ヨミ) 渡邉 英伸 / Hidenobu Watanabe / ワタナベ ヒデノブ
第3著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第4著者 氏名(和/英/ヨミ) 深沢 圭一郎 / Keiichiro Fukazawa / フカザワ ケイイチロウ
第4著者 所属(和/英) 九州大学/情報通信研究機構 (略称: 九大/NICT)
Kyushu University (略称: Kyushu Univ./NICT)
第5著者 氏名(和/英/ヨミ) 山本 和憲 / Kazunori Yamamoto / ヤマモト カズノリ
第5著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第6著者 氏名(和/英/ヨミ) 久保田 康文 / Yasufumi Kubota / クボタ ヤスブミ
第6著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第7著者 氏名(和/英/ヨミ) 笠井 康子 / Yasuko Kasai / カサイ ヤスコ
第7著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第8著者 氏名(和/英/ヨミ) 佐藤 晋介 / Shinsuke Satoh / サトウ シンスケ
第8著者 所属(和/英) 情報通信研究機構 (略称: NICT)
National Institute of Information and Communications Technology (略称: NICT)
第9著者 氏名(和/英/ヨミ) 鵜川 健太郎 / Kentaro Ukawa / ウカワ ケンタロウ
第9著者 所属(和/英) 株式会社 セック (略称: セック)
Systems Engineering Consultants Co., LTD. (略称: SEC)
第10著者 氏名(和/英/ヨミ) 村永 和哉 / Kazuya Muranaga / ムラナガ カズヤ
第10著者 所属(和/英) 株式会社 セック (略称: セック)
Systems Engineering Consultants Co., LTD. (略称: SEC)
第11著者 氏名(和/英/ヨミ) 鈴木 豊 / Yutaka Suzuki / スズキ ユタカ
第11著者 所属(和/英) 株式会社 セック (略称: セック)
Systems Engineering Consultants Co., LTD. (略称: SEC)
第12著者 氏名(和/英/ヨミ) 黒澤 隆 / Takashi Kurosawa / クロサワ タカシ
第12著者 所属(和/英) 株式会社 日立ソリューションズ東日本 (略称: 日立ソリューションズ東日本)
Hitachi Solutions East Japan, Ltd. (略称: HSEJ)
第13著者 氏名(和/英/ヨミ) 木村 映善 / Eizen Kimura / キムラ エイゼン
第13著者 所属(和/英) 愛媛大学 (略称: 愛媛大)
Ehime University (略称: Ehime Univ.)
第14著者 氏名(和/英/ヨミ) 建部 修見 / Osamu Tatebe / タテベ オサム
第14著者 所属(和/英) 筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. Tsukuba)
第15著者 氏名(和/英/ヨミ) 田中 昌宏 / Masahiro Tanaka / タナカ マサヒロ
第15著者 所属(和/英) 筑波大学 (略称: 筑波大)
University of Tsukuba (略称: Univ. Tsukuba)
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2013-10-04 14:30:00 
発表時間 30 
申込先研究会 PRMU 
資料番号 IEICE-PRMU2013-62 
巻番号(vol) IEICE-113 
号番号(no) no.230 
ページ範囲 pp.29-34 
ページ数 IEICE-6 
発行日 IEICE-PRMU-2013-09-26 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会