| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-10-04 14:30 NICTサイエンスクラウド ～ 地球科学・宇宙科学ビッグデータ分散処理技術 ～ ○磯田総子（サイエンスサービス）・村田健史・渡邉英伸（NICT）・深沢圭一郎（九大/NICT）・山本和憲・久保田康文・笠井康子・佐藤晋介（NICT）・鵜川健太郎・村永和哉・鈴木 豊（セック）・黒澤 隆（日立ソリューションズ東日本）・木村映善（愛媛大）・建部修見・田中昌宏（筑波大）  PRMU2013-62 |
|
| 抄録 | （和） | データ指向型科学は第4の科学と言われており，観測・実験や数値シミュレーションによる膨大なデータを解析することによる新しい科学を目指している．NICTサイエンスクラウドは科学研究を主目的としたクラウドシステムであり，特に宇宙環境科学や地球環境科学といった自然科学のビッグデータサイエンスを主対象の一つとしている．10TBを超えるデータ処理（例えば大規模可視化）や100TBを超える観測データ検索（たとえば特徴検出）などはこれからの地球および宇宙科学ではますます重要になる．本研究では，NICTサイエンスクラウドにおいて，Gfarmにより実装した広域分散ストレージ上のデータファイルを30ノード・320コアから構成されるクライアントノードにより高速に読み出す技術開発を行った．Pwrakeによるタスクスケジューリングを用い，データ読み込みプロセス数を最適化し，さらにファイル配置を工夫することにより，約19GB/s（150Gbps）でのデータ読み出しに成功した． |
| （英） | Science cloud is a cloud system designed for scientific researches, and expected as a new infrastructure for big data sciences. Not only parallelization of CPU as in super-computers, but I/O and network throughput parallelization are crucial for the big data science. One of the typical structures of science cloud is a scalable cluster in which multiple clusters in a cloud are connected with high-speed network. In the present study, we study a performance of parallelization of both CPU and I/O inside a cloud as a first step to the high performance scalable clusters. In case with few processes executed on each computational node (server), parallelization efficiency is almost 100%. This high efficiency is expected to maintain in larger-scale cluster systems such as those with 30 servers. On the other hand, under the condition of multi-processes on each node, the present parallelization does not show good performance due to the congestions of I/O. Parallelization efficiency is as low as 15.6. New techniques of decentralization of I/O within each node are required in the next step. | |
| キーワード | （和） | サイエンスクラウド / Gfarm / Pwrake / ビッグデータ / 宇宙環境科学 / 地球環境科学 / / |
| （英） | Science Cloud / Gfarm / Pwrake / Big data / Earth Environment Science / Space Environment Science / / | |
| 文献情報 | 信学技報, vol. 113, no. 230, PRMU2013-62, pp. 29-34, 2013年10月. | |
| 資料番号 | PRMU2013-62 | |
| 発行日 | 2013-09-26 (PRMU) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2013-62 |
|
| 研究会情報 | |
| 研究会 | PRMU |
| 開催期間 | 2013-10-03 - 2013-10-04 |
| 開催地（和） | 幕張メッセ国際会議場 |
| 開催地（英） | |
| テーマ（和） | 大規模データとパターン認識・メディア理解， 地球をとらえる，CEATEC連携 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2013-10-PRMU |
| 本文の言語 | 日本語 |
| タイトル（和） | NICTサイエンスクラウド |
| サブタイトル（和） | 地球科学・宇宙科学ビッグデータ分散処理技術 |
| タイトル（英） | NICT Science Cloud |
| サブタイトル（英） | Big-data Analyses via Parallel and Distributed Processing Technique for Earth and Space Science |
| キーワード(1)（和/英） | サイエンスクラウド / Science Cloud |
| キーワード(2)（和/英） | Gfarm / Gfarm |
| キーワード(3)（和/英） | Pwrake / Pwrake |
| キーワード(4)（和/英） | ビッグデータ / Big data |
| キーワード(5)（和/英） | 宇宙環境科学 / Earth Environment Science |
| キーワード(6)（和/英） | 地球環境科学 / Space Environment Science |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 磯田 総子 / Fusako Isoda / イソダ フサコ |
| 第1著者 所属（和/英） | サイエンスサービス (略称： サイエンスサービス) Sciece Service Co., LTD. (略称： Sciece Service) |
| 第2著者 氏名（和/英/ヨミ） | 村田 健史 / Ken T. Murata / ムラタ タケシ |
| 第2著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第3著者 氏名（和/英/ヨミ） | 渡邉 英伸 / Hidenobu Watanabe / ワタナベ ヒデノブ |
| 第3著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第4著者 氏名（和/英/ヨミ） | 深沢 圭一郎 / Keiichiro Fukazawa / フカザワ ケイイチロウ |
| 第4著者 所属（和/英） | 九州大学/情報通信研究機構 (略称： 九大/NICT) Kyushu University (略称： Kyushu Univ./NICT) |
| 第5著者 氏名（和/英/ヨミ） | 山本 和憲 / Kazunori Yamamoto / ヤマモト カズノリ |
| 第5著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第6著者 氏名（和/英/ヨミ） | 久保田 康文 / Yasufumi Kubota / クボタ ヤスブミ |
| 第6著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第7著者 氏名（和/英/ヨミ） | 笠井 康子 / Yasuko Kasai / カサイ ヤスコ |
| 第7著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第8著者 氏名（和/英/ヨミ） | 佐藤 晋介 / Shinsuke Satoh / サトウ シンスケ |
| 第8著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第9著者 氏名（和/英/ヨミ） | 鵜川 健太郎 / Kentaro Ukawa / ウカワ ケンタロウ |
| 第9著者 所属（和/英） | 株式会社 セック (略称： セック) Systems Engineering Consultants Co., LTD. (略称： SEC) |
| 第10著者 氏名（和/英/ヨミ） | 村永 和哉 / Kazuya Muranaga / ムラナガ カズヤ |
| 第10著者 所属（和/英） | 株式会社 セック (略称： セック) Systems Engineering Consultants Co., LTD. (略称： SEC) |
| 第11著者 氏名（和/英/ヨミ） | 鈴木 豊 / Yutaka Suzuki / スズキ ユタカ |
| 第11著者 所属（和/英） | 株式会社 セック (略称： セック) Systems Engineering Consultants Co., LTD. (略称： SEC) |
| 第12著者 氏名（和/英/ヨミ） | 黒澤 隆 / Takashi Kurosawa / クロサワ タカシ |
| 第12著者 所属（和/英） | 株式会社 日立ソリューションズ東日本 (略称： 日立ソリューションズ東日本) Hitachi Solutions East Japan, Ltd. (略称： HSEJ) |
| 第13著者 氏名（和/英/ヨミ） | 木村 映善 / Eizen Kimura / キムラ エイゼン |
| 第13著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 第14著者 氏名（和/英/ヨミ） | 建部 修見 / Osamu Tatebe / タテベ オサム |
| 第14著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. Tsukuba) |
| 第15著者 氏名（和/英/ヨミ） | 田中 昌宏 / Masahiro Tanaka / タナカ マサヒロ |
| 第15著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. Tsukuba) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-10-04 14:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2013-62 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.230 |
| ページ範囲 | pp.29-34 |
| ページ数 | 6 |
| 発行日 | 2013-09-26 (PRMU) |
[研究会発表申込システムのトップページに戻る]