講演抄録/キーワード |
講演名 |
2011-03-04 14:50
大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討 ○川崎紀宏・岡島一郎・田中 聡(NTTドコモ) NS2010-257 |
抄録 |
(和) |
大規模なクラスタ上で,大規模データを分析する並列プログラムを開発,実行させることが一般的になってきた.このような並列プログラムは,特定のサーバに処理が集中してしまったり,サーバ間の通信が特定の時間に集中してしまうなどの問題により,実行の最適化が難しい.特に,大規模なクラスタになるほど,サーバの実行状態やサーバ間の通信状態を見やすく表示することが難しく,並列プログラムの実行状態を把握すること自体が難しい.そこで,我々は,大規模なクラスタで動作する並列プログラムを対象に,サーバの実行状態やサーバ間の通信状態を同時に表示し,並列プログラム最適化を補助するツールSphereVizを提案する.本ツールは,並列プログラムの実行後,サーバからログを収集し,ログを再構成し,時間順にそれを表示する.このとき,サーバを画面上の球面に配置し,サーバ間を線で結合することにより,多数のサーバの負荷とサーバ間通信の負荷を同時に表示する.プログラマは本ツールにより並列プログラムの実行状態を検証し,必要な最適化について検討する.本稿では,SphereVizについての提案とプロトタイプの実装について述べる.さらに,簡単なMapReduceプログラムを例に,100台規模のサーバから構成されるクラスタに構築されたHadoop上でのMapReduceプログラムの最適化への適用評価について報告する. |
(英) |
Parallel programs are being executed to analyze large-scale data on large-scale clusters. Since it is common for communication processes to become concentrated on some servers while execution processes become concentrated on other servers, it is difficult to optimize parallel programs. As the cluster size increases, it becomes more important to understand the execution and network statuses of the servers. Of particular difficulty is comprehending execution status. In this report, we propose SphereViz, a visualization tool that makes it easier to tune programs. This tool can show the execution status and communication statuses of many servers simultaneously with the target being a parallel program running on a large-scale cluster. This tool collects the server logs after program execution, restructures the server logs, and shows the server logs in order of time. Since our tool visualizes the servers as balls on a big sphere and sets connections between the racks, and thus the servers in each rack, it can visualize the execution loads and the communication traffic among many servers. Programmers can analyze the execution status of their programs and then optimize their programs. In this report, we describe an application and the implementation of a prototype. We evaluate the optimization of the MapReduce program on a 100-node distributed system using the example of a simple program. |
キーワード |
(和) |
MapReduce / Hadoop / / / / / / |
(英) |
MapReduce / Hadoop / / / / / / |
文献情報 |
信学技報, vol. 110, no. 448, NS2010-257, pp. 527-532, 2011年3月. |
資料番号 |
NS2010-257 |
発行日 |
2011-02-24 (NS) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NS2010-257 |
研究会情報 |
研究会 |
IN NS |
開催期間 |
2011-03-03 - 2011-03-04 |
開催地(和) |
沖縄コンベンションセンター |
開催地(英) |
Okinawa Convention Center |
テーマ(和) |
一般 |
テーマ(英) |
General, NS+IN workshop (March 3-4) |
講演論文情報の詳細 |
申込み研究会 |
NS |
会議コード |
2011-03-IN-NS |
本文の言語 |
日本語 |
タイトル(和) |
大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討 |
サブタイトル(和) |
|
タイトル(英) |
A method to visualize the communication and execution processes of the MapReduce program on large-scale distributed systems |
サブタイトル(英) |
|
キーワード(1)(和/英) |
MapReduce / MapReduce |
キーワード(2)(和/英) |
Hadoop / Hadoop |
キーワード(3)(和/英) |
/ |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
川崎 紀宏 / Norihiro Kawasaki / カワサキ ノリヒロ |
第1著者 所属(和/英) |
株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo) |
第2著者 氏名(和/英/ヨミ) |
岡島 一郎 / Ichiro Okajima / オカジマ イチロウ |
第2著者 所属(和/英) |
株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo) |
第3著者 氏名(和/英/ヨミ) |
田中 聡 / Satoshi Tanaka / タナカ サトシ |
第3著者 所属(和/英) |
株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2011-03-04 14:50:00 |
発表時間 |
20分 |
申込先研究会 |
NS |
資料番号 |
NS2010-257 |
巻番号(vol) |
vol.110 |
号番号(no) |
no.448 |
ページ範囲 |
pp.527-532 |
ページ数 |
6 |
発行日 |
2011-02-24 (NS) |
|