お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2011-03-04 14:50
大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討
川崎紀宏岡島一郎田中 聡NTTドコモNS2010-257
抄録 (和) 大規模なクラスタ上で,大規模データを分析する並列プログラムを開発,実行させることが一般的になってきた.このような並列プログラムは,特定のサーバに処理が集中してしまったり,サーバ間の通信が特定の時間に集中してしまうなどの問題により,実行の最適化が難しい.特に,大規模なクラスタになるほど,サーバの実行状態やサーバ間の通信状態を見やすく表示することが難しく,並列プログラムの実行状態を把握すること自体が難しい.そこで,我々は,大規模なクラスタで動作する並列プログラムを対象に,サーバの実行状態やサーバ間の通信状態を同時に表示し,並列プログラム最適化を補助するツールSphereVizを提案する.本ツールは,並列プログラムの実行後,サーバからログを収集し,ログを再構成し,時間順にそれを表示する.このとき,サーバを画面上の球面に配置し,サーバ間を線で結合することにより,多数のサーバの負荷とサーバ間通信の負荷を同時に表示する.プログラマは本ツールにより並列プログラムの実行状態を検証し,必要な最適化について検討する.本稿では,SphereVizについての提案とプロトタイプの実装について述べる.さらに,簡単なMapReduceプログラムを例に,100台規模のサーバから構成されるクラスタに構築されたHadoop上でのMapReduceプログラムの最適化への適用評価について報告する. 
(英) Parallel programs are being executed to analyze large-scale data on large-scale clusters. Since it is common for communication processes to become concentrated on some servers while execution processes become concentrated on other servers, it is difficult to optimize parallel programs. As the cluster size increases, it becomes more important to understand the execution and network statuses of the servers. Of particular difficulty is comprehending execution status. In this report, we propose SphereViz, a visualization tool that makes it easier to tune programs. This tool can show the execution status and communication statuses of many servers simultaneously with the target being a parallel program running on a large-scale cluster. This tool collects the server logs after program execution, restructures the server logs, and shows the server logs in order of time. Since our tool visualizes the servers as balls on a big sphere and sets connections between the racks, and thus the servers in each rack, it can visualize the execution loads and the communication traffic among many servers. Programmers can analyze the execution status of their programs and then optimize their programs. In this report, we describe an application and the implementation of a prototype. We evaluate the optimization of the MapReduce program on a 100-node distributed system using the example of a simple program.
キーワード (和) MapReduce / Hadoop / / / / / /  
(英) MapReduce / Hadoop / / / / / /  
文献情報 信学技報, vol. 110, no. 448, NS2010-257, pp. 527-532, 2011年3月.
資料番号 NS2010-257 
発行日 2011-02-24 (NS) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NS2010-257

研究会情報
研究会 IN NS  
開催期間 2011-03-03 - 2011-03-04 
開催地(和) 沖縄コンベンションセンター 
開催地(英) Okinawa Convention Center 
テーマ(和) 一般 
テーマ(英) General, NS+IN workshop (March 3-4) 
講演論文情報の詳細
申込み研究会 NS 
会議コード 2011-03-IN-NS 
本文の言語 日本語 
タイトル(和) 大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討 
サブタイトル(和)  
タイトル(英) A method to visualize the communication and execution processes of the MapReduce program on large-scale distributed systems 
サブタイトル(英)  
キーワード(1)(和/英) MapReduce / MapReduce  
キーワード(2)(和/英) Hadoop / Hadoop  
キーワード(3)(和/英) /  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 川崎 紀宏 / Norihiro Kawasaki / カワサキ ノリヒロ
第1著者 所属(和/英) 株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo)
第2著者 氏名(和/英/ヨミ) 岡島 一郎 / Ichiro Okajima / オカジマ イチロウ
第2著者 所属(和/英) 株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo)
第3著者 氏名(和/英/ヨミ) 田中 聡 / Satoshi Tanaka / タナカ サトシ
第3著者 所属(和/英) 株式会社NTTドコモ (略称: NTTドコモ)
NTT DOCOMO, Inc. (略称: NTT docomo)
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2011-03-04 14:50:00 
発表時間 20分 
申込先研究会 NS 
資料番号 NS2010-257 
巻番号(vol) vol.110 
号番号(no) no.448 
ページ範囲 pp.527-532 
ページ数
発行日 2011-02-24 (NS) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会