電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2013-08-02 15:15
HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価
山崎一樹津邑公暁齋藤彰一松尾啓志名工大
抄録 (和) 大規模データを効率良く処理するためのフレームワークの1 つにMapReduce があり,Map 関数とReduce関数の2 つの関数を記述するだけで容易に分散処理を実現できる.MapReduce フレームワークのオープンソースソフトウェアであるHadoop では,これらの関数を実行するMap タスクとReduce タスクを実行する.TaskTracker と呼ばれるタスクを実行するスレーブプログラムがマスタプログラムであるJobTracker にタスクを要求することで,JobTracker がMap タスクおよびReudce タスクの割り当てを行う.同一クラスタ上で複数のHadoop システムが稼働している環境では,計算資源を複数のHadoop で共有している.それぞれのHadoop の利用可能な計算資源は,別のHadoop の動作によって動的に変動する.Hadoop のタスクスケジューラは,静的に設定されたMap スロット数のタスクをそれぞれのノードに割り当てるため,動的に負荷が変動する状況では計算資源を効率的に利用することは困難である.そこでHadoop システムの大域的な情報を収集可能なJobTracker 同士が協調し,それぞれのTaskTracker に適切にタスクをスケジューリングするJobTracker 主導型のタスクスケジューラの導入が求められる.本稿ではJobTracker主導型タスクスケジューラの予備研究として,クラスタの計算資源を有効に利用するためにJobTracker がそれぞれの計算機の負荷に基づきTaskTracker に割り当てるタスクの数を動的に制御する手法を提案し,その評価結果を示す. 
(英) MapReduce is one of a framework to process large-scale data efficiently. Describing only two methods, Map and Reduce, distributed program can be implemented easily. In Hadoop which is a open source implementation of MapReduce, JobTracker (master program in Hadoop) assigns Map Tasks and Reduce Tasks to TaskTracker (slave program which execute the tasks). In a environment such that multiple Hadoop systems are running on a same cluster, computational resources should be shared by every Hadoop. Available computational resources of each Hadoop uctuates dynamically by behavior of other Hadoops. Then, a scheduler which schedule tasks to TaskTrackers properly, are required; we call it JobTracker Initiative Task Scheduler. In this paper, as a preliminary research of JobTracker Initiative Task Scheduler, we propose a method which decide the number of execution of task in order to use computation resources efficiently and based on a load on each computer. And we have shown results of our evaluations.
キーワード (和) Hadoop / MapReduce / タスクスケジューリング / / / / /  
(英) Hadoop / MapReduce / Task Scheduling / / / / /  
文献情報 信学技報, vol. 113, no. 169, CPSY2013-24, pp. 85-90, 2013年8月.
資料番号 CPSY2013-24 
発行日 2013-07-25 (CPSY) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 DC CPSY  
開催期間 2013-08-01 - 2013-08-02 
開催地(和) 北九州国際会議場 
開催地(英) Kitakyushu-Kokusai-Kaigijyo 
テーマ(和) 並列/分散/協調とディペンダブルコンピューティングおよび一般 
テーマ(英) Parallel, Distributed and Cooperative Processing 
講演論文情報の詳細
申込み研究会 CPSY 
会議コード 2013-08-DC-CPSY 
本文の言語 日本語 
タイトル(和) HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価 
サブタイトル(和)  
タイトル(英) Implementation and Evaluation of JobTracker Initiative Task Scheduling on Hadoop 
サブタイトル(英)  
キーワード(1)(和/英) Hadoop / Hadoop  
キーワード(2)(和/英) MapReduce / MapReduce  
キーワード(3)(和/英) タスクスケジューリング / Task Scheduling  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 山崎 一樹 / Kazuki Yamazaki / ヤマザキ カズキ
第1著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: Nagoya Inst. of Tech.)
第2著者 氏名(和/英/ヨミ) 津邑 公暁 / Tomoaki Tsumura / ツムラ トモアキ
第2著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: Nagoya Inst. of Tech.)
第3著者 氏名(和/英/ヨミ) 齋藤 彰一 / Shoichi Saito / サイトウ ショウイチ
第3著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: Nagoya Inst. of Tech.)
第4著者 氏名(和/英/ヨミ) 松尾 啓志 / Hiroshi Matsuo / マツオ ヒロシ
第4著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: Nagoya Inst. of Tech.)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2013-08-02 15:15:00 
発表時間 30 
申込先研究会 CPSY 
資料番号 IEICE-CPSY2013-24 
巻番号(vol) IEICE-113 
号番号(no) no.169 
ページ範囲 pp.85-90 
ページ数 IEICE-6 
発行日 IEICE-CPSY-2013-07-25 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会