| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-08-02 15:15 HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価 ○山崎一樹・津邑公暁・齋藤彰一・松尾啓志（名工大）  CPSY2013-24 |
|
| 抄録 | （和） | 大規模データを効率良く処理するためのフレームワークの1 つにMapReduce があり，Map 関数とReduce関数の2 つの関数を記述するだけで容易に分散処理を実現できる．MapReduce フレームワークのオープンソースソフトウェアであるHadoop では，これらの関数を実行するMap タスクとReduce タスクを実行する．TaskTracker と呼ばれるタスクを実行するスレーブプログラムがマスタプログラムであるJobTracker にタスクを要求することで，JobTracker がMap タスクおよびReudce タスクの割り当てを行う．同一クラスタ上で複数のHadoop システムが稼働している環境では，計算資源を複数のHadoop で共有している．それぞれのHadoop の利用可能な計算資源は，別のHadoop の動作によって動的に変動する．Hadoop のタスクスケジューラは，静的に設定されたMap スロット数のタスクをそれぞれのノードに割り当てるため，動的に負荷が変動する状況では計算資源を効率的に利用することは困難である．そこでHadoop システムの大域的な情報を収集可能なJobTracker 同士が協調し，それぞれのTaskTracker に適切にタスクをスケジューリングするJobTracker 主導型のタスクスケジューラの導入が求められる．本稿ではJobTracker主導型タスクスケジューラの予備研究として，クラスタの計算資源を有効に利用するためにJobTracker がそれぞれの計算機の負荷に基づきTaskTracker に割り当てるタスクの数を動的に制御する手法を提案し，その評価結果を示す． |
| （英） | MapReduce is one of a framework to process large-scale data efficiently. Describing only two methods, Map and Reduce, distributed program can be implemented easily. In Hadoop which is a open source implementation of MapReduce, JobTracker (master program in Hadoop) assigns Map Tasks and Reduce Tasks to TaskTracker (slave program which execute the tasks). In a environment such that multiple Hadoop systems are running on a same cluster, computational resources should be shared by every Hadoop. Available computational resources of each Hadoop uctuates dynamically by behavior of other Hadoops. Then, a scheduler which schedule tasks to TaskTrackers properly, are required; we call it JobTracker Initiative Task Scheduler. In this paper, as a preliminary research of JobTracker Initiative Task Scheduler, we propose a method which decide the number of execution of task in order to use computation resources efficiently and based on a load on each computer. And we have shown results of our evaluations. | |
| キーワード | （和） | Hadoop / MapReduce / タスクスケジューリング / / / / / |
| （英） | Hadoop / MapReduce / Task Scheduling / / / / / | |
| 文献情報 | 信学技報, vol. 113, no. 169, CPSY2013-24, pp. 85-90, 2013年8月. | |
| 資料番号 | CPSY2013-24 | |
| 発行日 | 2013-07-25 (CPSY) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2013-24 |
|
| 研究会情報 | |
| 研究会 | DC CPSY |
| 開催期間 | 2013-08-01 - 2013-08-02 |
| 開催地（和） | 北九州国際会議場 |
| 開催地（英） | Kitakyushu-Kokusai-Kaigijyo |
| テーマ（和） | 並列／分散／協調とディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Parallel, Distributed and Cooperative Processing |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2013-08-DC-CPSY |
| 本文の言語 | 日本語 |
| タイトル（和） | HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価 |
| サブタイトル（和） | |
| タイトル（英） | Implementation and Evaluation of JobTracker Initiative Task Scheduling on Hadoop |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Hadoop / Hadoop |
| キーワード(2)（和/英） | MapReduce / MapReduce |
| キーワード(3)（和/英） | タスクスケジューリング / Task Scheduling |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山崎 一樹 / Kazuki Yamazaki / ヤマザキ カズキ |
| 第1著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： Nagoya Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 津邑 公暁 / Tomoaki Tsumura / ツムラ トモアキ |
| 第2著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： Nagoya Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | 齋藤 彰一 / Shoichi Saito / サイトウ ショウイチ |
| 第3著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： Nagoya Inst. of Tech.) |
| 第4著者 氏名（和/英/ヨミ） | 松尾 啓志 / Hiroshi Matsuo / マツオ ヒロシ |
| 第4著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： Nagoya Inst. of Tech.) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-08-02 15:15:00 |
| 発表時間 | 30分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2013-24 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.169 |
| ページ範囲 | pp.85-90 |
| ページ数 | 6 |
| 発行日 | 2013-07-25 (CPSY) |
[研究会発表申込システムのトップページに戻る]