| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2014-03-07 10:40 データ転送量を考慮したHadoopスケジューラ改善方式の提案と評価 ○渡邊飛雄馬・川原崎雅敏（筑波大）  IN2013-173 |
|
| 抄録 | （和） | 現在広く使われている大規模データ分散処理フレームワークであるHadoopは、データ転送にかかる時間が処理時間の多くを占めている。本論文では、処理ノードのネットワーク使用率とHDD使用率を考慮してノードにタスクを割り当てるスケジューリング方式を提案し、データ転送かかる時間を短縮する。また、研究室内に構築したHadoopクラスタと、Amazon EC2上に構築したHadoopクラスタの両方を用いてその性能を評価する。 |
| （英） | Data transfer time occupies large amount of Hadoop job processing time. In this paper, we propose new Hadoop task scheduling algorithms which take account of network I/O and HDD I/O usage rate of task trackers to shorten the time for data transfer. We evaluate our algorithms on two type of Hadoop cluster which consists of real-machines in laboratory or virtual machine on Amazon EC2. | |
| キーワード | （和） | Hadoop / MapReduce / 分散コンピューティング / タスクスケジューリング / ジョブパフォーマンス / / / |
| （英） | Hadoop / MapReduce / Distributed computing / Task scheduling / Job performance / / / | |
| 文献情報 | 信学技報, vol. 113, no. 473, IN2013-173, pp. 175-180, 2014年3月. | |
| 資料番号 | IN2013-173 | |
| 発行日 | 2014-02-27 (IN) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2013-173 |
|
| 研究会情報 | |
| 研究会 | NS IN |
| 開催期間 | 2014-03-06 - 2014-03-07 |
| 開催地（和） | 宮崎シーガイア |
| 開催地（英） | Miyazaki Seagia |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2014-03-NS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | データ転送量を考慮したHadoopスケジューラ改善方式の提案と評価 |
| サブタイトル（和） | |
| タイトル（英） | Data Transfer Aware Scheduler for Hadoop |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Hadoop / Hadoop |
| キーワード(2)（和/英） | MapReduce / MapReduce |
| キーワード(3)（和/英） | 分散コンピューティング / Distributed computing |
| キーワード(4)（和/英） | タスクスケジューリング / Task scheduling |
| キーワード(5)（和/英） | ジョブパフォーマンス / Job performance |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 渡邊 飛雄馬 / Hyuma Watanabe / ワタナベ ヒュウマ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第2著者 氏名（和/英/ヨミ） | 川原崎 雅敏 / Masatoshi Kawarasaki / カワラサキ マサトシ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2014-03-07 10:40:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IN |
| 資料番号 | IN2013-173 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.473 |
| ページ範囲 | pp.175-180 |
| ページ数 | 6 |
| 発行日 | 2014-02-27 (IN) |
[研究会発表申込システムのトップページに戻る]