| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-01-25 15:00 ネットワーク連携型タスクスケジューリングによるHadoop性能の改善 ○片岡 駿・渡邊飛雄馬・川原崎雅敏（筑波大）  IN2012-152 |
|
| 抄録 | （和） | 大規模データの分散処理に用いられる Hadoop では MapReduce 処理により分散処理を実現している。 MapReduce ではシャッフルと呼ばれる大量のデータ転送を伴う処理が発生するが、現在の Hadoop のタスクスケジ ュール方式はこれを考慮せずにタスクの割当てを行っているため、ネットワークにボトルネックが発生するとジョ ブ処理が遅延する場合がある。本論文では Hadoop のデータの流れを調査し、タスク割当ての際に各ノードのデー タ転送量を観測しこれによりタスクスケジュールを行うスケジューラを提案し、実機環境で評価を行う。 |
| （英） | Hadoop uses MapReduce for distributed processing of large-scale data. Although a large amount of data transfer between Mappers and Reducers may be generated in a shuffle phase of the MapReduce processing, current Hadoop task-scheduling method allocates a task without taking this into account. As a result, job processing may be delayed because of the network bottleneck. In this paper, we investigate Hadoop data flow in detail and propose a new task-scheduling method that allocates a new task based on the observed amount of data transfer at each node. Job performance in the proposed task-scheduling method is evaluated in the real machine environment. |
|
| キーワード | （和） | Hadoop / MapReduce / タスクスケジューリング / ネットワーク / ジョブパフォーマンス / / / |
| （英） | Hadoop / MapReduce / task scheduling / network / job performance / / / | |
| 文献情報 | 信学技報, vol. 112, no. 393, IN2012-152, pp. 81-86, 2013年1月. | |
| 資料番号 | IN2012-152 | |
| 発行日 | 2013-01-17 (IN) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2012-152 |
|
| 研究会情報 | |
| 研究会 | IN |
| 開催期間 | 2013-01-24 - 2013-01-25 |
| 開催地（和） | 鹿児島県産業会館 |
| 開催地（英） | Kagoshima-Ken-Sangyo-Kaikan |
| テーマ（和） | ソーシャル・ネットワーク，セキュリティ管理，災害時情報流通, オーバーレイネットワーク，P2Pネットワーク，自律分散制御および一般 |
| テーマ（英） | Social Networks, Security Management, Information and Communications for Disaster, Overlay Networks, P2P Networks, Autonomous Distributed Networks, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2013-01-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | ネットワーク連携型タスクスケジューリングによるHadoop性能の改善 |
| サブタイトル（和） | |
| タイトル（英） | Enhancing Hadoop Performance by Network-Aware Task Scheduling |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Hadoop / Hadoop |
| キーワード(2)（和/英） | MapReduce / MapReduce |
| キーワード(3)（和/英） | タスクスケジューリング / task scheduling |
| キーワード(4)（和/英） | ネットワーク / network |
| キーワード(5)（和/英） | ジョブパフォーマンス / job performance |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 片岡 駿 / Shun Kataoka / カタオカ シュン |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 渡邊 飛雄馬 / Hyuma Watanabe / ワタナベ ヒュウマ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 川原崎 雅敏 / Masatoshi Kawarasaki / カワラサキ マサトシ |
| 第3著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-01-25 15:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IN |
| 資料番号 | IN2012-152 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.393 |
| ページ範囲 | pp.81-86 |
| ページ数 | 6 |
| 発行日 | 2013-01-17 (IN) |
[研究会発表申込システムのトップページに戻る]