講演名 2012-10-11
Hadoop on demandによる複数Hadoopクラスタ間でのデータ共有(技術開発講演,ネットワークアーキテクチャ(オーバレイ,P2P、ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IP over WDM,マルチサービスパケット技術,MPLS),グリッド,一般)
趙 晩煕, 田中 聡, 石井 健司,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 大規模なHadoopクラスタの運用に必要な検証用のクラスタを構築し運用する際の大きな問題点として,コストの増加とクラスタ間の大規模データ複製のオーバヘッドが挙げられる.本稿では,ネットワークで接続された単一の物理クラスタ上にユーザレベルでHadoopクラスタを構築するツールであるHadoop on Demand を使って複数のクラスタを構築し,クラスタ間でデータや資源を共有する方法について述べる.これによって,Hadoopクラスタを柔軟に構築することができ,クラスタ間のデータ複製にかかるコストを減らすことができる.
抄録(英) One of the most tough problems in maintaining large scale Hadoop testing clusters is data copying overhead among the clusters. In this article, we describe how to construct multiple Hadoop clusters over one physical cluster as well as to share data and resources among those clusters by using Hadoop on Demand. By doing so, we can not only construct multiple Hadoop clusters in a flexible way but reduce expensive data migration cost.
キーワード(和) Hadoop on Demand / Hadoopクラスタ再構築
キーワード(英) Hadoop on Demand / Hadoop cluster reconstruction
資料番号 NS2012-93
発行日

研究会情報
研究会 NS
開催期間 2012/10/4(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Network Systems(NS)
本文の言語 JPN
タイトル(和) Hadoop on demandによる複数Hadoopクラスタ間でのデータ共有(技術開発講演,ネットワークアーキテクチャ(オーバレイ,P2P、ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IP over WDM,マルチサービスパケット技術,MPLS),グリッド,一般)
サブタイトル(和)
タイトル(英) Data Sharing among Hadoop Clusters by Hadoop on Demand
サブタイトル(和)
キーワード(1)(和/英) Hadoop on Demand / Hadoop on Demand
キーワード(2)(和/英) Hadoopクラスタ再構築 / Hadoop cluster reconstruction
第 1 著者 氏名(和/英) 趙 晩煕 / Manhee JO
第 1 著者 所属(和/英) NTTドコモ先進技術研究所
Research Laboratories, NTT DoCoMo, Inc.
第 2 著者 氏名(和/英) 田中 聡 / Satoshi TANAKA
第 2 著者 所属(和/英) NTTドコモ先進技術研究所
Research Laboratories, NTT DoCoMo, Inc.
第 3 著者 氏名(和/英) 石井 健司 / Kenji ISHII
第 3 著者 所属(和/英) NTTドコモ先進技術研究所
Research Laboratories, NTT DoCoMo, Inc.
発表年月日 2012-10-11
資料番号 NS2012-93
巻番号(vol) vol.112
号番号(no) 231
ページ範囲 pp.-
ページ数 6
発行日