大会名称
2010年 情報科学技術フォーラム(FIT)
大会コ-ド
F
開催年
2010
発行日
2010/8/20
セッション番号
7Q
セッション名
クラウドとデータ統合
講演日
2010/09/09
講演場所(会議室等)
Q会場(ウエスト2号館3F 第5講義室)
講演番号
D-032
タイトル
MapReduceによる大規模データの解析環境の構築と評価
著者名
村上 卓和泉 信生
キーワード
MapReduce, クラウドコンピューティング, 大規模データ処理
抄録
近年,ブログやSNS,YouTube,Twitterなどのソーシャルメディアが出現し,インターネットには大規模なデータが蓄積され続けている.そこで大規模データを効率良く解析することが求められている.Googleは大規模データ処理にMapReduceというモデルをバックグラウンドで用いることで高速な検索処理を実現している.本研究ではMapReduceモデルの実装の一つであるHadoopを用いて大規模データの解析環境を作りその効果について調査を行った.解析データとして1GB程度の映画評価データを利用し,映画とユーザの平均評価を求めた.実験では1台から5台のノード数で検証を行った.結果,処理するコンピュータ数の増加に伴い比例して処理時間が短縮されることを確認した.
本文pdf
PDF download (680.2KB)