講演抄録/キーワード |
講演名 |
2013-03-08 09:00
Zipf分布型の処理要求に適したスケールアウト手法における負荷分散と記憶域近似的最小化 ○山下高生・栗田弘之・高田直樹・南 拓也・太田賢治(NTT) IN2012-177 |
抄録 |
(和) |
本論文では,WWW(World Wide Web)やネットワーク装置の制御に用いられるデータ処理において,少量のデータに大半の処理要求が集中する一方で,処理要求頻度が低いデータが大量に存在するようなZipf分布型の特性を持つ処理要求において,サーバ負荷の偏りを一定以下に保ちながら,サーバ全体で必要な記憶域の近似的最小化を実現する方法を提案する.本提案では,これまで提案・評価を行ってきた,要求頻度の違いに応じて,ラウンドロビン,ラウンドロビンとコンシステントハッシングのハイブリッド型処理,コンシステントハッシングの三通りの処理方法を使い分けるスケールアウト可能な負荷分散方法の拡張として,負荷分散と記憶域近似的最小化の両立を目的とした,要求頻度に対する三通りの処理方法の割り当て方法を提案する.提案方法については,シミュレーションにより評価を行い,負荷分散を実現しながら,記憶域近似的最小化により既存技術と比較して大幅に記憶域を削減可能であることを示す. |
(英) |
In this paper, we propose a load balancing method to process requests that follow a Zipfian distribution, which has extremely large variance. This large variance of a Zipfian distribution leads to the imbalance of server loads. To solve this problem, we enhanced a previously proposed method that achieves load balancing among servers processing requests with a Zipf-like distribution, where every request has a key used to identify a service. In the previously proposed method, the range of key ranks, which are the places in the order of how frequently the key is used, is divided into three regions: hot, normal, and cold zones, where one of three different ways to process requests is used for every zone. To process requests with keys in the hot and cold zones, round-robin load balancing and consistent hashing are used, respectively. In addition, in order to process requests with keys in the normal zone, requests are processed by a number of servers that is less than the number of all servers. The enhanced method described in this paper approximately minimizes the total amount of memory needed for all servers as well as achieves load balancing. The minimization is accomplished by arranging the boundaries between the hot and normal zones, and between the normal and cold zones. We evaluated the enhanced method by simulation in terms of the amount of memory and the variance of server loads. The simulation showed that it can significantly decrease the amount of memory as well as achieve load balancing, compared to existing methods. |
キーワード |
(和) |
Zipf分布 / スケールアウト / ラウンドロビン / コンシステントハッシング / 負荷分散 / / / |
(英) |
Zipfian distribution / scale out / round robin / consistent hashing / load balancing / / / |
文献情報 |
信学技報, vol. 112, no. 464, IN2012-177, pp. 137-142, 2013年3月. |
資料番号 |
IN2012-177 |
発行日 |
2013-02-28 (IN) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IN2012-177 |