| 講演名 | 2023-06-02 ビッグデータ分析システムにおける分散分析基盤のリソース割当最適化 上野 里奈(日立), 藪崎 仁史(日立), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ビッグデータ分析システムでは分散分析基盤を用いて処理高速化を図ることが多い。特にクラウド上では、リソース利用コストの最小化と処理速度の最大化が重要である。本稿は、様々な長さのデータの入力を許容するビッグデータ分析システムについて、その内部にある分散分析を利用する処理に対して、分散分析基盤のリソース最適化を課題とする。分散分析基盤にRayを用いるものと想定し、各ノードにデータや処理を転送する際に生じる転送遅延などを考慮し、タスク毎ならびに入力データの量毎に最適なリソース量を瞬時に判断する方法を提案する。 |
| 抄録(英) | Big data analysis systems often use distributed analysis infrastructure to accelerate processing. Minimizing resource utilization costs and maximizing processing speed are important, especially in the cloud. This paper addresses the issue of resource optimization of the distributed analysis infrastructure for a big data analysis system that allows input of data of various lengths for processing that uses distributed analysis inside the system. Assuming that Ray is used as the distributed analysis infrastructure, we propose a method to instantly determine the optimal amount of resources for each task and amount of input data, taking into account transfer delays that occur when data and processing are transferred to each node. |
| キーワード(和) | 分散分析 / リソース最適化 / ビッグデータ / Ray |
| キーワード(英) | Distributed Processing / Resource Allocation / Big Data / Ray |
| 資料番号 | SC2023-7 |
| 発行日 | 2023-05-26 (SC) |
| 研究会情報 | |
| 研究会 | SC |
|---|---|
| 開催期間 | 2023/6/2(から2日開催) |
| 開催地（和） | 会津大学 UBIC 3D Theater |
| 開催地（英） | UBIC 3D Theater, University of Aizu |
| テーマ（和） | サービス化するAI技術とDX, 一般 |
| テーマ（英） | Services for AI Technology and DX, etc general |
| 委員長氏名（和） | 木村 功作(富士通) |
| 委員長氏名（英） | Kosaku Kimura(Fujitsu) |
| 副委員長氏名（和） | 中口 孝雄(京都情報大学院大) |
| 副委員長氏名（英） | Takao Nakaguchi(KCGI) |
| 幹事氏名（和） | 干川 尚人(小山工専) / 北島 信哉(富士通) |
| 幹事氏名（英） | Naoto Hoshikawa(National Institute of Technology, Oyama College) / Shinya Kitajima(Fujitsu) |
| 幹事補佐氏名（和） | 細野 繁(東京工科大) / 池川 航史(日立) |
| 幹事補佐氏名（英） | Shigeru Hosono(Tokyo Univ. of Tech.) / Koushi Ikegawa(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Service Computing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ビッグデータ分析システムにおける分散分析基盤のリソース割当最適化 |
| サブタイトル（和） | |
| タイトル（英） | Resource Allocation Optimization of Distributed Infrastructure in Big Data Analysis Systems |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 分散分析 / Distributed Processing |
| キーワード(2)（和/英） | リソース最適化 / Resource Allocation |
| キーワード(3)（和/英） | ビッグデータ / Big Data |
| キーワード(4)（和/英） | Ray / Ray |
| 第 1 著者 氏名（和/英） | 上野 里奈 / Rina Ueno |
| 第 1 著者 所属（和/英） | (株)日立製作所 研究開発グループ デジタルサービスプラットフォームイノベーションセンタ(略称：日立) Hitachi, Ltd., Research & Development Group, Center for Technology Innovation - Digital Service Platform(略称：Hitachi) |
| 第 2 著者 氏名（和/英） | 藪崎 仁史 / Hitoshi Yabusaki |
| 第 2 著者 所属（和/英） | (株)日立製作所 研究開発グループ デジタルサービスプラットフォームイノベーションセンタ(略称：日立) Hitachi, Ltd., Research & Development Group, Center for Technology Innovation - Digital Service Platform(略称：Hitachi) |
| 発表年月日 | 2023-06-02 |
| 資料番号 | SC2023-7 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | SC-61 |
| ページ範囲 | pp.38-41(SC), |
| ページ数 | 4 |
| 発行日 | 2023-05-26 (SC) |