| 講演名 | 2005/7/29 レプリカ管理システムを利用したデータインテンシブアプリケーション向けスケジューリングシステム(応用システム, SWOPP武雄2005 (2005年並列/分散/協調処理に関する「武雄」サマー・ワークショップ)) 町田 悠哉, 滝澤 真一朗, 中田 秀基, 松岡 聡, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | グリッド環境において既存のスケジューリングシステムはデータ入出力を共有ファイルシステムや単純なステージング機構を利用して行っている。しかしこれらの手法ではデータ保持ノードはアクセス集中によりパフォーマンスが低下、そして最悪の場合にはハングアップしてしまう。またユーザが同一のデータセットを利用する多数のタスクからなるジョブを実行した場合、スケジューリング後に毎回同じデータをステージングするのは非効率である。そこで本研究では複数ノードへO(1)の転送時間でデータを複製できるスケーラブルなレプリカ管理システムをステージング機構として利用し、レプリカを再利用するような効率的なスケジューリングを可能とするシステムを提案する。プロトタイプシステム上でサンプルアプリケーションを実行したところ従来の共有ファイルシステムやステージング機構を利用したものより高い性能が確認できた。 |
| 抄録(英) | Existing scheduling systems for the Grid mostly handle huge I/O via a shared file system or simple staging. However, when numerous nodes access a single I/O node simultaneously, major performance degradation occurs, or in a worst case, causes I/O nodes to hang. Moreover, when a user launches a job consisting of hundreds or even thousands of tasks which share the same data set, it becomes extremely inefficient to stage essentially the same data set to each compute node after every dynamic brokering and allocation of the compute nodes. Instead, we propose to utilize a replica management system that embodies a scalable multi-replication framework as a data staging mechanism, where multiple copies could be made in O(1) transfer time as well as make intelligent reuse of already-created replicas in scheduling for efficiency. A prototype executing a sample data-intensive application proved to be quite superior to shared files or traditional staging techniques. |
| キーワード(和) | グリッド / スケジューリング / レプリカ管理システム / データインテンシブアプリケーション |
| キーワード(英) | Grid / Scheduling / Replica Management System / Data-Intensive Application |
| 資料番号 | CPSY2005-26 |
| 発行日 |
| 研究会情報 | |
| 研究会 | CPSY |
|---|---|
| 開催期間 | 2005/7/29(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Computer Systems (CPSY) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | レプリカ管理システムを利用したデータインテンシブアプリケーション向けスケジューリングシステム(応用システム, SWOPP武雄2005 (2005年並列/分散/協調処理に関する「武雄」サマー・ワークショップ)) |
| サブタイトル（和） | |
| タイトル（英） | A scheduling system coupled with a replica management system for data-intensive applications |
| サブタイトル（和） | |
| キーワード(1)（和/英） | グリッド / Grid |
| キーワード(2)（和/英） | スケジューリング / Scheduling |
| キーワード(3)（和/英） | レプリカ管理システム / Replica Management System |
| キーワード(4)（和/英） | データインテンシブアプリケーション / Data-Intensive Application |
| 第 1 著者 氏名（和/英） | 町田 悠哉 / Yuya MACHIDA |
| 第 1 著者 所属（和/英） | 東京工業大学 Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 滝澤 真一朗 / Shinichiro TAKIZAWA |
| 第 2 著者 所属（和/英） | 東京工業大学 Tokyo Institute of Technology |
| 第 3 著者 氏名（和/英） | 中田 秀基 / Hidemoto NAKADA |
| 第 3 著者 所属（和/英） | 産業技術総合研究所 National Institute of Advanced Industrial Science and Technology |
| 第 4 著者 氏名（和/英） | 松岡 聡 / Satoshi MATSUOKA |
| 第 4 著者 所属（和/英） | 東京工業大学:国立情報学研究所 Tokyo Institute of Technology:National Institute of Informatics |
| 発表年月日 | 2005/7/29 |
| 資料番号 | CPSY2005-26 |
| 巻番号（vol） | vol.105 |
| 号番号（no） | 226 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |