レプリカ管理システムを利用したデータインテンシブアプリケーション向けスケジューリングシステムハイパフォーマンスコンピューティング

• Item type: SIG Technical Reports(1)
• 公開日: 2006-02-27
• タイトル: レプリカ管理システムを利用したデータインテンシブアプリケーション向けスケジューリングシステムハイパフォーマンスコンピューティング
• タイトル / 言語: en
• タイトル: A Scheduling System Coupled with a Replica Management System for Data-intensive Applications
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属: 産業技術総合研究所 東京工業大学
• 著者所属: 東京工業大学 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Advanced Industorial Science and Technology,Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology,National Institute of Infomatics
• 著者名: 町田, 悠哉; 滝澤, 真一朗; 中田, 秀基; 松岡, 聡
• 著者名(英): Yuya, Machida; Shin'ichiro, Takizawa; Hidemoto, Nakada; Satoshi, Matsuoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: グリッド環境において既存のスケジューリングシステムはデータ入出力を共有ファイルシステムや単純なステージング機構を利用して行っている。しかしこれらの手法ではデータ保持ノードはアクセス集中によりパフォーマンスが低下、そして最悪の場合にはハングアップしてしまう。またユーザが同一のデータセットを利用する多数のタスクからなるジョブを実行した場合、スケジューリング後に毎回同じデータをステージングするのは非効率である。そこで本研究ではレプリカ管理とジョブスケジューリングをタイトに結合し、データを効率的に再利用する。プロトタイプシステムとして複数ノードへO(1)の転送時間でデータを複製できるスケーラブルなレプリカ管理システムを利用し、効率的なファイル転送を提供するとともにデータ転送と計算を同時実行するような効率的なスケジューリングを可能にした。評価実験によりプロトタイプシステム上で従来手法よりも効率的なジョブ実行、スループット向上が達成されたことを確認した。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Existing scheduling systems for the Grid mostly handle huge I/O via a shared file system or simple staging. However, when numerous nodes access a single I/O node simultaneously, major performance degradation occurs, or in a worst case, causes I/O nodes to hang. Moreover, when a user launches a job consisting of hundreds or even thousands of tasks which share the same data set, it becomes extremely inefficient to stage essentially the same data set to each compute node after every dynamic brokering and allocation of the compute nodes. So we propose to tightly couple replica management and computation scheduling in order to reuse already replicated data effectively. We implemented a prototype system which uses a replica management system that embodies a scalable multi-replication framework, where multiple copies could be made in O(1) transfer time, and enables scheduling computation and data trasfer to single node simultaneously. The evaluation result shows our proposed technique performs superior to the traditional techniques and improves the throughput.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 情報処理学会研究報告計算機アーキテクチャ（ARC）; 巻 2006, 号 20(2006-ARC-167), p. 229-234, 発行日 2006-02-27
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会