グリッドコンピューティング環境におけるジョブ間データ転送の削減

• Item type: Trans(1)
• 公開日: 2012-08-24
• タイトル: グリッドコンピューティング環境におけるジョブ間データ転送の削減
• タイトル / 言語: en
• タイトル: Reduction of Data Transfer in Grid Computing Environments
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [グリッド] グリッドコンピューティング，インターオペレーション，HPCBP，データステージング，PGI
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 総合研究大学院大学
• 著者所属: 国立情報学研究所
• 著者所属: 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): The Graduate School for Advanced Studies
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics
• 著者名: 佐賀, 一繁; 合田, 憲人; 三浦, 謙一
• 著者名(英): Kazushige, Saga; Kento, Aida; Kenichi, Miura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 現代の科学研究は複雑化，多角化してきており，研究分野や国をまたがる共同研究が多く行われている．このような共同研究の円滑な推進には，参加組織が持つデータ，計算資源，ストレージ資源などを共有できるグリッドコンピューティングが有効である．従来，研究分野や国が異なると使用するグリッドミドルウェアが異なり，資源を連携させることができなかったが，主要なミドルウェアがOpen Grid Forum（OGF）が策定したインターオペレーション仕様HPC Basic Profile（HPCBP）に準拠することにより異種グリッド間の資源連携が可能になってきた．しかし，この異種グリッド間インターオペレーション環境には，各グリッドのアーキテクチャの違いにより，単一グリッド環境とは異なる問題が存在する．その1つが，ジョブの実行アカウントの管理方法の違いによるファイル転送方法の違いである．グリッド計算資源のジョブ実行アカウントには，ジョブごとに動的に決定される一時アカウントと一般の計算機システムと同様な静的アカウントの2種類があり，どちらを採用するかは各ミドルウェアに依存する．静的アカウント環境におけるジョブ間のファイルの引き渡しは，計算資源間の直接転送が可能であるのに対し，一時アカウント環境では一時ストレージを介した転送が必要であり，同じファイルの転送が2回に行われることになる．この違いのため，他グリッドの計算資源へジョブを投入するときには，先方のアカウント管理方法に従ったファイル転送の制御をする必要がある．しかし，依存関係のあるジョブなど先行するジョブの投入時には後のジョブの計算資源が決定されていない場合が多く，あらかじめ相手計算資源に合わせたファイル転送制御を指示することは難しい．また，近年の計算資源の急速な性能向上はデータの巨大化をもたらし，この余分なファイル転送はジョブの長期化やネットワーク負荷の増大などの原因となる．一時ストレージが必要となる理由は，一時アカウントとその作業ディレクトリがジョブ終了とともに無効化されることにある．このため，各ジョブはジョブ内で計算結果を外部資源に転送する必要がある．しかし，このときこの計算結果を必要としている他ジョブの実行状態が不定であるため一時ストレージに転送する制御が必要となる．そこで本論文では，ファイルの引き渡しが必要なジョブのステートを制御して両ジョブの実行状態を同期させファイル転送する方法を提案する．具体的には，ファイル送出元のジョブを終了する前に停止させ，受け取り側のジョブがファイル転送可能状態になるまで待機させる．転送可能な状態になったらファイルを転送し，転送終了した段階で同期を解除する．このような実行同期は，単一グリッドの独自仕様でなら比較的容易に実現できるが，インターオペレーション環境では仕様の共通化が必要となり難しい．そこで，現在OGFで議論されている次世代インターオペレーション仕様の要件を基に実現する方法を提案する．また，提案手法を実装し，関連するジョブ間で直接ファイル転送できること，ファイル転送が少ない分だけジョブの実行時間が短縮されることが確認できたので報告する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Because modern scientific researches become complicated and diversified, many joint studies are carried out among different research fields and different countries. The grid computing is effective for smooth promotion of such collaborations because it can share resources such as data, computing resources, and storage resources the participant organizations have. However, because the grid middleware using in different research fields and different countries are different, conventional grid middleware are not able to share resources with other type grids. Therefore many grid projects focus grid interoperation using Open Grid Forum's (OGF) interoperation standard HPC Basic Profile (HPCBP). In the interoperation environment, because the grid middleware have different architectures, there are many issues different from single grid environment. The one is the difference in file transfer method by the difference in management method of the job account. There are two types of job accounts for the computing resources, temporally account, which is assigned for each job dynamically, and static account like conventional computer systems. In the environment which uses static accounts, the file transfer between jobs can be done directly. On the other hand, the transfer through the temporary storage is necessary in the temporary account environment. Therefore in the temporary account environments, the same files are transferred twice. Because of this difference, it is necessary to control the file transfer according to the account management of the other parties. However the computing resources of the later job are not often decided at the time of the submission of the preceding job, and it is difficult to manage file transfer method in conformity to partner resources in advance. In addition, because the rapid performance improvement of recent computing resources brings the make the data gigantic, this extra file transfer causes the prolongation of the job or the increase of the network load. The reason why a temporary storage is necessary for is that a temporary account and the temporary working directory are disabled with the job end. Therefore, it is necessary for each job to transfer the computing results to the outside resources in the job. However, it is necessary to transfer it to a temporary storage because the state of the job needing the results is unsettled. Therefore this paper proposes that a method to synchronize the state of the jobs that the file transfer is needed, and to do file transfer. Specifically, the job which sends the files is stopped before finalizing and is waited until the partner finishes the file transfer. This proposal is based on the requirements of the next generation interoperation specification which is discussing in the OGF. It is confirmed that the prototype could transfer the file between jobs directly and the job run time was shorten.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11833852
• 書誌情報: 情報処理学会論文誌コンピューティングシステム（ACS）; 巻 5, 号 4, p. 61-75, 発行日 2012-08-24
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7829
• 出版者 / 言語: ja
• 出版者: 情報処理学会