2024-03-29T06:59:31Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:000731222023-04-27T10:00:04Z01164:02240:06352:06353
インタークラウド間での大規模データ転送の高速化High Performance Large Data Transfer for Inter-Cloudsjpn分散システムhttp://id.nii.ac.jp/1001/00073122/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=73122&item_no=1&attribute_id=1&file_no=1Copyright (c) 2011 by the Information Processing Society of Japan東京工業大学/日本学術振興会特別研究員DC東京工業大学/国立情報学研究所千葉, 立寛松岡, 聡大規模データを用いるデータインテンシブアプリケーションの実行環境としてクラウドが近年注目されている.クラウドを用いることでデータ処理を行うノードを問題サイズに応じて必要な分だけ動的にスケールアウト/インすることが可能となる一方で,処理対象となるデータがクラウドストレージ上へ効率よく転送されない場合,現実的には転送スループットによって性能が律速されてしまう.また,現状多数のクラウドが存在する中,異なるクラウドでの実行やデータプリケーションのためにインタークラウド間でのデータマイグレーションを高速に行うことはデータ量が多くなるにつれてますます重要となる.本稿では,現在利用の盛んな2つのクラウド環境,Amazon EC2/S3,および,Windows Azureを対象として,2つのクラウド間でのデータ転送を高速化する手法について述べる.複数の中継ノードを用意し,それらが協調的に対象となる大規模データを分割して転送を行う.特に,Windows Azure Blobに保存されているデータをAmazon S3へマイグレーションする場合について実験を行い,複数の中継ノードを用いることで転送スループットが向上することを確認した.Recently cloud environments are expected to execute data-intensive applications they use huge data sets. It is possible to dynamically add and remove computing nodes depending on the size of problem, however, application performance will be limited by data transfer throughput, in case the data does not transfer efficiently. Moreover there are many available clouds, high-throughput data staging for migration between inter-clouds is becoming more important as the data size grow. In this paper we address a technique to boost data transfer throughput between inter-couds, especially for Amazon EC2/S3 and Windows Azure Platform they are generally used. We prepare multiple relay nodes and utilize them cooperatively by splitting data and using multiple transfer connections. Especially we focus on from Azure Blob to Amazon S3, and we confirm multiple connections scheme acheive higher data migration throughput.AN10463942研究報告ハイパフォーマンスコンピューティング(HPC)2011-HPC-12925172011-03-082011-03-01