インタークラウド間での大規模データ転送の高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2011-03-08
• タイトル: インタークラウド間での大規模データ転送の高速化
• タイトル / 言語: en
• タイトル: High Performance Large Data Transfer for Inter-Clouds
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学／日本学術振興会特別研究員DC
• 著者所属: 東京工業大学／国立情報学研究所
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology / Research Fellow of the Japan Society for the Promotion of Science
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology / National Institute of Infomatics
• 著者名: 千葉, 立寛; 松岡, 聡
• 著者名(英): Tatsuhiro, Chiba; Satoshi, Matsuoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模データを用いるデータインテンシブアプリケーションの実行環境としてクラウドが近年注目されている．クラウドを用いることでデータ処理を行うノードを問題サイズに応じて必要な分だけ動的にスケールアウト/インすることが可能となる一方で，処理対象となるデータがクラウドストレージ上へ効率よく転送されない場合，現実的には転送スループットによって性能が律速されてしまう．また，現状多数のクラウドが存在する中，異なるクラウドでの実行やデータプリケーションのためにインタークラウド間でのデータマイグレーションを高速に行うことはデータ量が多くなるにつれてますます重要となる．本稿では，現在利用の盛んな2つのクラウド環境，Amazon EC2/S3，および，Windows Azureを対象として，2つのクラウド間でのデータ転送を高速化する手法について述べる．複数の中継ノードを用意し，それらが協調的に対象となる大規模データを分割して転送を行う．特に，Windows Azure Blobに保存されているデータをAmazon S3へマイグレーションする場合について実験を行い，複数の中継ノードを用いることで転送スループットが向上することを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently cloud environments are expected to execute data-intensive applications they use huge data sets. It is possible to dynamically add and remove computing nodes depending on the size of problem, however, application performance will be limited by data transfer throughput, in case the data does not transfer efficiently. Moreover there are many available clouds, high-throughput data staging for migration between inter-clouds is becoming more important as the data size grow. In this paper we address a technique to boost data transfer throughput between inter-couds, especially for Amazon EC2/S3 and Windows Azure Platform they are generally used. We prepare multiple relay nodes and utilize them cooperatively by splitting data and using multiple transfer connections. Especially we focus on from Azure Blob to Amazon S3, and we confirm multiple connections scheme acheive higher data migration throughput.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2011-HPC-129, 号 25, p. 1-7, 発行日 2011-03-08
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会