Apache Sparkでの異種ストレージ活用に向けた予備評価

• Item type: SIG Technical Reports(1)
• 公開日: 2021-07-13
• タイトル: Apache Sparkでの異種ストレージ活用に向けた予備評価
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散コンピューティング
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 富士通株式会社
• 著者所属: 富士通株式会社
• 著者所属: 富士通株式会社
• 著者名: 今村, 智史; 風間, 哲; 吉田, 英司
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大量のデータから有益な情報を抽出するためのデータ分析処理の実行には分散処理フレームワークが広く利用されており，特にインメモリ処理を前提とした Apache Spark（以下，Spark）が現在主流となりつつある．また，分散処理向けのクラスタシステムを容易に構築できるパブリッククラウドにおいて Spark を利用するケースも近年増えている．Spark では，シャッフルと呼ばれる I/O インテンシブな処理を高速化するために高性能なストレージが必要であるが，一般的には高性能なストレージほど容量単価が高くなる．そのため，多様な種類のストレージが利用可能なパブリッククラウドにおいては，複数種類のストレージを適切に組み合わせることで高い I/O 性能を維持しつつストレージコストを削減することが望ましい．本論文では，Spark のシャッフル処理において生成される中間ファイルのアクセス特性を調査し，AWS（Amazon Web Services）において 2 種類のストレージボリューム（HDDとSSD）を併用する場合の性能とストレージコストを評価する．両ボリュームを併用する方法としては，Linux で利用可能なストレージキャッシング技術 bcache を用いる場合と種類の異なる中間ファイルを両ストレージに手動で分割して格納する場合を比較する．AWS にて構築したクラスタシステムにおいて Spark 向けの Sort と Terasort ベンチマークを用いて評価した結果，これら両アプローチにより SSD のみを使用する場合と同等の性能を達成しつつストレージコストをおよそ半減できることが明らかとなった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2021-ARC-245, 号 12, p. 1-6, 発行日 2021-07-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会