GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価

• Item type: SIG Technical Reports(1)
• 公開日: 2016-01-12
• タイトル: GPUを用いたSparkのリダクション及びトランスフォーメーションの性能評価
• タイトル / 言語: en
• タイトル: Performance Evaluations on Reduction and Transformation of Spark Using GPU
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: GPU
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学理工学部
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学理工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Keio University
• 著者名: 大野, 泰弘; 森島, 信; 松谷, 宏紀
• 著者名(英): Yasuhiro, Ohno; Shin, Morishima; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Spark は大規模データ向けの分散処理フレームワークである．Spark はデータを処理する際，RDD というデータ形式に変換して使用時にそれをメモリに保持するため，ディスクアクセス回数が少なく反復処理や機械学習に向いている．本論文では，計算インテンシブな処理の際，RDD を基にした配列を作成し GPU に転送して GPU で処理することを提案する．これにより，Spark のリダクション及びトランスフオーメーションの計算量が多い操作を高速化できる．また，これらの操作は従来の Sparｋ の RDD 操作と同様に行え，制限はほとんどない．これにより，INT 型の 1GB データを対象としたリダクシヨン処理の総和計算が 6.2-24.2 倍，トランスフオーメーシヨン処理のキーソートが 11.1-15.7 倍，リダクシヨンとトランスフオーメーシヨンの複合処理の分散の値を求める計算が 81-24.6 倍の性能向上を実現した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2016-SLDM-174, 号 5, p. 1-6, 発行日 2016-01-12
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会