Spark RDDの入出力性能の高速化に関する検討

• Item type: SIG Technical Reports(1)
• 公開日: 2016-08-01
• タイトル: Spark RDDの入出力性能の高速化に関する検討
• タイトル / 言語: en
• タイトル: Toward Improving I/O Performance of Spark RDD
• 言語: eng
• キーワード / 主題Scheme: Other
• キーワード / 主題: ストレージ・SSD
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 筑波大学/産業技術総合研究所
• 著者所属: 産業技術総合研究所/筑波大学
• 著者所属: 産業技術総合研究所/筑波大学
• 著者所属: 産業技術総合研究所/筑波大学
• 著者所属(英): en
• 著者所属(英): University of Tsukuba / National Institute of Advanced Industrial Science and Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Advanced Industrial Science and Technology / University of Tsukuba
• 著者所属(英): en
• 著者所属(英): National Institute of Advanced Industrial Science and Technology / University of Tsukuba
• 著者所属(英): en
• 著者所属(英): National Institute of Advanced Industrial Science and Technology / University of Tsukuba
• 著者名: 張, 凱輝; 谷村, 勇輔; 中田, 秀基; 小川, 宏高
• 著者名(英): Kaihui, Zhang; Yusuke, Tanimura; Hidemoto, Nakada; Hirotaka, Ogawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Spark は機械学習やデータマイニングなどの反復計算を高速に実行できる並列データ処理フレームワークである．RDD (Resilient Distributed Dataset) と呼ばれる仕組みを利用してインメモリの並列処理や耐障害性の確保を実現したり，中間データをキャッシュして再利用可能にしている点に特徴がある．扱うデータが大きくメモリ容量が不足する場合には，一部または全部のデータを処理ノードのディスクに置いて処理を行うことも可能である． しかし，ディスクを用いることにより，Spark アプリケーションの実行性能が低下する可能性がある上， このディスク利用の有無をユーザが指示しないといけない問題がある．そこで本研究では，ディスク利用時の Spark アプリケーションの実行性能を調査し，RDD キャッシュのストレージレベルや性能の異なるディスクを用いた場合について比較した．その結果をもとに，ディスク利用時の RDD 入出力性能の高速化について検討を行うとともに，RDD キャッシュにディスクを利用する際の指針を明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Spark is a parallel data processing framework that can perform iterative calculation, such as machine learning and data mining, in high speed. Spark achieves parallel processing and fault tolerance by using a mechanism called RDD (Resilient Distributed Dataset) and RDD caching allows the Spark programs to reuse intermediate data. When data to be cached is too large to hold in memory of the Spark nodes, some or all of the data can be placed on disks of the nodes. However, use of the disks might degrade execution performance of the Spark applications and it is also a problem that the application users must instruct whether or not the disks are used for caching. In this study, execution performance of the Spark application using disks for caching was investigated by comparing the cases of using different storage levels and disks of different performance. This report summarizes insights form the results for improving I/O performance of the RDD caching using disks and guidelines of when to use disks.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2016-ARC-221, 号 13, p. 1-6, 発行日 2016-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会