Apache Sparkにおけるブルームフィルタを用いたSQL処理の高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2019-07-17
• タイトル: Apache Sparkにおけるブルームフィルタを用いたSQL処理の高速化
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 名古屋工業大学
• 著者所属: 名古屋工業大学／株式会社小松製作所
• 著者所属: 名古屋工業大学
• 著者所属: 名古屋工業大学
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology / Komatsu Ltd.
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology
• 著者名: 早瀬, 大智; 稲垣, 英夫; 川島, 龍太; 松尾, 啓志
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械学習やビッグデータの解析を複数の計算機で分散させる手法が一般的となり，そのフレームワークとして Apache Spark が広く利用されている．Spark は頻繁に利用するデータをメモリにキャッシュすることで高速な処理を実現するインメモリ処理を採用しているが，データサイズがクラスタのメモリ総量を超える場合，スラッシングが発生してスループットが低下する．Spark はキャッシュ管理手法に LRU (Least Recently Used) を採用しているが，LRU は短期的なアクセスパターンからキャッシュするデータを決めるため，アクセスパターンが変化した時にメモリ-ディスク間でデータの移動が多発する．より長期的なアクセスパターンを考慮したキャッシュ管理手法として，参照カウントによって頻繁に利用される RDD (Resilient Distributed Dataset) を検出可能な LRC (Least Reference Count) が提案されているが，RDD 内部のパーティション単位でアクセスに偏りがある場合には対応できない．本研究では，パーティション単位のブルームフィルタを導入し，不要なパーティションへのアクセスを禁止することで，頻繁に利用されるパーティションの検出を可能にする．具体的には，パーティション内に含まれるレコードをブルームフィルタに登録し，Master に送信する．Master はそのブルームフィルタを基に，処理対象のデータが含まれている可能性があるパーティションの処理のみを Slave に依頼する．提案手法を性能テストベンチマークである TPC-H で評価した結果，9.8% の性能向上を確認した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10444176
• 書誌情報: 研究報告システムソフトウェアとオペレーティング・システム（OS）; 巻 2019-OS-147, 号 6, p. 1-6, 発行日 2019-07-17
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8795
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会