WEKO3
-
RootNode
アイテム
バッファキャッシュを用いたSparkシャッフル処理の最適化に向けて
https://ipsj.ixsq.nii.ac.jp/records/176039
https://ipsj.ixsq.nii.ac.jp/records/176039c0e0effb-11b4-4e73-9d33-8cd1b6cfb4d1
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-ComSys2016001.pdf (888.9 kB)
|
Copyright (c) 2016 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Symposium(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2016-11-21 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | バッファキャッシュを用いたSparkシャッフル処理の最適化に向けて | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | オペレーティングシステム | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||||
| 資源タイプ | conference paper | |||||||||||||
| 著者所属 | ||||||||||||||
| IBM東京基礎研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| IBM東京基礎研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| IBM東京基礎研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| IBM東京基礎研究所 | ||||||||||||||
| 著者名 |
吉村, 剛
× 吉村, 剛
× 千葉, 立寛
× 堀井, 洋
× 小野寺, 民也
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | Sparkの利用は商用の大規模データ解析やバッチ処理において急速に広まっており，最適化による計算資源利用の効率化は重要である．Sparkは特にシャッフル処理によるオーバヘッドが性能低下の原因と知られている．本研究では，シャッフル処理の最適化に向けて，バッファキャッシュ利用の重要性を示すことを目的とする．そのためにTPC-Hベンチマークのクエリ22種類の性能を分析し，特徴的なクエリをさらに掘り下げて分析をする．現状で得られている知見は，バッファキャッシュ利用率を上げるためにヒープ使用量をできるだけ削減することが重要であることがわかっている．特に，spillが発生してもバッファキャッシュ利用率を優先すべき場合もあることや，Spark/JVMのメモリがバッファキャッシュを圧迫して性能が低下する場合があることを確認している． | |||||||||||||
| 書誌情報 |
コンピュータシステム・シンポジウム論文集 巻 2016, p. 1-8, 発行日 2016-11-21 |
|||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
Share
Cite as
吉村, 剛, 千葉, 立寛, 堀井, 洋, 小野寺, 民也, 2016, バッファキャッシュを用いたSparkシャッフル処理の最適化に向けて: 情報処理学会, 1–8 p.
Loading...
