WEKO3
アイテム
Apache Sparkにおけるデータ依存グラフ解析に基づくメモリ内キャッシュ置換手法
https://ipsj.ixsq.nii.ac.jp/records/198018
https://ipsj.ixsq.nii.ac.jp/records/198018101b3108-2658-483e-8120-c95b9e7f365a
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS19147007.pdf (1.1 MB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-07-17 | |||||||||||
| タイトル | ||||||||||||
| タイトル | Apache Sparkにおけるデータ依存グラフ解析に基づくメモリ内キャッシュ置換手法 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 分散システム | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者名 |
那須, 敦也
× 那須, 敦也
× 置田, 真生
× 伊野, 文彦
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Apache Spark におけるプログラムの高速化を目的として，実行時間の予測に基づくメモリ内キャッシュの置換手法を提案する．提案手法は，メモリ内キャッシュの作成指示を自動挿入する既存システムを拡張する．まず小規模な事前実行から得たデータ依存グラフを解析して，キャッシュの組み合わせによる実行時間の増大を予測する．次に大規模な本実行において，予測結果に基づいて，高速化に対する寄与が大きいデータの組み合わせを貪欲に選択し，それらを優先的に残す置換手法を実現する．実験の結果，メモリ内キャッシュの置換が頻繁に発生する状況において，提案手法は既存の置換手法と比較して 1.0 倍～ 1.5 倍の高速化を得た．さらに，開発者によりキャッシュ指示の最適化を施したプログラムと比較して最大で約 1.1 倍の高速化を実現した．提案手法は，PC クラスタの総メモリ容量を超える大規模なデータ処理の高速化をキャッシュ指示に関する試行錯誤なしに実現できる点で有用である． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10444176 | |||||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2019-OS-147, 号 7, p. 1-8, 発行日 2019-07-17 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8795 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
