WEKO3
アイテム
Apache Sparkにおける再計算の暗黙的な省略を考慮した性能予測
https://ipsj.ixsq.nii.ac.jp/records/206340
https://ipsj.ixsq.nii.ac.jp/records/20634061d5d0da-e930-4d73-addd-ffd091f521c4
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS20150008.pdf (965.2 kB)
|
Copyright (c) 2020 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2020-07-23 | |||||||||||
| タイトル | ||||||||||||
| タイトル | Apache Sparkにおける再計算の暗黙的な省略を考慮した性能予測 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 並列・分散システム | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Information Science and Technology, Osaka University | ||||||||||||
| 著者名 |
井上, 達博
× 井上, 達博
× 置田, 真生
× 伊野, 文彦
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 本研究では，Spark プログラムを対象に，依存グラフ解析に基づく実行時間推定の改善手法を提案する．これまでに，実行時間推定を利用して Spark プログラムのメモリ内キャッシュ指示を最適化する手法がいくつか提案されている．しかし，これらの手法は，ノード間通信に伴うキャッシュが発生する場合に実行時間の推定に失敗し，有用性の低いキャッシュ指示の組み合わせを選択する可能性がある．本報告では，計算結果の暗黙的な再利用を再現しながら実行時間推定を改善する手法を提案する．実験の結果，従来手法と比較して，実行時間の相対誤差の平均値を 311 から 131 に改善した．提案手法を既存のキャッシュ指示選択手法と組み合わせることで，ノード間通信を含む Spark プログラムを既存手法と組み合わせた場合と比較して最大 1.1 倍高速化できた．提案手法を用いることで，依存グラフ解析に基づく Spark プログラムの性能解析の改善を期待できる． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10444176 | |||||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2020-OS-150, 号 8, p. 1-9, 発行日 2020-07-23 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8795 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
