WEKO3
アイテム
ヒュージページを活用するインメモリ分散処理フレームワーク
https://ipsj.ixsq.nii.ac.jp/records/217332
https://ipsj.ixsq.nii.ac.jp/records/2173320a2b122f-7fb7-4596-9af8-ffe84aed3506
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS22154010.pdf (1.3 MB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-03-07 | |||||||||
| タイトル | ||||||||||
| タイトル | ヒュージページを活用するインメモリ分散処理フレームワーク | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 実現技術 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京農工大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京農工大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo University of Agriculture and Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo University of Agriculture and Technology | ||||||||||
| 著者名 |
宮里, 勇也
× 宮里, 勇也
× 山田, 浩史
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 分散処理システムとは，複数のコンピュータで処理を分散して行うシステムで，大規模なデータを処理することができ，サーバのコスト削減やリソースの拡張性といったメリットが存在する．中でも Apache Spark のようなインメモリ分散処理フレームワークでは，処理を出来る限りメモリ内で行うことで，従来のものよりも高速な処理が可能となる．インメモリ分散処理では膨大なデータをメモリ上で扱う都合上，アドレス変換が大きなボトルネックになってしまう．アドレス変換のボトルネックを解消する機構としてヒュージページがある．Apache Spark にヒュージページを適用する場合，主に THP というヒュージページ管理機構が用いられるが，THP にはメモリ肥大化や，メモリのコンパクションのために CPU が占有されるなど様々な問題が存在している．Apache Spark においても THP によるヒュージページ割り当ての効果は大きいが，THP のデメリットも受けてしまうため闇雲にヒュージページを利用することはできない．本研究ではインメモリ分散処理フレームワーク上でヒュージページを効率的に利用できる手法を提案する．提案方式では，Apache Spark のデータ領域の中でも，ヒュージページの効果が大きい領域にのみヒュージページの割り当てを行い，それ以外では通常のページ割り当てを行うことで無駄なヒュージページ割り当てを避ける．これにより，メモリ肥大化やコンパクションなどのデメリットを抑えつつ，ヒュージページによる性能向上の恩恵を受けることを狙う．実験の結果，マイクロベンチマークのようなキャッシュデータへのアクセス頻度が高いワークロードでは一部のみのヒュージページ割り当てで全体割り当てと同等以上のパフォーマンスが得られた． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10444176 | |||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2022-OS-154, 号 10, p. 1-9, 発行日 2022-03-07 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8795 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
