2026-04-18T04:24:42Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00217332 2025-01-19T15:32:11Z 1164:1867:10898:10899

ヒュージページを活用するインメモリ分散処理フレームワーク 宮里, 勇也 山田, 浩史 実現技術 分散処理システムとは，複数のコンピュータで処理を分散して行うシステムで，大規模なデータを処理することができ，サーバのコスト削減やリソースの拡張性といったメリットが存在する．中でも Apache Spark のようなインメモリ分散処理フレームワークでは，処理を出来る限りメモリ内で行うことで，従来のものよりも高速な処理が可能となる．インメモリ分散処理では膨大なデータをメモリ上で扱う都合上，アドレス変換が大きなボトルネックになってしまう．アドレス変換のボトルネックを解消する機構としてヒュージページがある．Apache Spark にヒュージページを適用する場合，主に THP というヒュージページ管理機構が用いられるが，THP にはメモリ肥大化や，メモリのコンパクションのために CPU が占有されるなど様々な問題が存在している．Apache Spark においても THP によるヒュージページ割り当ての効果は大きいが，THP のデメリットも受けてしまうため闇雲にヒュージページを利用することはできない．本研究ではインメモリ分散処理フレームワーク上でヒュージページを効率的に利用できる手法を提案する．提案方式では，Apache Spark のデータ領域の中でも，ヒュージページの効果が大きい領域にのみヒュージページの割り当てを行い，それ以外では通常のページ割り当てを行うことで無駄なヒュージページ割り当てを避ける．これにより，メモリ肥大化やコンパクションなどのデメリットを抑えつつ，ヒュージページによる性能向上の恩恵を受けることを狙う．実験の結果，マイクロベンチマークのようなキャッシュデータへのアクセス頻度が高いワークロードでは一部のみのヒュージページ割り当てで全体割り当てと同等以上のパフォーマンスが得られた． technical report 情報処理学会 2022-03-07 application/pdf 研究報告システムソフトウェアとオペレーティング・システム（OS） 10 2022-OS-154 1 9 2188-8795 AN10444176 https://ipsj.ixsq.nii.ac.jp/record/217332/files/IPSJ-OS22154010.pdf jpn