2026-05-12T06:38:59Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00227116 2025-01-19T12:16:18Z 1164:2240:11176:11310

Apache Arrow CHFSによるビッグデータ処理のI/O高速化 小山, 創平 平賀, 弘平 建部, 修見 ファイルIO 近年，ビッグデータを処理するため，分散データ処理フレームワークが普及したものの，計算ノードとストレージノードが分離されている HPC では計算コンポーネントとストレージコンポーネント間のバンド幅が小さすぎ，データ処理のスループット低下を引き起こす課題がある．そこで本研究では，計算ノードに搭載されたストレージにデータを配置することで，データ処理のスループット低下を解決する．本研究は Apache Arrow と CHFS の組み合わせによる I/O 高速化手法について提案する．CHFS を介して最新のストレージデバイスである不揮発性メモリを活用し，Apache Arrow の Abstract file system API を介して分散データ処理フレームワークから CHFS を活用する．評価の結果，並列ファイルシステム Lustre からデータを読む場合と比較して最大 9.81 倍のバンド幅を達成した． technical report 情報処理学会 2023-07-27 application/pdf 研究報告ハイパフォーマンスコンピューティング（HPC） 5 2023-HPC-190 1 11 2188-8841 AN10463942 https://ipsj.ixsq.nii.ac.jp/record/227116/files/IPSJ-HPC23190005.pdf jpn