2024-03-28T21:05:20Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:001031812023-04-27T10:00:04Z01164:02240:07465:07671
並列ファイルシステムへのアクセス局所性を考慮したMapReduce負荷分散実現に向けてjpn並列処理http://id.nii.ac.jp/1001/00103157/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=103181&item_no=1&attribute_id=1&file_no=1Copyright (c) 2014 by the Information Processing Society of Japan理化学研究所計算科学研究機構理化学研究所計算科学研究機構理化学研究所計算科学研究機構滝澤真一朗松田元彦丸山直也計算科学アプリケーションには,そのワークフローを MapReduce モデルで容易に記述できるものも多く,MapReduce を採用することにより,実装の容易化,並列実行の自動化等の恩恵を受けられる.一方,計算科学アプリケーションは大規模並列システムで実行されるため,そのワークフローを実行する MapReduce 処理系にも高いスケーラビリティや,並列ファイルシステムに対応した高速 IO の実現が求められる.本研究では MapReduce 実行中の並列ファイルシステムへのアクセスの局所性を高めつつ,スケーラブルに動的負荷分散を行う処理系の実現を目指す.本稿では,並列ファイルシステム上のファイルの位置に基づく,該当ファイルを入力とするタスクを静的に割り振る手法を提案し,大規模並列システム向け MapReduce 処理系 K MapReduce に,京コンピュータを対象システムとして実装した.ファイル読み込み性能の評価を行った結果,N ファイルを N ノードが読み込む評価において,ランダムにファイルをノードに対応させた場合に対して,本提案は平均して 9 %の性能向上を達成した.また,1 ファイルを N ノードが読み込む評価においては,本提案は平均して 4.5 倍の性能向上となった.AN10463942研究報告ハイパフォーマンスコンピューティング(HPC)2014-HPC-14616192014-09-252014-09-18