2026-04-21T19:09:52Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00092453 2025-01-21T14:59:06Z 1164:2240:7073:7192

Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法 A Parallel Processing Technique on the NICT Science Cloud via Gfarm/Pwrake 村田, 健史 渡邉, 英伸 山本, 和憲 久保田, 康文 建部, 修見 田中, 昌宏 深沢, 圭一郎 木村, 映善 鵜川, 健太郎 村永, 和哉 鈴木, 豊 磯田, 総子 Ken, T.Murata Hidenobu, Watanabe Kazunori, Yamamoto Yasubumi, Kubota Osamu, Tatebe Masahiro, Tanaka Keiichiro, Fukazawa Eizen, Kimura Kentaro, Ukawa Kazuya, Muranaga Yutaka, Suzuki Fusako, Isoda システム NICT サイエンスクラウドは，情報通信研究機構が科学研究目的のために構築したクラウドシステムであり，特にビッグデータサイエンスを主対象の一つとしている．10TB を超えるデータ処理 （例えば大規模可視化） や 100TB を超えるデータ検索 （たとえば特徴検出） などの大規模データ処理は，これからのデータ指向型科学研究では重要である．近年の CPU 処理速度の向上に伴いこれらのデータ処理は処理時間とデータ読み書き （I/O） 時間が同規模となることがある．そのため，レガシーな HPC 型数値計算環境ではなく I/O の高速化がなされているクラウド環境が有効となる．本稿では，NICT サイエンスクラウドにおいて分散ストレージシステム （Gfarm） と Gfarm のためのワークフローシステム （Pwrake） を用いた並列分散処理実験結果について報告する． For data intensive science on cloud systems, we need development of techniques for DIC (Data-Intensive Computing) as well as HTC (High-Through-put Computing), MTC (Many-Task Computing), and HPC (High-Performance Computing). The DIC is a new concept of large-scale data processing paying attentions to data distribution, data-parallel execution, and harnessing data locality by scheduling of computations close to the data. As the data file size is getting larger, I/O time to read and/or write data is not negligible compared with data processing time. We herein develop a DIC technique on a science cloud using Gfarm/Pwrak. The Gfarm/Pwrake has been developed as an integrated system of both distributed file system and parallel data processing system. With identifying file system nodes (FSN) and processing client node (CN) and giving higher priority to process files on the local disk than on remote disks, we succeeded in progress of total performance in processing large-scale data files. 情報処理学会 2013-05-22 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/92453 AN10463942 研究報告ハイパフォーマンスコンピューティング（HPC） 2013-HPC-139 9 1 6 https://ipsj.ixsq.nii.ac.jp/record/92453/files/IPSJ-HPC13139009.pdf application/pdf 1.1 MB 2015-05-22