Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法

• Item type: SIG Technical Reports(1)
• 公開日: 2013-05-22
• タイトル: Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法
• タイトル / 言語: en
• タイトル: A Parallel Processing Technique on the NICT Science Cloud via Gfarm/Pwrake
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 筑波大学計算科学研究センター
• 著者所属: 筑波大学計算科学研究センター
• 著者所属: 九州大学情報基盤研究開発センター
• 著者所属: 愛媛大学大学院医学系研究科
• 著者所属: 株式会社セック
• 著者所属: 株式会社セック
• 著者所属: 株式会社セック
• 著者所属: 株式会社サイエンス・サービス
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): Center for Computational Sciences, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Center for Computational Sciences, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Research Institute for Information Technology, Kyushu University
• 著者所属(英): en
• 著者所属(英): Department of Medical Informatics Ehime University Graduate School of Medicine
• 著者所属(英): en
• 著者所属(英): Systems Engineering Consultants Co., LTD
• 著者所属(英): en
• 著者所属(英): Systems Engineering Consultants Co., LTD
• 著者所属(英): en
• 著者所属(英): Systems Engineering Consultants Co., LTD
• 著者所属(英): en
• 著者所属(英): Science Service Inc.
• 著者名: 村田, 健史; 渡邉, 英伸; 山本, 和憲; 久保田, 康文; 建部, 修見; 田中, 昌宏; 深沢, 圭一郎; 木村, 映善; 鵜川, 健太郎; 村永, 和哉; 鈴木, 豊; 磯田, 総子
• 著者名(英): Ken, T.Murata; Hidenobu, Watanabe; Kazunori, Yamamoto; Yasubumi, Kubota; Osamu, Tatebe; Masahiro, Tanaka; Keiichiro, Fukazawa; Eizen, Kimura; Kentaro, Ukawa; Kazuya, Muranaga; Yutaka, Suzuki; Fusako, Isoda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: NICT サイエンスクラウドは，情報通信研究機構が科学研究目的のために構築したクラウドシステムであり，特にビッグデータサイエンスを主対象の一つとしている．10TB を超えるデータ処理 （例えば大規模可視化） や 100TB を超えるデータ検索 （たとえば特徴検出） などの大規模データ処理は，これからのデータ指向型科学研究では重要である．近年の CPU 処理速度の向上に伴いこれらのデータ処理は処理時間とデータ読み書き （I/O） 時間が同規模となることがある．そのため，レガシーな HPC 型数値計算環境ではなく I/O の高速化がなされているクラウド環境が有効となる．本稿では，NICT サイエンスクラウドにおいて分散ストレージシステム （Gfarm） と Gfarm のためのワークフローシステム （Pwrake） を用いた並列分散処理実験結果について報告する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: For data intensive science on cloud systems, we need development of techniques for DIC (Data-Intensive Computing) as well as HTC (High-Through-put Computing), MTC (Many-Task Computing), and HPC (High-Performance Computing). The DIC is a new concept of large-scale data processing paying attentions to data distribution, data-parallel execution, and harnessing data locality by scheduling of computations close to the data. As the data file size is getting larger, I/O time to read and/or write data is not negligible compared with data processing time. We herein develop a DIC technique on a science cloud using Gfarm/Pwrak. The Gfarm/Pwrake has been developed as an integrated system of both distributed file system and parallel data processing system. With identifying file system nodes (FSN) and processing client node (CN) and giving higher priority to process files on the local disk than on remote disks, we succeeded in progress of total performance in processing large-scale data files.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2013-HPC-139, 号 9, p. 1-6, 発行日 2013-05-22
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会