ジョブ間データ転送方式の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2014-02-24
• タイトル: ジョブ間データ転送方式の検討
• タイトル / 言語: en
• タイトル: Consideration of Data Transfer between Jobs
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: IO
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学情報理工学系研究科
• 著者所属: 東京大学情報理工学系研究科
• 著者所属: 東京大学情報理工学系研究科
• 著者所属: 理化学研究所計算科学研究機構
• 著者所属: 理化学研究所計算科学研究機構
• 著者所属: 理化学研究所計算科学研究機構
• 著者所属: 理化学研究所計算科学研究機構
• 著者所属: 理化学研究所計算科学研究機構
• 著者名: 齋藤, 智之; 石川, 裕; Gerofi, Balazs; 三好, 建正; 大塚, 成徳; 富田, 浩文; 西澤, 誠也; 八代, 尚
• 著者名(英): Tomoyuki, Saito; Yutaka, Ishikawa; Gerofi, Balazs; Takemasa, Miyoshi; Shigenori, Otsuka; Hirofumi, Tomita; Seiya, Nishizawa; Hisashi, Yashiro
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 実時間ゲリラ豪雨予測システムを実現するために，100 ケースの 30 秒アンサンブル気象シミュレーション結果と 30 秒毎の最新気象観測データを同化し，その結果から 30 分後の気象予測をする．将来の並列計算機において，5000 プロセスから構成される気象シミュレーションジョブと 5000 プロセスから構成されるデータ同化ジョブの間でデータ転送が行われると見積もっている．ファイル渡しによる非効率なデータ転送ではなく，ファイル I/O API を維持しながら 2 つのジョブのプロセス間で効率の良いデータ転送を提供する File I/O Arbitrator を提案する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We are designing and developing an innovative real-time severe weather forecasting system that updates 30 minute later severe weather conditions every 30 second. In this system, the results of 100 cases of 30 second ensemble numerical weather simulations and observational data obtained by modern weather equipment's are assimilated every 30 minute, and 30-second weather prediction is performed using the assimilated data. In a next generation supercomputer we assume, it is estimated that data are transferred between 100 case ensemble simulations running on 5000 processes and an assimilation job running on 5000 processes in order to meet required realtimeness in terms of computation. Shortening the execution time of simulations and assimilation, the execution time of transferring data via files becomes bottleneck. In this paper, efficient data transfer middleware called file I/O arbitrator is proposed in order to eliminate exchanging files.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2014-HPC-143, 号 2, p. 1-6, 発行日 2014-02-24
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会