広域分散ワークフローのための耐遅延性の高い分散ファイルシステム

• Item type: SIG Technical Reports(1)
• 公開日: 2010-07-27
• タイトル: 広域分散ワークフローのための耐遅延性の高い分散ファイルシステム
• タイトル / 言語: en
• タイトル: A File System which is Tolerant to Latency for Scientific Workflow Systems
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 広域ファイルシステム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): University of Tokyo
• 著者所属(英): en
• 著者所属(英): University of Tokyo
• 著者名: 柴田, 剛志; 田浦, 健次朗
• 著者名(英): Takeshi, Shibata; Kenjiro, Taura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，HPC の分野においても処理したり保存すべきデータの量が大幅に増えてきている．サイエンティフィックワークフローは，そのようなデータインテンシブな情報処理を行う際に有用な手法として注目を浴びており，実際に，すでに様々なシステムが存在する．一方で，そのワークフローの入出力は，中間データを含め，ファイルとして分散ファイルシステム上におかれることも多い．広域分散環境において単一のファイルシステムを構築するさいに，考慮しなければならないは遅延，およびネットワークの帯域である．本稿では，とくにワークフローシステムに向いた，どのようなファイルシステムに対しても，新たな計算ノードに対して，簡単に追加的に拡張することができるような対遅延性のあるファイルシステムを，すでにある SSHFS というアプリケーションを拡張することにより実現する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently, amount of data to be processed and reserved is increasing exponentially. Scientific workflow is one of the computation models for such dataintensive information processing on distributed environments such as grid and cloud. Many workflow systems have already been developed and applied to scientific workflows. Input and output data is often written in files and transferred between nodes. Those files are often put on a single underlaying distributed file system. To use filesystems efficiently for workflow systems on wide area environments, it is important to considering tolerance of latency between filesystem servers and compute nodes. In this paper, we develops a filesystem which is tolerant to latency for scientific workflow systems by extending an existing filesystem SSHFS.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2010-HPC-126, 号 30, p. 1-5, 発行日 2010-07-27
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会