ファイルアクセス履歴を用いたデータ集約的ワークフローアプリケーションの高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2012-07-25
• タイトル: ファイルアクセス履歴を用いたデータ集約的ワークフローアプリケーションの高速化
• タイトル / 言語: en
• タイトル: Acceleration of Data-Intensive Work flow Applications by Using File Access History
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: データストア，データベース
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 堀内, 美希; 田浦, 健次朗
• 著者名(英): Miki, Horiuchi; Kenjiro, Taura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ワークフローアプリケーションを分散環境で実行する際には，特にデータ集約的なアプリケーションであればあるほど，ファイル I/O にかかる時間は全体のボトルネックになる．ファイル I/O スループットを向上させるためには，適切なタスク割り当てを行いリモートファイルアクセスをなるべく行わないことなどが考えられ，そのようなタスクスケジューリング機構は I/O 性能向上のために重要である．今までに多数の研究がなされてきたものの，既存手法は各ジョブのファイルアクセスが判明していることを仮定している．本論文では，ワークフローアプリケーションの I/O 履歴を収集し，それを用いて各ジョブのファイルアクセス予測を行う．また，その予測を用いたワークフロー実行エンジンのスケジューリング機構の改善を行う手法を提案する．この提案手法を GXP Make に対して実装し，評価用に作成したベンチマークワークフローアプリケーションと，天文学分野で広く用いられているワークフローアプリケーション Montage により提案手法の評価を行った．その結果，ベンチマークアプリケーションでは全ファイルアクセスに対するローカルファイルへのアクセス比率を平均で 85% ほどに，Montage では 23% から 37% に向上させることができた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: I/O time is one of main bottlenecks in workflow applications, especially in data-intensive workflow applications. It is important to reduce remote data accesses to achieve high I/O throughput, which requires appropriate task allocations of a workflow, so a task scheduling takes an important role. It remains a difficult problem how to know I/O files of each job and optimize the scheduling of workflow applications to effectively harness distributed resources, even though many researches have attacked the problem. In this paper, we propose an improvement of scheduling mechanism by gathering file I/O history and expecting I/O files in the next job. We implemented our proposal method on GXP Make, a workflow driver, and evaluated the method by using a synthetic workflow application and Montage, a widely used scientific workflow application. The result shows that the ratio of local file accesses in the synthetic increased to about 85% on average and that in the Montage from 23% to 37%.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2012-HPC-135, 号 26, p. 1-8, 発行日 2012-07-25
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会