複雑なグリッド環境で柔軟なプログラミングを実現するフレームワーク

• Item type: Trans(1)
• 公開日: 2008-08-21
• タイトル: 複雑なグリッド環境で柔軟なプログラミングを実現するフレームワーク
• タイトル / 言語: en
• タイトル: A Framework for Flexible Programming in Complex Grid Environments
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 弘中, 健; 斎藤, 秀雄; 高橋, 慧; 田浦, 健次朗
• 著者名(英): Ken, Hironaka; Hideo, Saito; Kei, Takahashi; Kenjiro, Taura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模な広域計算機環境での計算支援フレームワークは，接続性の問題（NAT，firewall）やスケーラブルな接続管理のほか，動的なプロセスの参加・脱退，通信・ノードの耐故障性が重要である．本稿では分散オブジェクト指向モデルを拡張することで，従来の言語の柔軟性を保ちながらこのようなフレームワークを実装した．モデルでは非同期なメソッド呼び出しを用いて並列性を表現し，逐次プログラムからの飛躍が小さい．その一方，プロセスの動的参加，非同期呼び出し返り値などの非同期イベント処理で，デッドロックを防ぎつつロックなどのプリミティブを不要とする，オブジェクトへのアクセスを逐次化するセマンティクスを導入する．通信は参加プロセス間で自動的にTCPオーバレイを構築し，接続性，スケーラビリティの問題を解決する．Pythonのライブラリとして実装することで短期間でのアプリケーション開発を実現する．評価では多様なネットワーク環境を含む9クラスタ，合計900CPUコアを用いてbranch-and-bound探索を使うアプリケーションが容易に開発できることを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Problem-solving frameworks in large-scale and wide-area environments must handle connectivity issues (NAT and firewalls), maintain scalability with respect to connection management, accommodate dynamic processes joining/leaving at runtime, and provide simple means to tolerate communication/node failures. This paper designs and implements such a framework by minimally extending distributed object-oriented models for maximum generality and flexibility. In the framework, parallelism is expressed via asynchronous method invocations to allow a natural transition from sequential programs. To cope with asynchronous events such as dynamic process joins and asynchronous method invocation returns, we introduce an implicit serialization semantics on objects to relieve programmers from explicit synchronization primitives while avoiding recursion deadlock problems. In our implementation, participating nodes automatically construct a TCP overlay so as to address connectivity and scalability issues. We have implemented our framework as a library for Python to allow rapid development of complex workflows and to maximally leverage the richness of its libraries. For evaluation, we show on over 900 cores across 9 clusters with complex networks (involving firewall and NATs) and process managements (involving SSH, torque, and SGE) configurations, how a simple branch-and-bound search application can be expressed simply and executed easily.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11833852
• 書誌情報: 情報処理学会論文誌コンピューティングシステム（ACS）; 巻 1, 号 2, p. 157-168, 発行日 2008-08-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7829
• 出版者 / 言語: ja
• 出版者: 情報処理学会