クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ

• Item type: Trans(1)
• 公開日: 2009-12-17
• タイトル: クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ
• タイトル / 言語: en
• タイトル: A Fast and Portable Virtual Memory System Utilizing Memory Resource of a Cluster
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: クラスタシステム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 成蹊大学理工学部
• 著者所属: 成蹊大学大学院工学研究科
• 著者所属: 筑波大学大学院システム情報工学研究科
• 著者所属: 筑波大学大学院システム情報工学研究科
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Seikei University
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Seikei University
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems and Information Engineering, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems and Information Engineering, University of Tsukuba
• 著者名: 緑川, 博子; 斉藤, 和広; 佐藤, 三久; 朴, 泰祐
• 著者名(英): Hiroko, Midorikawa; Kazuhiro, Saito; Mitsuhisa, Sato; Taisuke, Boku
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 64 bitOS の普及により，飛躍的に大きなアドレス空間が利用可能となった．筆者らはローカル物理メモリサイズに制限されず，クラスタの各ノードの遠隔メモリを集めて，仮想的に 1 つの大容量メモリとして逐次処理に提供するシステム，分散大容量メモリシステム DLM を提案してきた．DLM は，OS スワップシステムに組み込む他の多くの遠隔ページング手法とは異なり，OS のスワップシステムとは独立にユーザレベルソフトウエアとして実装されている．すでに，汎用の TCP のみを用いた DLM が，ブロックデバイス構築，専用 NIC，低レベル高速通信プロトコルなどを併用した他手法に比べ，より高い性能と動作安定性を示すことを明らかにした．本論文では，従来の DLM では TCP で実装してきたノード間通信機構を，標準的なクラスタ間通信機構である MPI で実装し，より可搬性・可用性を高め，様々な最新高性能通信機構にも対応可能とした．あわせて，クラスタや並列処理の知識のない一般ユーザにも容易にクラスタを利用できる API も構築した．これにより，自分専用のクラスタやメモリ豊富なハイエンドマシンを持たないユーザであっても，少ない資金で，MPI バッチシステムで運用される多くのオープンクラスタをメモリ資源として利用することが可能になった．Myri-10G/bonding=4 のネットワークを持つオープンクラスタでの実験では，遠隔メモリバンド幅 613 MB/s を達成し，241 GB のデータに対する Himeno ベンチマーク処理を 20 GB メモリ/ノードを複数用いて，稼動できることを示した．また NPB の 6 種のプログラムについて，ローカル/遠隔メモリサイズ比と性能の関係などについて明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Today, a 64 bitOS provides ample memory address space that is beneficial for the applications using a large amount of data. This paper proposes a new idea of using a cluster as a memory resource for such applications requiring large amount of memory. We already proposed the Distributed Large Memory System: DLM, which enables the users to make use of large virtual memory by using remote memory distributed over nodes in a cluster. It achieves better performance than other remote paging schemes using a block swap device to access remote memory. It is designed for sequential programs accessing larger amount of data beyond local physical memory. In this paper, we propose the newly designed MPI-based DLM, which uses only MPI for inter-node communication, to exploit higher performance and portability than the former socket-based DLM. It achieves 613MB/sec of remote memory bandwidth in STREAM benchmark on Myri-10G/bonding=4 and high performance of applications in NPB and Himeno benchmarks. It has opened the door to use a cluster for the people who are not familiar to the parallel programming. All experiments here were done on the public open cluster with MPI batch queuing system.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11833852
• 書誌情報: 情報処理学会論文誌コンピューティングシステム（ACS）; 巻 2, 号 4, p. 15-36, 発行日 2009-12-17
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7829
• 出版者 / 言語: ja
• 出版者: 情報処理学会