MapReduce処理系の「京」での実装

• Item type: SIG Technical Reports(1)
• 公開日: 2012-07-25
• タイトル: MapReduce処理系の「京」での実装
• タイトル / 言語: en
• タイトル: Implementing MapReduce on K-Computer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: システムソフトウェア
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 理研計算科学研究機構
• 著者所属: 理研計算科学研究機構
• 著者所属(英): en
• 著者所属(英): AICS, Riken
• 著者所属(英): en
• 著者所属(英): AICS, Riken
• 著者名: 松田, 元彦; 丸山, 直也
• 著者名(英): Motohiko, Matsuda; Naoya, Maruyama
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: K 上で MapReduce を使って HPC 計算を行うための高性能な処理系 KMR の実現について述べる．高並列環境では，ノード数が多いので通信には低オーバーヘッドが要求される．また，多数ノードがファイルシステムを共有するのでファイル I/O を効率的に行うことも簡単ではなくなる．そのため，高並列環境に適応した MapReduce として KMR を実装している．K では MPI 拡張としてリモートメモリアクセス （RDMA） が提供されているので，その活用も重要である．まず，基本情報として K のファイル I/O と RDMA の通信オーバーヘッド特性を報告し，それに続いて KMR の実装を紹介する．KMR では，MapReduce の shuffle 操作に必要になる全対全通信に scatter-gather を組合わせた log (N) ステップのアルゴリズムを利用する．また，ファイルの読込みには断片の読込みと allgather による全体の再構成を用いる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: KMR is an implementation of a popular MapReduce framework on K-computer, which adapts to a highly parallel environment. There, low overhead communications and efficient file-I/O are naturally required. It is because there are many compute-nodes, where communications are repeated to each of them many times, and also they share a single file system and simply reading files by each node reveals a bottleneck. Thus, a new MapReduce implementation is needed particularly designed for a highly parallel environment. For the basic information, we report file-I/O performance and overheads of RDMA (remote direct memory access) operations, which motivate our design decisions. Following that, some of the KMR implementation is shown. It uses a log (N)-step algorithm for all-to-all communication needed in the shuffle-stage of MapReduce. It is based on the combination of scatter-gather, where the log (N)-step algorithm was not ever necessary but is now necessary for a class of the scale of K-computer. Its file operations are based on reading in chucks and aggregating them using allgather communication.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2012-HPC-135, 号 6, p. 1-7, 発行日 2012-07-25
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会