複数の並列計算環境に対応したMapReduceのPythonによる実装

• Item type: SIG Technical Reports(1)
• 公開日: 2009-10-19
• タイトル: 複数の並列計算環境に対応したMapReduceのPythonによる実装
• タイトル / 言語: en
• タイトル: MapReduce Implementation in Python for multiple Parallel Computing Environments
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 並列計算およびマルチコアプロセッサ
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者名: 高田, 祐輔; Eric, Heien; 置田, 真生; 萩原, 兼一
• 著者名(英): Yusuke, Takata; Eric, Heien; Masao, Okita; Kenichi, Hagihara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: MapReduce の既存実装の多くは大規模なクラスタ環境を前提としており，マルチコア環境やグリッド環境下で容易に実行できるシステムは存在しない．しかし，大規模な環境だけでなく，小規模な環境における並列計算にも MapReduce は有用と考えられる．本研究の目的は，クラスタ環境に限らず，マルチコア環境などユーザが所有している並列計算環境で容易に MapReduce 計算を実行可能にすることである．そのために，Python の並列計算用モジュールである PyMW を拡張し，ユーザが環境の違いを意識せずに MapReduce プログラミングできるシステムを実装する．また，実行時に環境に応じた通信方法へと自動的に変更するよう拡張することで，性能向上を目指す．結果，マルチコア，クラスタ環境で動かす際はプログラム中の実行環境を設定する 1 行を修正することにより実行できた．これにより，プログラム中の環境依存部分を隠蔽し，ユーザが計算したい問題を解く部分のプログラミングに集中できる環境を構築できた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Almost all MapReduce implementations require a cluster environment, so no flexible implementation exists for multicore or grid environments. However, we think that MapReduce is useful in not only large-scale but also small-scale computation environments. We have developed an implementation of MapReduce for multiple parallel computation environments, such as multicore, cluster and grid environments. This implementation allows users to ignore the difference of environments while programming. To achieve this, we extend PyMW, which is a Python module for parallel computation. Moreover, we automatically apply environment specific communication to improve data transfer. Our experiments show that users only have to modify one line in a program for execution in a different environment. Thus, we achieve a non-environment specific MapReduce implementation.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告計算機アーキテクチャ（ARC）; 巻 2009-ARC-185, 号 1, p. 1-7, 発行日 2009-10-19
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会