Hadoopにおけるリスト上の累積計算の実装手法が性能に与える影響についての考察

• Item type: Trans(1)
• 公開日: 2016-06-06
• タイトル: Hadoopにおけるリスト上の累積計算の実装手法が性能に与える影響についての考察
• タイトル / 言語: en
• タイトル: A Study of How Implementations of Accumulative Computation for Lists Affect Performance on Hadoop
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [発表概要]
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 高知工科大学大学院工学研究科
• 著者所属: 高知工科大学情報学群
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Kochi University of Technology
• 著者所属(英): en
• 著者所属(英): School of Information, Kochi University of Technology
• 著者名: 宮崎, 玲奈; 松崎, 公紀
• 著者名(英): Reina, Miyazaki; Kiminori, Matsuzaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 並列スケルトンは，並列分散処理において頻出する計算パターンを抽象化したものであり，スケルトン並列プログラミングではこのスケルトンを選択し組み合わせてプログラムを構築する．しかし，実際には最適なプログラムを作成するための並列スケルトンの選択は難しい．このような問題に対して，Huらはある形で書かれたリスト構造に対するプログラムをmap，reduce，scanと呼ばれる並列スケルトンを組み合わせたプログラムに変換する手法を示した．本発表では，先行研究によって得られた変換後のプログラムをHadoop MapReduce上で実装する手法について検討する．MapReduceは並列分散処理のためのプログラミングモデルであり，その構造はMPIなどと比べて制限されている．しかし，HadoopのようなMapReduceモデルを採用したフレームワークでは，多様なパラメータや機能を提供しているため，同じ処理を行うプログラムであってもフレームワーク上では動作の異なる複数種のプログラムが記述可能である．本発表ではリスト構造上のデータ処理，特にscanに対して，Hadoop MapReduce上の実装を複数種類示す．そして，それぞれの実装の性能評価や，Hadoopのパフォーマンスへ影響する要素について検証を行う．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In skeletal parallel programming, programmers build parallel programs by choosing and combining parallel skeletons, which are abstract computation patterns frequently used in parallel programming. It is, however, difficult to choose appropriate parallel skeletons for efficient programs. To resolve this problem, Hu et al. proposed a set of rules with which we can transform programs manipulating a list in a certain form into combinations of parallel skeletons namely map, reduce, and scan. In this presentation, we discuss how we can implement the combination of parallel skeletons (the transformed programs) on Hadoop MapReduce. MapReduce is programming model for parallel processing. Though the MapReduce model is more restricted than MPI, we can develop many kind of programs for the same algorithm due to the many functions and parameters provided in Hadoop MapReduce. In this presentation, we focus on the accumulative computation for lists, and implement and evaluate some programs on Hadoop MapReduce. We discuss what may affect the performance on Hadoop.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464814
• 書誌情報: 情報処理学会論文誌プログラミング（PRO）; 巻 9, 号 3, p. 25-25, 発行日 2016-06-06
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7802
• 出版者 / 言語: ja
• 出版者: 情報処理学会