集約処理を用いたMapReduce最適化手法の提案と実装

• Item type: Trans(1)
• 公開日: 2013-09-25
• タイトル: 集約処理を用いたMapReduce最適化手法の提案と実装
• タイトル / 言語: en
• タイトル: MapReduce Optimization Using Mapper-side Aggregation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [高性能計算] アプリケーション性能， 性能ばらつき， TLBミス， ラージページ， スーパーコンピュータ「京」
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: NTTソフトウェアイノベーションセンタ
• 著者所属: NTTソフトウェアイノベーションセンタ，機械学習・データ科学センタ
• 著者所属: NTTソフトウェアイノベーションセンタ
• 著者所属: NTTソフトウェアイノベーションセンタ
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center, Machine Learning and Data Science Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者名: 小沢, 健史; 鬼塚, 真; 福本, 佳史; 盛合, 敏
• 著者名(英): Tsuyoshi, Ozawa; Makoto, Onizuka; Yoshifumi, Fukumoto; Satoshi, Moriai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，MapReduceで行う処理のうち，部分集約が可能な処理を高速化する手法を示す．部分集約ができる処理に対して，既存研究では集約処理に特化した処理系を新たに作成することにより高速化を行っていた．しかし，これらの手法はMapReduceの仕組みを大幅に変更する必要があることから，Hadoopに組み込むのは困難であった．そこで本研究では，Hadoopへの実装コストを低く抑え，耐故障性を担保しつつ高速化を行うMap Multi-Reduceの提案を行う．Map Multi-Reduceは，MapReduceに計算機ごとの集約処理を行う機能を追加した，MapReduceの拡張版である．提案手法の実装を行うにあたり行ったHadoopへの変更量は約800行と小さい．このように少ない変更量にもかかわらず，実験により，300GBのWordCountを行う際にMap処理とReduce処理間のデータの受け渡しを削減し，処理速度が1.5倍になることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose a MapReduce optimization by using mapper-side aggregation designed for aggregation queries. The mapper-side aggregation has been applied in different platforms, however, it is difficult for related work to be embedded within existing MapReduce framework like Hadoop, because its mechanism of task scheduling or monitoring is different and MapReduce framework does not provide inter-process communication facilitiy. To solve this problem, we prototype Map Multi-Reduce, while preserving MapReduce semantics with small modification against Hadoop. Map Multi-Reduce is an extension of MapReduce to support node-level aggregation feature with fault tolerance. Map Multi-Reduce aggregates the the outputs of multiple MapTasks in same machines and is implemented in only 800 LOC. Map Multi-Reduce improves 1.5 times faster in WordCount processing against 300GB dataset by cutting down shuffle cost.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11833852
• 書誌情報: 情報処理学会論文誌コンピューティングシステム（ACS）; 巻 6, 号 3, p. 71-81, 発行日 2013-09-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7829
• 出版者 / 言語: ja
• 出版者: 情報処理学会