2024-03-29T21:44:01Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:000966222024-03-29T05:26:34Z01164:01579:07041:07337
Hadoop MapReduceにおけるリソース使用状態を考慮したスロットスケジューリングjpn大規模データ処理http://id.nii.ac.jp/1001/00096600/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=96622&item_no=1&attribute_id=1&file_no=1Copyright (c) 2013 by the Information Processing Society of Japan名古屋工業大学名古屋工業大学名古屋工業大学名古屋工業大学藏澄汐里津邑公暁齋藤彰一松尾啓志大規模データ処理のためのプラットフォームとして Hadoop が広く利用されているが,多くのパラメータを適切に設定するためにはある程度のノウハウを必要とする.我々は,これらのパラメータを Hadoop 自身が最適に設定し,効率良くリソースを利用可能な,プログラム実行の高速化手法を研究している.パラメータの一つとして,ノード内最大同時処理可能タスク数であるスロット数がある.本研究では,クラスタ全体のリソースの使用状態を Hadoop 自身に監視させ,その情報を複合的に利用してスロット数を動的に調整するスロットスケジューリングを提案する.AN10096105研究報告計算機アーキテクチャ(ARC)2013-ARC-20732182013-12-092013-12-05