WEKO3
アイテム
IaaS環境におけるネットワーク帯域を考慮したMapタスクスケジューラ
https://ipsj.ixsq.nii.ac.jp/records/145991
https://ipsj.ixsq.nii.ac.jp/records/145991d447e878-6611-417d-8bf5-8150dd912599
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS15135002.pdf (2.9 MB)
|
Copyright (c) 2015 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2015-11-17 | |||||||||
| タイトル | ||||||||||
| タイトル | IaaS環境におけるネットワーク帯域を考慮したMapタスクスケジューラ | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | クラウドコンピューティング | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京農工大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京農工大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo University of Agricluture and Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo University of Agricluture and Technology | ||||||||||
| 著者名 |
尾板, 弘崇
× 尾板, 弘崇
× 山田, 浩史
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 大規模分散処理を行うフレームワークに MapReduce がある．MapReduce は分割された入力データに処理を施す Map タスクと，Map タスクの結果を収集したものに対して処理する Reduce タスクに分けられる．Reduce タスクは，自身が必要とする Map タスクの結果を各 VM からネットワーク経由で収集する Shuffle を行う．ソート処理など Map タスクの結果のデータ量が大きいときには，Shuffle に時間を要する．クラウド環境では物理マシンのリソースを複数の VM で共有しているために，Hadoop クラスタを構成する各 VM が利用可能なネットワーク帯域が異なる場合がある．各 VM の利用可能なネットワーク帯域が異なる環境で Shuffle 量が多い処理を行うと，利用可能なネットワーク帯域が狭い VM の Shuffle に時間がかかってしまい，ネットワーク帯域の広い VM は待機を余儀なくされてしまう．その結果，性能低下を引き起こしてしまう．この性能低下は，従来の MapReduce が各 VM のネットワーク帯域に関係なく，均一に Map タスクを割り当てるために起きる．本研究では，ネットワーク帯域に応じた MapReduce の Map タスクスケジューラを提案する．提案手法は，ネットワークに応じたMapOutput 量を各 VM に分配する．これによって，各 VM の Shuffle にかかる時間のズレを短縮し，性能が向上する．MapOutput を調節するために，提案手法は，ネットワーク帯域に応じて Map タスク数を調節する．Map タスク分配機構が動的に Slot を変更することで Map タスクのスケジューリングを調整し，Map タスク再実行機構が，ネットワーク帯域が動的に低下したときに Map タスクを他の VM で再実行することですでに生成した MapOutput 量を調節する．実験の結果，Shuffle-Heavy なワークロードで最大 25%の性能向上を実現した． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10444176 | |||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2015-OS-135, 号 2, p. 1-9, 発行日 2015-11-17 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8795 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
