WEKO3
アイテム
MapReduceにおける通信データ量を考慮したReduceタスク割り当て手法
https://ipsj.ixsq.nii.ac.jp/records/101017
https://ipsj.ixsq.nii.ac.jp/records/1010174414747e-44a0-497a-b5a2-73343e785267
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS14129011.pdf (1.0 MB)
|
Copyright (c) 2014 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2014-05-07 | |||||||
| タイトル | ||||||||
| タイトル | MapReduceにおける通信データ量を考慮したReduceタスク割り当て手法 | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 並列・分散処理 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 龍谷大学 | ||||||||
| 著者所属 | ||||||||
| 龍谷大学 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Ryukoku University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Ryukoku University | ||||||||
| 著者名 |
阪東幸二
× 阪東幸二
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | MapReduce では，データ処理を複数の Map タスクと Reduce タスクに分割し，各ノードに分散して並列に処理を行う．Reduce タスクは Map タスクによって出力されたデータを入力とするため，他のノードからネットワークを介したデータのコピーが必要となる．このときのコピーするデータ量を削減することで，効率的に処理することができる．Hadoop MapReduce における Reduce タスクの割り当ては，他のノードからコピーする通信データ量を考慮していない．本稿では，各ノードが格納する Map タスクの出力データ量を取得し，通信データ量を考慮した Reduce タスクの割り当てを行う手法について述べる．本手法によって，クラスタ全体での通信データ量を削減し，効率的にタスクを処理することが可能になる． | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10444176 | |||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2014-OS-129, 号 11, p. 1-8, 発行日 2014-05-07 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
