WEKO3
アイテム
高速ストレージ/ネットワークによるHadoop MapReduceのベンチマーク
https://ipsj.ixsq.nii.ac.jp/records/97298
https://ipsj.ixsq.nii.ac.jp/records/97298423437a0-39dc-4275-8fcd-5724365fc2d9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-DICOMO2013169.pdf (861.2 kB)
|
Copyright (c) 2013 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Symposium(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2013-07-03 | |||||||
| タイトル | ||||||||
| タイトル | 高速ストレージ/ネットワークによるHadoop MapReduceのベンチマーク | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 分散処理 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| その他タイトル | ||||||||
| その他のタイトル | クラウドと分散処理 | |||||||
| 著者所属 | ||||||||
| 日本電信電話(株) NTTソフトウェアイノベーションセンタ | ||||||||
| 著者所属 | ||||||||
| 日本電信電話(株) NTTソフトウェアイノベーションセンタ | ||||||||
| 著者名 |
及川一樹
× 及川一樹
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | ビッグデータの処理基盤としてGoogleにより提案されたMapReduceと呼ばれる分散処理フレームワークが広く利用されている．特に，オープンソースソフトウェア実装であるHadoopはMapReduceのデファクトスタンダードとなりつつある．現行のコモディティサーバー上でのMapReduceの実行では、ディスクやネットワークなどのI/Oがボトルネックとなり、性能が律速されるケースが多かったが，ストレージやネットワークなどのハードウェアの進化が進むことで，I/Oが高速になると，今後はボトルネックはCPUに移行することが考えられる．そこで，本論文では高速なストレージ／ネットワークを利用したMapReduceのベンチマークを行い，ボトルネックがCPUに移行することを示す．さらに，MapReduce内部の各種基本的な処理に関して個別にベンチマークを実施し，現行のCPUが処理できるデータの処理速度を明らかにした． | |||||||
| 書誌情報 |
マルチメディア、分散協調とモバイルシンポジウム2013論文集 巻 2013, p. 1163-1170, 発行日 2013-07-03 |
|||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
