| Item type |
SIG Technical Reports(1) |
| 公開日 |
2015-05-21 |
| タイトル |
|
|
タイトル |
Hadoop MapReduceのReduce処理のI/O高速化 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Performance Improvement of Reduce Phase of Hadoop MapReduce |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
インフラストラクチャ |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
工学院大学大学院工学研究科電気・電子工学専攻 |
| 著者所属 |
|
|
|
工学院大学工学部情報通信工学科 |
| 著者所属(英) |
|
|
|
en |
|
|
Electrical Engineering and Electronics, Kogakuin University Graduate School |
| 著者所属(英) |
|
|
|
en |
|
|
Information and Communication Technology, Kogakuin University |
| 著者名 |
藤島, 永太
山口, 実靖
|
| 著者名(英) |
Eita, Fujishima
Saneyasu, Yamaguchi
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年，膨大な情報を収集・蓄積・分析する方法として，ASF(Apache Software Foundation) が開発・公開している Hadoop が注目されている．一般に Hadoop MapReduce は，Map 処理と Reduce 処理の二段階でデータの処理を行う．Map 処理は，データの断片の加工や必要な情報の抽出を行う．Reduce 処理は，Map 処理の出力をまとめ，最終的な結果の出力を行う．よって，多数の Map 処理の出力を単一の Reduce 処理に入力として与えるようなワークロードでは，Reduce 処理が I/O バウンドとなり，全体の処理時間が長くなる場合がある．本研究では，巨大なファイルをシーケンシャルに読み書きする Hadoop の特性と定記録密度方式 HDD の特性に着目し，MapReduce 処理の I/O 高速化手法を提案し，処理時間の比較によりその有効性を示す． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA11851388 |
| 書誌情報 |
研究報告モバイルコンピューティングとパーベイシブシステム（MBL）
巻 2015-MBL-75,
号 17,
p. 1-8,
発行日 2015-05-21
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8817 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-MBL15075017 (2.1 MB)
