WEKO3
アイテム
PCクラスタ上のスケジューラを利用したMapReduceの実装
https://ipsj.ixsq.nii.ac.jp/records/62774
https://ipsj.ixsq.nii.ac.jp/records/62774af849956-fc87-4a0b-ae17-5c3b7ebb3017
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC09121013.pdf (316.0 kB)
|
Copyright (c) 2009 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2009-07-28 | |||||||
| タイトル | ||||||||
| タイトル | PCクラスタ上のスケジューラを利用したMapReduceの実装 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Mounting of MapReduce using the scheduler of PC cluster | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | PC クラスタ環境 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 同志社大学大学院工学研究科 | ||||||||
| 著者所属 | ||||||||
| 同志社大学生命医科学部 | ||||||||
| 著者所属 | ||||||||
| 同志社大学理工学部 | ||||||||
| 著者所属 | ||||||||
| 同志社大学理工学部 | ||||||||
| 著者所属 | ||||||||
| 同志社大学大学院工学研究科 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate School of Engineering,Doshisha University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Department of Life and Medical Sciences,Doshisha University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate of Science and Engineering, Doshisha University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate of Science and Engineering, Doshisha University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate School of Engineering,Doshisha University | ||||||||
| 著者名 |
山下, 尊也
× 山下, 尊也
|
|||||||
| 著者名(英) |
Takaya, Yamashita
× Takaya, Yamashita
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | MapReduce はクラスタなどの並列計算機上で，巨大なデータセットに対し分散並列処理を行うのを支援する目的で，Google によって考案されたソフトウェアフレームワークである．本研究では，クラスタのジョブスケジューラを利用した MapReduce のシステムを提案している．これにより，共用計算機などで，ジョブスケジューラを利用してジョブを投入しなければならない場合においても，MapReduce を実行することが可能となる．本研究では，Microsoft Windows HPC Server V3 を OS とする Windows クラスタを対象に基礎的なシステムを構築し，その性能の検討を行った．提案システムを Hadoop との比較を行った結果，提案するシステムは Hadoop と同様に分散処理可能であり，かつ，資源の利用を細かく決めることが可能であることが確認できた． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | In this paper, the MapReduce implementation using cluster's job scheduler was introduced. MapReduce is the software framework which was developed by Google for performing distributed and parallel operations. Using the proposed system, users can use MapReduce algorithms even on clusters where all jobs should be submitted over cluster's scheduler. In this paper, the implementation system was developed on the cluster whose OS is Microsoft Windows HPC Server V3. Through the system experiments, the proposed system was compared with Hadoop and the following two topics were described. First of all, user can perfume MapReduce algorithm using the proposed system and the parallel efficiency was almost same as that of Hadoop. Secondly, using the proposed system, the administration of the resource utility is easier than Hadoop because the proposed system can use cluster scheduler. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10463942 | |||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2009-HPC-121, 号 13, p. 1-4, 発行日 2009-07-28 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
