WEKO3
アイテム
Hadoop/Sparkにおける第2階層スケジューラ導入によるタスク進捗度平準化の検討
https://ipsj.ixsq.nii.ac.jp/records/182858
https://ipsj.ixsq.nii.ac.jp/records/182858a03f5712-833b-449d-849c-41be8288e57f
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS17141017.pdf (1.0 MB)
|
Copyright (c) 2017 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2017-07-19 | |||||||||
| タイトル | ||||||||||
| タイトル | Hadoop/Sparkにおける第2階層スケジューラ導入によるタスク進捗度平準化の検討 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ビッグデータ | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 北海道大学情報基盤センター | ||||||||||
| 著者所属 | ||||||||||
| 北海道大学大学院情報科学研究科情報理工学専攻 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Information Initiative Center, Hokkaido University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Graduate School of Information Science and Technology, Hokkaido University | ||||||||||
| 著者名 |
杉木, 章義
× 杉木, 章義
× 岩井, 良成
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 本研究では，Hadoop および Spark を対象とし，従来からのクラスタ ・ レベルのスケジューラに加えて，各ノード単位で複数タスクの調停を行うノード ・ レベルスケジューラを導入し，各 Map / Reduce タスク等の進捗度の平準化を行う．同一処理フェーズのタスク進捗の平準化を行うことで，ジョブ全体の処理が高速化されることを期待する．実装では，YARN の CGroups サポートを活用し，CGroups に基づくリソース監視や制限を行う．本実装は YARN を対象としているため，Hadoop （MapReduce） 及び Spark の双方に適用できることが期待される． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10444176 | |||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2017-OS-141, 号 17, p. 1-7, 発行日 2017-07-19 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8795 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
