Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果

• Item type: SIG Technical Reports(1)
• 公開日: 2010-07-27
• タイトル: Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果
• タイトル / 言語: en
• タイトル: Evaluation of Inter-Core Aggregation Scheduler in Multicore Execution of Hadoop Application
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: スケジューリング
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州大学大学院システム情報科学府／現在，ヤフー株式会社
• 著者所属: 九州大学大学院システム情報科学研究院
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Electrical Engineering, Kyushu University / Presently with Yahoo Japan Corporation
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Electrical Engineering, Kyushu University
• 著者名: 山田, 賢; 日下部, 茂
• 著者名(英): Satoshi, Yamada; Shigeru, Kusakabe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 我々は、メモリアドレス空間を共有するスレッド間の参照の局所性に着目し、そのようなスレッドのマルチコアプロセッサ上での時分割及び空間分割実行を集約的に制御できる、コア間時間集約スケジューラを提案している。提案スケジューラはマルチコアプロセッサの各プロセッサコア間で共有するキャッシュといったメモリの階層を活用し、プログラムの実行性能を向上させることを目的としている。本稿では、MapRdeuce 型プログラミングモデルのオープンソース実装である Hadoop のアプリケーションを、マルチコアプロセッサシステムで実行する際のノード内マルチスレッド処理における提案スケジューラの効果について評価する。TaskTracker が起動する map/reduce タスクの集約実行を制御することで実行性能の向上が観測できた。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We have proposed Inter-Core Time Aggregation Scheduler which tries to utilize the locality of references between sibling threads, which share the same memory address space, on commodity multi-core processors. Our thread scheduler controls both time and space multiplexing of the sibling threads to utilize the cache shared by multiple processing Cores on a multi-core processor in enhancing the performance of multithread programs. In this paper, we evaluate the effect of our scheduler in executing Hadoop application on a commodity multi-core processor. We observed performance improvement by controlling the execution of map/reduce tasks under a TaskTracker.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10444176
• 書誌情報: 研究報告システムソフトウェアと オペレーティング・システム（OS）; 巻 2010-OS-115, 号 24, p. 1-6, 発行日 2010-07-27
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会