非均質環境における誤差逆伝播法の矩形分割マッピングによる並列高速化

• Item type: Journal(1)
• 公開日: 2005-12-15
• タイトル: 非均質環境における誤差逆伝播法の矩形分割マッピングによる並列高速化
• タイトル / 言語: en
• タイトル: Parallelizing of a Back Propagation in Heterogeneous Environment Using a Rectangular Partitioning Mapping Method
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 論文
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• その他タイトル / その他のタイトル: 並列・分散処理アルゴリズム
• 著者所属: 東北大学大学院工学研究科 現在，株式会社日立製作所
• 著者所属: 東北大学大学院工学研究科
• 著者所属: 東北大学大学院工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering Tohoku University,Presently with Hitachi, Ltd.
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering Tohoku University
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering Tohoku University
• 著者名: 小澤, 洋司; 菅谷至寛; 阿曽, 弘具
• 著者名(英): Yoji, Ozawa; Yoshihiro, Sugaya; Hirotomo, Aso
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 階層型ニューラルネットワークとその学習法の1 つである誤差逆伝播法は様々な分野で広く応用されているが，その処理量は膨大である．そのため，処理時間短縮のために並列化の研究が数多く行われている．しかし，各プロセッサの能力が均質な環境を対象としたものが多く，そのまま能力が非均質な環境に適用すると能力の低い計算機に全体の性能が制限される．本研究では，誤差逆伝播法の並列化を矩形分割問題と考えることで，非均質な環境において適切なマッピングを行う手法（SRPM 法：Static Rectangular Partitioning Mapping）を提案する．各プロセッサが担当する処理を矩形で表すことで，能力と処理量を適切に対応させ，通信時間が最小となるマッピングを一意に決定できる．さらに，あらかじめ適切な能力比を求めることが困難である場合に有用となる，適切な能力比を推定し，動的にマッピングを更新する手法（DRPM 法：Dynamic Rectangular Partitioning Mapping）を提案する．実験によりそれぞれの有効性を確認する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Back propagation (BP), which is one of the neural network training algorithms, has been applied to various fields. It requires long processing time, so many researchers have tackled this problem using parallel processing. But most of them aim for homogeneous environment. When those are applied to heterogeneous environment, the lowest processor restricts whole performance. We propose a SRPM method (Static Rectangular Partitioning Mapping), based on an idea that parallelization of BP is modeled as a rectanguler partitioning. The model enables to decide an appropriate mapping pattern with respect to a load-balancing and communication time. We propose a DRPM method (Dynamic Rectangular Partitioning Mapping), which estimates ability and updates mapping pattern dynamically. The method is efficient and useful for environments in which it is difficult to get information of accurate processor’s ability. And we show their efficiency experimentally.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 46, 号 12, p. 3078-3088, 発行日 2005-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764