モデル巡回型分散Federated Learningにおけるモデル経路の最適化

• Item type: SIG Technical Reports(1)
• 公開日: 2023-05-11
• タイトル: モデル巡回型分散Federated Learningにおけるモデル経路の最適化
• タイトル / 言語: en
• タイトル: A heuristic method for optimization of model transfer route in decentralized federated learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習・VR/AR
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者名: 前島, 航太; 西尾, 理志; 山崎, 朝斗; 原, 祐子
• 著者名(英): Kota, Maejima; Takayuki, Nishino; Asato, Yamazaki; Yuko, Hara-Azumi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 分散 FL (分散 Federated Learning) は，ノード間で学習データを共有することなく，それぞれのノードが学習したモデルの更新情報のみを通信することでノード全体で協調してモデルを構築する機械学習手法である．しかし，データ分布が Non-IID (non-Independent and Identically Distributed) であると，ノードごとの更新情報が必ずしもモデルの改善に寄与するとは限らないため，従来の機械学習と比較して精度が劣化するという問題がある．この問題は，ノードの持つデータの分布をもとに巡回経路を決定し，１つのモデルをノード間で巡回させながら順番に訓練する手法によって改善することができる．本稿では特にモデルの巡回経路を決定する手法を新たに検討した．巡回経路決定法には学習開始前に固定の経路を定める静的手法と，学習を進めながら状況に応じて経路を決定する動的手法がある．提案経路決定法では後者に該当し，各ノードのデータ分布と，学習に使用されたデータラベルから動的に経路を決定する．具体的には，データラベルごとにネットワーク全体で使用された累積数を数え，それらの分散を最小化するような経路設計を行う．実験評価により，静的な巡回経路決定法と比較して，平均で 16.25% 少ない更新回数で収束した．また，動的に一様ランダムなノードを巡回経路とする手法と比較しても平均で 20.22% 少ない更新回数で収束することを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Decentralized FL (Decentralized Federated Learning) is a machine learning technique in which clients construct a model collectively by communicating only the updates of the models they have trained without sharing the actual training data. However, when the data distribution is Non-IID (non-Independent and Identically Distributed), updates from each node may not necessarily contribute to improving the model, resulting in lower accuracy compared to traditional machine learning methods. This problem can be addressed by determining a circular path based on the data distribution of each client and training the model sequentially by circulating it among the clients. In this paper, we propose a new method for determining the circular path of the model. There are two methods for determining the circular path: a static method that determines a fixed path before starting the training and a dynamic method that determines the path based on the situation as the training progresses. In our proposed method, the path is determined dynamically based on the data distribution and labels used for training in each client. Specifically, we count the number of data labels used in the entire network for each label and design a path that minimizes their variance. Experimental evaluation showed that our proposed method converged with 16.25% fewer updates on average than the static circular path method. Additionally, our method converged with 20.22% fewer updates on average than a dynamic method that uniformly circulates random clients.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10116224
• 書誌情報: 研究報告マルチメディア通信と分散処理（DPS）; 巻 2023-DPS-195, 号 23, p. 1-3, 発行日 2023-05-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8906
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会