モデルの特徴表現を活用するクラスタリング連合学習手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2024-02-25
• タイトル: モデルの特徴表現を活用するクラスタリング連合学習手法の提案
• タイトル / 言語: en
• タイトル: Towards Client-aware Clustering Federated Learning based on Representations of Local Models
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 金子, 竜也; 高前田, 伸也
• 著者名(英): Tatsuya, Kaneko; Shinya, Takamaeda-Yamazaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械学習が興隆期にある昨今において，学習に用いるデータのプライバシーについて関心が寄せられている．そのため，各デバイス上で学習したモデルを集約することでデータを秘匿したままに知識の共有を可能とする手法である連合学習の機運が高まっている．連合学習の抱える課題の一つとして，クライアントデバイスの持つデータの異種性が挙げられる．このような状況下ではモデル共有により却って性能が低下する可能性が生じる．これを解決する一つの手法として，各クライアントを適切なクラスタへと割り当てるクラスタリング連合学習が存在する．ただし，従来のクラスタリング連合学習ではクラスタ割り当ての演算負荷をリソース制約の大きいクライアントが負担するという点に課題があった．本研究では，フラクタルデータセットと Fréchet Inception Distance を用いることで，サーバ上に集約したモデルの特徴表現からクラスタリングを行う手法を提案する．提案手法はクラスタリングに際して生じるクライアントのオーバヘッドを 1/k に抑制しながら (k はクラスタ数)，従来手法と同等の性能を発揮することを示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In the current era of rapidly expanding machine learning, there has been growing concerns and awareness of data privacy used in learning processes. Federated Learning (FL) is one of the distributed learning methods that is attracting significant attention. It enables knowledge sharing while maintaining data confidentiality by aggregating models trained on various devices. One of the challenges faced by FL is the heterogeneity of data across client devices, which can potentially degrade performance when models are shared. To address this issue, clustering FL (CFL), which assigns each client to an appropriate cluster, has been proposed. However, conventional CFL methods have limitations in their assignment approaches. Despite resource constraints, clustering computations are being performed on the client. We propose a novel client-aware CFL method, which is based on the feature representation of aggregated models using fractal datasets and Fréchet Inception Distance. In the experiments, we show that our proposed method can achieve performance equivalent to conventional methods, while reducing the clustering overhead for clients to 1/k (where k is the number of clusters).
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2024-CVIM-237, 号 41, p. 1-6, 発行日 2024-02-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会