WEKO3
アイテム
隠れニューラルネットワークに基づく連合学習の通信量削減手法
https://ipsj.ixsq.nii.ac.jp/records/217168
https://ipsj.ixsq.nii.ac.jp/records/21716811da928a-53d7-49dc-aa9e-6527e58c6f8e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SLDM22198014.pdf (2.0 MB)
|
Copyright (c) 2022 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| SLDM:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-03-03 | |||||||||
| タイトル | ||||||||||
| タイトル | 隠れニューラルネットワークに基づく連合学習の通信量削減手法 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ニューラルネットワーク | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者名 |
筒井, 政成
× 筒井, 政成
× 高前田, 伸也
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 連合学習 (Federated Learning) は，エッジデバイスが個人の学習データを他者に開示することなく，協調的に統一モデルを学習する機械学習手法である．データセンターと異なり，エッジデバイスは低帯域な通信環境に置かれていることが多く，これが学習プロセスのボトルネックとなっている．本研究では，この問題に対処するため，宝くじ仮説に基づく新しい連合学習法を提案する．宝くじ仮説に基づくニューラルネットワークは，ランダムに初期化された各重みにスコアを割り当て，重みの利用率を指定するスーパーマスクを得る．スコアのランクが高い重みのみで構成されるサブネットワークを基に順伝播を行い，学習により高い精度を示すサブネットワークを探索する逆伝播を行う．このアルゴリズムは，第一に，その時点でどの重みがサブネットワークに参加しているかを示すスーパーマスクさえあれば，スコアの勾配を計算するためにスコアそのものは必要ないこと，第二に，上位または下位の層のスコアは，学習が進むにつれ動きが小さくなるという特殊な性質を持っている．これらの性質を利用して，本手法では，サーバとスコア全体を通信するのではなく，一部のスーパーマスクと，アクティブと非アクティブの境界付近の重みのスコアの部分集合のみを通信することで，学習過程を妨げずに通信効率を飛躍的に向上させた．CIFAR-10 および CIFAR-100 データセットを用いた実験により，提案手法は全スコアを通信する場合と比較して，通信量を最大 79.8% 削減することに成功した．さらに，提案手法は既存手法と同じ精度を達成しながら，通信コストを最大 69.9% 削減することに成功した． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11451459 | |||||||||
| 書誌情報 |
研究報告システムとLSIの設計技術（SLDM） 巻 2022-SLDM-198, 号 14, p. 1-6, 発行日 2022-03-03 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8639 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
