@techreport{oai:ipsj.ixsq.nii.ac.jp:00217234,
 author = {筒井, 政成 and 高前田, 伸也},
 issue = {14},
 month = {Mar},
 note = {連合学習 (Federated Learning) は，エッジデバイスが個人の学習データを他者に開示することなく，協調的に統一モデルを学習する機械学習手法である．データセンターと異なり，エッジデバイスは低帯域な通信環境に置かれていることが多く，これが学習プロセスのボトルネックとなっている．本研究では，この問題に対処するため，宝くじ仮説に基づく新しい連合学習法を提案する．宝くじ仮説に基づくニューラルネットワークは，ランダムに初期化された各重みにスコアを割り当て，重みの利用率を指定するスーパーマスクを得る．スコアのランクが高い重みのみで構成されるサブネットワークを基に順伝播を行い，学習により高い精度を示すサブネットワークを探索する逆伝播を行う．このアルゴリズムは，第一に，その時点でどの重みがサブネットワークに参加しているかを示すスーパーマスクさえあれば，スコアの勾配を計算するためにスコアそのものは必要ないこと，第二に，上位または下位の層のスコアは，学習が進むにつれ動きが小さくなるという特殊な性質を持っている．これらの性質を利用して，本手法では，サーバとスコア全体を通信するのではなく，一部のスーパーマスクと，アクティブと非アクティブの境界付近の重みのスコアの部分集合のみを通信することで，学習過程を妨げずに通信効率を飛躍的に向上させた．CIFAR-10 および CIFAR-100 データセットを用いた実験により，提案手法は全スコアを通信する場合と比較して，通信量を最大 79.8% 削減することに成功した．さらに，提案手法は既存手法と同じ精度を達成しながら，通信コストを最大 69.9% 削減することに成功した．},
 title = {隠れニューラルネットワークに基づく連合学習の通信量削減手法},
 year = {2022}
}