| Item type |
SIG Technical Reports(1) |
| 公開日 |
2023-06-22 |
| タイトル |
|
|
タイトル |
有限時間収束性による分散学習のための通信効率に優れたネットワーク構造 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Beyond Exponential Graph: Communication-Efficient Topologies for Decentralized Learning via Finite-time Convergence |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
IBISML |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
京都大学／沖縄科学技術大学院大学 |
| 著者所属 |
|
|
|
京都大学／沖縄科学技術大学院大学 |
| 著者所属 |
|
|
|
京都大学／沖縄科学技術大学院大学 |
| 著者所属 |
|
|
|
NTTコミュニケーション科学基礎研究所 |
| 著者所属 |
|
|
|
沖縄科学技術大学院大学 |
| 著者所属(英) |
|
|
|
en |
|
|
Kyoto Univ. / OIST |
| 著者所属(英) |
|
|
|
en |
|
|
Kyoto Univ. / OIST |
| 著者所属(英) |
|
|
|
en |
|
|
Kyoto Univ. / OIST |
| 著者所属(英) |
|
|
|
en |
|
|
NTT Communication Science Laboratories |
| 著者所属(英) |
|
|
|
en |
|
|
OIST |
| 著者名 |
竹澤, 祐貴
佐藤, 竜馬
包, 含
丹羽, 健太
山田, 誠
|
| 著者名(英) |
Yuki, Takezawa
Ryoma, Sato
Han, Bao
Kenta, Niwa
Makoto, Yamada
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
分散学習は近年，並列計算やプライバシー保護への応用が期待され注目されている．多くの研究によって，より速い consensus rate を持つグラフをネットワークとして用いると，分散学習の収束率や精度を向上させられると示されている．しかし，consensus rate が速いグラフ，例えば指数グラフは，一般に最大次数が大きく，通信コストが大きくかかる．そのため，速い consensus rate と小さな最大次数の両方を持つグラフを用いることが重要である．本研究では，そのようなグラフを Base-(k + 1) Graph を提案し，Base-(k + 1) Graph は Decentralized SGD (DSGD) を指数グラフよりも少ない通信コストでかつ速く収束させることができることを示した． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Decentralized learning has recently been attracting increasing attention for its applications in parallel computation and privacy preservation. Many recent studies stated that the underlying network topology with a faster consensus rate leads to a better convergence rate and accuracy for decentralized learning. However, a topology with a fast consensus rate, e.g., the exponential graph, generally has a large maximum degree, which incurs significant communication costs. Thus, seeking topologies with both a fast consensus rate and small maximum degree is important. In this study, we propose a novel topology, the Base-(k + 1) Graph, which endows Decentralized SGD with both a faster convergence rate and more communication efficiency than the exponential graph. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10505667 |
| 書誌情報 |
研究報告数理モデル化と問題解決（MPS）
巻 2023-MPS-143,
号 59,
p. 1-8,
発行日 2023-06-22
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8833 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-MPS23143059.pdf (1.8 MB)
