スマートNICを用いた連合学習の集約処理高速化の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2023-01-03
• タイトル: スマートNICを用いた連合学習の集約処理高速化の検討
• タイトル / 言語: en
• タイトル: A Case for Accelerating Aggregation Process of Federated Learning using Smart NIC
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学理工学部
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学理工学部 / 慶應義塾大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Keio University / Graduate School of Science and Technology, Keio University
• 著者名: 柴原, 尚紀; 星野, 優斗; 松谷, 宏紀
• 著者名(英): Naoki, Shibahara; Yuto, Hoshino; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Federated Learning（連合学習）は分散機械学習の手法の一つであり，各クライアントが有する生データではなく，各クライアントが学習したローカルな重みパラメータをサーバに集約する．各クライアントが分散して保持する生データをサーバにアップロードせずに学習を行うため，プライバシに配慮できる上，各クライアントの計算リソースを利用できる．一方，クライアントの数が増加すると通信量も増大し，サーバのネットワーク負荷が高くなる．DPDK（Data Plane Development Kit）はカーネルをバイパスし，代わりにユーザ空間のアプリケーションでネットワーク処理を行うことで高速化を実現するライブラリやネットワークドライバを提供する．本研究では連合学習サーバに DPDK を導入し，カーネルをバイパスしてネットワーク処理を行うことで，重み集約処理の低遅延化及びスループットの向上を図る．また，NVIDIA 製スマート NIC である BlueField-2 DPU 上に重み集約処理を実装し，各クライアントから届くローカルな重みパラメータを NIC で直接処理することで，サーバマシンの CPU 負荷を軽減する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2023-ARC-251, 号 10, p. 1-6, 発行日 2023-01-03
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会