分散型Proof-of-Deep-Learningに向けた集約ゼロ知識証明の応用

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 分散型Proof-of-Deep-Learningに向けた集約ゼロ知識証明の応用
• タイトル / 言語: en
• タイトル: Application of Aggregated Zero-Knowledge Proofs toward Distributed Proof-of-Deep-Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散並列学習，集約ゼロ知識証明，Proof-of-Deep-Learning
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: パナソニックホールディングス株式会社
• 著者所属: パナソニックホールディングス株式会社
• 著者所属: パナソニックホールディングス株式会社
• 著者所属(英): en
• 著者所属(英): Panasonic Holdings Corporation
• 著者所属(英): en
• 著者所属(英): Panasonic Holdings Corporation
• 著者所属(英): en
• 著者所属(英): Panasonic Holdings Corporation
• 著者名: 高橋, 康; 西田, 直央; 矢内, 直人
• 著者名(英): Yasushi, Takahashi; Naohisa, Nishida; Naoto, Yanai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械学習のモデル生成は一般に計算負荷が大きく，計算資源の小さいユーザには困難になりつつある．近年では学習そのものを分散化する手法も知られているが，学習済みモデルを公開せずに行うことが; 望ましい状況には既存手法は適していない．本稿では，個別に生成したゼロ知識証明を一個に集約できる集約ゼロ知識証明を用いて，各参加者がモデル生成計算結果を公開することなく，計算資源の小さいユーザも参加可能な学習方式をまず提案する．提案手法では，各参加者がローカルでモデルの一部だけを学習した上で，その証明を作成し，それらのモデルを公開せずにモデルと証明両方を集約することで，モデル全体を検証して利用可能にする．さらに提案手法において，不正な学習を検知できることも理論的に証明する．また，この提案手法について，集約ゼロ知識証明機能と各参加者の学習機能の実装を通じ，提案手法全体の計算時間を実験評価したところ，本稿で用いた実装ではCommit の計算時間が，モデルパラメータのデータサイズに起因して大きくなること，また，層の数が倍になるにつれ学習時間は1.5 倍になることを確認した．本稿では，提案手法の応用として，機械学習における学習計算をブロックチェーンのマイニング処理として利用し，学習に貢献した参加者に報酬を与える分散型Proof-of-Deep-Learning (PoDL) も提案する．さらに提案した分散型PoDL は，不正な学習が行われたとしてもその検知が可能であることを証明する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Mining in Bitcoin's Proof-of-Work has been criticized for its extremely high power consumption. As a method to make the "Work" more meaningful, Proof-of-Deep Learning (PoDL), which involves generating machine learning models as the "Work," has been proposed. However, the computational cost of model generation is generally significant, preventing users with limited computational resources from participating. On the other hand, simply dividing the model generation computation among participants would result in participants having to publicly disclose their computation results for free when the consensus on the entire model cannot be reached. Therefore, we propose a method called AZK-PoDL, which allows users with limited computational resources to participate without unnecessarily disclosing their model generation computation results. In the proposed method, each participant creates a part of the model and its proof of learning locally, and further evaluates the accuracy of the entire model using Aggregated Zero-Knowledge Proofs (AZK). This achieves a PoDL where each user's model can remain confidential until it is adopted, ensuring the safety of the model and its contribution to learning. In this paper, we demonstrate that it is possible to detect when a participant uses learning data other than the specified one for model training by using the security of AZK. Furthermore, we implement the AZK step and the model aggregation step for each participant and estimate the overall computation time of AZK-PoDL.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 1273-1280, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会