誤り訂正符号を用いたパラメータの復号はモデルの更新を戻せるか

• Item type: Symposium(1)
• 公開日: 2023-10-23
• タイトル: 誤り訂正符号を用いたパラメータの復号はモデルの更新を戻せるか
• タイトル / 言語: en
• タイトル: Can Error-correcting Codes Recover Model Parameters?
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 誤り訂正符号，ターボ符号，機械学習モデル，ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所
• 著者所属: 大阪大学
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): Osaka University
• 著者名: 芦澤, 奈実; 芝原, 俊樹; 桐淵, 直人; 矢内, 直人
• 著者名(英): Nami, Ashizawa; Toshiki, Shibahara; Naoto, Kiribuchi; Naoto, Yanai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，誤り訂正符号を機械学習モデルのパラメータに適用することで，意図しない学習による影響を抑えられるか明らかにする．モデルの学習過程や結果が意図しないものになってしまった場合にモデルの更新を誤り訂正符号で戻すことができれば，意図する形で学習をやり直すことが期待できる．ただし，; 誤り訂正符号を使うことで機械学習モデルの更新を元に戻すことができるかは現時点で明らかになっていない．そこで，誤り訂正符号としてターボ符号を用いて，畳み込みニューラルネットワークの出力層のパラメータを訂正し，1 エポック分のモデルの更新を戻すことを試みる．実験の結果，学習前後のパラメー; タのハミング距離が4 ビットであれば，誤り訂正符号によって平均88.08% のパラメータを訂正できた．誤り訂正の成功率は学習の進度よりも，学習前後のハミング距離により強い影響を受けて増加することがわかった．また，60.44% 以上のパラメータを訂正することで，1 エポックの学習で生じた推論結果の差分; を平均で90.64% 減らすことができた．加えて，パラメータの特定のビットを固定して学習すれば，誤り訂正の成功率が低くても推論結果の差分を減らすことができる可能性を示した．したがって，誤り訂正符号には機械学習モデルが学習によって受けた影響を減らす効果が期待できる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We clarify whether applying error-correcting codes to machine learning model parameters can suppress the effects of unintentional learning. If error-correcting codes undo model updates, the model can be relearned desirably. However, it is not obvious whether undoing model updates using error-correcting codes is possible. We attempt to undo model updates for one epoch with turbo codes as error-correcting codes to correct the parameters of the output layer of a convolutional neural network. Experimental results show that if the Hamming distance between the parameters before and after learning is 4 bits, 88.08% of the parameters, on average, can be corrected by the errorcorrecting codes. The success rate of error-correcting is more dependent on the Hamming distance between the parameters before and after learning than the learning progress. In addition, correcting more than 60.44% of the parameters can reduce the differences in inference outputs between one epoch by 90.64% on average. If a specific bit of the parameter is fixed to prevent change by learning, error-correcting codes might reduce the differences even with less success rate of error-correcting than 60.44%. Thus, error-correcting codes may be able to suppress the impact that machine learning models have suffered from learning.
• 書誌情報: コンピュータセキュリティシンポジウム2023論文集; p. 1528-1535, 発行日 2023-10-23
• 出版者 / 言語: ja
• 出版者: 情報処理学会