2026-03-16T06:22:05Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00228821 2025-01-19T11:42:24Z 6164:6165:6462:11379

誤り訂正符号を用いたパラメータの復号はモデルの更新を戻せるか Can Error-correcting Codes Recover Model Parameters? 芦澤, 奈実 芝原, 俊樹 桐淵, 直人 矢内, 直人 Nami, Ashizawa Toshiki, Shibahara Naoto, Kiribuchi Naoto, Yanai 誤り訂正符号，ターボ符号，機械学習モデル，ニューラルネットワーク 本稿では，誤り訂正符号を機械学習モデルのパラメータに適用することで，意図しない学習による影響を抑えられるか明らかにする．モデルの学習過程や結果が意図しないものになってしまった場合にモデルの更新を誤り訂正符号で戻すことができれば，意図する形で学習をやり直すことが期待できる．ただし， 誤り訂正符号を使うことで機械学習モデルの更新を元に戻すことができるかは現時点で明らかになっていない．そこで，誤り訂正符号としてターボ符号を用いて，畳み込みニューラルネットワークの出力層のパラメータを訂正し，1 エポック分のモデルの更新を戻すことを試みる．実験の結果，学習前後のパラメー タのハミング距離が4 ビットであれば，誤り訂正符号によって平均88.08% のパラメータを訂正できた．誤り訂正の成功率は学習の進度よりも，学習前後のハミング距離により強い影響を受けて増加することがわかった．また，60.44% 以上のパラメータを訂正することで，1 エポックの学習で生じた推論結果の差分 を平均で90.64% 減らすことができた．加えて，パラメータの特定のビットを固定して学習すれば，誤り訂正の成功率が低くても推論結果の差分を減らすことができる可能性を示した．したがって，誤り訂正符号には機械学習モデルが学習によって受けた影響を減らす効果が期待できる． We clarify whether applying error-correcting codes to machine learning model parameters　can suppress the effects of unintentional learning. If error-correcting codes undo model updates,　the model can be relearned desirably. However, it is not obvious whether undoing model updates using error-correcting codes is possible. We attempt to undo model updates for one epoch with turbo codes as error-correcting codes to correct the parameters of the output layer of a convolutional neural network. Experimental results show that if the Hamming distance between the parameters before and after learning is 4 bits, 88.08% of the parameters, on average, can be corrected by the errorcorrecting codes. The success rate of error-correcting is more dependent on the Hamming distance between the parameters before and after learning than the learning progress. In addition, correcting more than 60.44% of the parameters can reduce the differences in inference outputs between one epoch by 90.64% on average. If a specific bit of the parameter is fixed to prevent change by learning, error-correcting codes might reduce the differences even with less success rate of error-correcting than 60.44%. Thus, error-correcting codes may be able to suppress the impact that machine learning models have suffered from learning. conference paper 情報処理学会 2023-10-23 application/pdf コンピュータセキュリティシンポジウム2023論文集 1528 1535 https://ipsj.ixsq.nii.ac.jp/record/228821/files/IPSJ-CSS2023208.pdf jpn