2026-04-14T08:21:18Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00211705 2025-01-19T17:42:37Z 1164:5352:10544:10612

シンプレクティック数値積分法を用いたNeural ODE の学習 Training Neural ODE by Symplectic Integrator 松原, 崇 宮武, 勇登 谷口, 隆晴 Graduate, School of Engineering Science Osaka University Cybermedia Center Osaka University Graduate School of System Informatics Kobe University 深層学習・行列分解 ニューラルネットワークで微分方程式を学習する neural ODE は，連続時間のダイナミカルシステムや確率分布を，高い精度でモデル化できる．しかし同じニューラルネットワークを何度も使うため，誤差逆伝播法で訓練するには非常に大きなメモリが必要になる．そのため数値積分で誤差逆伝播法を行う随伴法が用いられるが，数値誤差か大きな計算コストのどちらかが問題となる．本研究では随伴法に適切なチェックポイント法とシンプレクティック 数値積分法を用いることで，省メモリ性と速度を両立させる手法を提案する． A differential equation model using neural networks, neural ODE, enables use to model a continuous-time dynamics and probabilistic model with high accuracy. However, the neural ODE uses the same neural network repeatedly, the training using the backpropagation algorithm consumes large memory. Instead of the backpropagation algorithm, the adjoint method is commonly used, which obtains the gradient using the numerical integration. The adjoint method needs a small step size and much computational cost to suppress the numerical errors. In this study, we combine the checkpointing scheme and symplectic integrator for the adjoint method. It suppresses the memory consumption and functions faster. 情報処理学会 2021-06-21 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/211705 2188-8590 AA12055912 研究報告バイオ情報学（BIO） 2021-BIO-66 2 1 6 https://ipsj.ixsq.nii.ac.jp/record/211705/files/IPSJ-BIO21066002.pdf application/pdf 1.8 MB