シンプレクティック数値積分法を用いたNeural ODE の学習

• Item type: SIG Technical Reports(1)
• 公開日: 2021-06-21
• タイトル: シンプレクティック数値積分法を用いたNeural ODE の学習
• タイトル / 言語: en
• タイトル: Training Neural ODE by Symplectic Integrator
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習・行列分解
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大阪大学大学院基礎工学研究科
• 著者所属: 大阪大学サイバーメディアセンター
• 著者所属: 神戸大学大学院システム情報学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering Science, Osaka University
• 著者所属(英): en
• 著者所属(英): Cybermedia Center, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of System Informatics, Kobe University
• 著者名: 松原, 崇; 宮武, 勇登; 谷口, 隆晴
• 著者名(英): Graduate, School of Engineering Science Osaka University; Cybermedia Center Osaka University; Graduate School of System Informatics Kobe University
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ニューラルネットワークで微分方程式を学習する neural ODE は，連続時間のダイナミカルシステムや確率分布を，高い精度でモデル化できる．しかし同じニューラルネットワークを何度も使うため，誤差逆伝播法で訓練するには非常に大きなメモリが必要になる．そのため数値積分で誤差逆伝播法を行う随伴法が用いられるが，数値誤差か大きな計算コストのどちらかが問題となる．本研究では随伴法に適切なチェックポイント法とシンプレクティック 数値積分法を用いることで，省メモリ性と速度を両立させる手法を提案する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: A differential equation model using neural networks, neural ODE, enables use to model a continuous-time dynamics and probabilistic model with high accuracy. However, the neural ODE uses the same neural network repeatedly, the training using the backpropagation algorithm consumes large memory. Instead of the backpropagation algorithm, the adjoint method is commonly used, which obtains the gradient using the numerical integration. The adjoint method needs a small step size and much computational cost to suppress the numerical errors. In this study, we combine the checkpointing scheme and symplectic integrator for the adjoint method. It suppresses the memory consumption and functions faster.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2021-BIO-66, 号 2, p. 1-6, 発行日 2021-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8590
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会