講演名 2021-06-28
シンプレクティック数値積分法を用いたNeural ODEの学習
松原 崇(阪大), 宮武 勇登(阪大), 谷口 隆晴(神戸大),
PDFダウンロードページ PDFダウンロードページへ
抄録(和) ニューラルネットワークで微分方程式を学習するneural ODEは,連続時間のダイナミカルシステムや確率分布を,高い精度でモデル化できる.しかし同じニューラルネットワークを何度も使うため,誤差逆伝播法で訓練するには非常に大きなメモリが必要になる.そのため数値積分で誤差逆伝播法を行う随伴法が用いられるが,数値誤差か大きな計算コストのどちらかが問題となる.本研究では随伴法に適切なチェックポイント法とシンプレクティック数値積分法を用いることで,省メモリ性と速度を両立させる手法を提案する.
抄録(英) A differential equation model using neural networks, neural ODE, enables use to model a continuous-time dynamics and probabilistic model with high accuracy. However, the neural ODE uses the same neural network repeatedly, the training using the backpropagation algorithm consumes large memory. Instead of the backpropagation algorithm, the adjoint method is commonly used, which obtains the gradient using the numerical integration. The adjoint method needs a small step size and much computational cost to suppress the numerical errors. In this study, we combine the checkpointing scheme and symplectic integrator for the adjoint method. It suppresses the memory consumption and functions faster.
キーワード(和) ニューラルODE / 常微分方程式 / 随伴 / シンプレクティック数値積分法
キーワード(英) Neural ODE / ordinary differential equation / adjoint method / symplectic integrator
資料番号 NC2021-2,IBISML2021-2
発行日 2021-06-21 (NC, IBISML)

研究会情報
研究会 NC / IBISML / IPSJ-BIO / IPSJ-MPS
開催期間 2021/6/28(から3日開催)
開催地(和) オンライン開催
開催地(英) Online
テーマ(和) 機械学習によるバイオデータマイニング、一般
テーマ(英)
委員長氏名(和) 大須 理英子(早大) / 竹内 一郎(名工大) / 倉田 博之(九工大) / 関嶋 政和(東工大)
委員長氏名(英) Rieko Osu(Waseda Univ.) / Ichiro Takeuchi(Nagoya Inst. of Tech.) / 倉田 博之(九工大) / 関嶋 政和(東工大)
副委員長氏名(和) 山川 宏(東大) / 杉山 将(東大)
副委員長氏名(英) Hiroshi Yamakawa(Univ of Tokyo) / Masashi Sugiyama(Univ. of Tokyo)
幹事氏名(和) 内部 英治(ATR) / 西田 知史(NICT) / 津田 宏治(東大) / 神嶌 敏弘(産総研) / 伊藤 公人(北大) / 田口 善弘(中央大) / 吉本 潤一郎(奈良先端大) / 大上 雅史(東工大) / 笹山 琴由(三菱電機) / 花田 良子(関西大) / 林 亮子(金沢工大) / 吉本 潤一郎(奈良先端大) / 渡邉 真也(室蘭工大)
幹事氏名(英) Eiji Uchibe(ATR) / Satoshi Nishida(NICT) / Koji Tsuda(Univ. of Tokyo) / Toshihiro Kamishima(AIST) / 伊藤 公人(北大) / 田口 善弘(中央大) / 吉本 潤一郎(奈良先端大) / 大上 雅史(東工大) / 笹山 琴由(三菱電機) / 花田 良子(関西大) / 林 亮子(金沢工大) / 吉本 潤一郎(奈良先端大) / 渡邉 真也(室蘭工大)
幹事補佐氏名(和) 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) / 岩田 具治(NTT) / 中村 篤祥(北大)
幹事補佐氏名(英) Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.)

講演論文情報詳細
申込み研究会 Technical Committee on Neurocomputing / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Bioinformatics and Genomics / Special Interest Group on Mathematical Modeling and Problem Solving
本文の言語 JPN
タイトル(和) シンプレクティック数値積分法を用いたNeural ODEの学習
サブタイトル(和)
タイトル(英) Training Neural ODE by Symplectic Integrator
サブタイトル(和)
キーワード(1)(和/英) ニューラルODE / Neural ODE
キーワード(2)(和/英) 常微分方程式 / ordinary differential equation
キーワード(3)(和/英) 随伴 / adjoint method
キーワード(4)(和/英) シンプレクティック数値積分法 / symplectic integrator
第 1 著者 氏名(和/英) 松原 崇 / Takashi Matsubara
第 1 著者 所属(和/英) 大阪大学(略称:阪大)
Osaka University(略称:Osaka Univ.)
第 2 著者 氏名(和/英) 宮武 勇登 / Yuto Miyatake
第 2 著者 所属(和/英) 大阪大学(略称:阪大)
Osaka University(略称:Osaka Univ.)
第 3 著者 氏名(和/英) 谷口 隆晴 / Takaharu Yaguchi
第 3 著者 所属(和/英) 神戸大学(略称:神戸大)
Kobe University(略称:Kobe Univ.)
発表年月日 2021-06-28
資料番号 NC2021-2,IBISML2021-2
巻番号(vol) vol.121
号番号(no) NC-79,IBISML-80
ページ範囲 pp.9-14(NC), pp.9-14(IBISML),
ページ数 6
発行日 2021-06-21 (NC, IBISML)