| 講演名 | 2022-09-29 ニューラルネットワークにおける等方的推論とモジュラリティ 大西 由真(東大), 今城 朋彬(東大), 松原 勇介(東大), 橋田 浩一(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークは連立方程式とみなすことができる。それによる推論は、連立方程式を解くこと(制約充足)に相当する。制約充足問題として考えると、ユニット(変数)を共有することによって複数のニューラルネットワークを連携させることができる。連立方程式が解けるためには、変数と方程式の個数を揃える必要がある。これには、エネルギー最小化原理からニューラルネットワークの方程式を導く方法が考えられ、その際にはエネルギー関数を損失関数とすればよい。そしてそのエネルギー関数を最小化する際には、数値解法を用いる。数値解法を用いた推論・学習は、例えばDeep Equilibrium Modelにおいて、最先端の成果を達成している。 |
| 抄録(英) | Neural networks can be regarded as a system of simultaneous equations. Reasoning with it is to solve the simultaneous equations (constraint satisfaction). Considering it as a constraint satisfaction problem, multiple neural networks can be linked by sharing units (variables). In order for the simultaneous equations to be solved, the variables and the number of equations must be aligned. This can be done by deriving the equations of the neural network from the energy minimization principle, in which the energy function should be a loss function. Then, to minimize that energy function, a numerical solution method is used. State-of-the-art results in inference and learning using numerical solution methods have been achieved, for example, in the Deep Equilibrium Model. |
| キーワード(和) | エネルギー関数 / エネルギー最小化原理 / 自由エネルギー原理 / 等方的推論 |
| キーワード(英) | energy function / energy minimization principle / free energy principle / isotropic inference |
| 資料番号 | NC2022-37 |
| 発行日 | 2022-09-22 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2022/9/29(から2日開催) |
| 開催地（和） | 東北大学 |
| 開催地（英） | Tohoku Univ. |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain Architecture, NC, ME |
| 委員長氏名（和） | 山川 宏(東大) / 堀 潤一(新潟大) |
| 委員長氏名（英） | Hiroshi Yamakawa(Univ of Tokyo) / Junichi Hori(Niigata Univ.) |
| 副委員長氏名（和） | 田中 宏和(東京都市大学) / 吉田 久(近畿大) |
| 副委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Hisashi Yoshida(Kinki Univ.) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 西田 知史(NICT) / 奥野 竜平(摂南大) / 辛島 彰洋(東北工大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Satoshi Nishida(NICT) / Ryuhei Okuno(Setsunan Univ) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 栗川 知己(関西医科大) / 湯田 恵美(東北大) / 金子 美樹(阪大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Tomoki Kurikawa(KMU) / Emi Yuda(Tohoku Univ) / Miki Kaneko(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ニューラルネットワークにおける等方的推論とモジュラリティ |
| サブタイトル（和） | |
| タイトル（英） | Isotropic Inference and Modularity in Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | エネルギー関数 / energy function |
| キーワード(2)（和/英） | エネルギー最小化原理 / energy minimization principle |
| キーワード(3)（和/英） | 自由エネルギー原理 / free energy principle |
| キーワード(4)（和/英） | 等方的推論 / isotropic inference |
| 第 1 著者 氏名（和/英） | 大西 由真 / Yuma Onishi |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 今城 朋彬 / Tomoaki Imajo |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 松原 勇介 / Yusuke Matsubara |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 4 著者 氏名（和/英） | 橋田 浩一 / Koiti Hasida |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2022-09-29 |
| 資料番号 | NC2022-37 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NC-195 |
| ページ範囲 | pp.20-23(NC), |
| ページ数 | 4 |
| 発行日 | 2022-09-22 (NC) |