| 講演名 | 2024-03-11 時系列未来予想符号化:予測符号化に知見を得たリカレントニューラルネットワークの新しい処理方式の提案 和久井 優斗(東大), 加藤 准也(東大), 夏秋 嶺(東大), 廣瀬 明(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年、リカレントニューラルネットワーク(RNN)と自由エネルギー原理が注目されている。FEPは、予測した出力と本来の入力との差分を生成してフィードフォワードニューラルネットワーク(FNN)の入力とする方式、すなわち予測符号化(PC)を含む。本論文は、RNNにおける新たな時系列データの処理方式として、予測符号化の考え方を踏まえた時系列未来予想符号化(TFC)を提案する。タスクはマルチステップ先予想である。我々の提案するTFCでは、以下の2つの方式によるマルチステップ先予測タスクを考える。すなわち、最小遅延フィードバックTFCと同期フィードバックTFCの２つを考える。後者は従来のPCの自然な拡張である。実験の結果、最小遅延TFCが最も高い性能を示し、同期TFCは同等かそれ以下の性能を示し、次に従来方式が最も低い性能を示した。この結果は、時系列データ処理においてもPCの概念が重要であり、同期性よりも小さな遅延がより重要であることを示唆している。このことは、PCの概念的な基礎、ひいてはFEPの概念的な基礎に重要な意味を持つかもしれない。 |
| 抄録(英) | This paper proposes a new method for processing time-series data in recurrent neural networks (RNNs), namely, time-series forecasting coding (TFC). We developed them based on the idea of predictive coding (PC). We consider multi-step ahead forecasting task with the following two schemes, that is, smallest-delay feedback TFC and synchronous (temporally matching) feedback TFC. The latter is a natural extension of conventional PC. In experimental results, we show that the smallest-delay TFC presents the highest performance, while synchronous TFC shows comparable or lower performance, and then a conventional RNN method indicates the lowest. This result suggests that the concept of PC is important even in time-series data processing, and that small delay is more important than synchronicity. This may have significant implications to the conceptual fundamentals of the PC and thus of the FEP. |
| キーワード(和) | リザバーコンピューティング / 自由エネルギー原理 / 予測符号化 |
| キーワード(英) | Reservoir computing / Free-energy principle / Predictive coding |
| 資料番号 | NC2023-46 |
| 発行日 | 2024-03-04 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2024/3/11(から2日開催) |
| 開催地（和） | 東京大学 |
| 開催地（英） | The Univ. of Tokyo |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain architecture, General |
| 委員長氏名（和） | 田中 宏和(東京都市大) / 吉田 久(近畿大) |
| 委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Hisashi Yoshida(Kinki Univ.) |
| 副委員長氏名（和） | 井澤 淳(筑波大) / 植野 彰規(東京電機大) |
| 副委員長氏名（英） | Jun Izawa(Univ. of Tsukub) / Akinori Ueno(Tokyo Denki Univ.) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 田中 沙織(奈良先端大) / 前田 祐佳(筑波大) / 辛島 彰洋(東北工大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Saori Tanaka(NAIST) / Yuka Maeda(Univ. of Tsukuba) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 堀井 隆斗(阪大) / 塚原 彰彦(東京電機大) / 金子 美樹(阪大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Takato Horii(Osaka Univ.) / Akihiko Tsukahara(Tokyo Denki Univ.) / Miki Kaneko(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 時系列未来予想符号化:予測符号化に知見を得たリカレントニューラルネットワークの新しい処理方式の提案 |
| サブタイトル（和） | |
| タイトル（英） | Time-series Forecasting Coding: Proposal of A New Processing Method Developed from Predictive Coding for Recurrent Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | リザバーコンピューティング / Reservoir computing |
| キーワード(2)（和/英） | 自由エネルギー原理 / Free-energy principle |
| キーワード(3)（和/英） | 予測符号化 / Predictive coding |
| 第 1 著者 氏名（和/英） | 和久井 優斗 / Yuto Wakui |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo.) |
| 第 2 著者 氏名（和/英） | 加藤 准也 / Junya Kato |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo.) |
| 第 3 著者 氏名（和/英） | 夏秋 嶺 / Ryo Natsuaki |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo.) |
| 第 4 著者 氏名（和/英） | 廣瀬 明 / Akira Hirose |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo.) |
| 発表年月日 | 2024-03-11 |
| 資料番号 | NC2023-46 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | NC-418 |
| ページ範囲 | pp.19-24(NC), |
| ページ数 | 6 |
| 発行日 | 2024-03-04 (NC) |