| 講演名 | 2014-11-21 圧縮センシングの絶対零度ダイナミックス(BCI/BMIとその周辺,一般) 井上 純一, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 圧縮センシングを信号ベクトルのL_r-ノルム最小化問題として解く信号復元アルゴリズムのダイナミックスを議論する.サンプリング数を「例題数」,信号ベクトルを「シナプス加重」とみなすことで,圧縮センシングの信号復元過程はある種の「例題からの学習」と考えることができる.本稿では特にr=2の場合を扱うが,このとき,事後確率最大化をエネルギー関数の勾配学習として陽に離散時間ダイナミックスで与えると,その定常解は疑似逆行列を用いて表される.これはニューラルネットワークの'AdaDne(Adaptive Linear Neuron)学習'に対応して得られる結果である.また,アルゴリズムの性能評価として,特定の測定行列,元信号に依らない信号復元ダイナミックスの「平均的振る舞い」を少数個のマクロ変数で記述する場合,測定行列要素で構成される相関行列の固有値分布が必要となるが,ここでは最も簡単な測定行列アンサンブルに対し,統計力学的解析手法に基づく計算結果を示す.この定式化により,勾配学習が定常解へ至る信号復元プロセスが解析的に記述できるため,平均自乗誤差の時間発展における学習係数やエネルギー関数に含まれるハイパーパラメータ依存性についても詳細に議論することができる. |
| 抄録(英) | We discuss dynamics of signal restoring process in compressed sensing based on the L_r-minimizer. In particular, we will focus on the dynamics at 'zero temperature', which means that we utilize the MAP estimate for the solution by gradient descent learning of the cost function (logarithm of the posterior). When we regard the number of sampling as 'the number of examples', and the original signal to be reconstructed as 'synaptic weight vector', the dynamics of compressed sensing could be treated as a sort of 'learning from examples'. In this paper, we examine the case of r=2. Then, we find that the steady state of estimated signal vector by means of the gradient descent learning is written in terms of the pseudo inverse matrix, which has been well-known in the literature of 'AdaLine (Adaptive Linear Neuron) learning' for artificial neural networks. In order to evaluate the average-case performance of reconstruction dynamics, we derive coarse-grained dynamics with respect to several macroscopic quantities. We find that the dynamics contains an eigenvalue spectrum for correlation matrix whose elements are constructed by observation matrix. For the simplest choice of ensemble of observation matrix, we calculate the explicit form of the eigenvalue distribution and discuss the learning rate and hyper-parameter dependences of the mean-square error, and we also argue the residual error as a function of sparse and sampling rates. |
| キーワード(和) | 圧縮センシング / 信号復元ダイナミックス / 学習理論 / ランダム行列理論 / 平均的性能評価 |
| キーワード(英) | Compressed sensing / Signal reconstruction dynamics / Learning theory / Random matrix theory / Average-case performance |
| 資料番号 | NC2014-29 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2014/11/14(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 圧縮センシングの絶対零度ダイナミックス(BCI/BMIとその周辺,一般) |
| サブタイトル（和） | |
| タイトル（英） | Dynamics of compressed sensing at zero temperature |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 圧縮センシング / Compressed sensing |
| キーワード(2)（和/英） | 信号復元ダイナミックス / Signal reconstruction dynamics |
| キーワード(3)（和/英） | 学習理論 / Learning theory |
| キーワード(4)（和/英） | ランダム行列理論 / Random matrix theory |
| キーワード(5)（和/英） | 平均的性能評価 / Average-case performance |
| 第 1 著者 氏名（和/英） | 井上 純一 / Jun-ichi INOUE |
| 第 1 著者 所属（和/英） | 北海道大学大学院情報科学研究科 Graduate School of Information Science and Technology, Hokkaido University |
| 発表年月日 | 2014-11-21 |
| 資料番号 | NC2014-29 |
| 巻番号（vol） | vol.114 |
| 号番号（no） | 326 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |