| 講演名 | 2020-08-28 深層展開による勾配法の収束加速に関する理論的考察 高邉 賢史(名工大), 和田山 正(名工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年信号処理分野では深層展開と呼ばれる深層学習手法の適用例が増加している．深層展開は既存の反復アルゴリズムに学習可能パラメタを導入することで，訓練データから適切なパラメタの値を学習し，アルゴリズムの収束速度の改善といった収束性能の向上を目指すものである．本稿では，深層展開型アルゴリズムがなぜ収束加速を実現するか，という問いに答えるため，深層展開型勾配法の理論的解析を行った．その結果として，チェビシェフステップと呼ばれるチェビシェフ多項式に基づくステップサイズ列が深層展開型勾配法の学習結果をよく再現し，勾配法の収束レートを改善することを示す． |
| 抄録(英) | Deep unfolding is a promising deep learning technique whose network architecture is based on existing iterative algorithms. By unfolding the recursive structure of an iterative algorithm and embedding trainable parameters, deep unfolding can learn the parameters, which results in improving the convergence performance such as convergence speed. The goal of this paper is to give a plausible interpretation of convergence acceleration based on theoretical analyses of deep-unfolded gradient descent (DUGD). As a result, we will introduce Chebyshev steps based on Chebyshev polynomials, which well reproduce learned step sizes in DUGD and improve the convergence rate of GD. |
| キーワード(和) | 深層学習 / 深層展開 / 勾配法 / 収束レート |
| キーワード(英) | deep learning / deep unfolding / gradient descent / convergence rate |
| 資料番号 | SIP2020-35 |
| 発行日 | 2020-08-20 (SIP) |
| 研究会情報 | |
| 研究会 | SIP |
|---|---|
| 開催期間 | 2020/8/27(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 数理，学習，信号処理一般（画像・音声音響・通信・実現システム・基礎等) |
| テーマ（英） | |
| 委員長氏名（和） | 林 和則(京大) |
| 委員長氏名（英） | Kazunori Hayashi(Kyoto Univ.) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 田中 聡久(東京農工大) |
| 副委員長氏名（英） | Yukihiro Bandou(NTT) / Toshihisa Tanaka(Tokyo Univ. Agri.&Tech.) |
| 幹事氏名（和） | 小西 克巳(法政大) / 杉本 憲治郎(早大) |
| 幹事氏名（英） | Katsumi Konishi(Hosei Univ.) / Kenjiro Sugimoto(Waseda Univ.) |
| 幹事補佐氏名（和） | 田中 雄一(東京農工大) |
| 幹事補佐氏名（英） | Yuichi Tanaka(Tokyo Univ. Agri.&Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Signal Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層展開による勾配法の収束加速に関する理論的考察 |
| サブタイトル（和） | |
| タイトル（英） | Theoretical Analysis on Convergence Acceleration of Deep-Unfolded Gradient Descent |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / deep learning |
| キーワード(2)（和/英） | 深層展開 / deep unfolding |
| キーワード(3)（和/英） | 勾配法 / gradient descent |
| キーワード(4)（和/英） | 収束レート / convergence rate |
| 第 1 著者 氏名（和/英） | 高邉 賢史 / Satoshi Takabe |
| 第 1 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NITech) |
| 第 2 著者 氏名（和/英） | 和田山 正 / Tadashi Wadayama |
| 第 2 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NITech) |
| 発表年月日 | 2020-08-28 |
| 資料番号 | SIP2020-35 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | SIP-142 |
| ページ範囲 | pp.25-30(SIP), |
| ページ数 | 6 |
| 発行日 | 2020-08-20 (SIP) |