| 講演名 | 2017-05-26 学習誤差の順逆並行伝播によるオートエンコーダ学習 大濱 吉紘(豊田中研), 吉村 貴克(豊田中研), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 中間層の神経素子数を縮約した多層神経回路を用いて，データセットの本質的な情報表現を抽出するオートエンコーダ（AE）が知られている．一般にAEは，誤差逆伝播学習則により，入出力が一致するように結合荷重を適応させると中間層に情報表現が獲得される一方，階層数を増大させると膨大な繰り返し学習が必要となる．学習の高速化のために，学習則の調整法や，伝播誤差消失を緩和する神経素子が既に提案されているが，本報告では並列計算を想定してAEの入出力両側から学習誤差を並行伝播し，伝播誤差消失を緩和する方法を提案する．半円軌跡の中心角抽出及び手書き数字画像の特徴抽出課題の数値実験により，提案法の基礎特性を検討する． |
| 抄録(英) | Auto-encoder is known as a hourglass neural network for acquiring essential representations from multi-dimensional data set. Learning identity mapping by the back-propagation rule, the representations will be acquired in general. In order to reduce iterations for updating neural weights, many automated parameter adjustment method for the learning rule and neural activation functions for avoiding vanishing gradients have been proposed. In this work, we introduce that propagating errors both from input and output layer in parallel could decrease the iterations by half. Feasibility of this approach is confirmed by following two simple computer simulations. |
| キーワード(和) | オートエンコーダ / 表現学習 / 恒等写像 / 誤差逆伝播学習 / 誤差順伝播学習 |
| キーワード(英) | Auto-Encoder / Representation Learning / Identity Mapping / Back-propagation Rule / Forward-propagation Rule |
| 資料番号 | NC2017-3 |
| 発行日 | 2017-05-19 (NC) |
| 研究会情報 | |
| 研究会 | MBE / NC |
|---|---|
| 開催期間 | 2017/5/26(から1日開催) |
| 開催地（和） | 富山県立大学 |
| 開催地（英） | Toyama Prefectural Univ. |
| テーマ（和） | ME, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 福岡 豊(工学院大) / 萩原 将文(慶大) |
| 委員長氏名（英） | Yutaka Fukuoka(Kogakuin Univ.) / Masafumi Hagiwara(Keio Univ.) |
| 副委員長氏名（和） | 中島 一樹(富山大) / 平田 豊(中部大) |
| 副委員長氏名（英） | Kazuki Nakajima(Univ. of Toyama) / Yutaka Hirata(Chubu Univ.) |
| 幹事氏名（和） | 田中 久弥(工学院大) / 高野 博史(富山県立大) / 青西 亨(東工大) / 吉川 大弘(名古屋大) |
| 幹事氏名（英） | Hisaya Tanaka(Kogakuin Univ.) / Hiroshi Takano(Toyama Pref. Univ.) / Toru Aonishi(Tokyo Inst. of Tech.) / Tomohiro Yoshikawa(Nagoya Univ.) |
| 幹事補佐氏名（和） | 堀江 亮太(芝浦工大) / 金 主賢(富山大) / 篠沢 佳久(慶大) / 稲垣 圭一郎(中部大) |
| 幹事補佐氏名（英） | Ryota Horie(Shibaura Inst. of Tech.) / Kim Juhyon(Univ. of Toyama) / Yoshihisa Shinozawa(Keio Univ.) / Keiichiro Inagaki(Chubu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 学習誤差の順逆並行伝播によるオートエンコーダ学習 |
| サブタイトル（和） | |
| タイトル（英） | A Parallel Forward-Backward Propagation Learning Rule for Auto-Encoder |
| サブタイトル（和） | |
| キーワード(1)（和/英） | オートエンコーダ / Auto-Encoder |
| キーワード(2)（和/英） | 表現学習 / Representation Learning |
| キーワード(3)（和/英） | 恒等写像 / Identity Mapping |
| キーワード(4)（和/英） | 誤差逆伝播学習 / Back-propagation Rule |
| キーワード(5)（和/英） | 誤差順伝播学習 / Forward-propagation Rule |
| 第 1 著者 氏名（和/英） | 大濱 吉紘 / Yoshihiro Ohama |
| 第 1 著者 所属（和/英） | 株式会社豊田中央研究所(略称：豊田中研) Toyota Central Research and Development Labs., Inc.(略称：Toyota CRDL) |
| 第 2 著者 氏名（和/英） | 吉村 貴克 / Takayoshi Yoshimura |
| 第 2 著者 所属（和/英） | 株式会社豊田中央研究所(略称：豊田中研) Toyota Central Research and Development Labs., Inc.(略称：Toyota CRDL) |
| 発表年月日 | 2017-05-26 |
| 資料番号 | NC2017-3 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | NC-64 |
| ページ範囲 | pp.13-18(NC), |
| ページ数 | 6 |
| 発行日 | 2017-05-19 (NC) |