| 講演名 | 2018-11-23 ハイパーネットによる畳み込みニューラルネットワークの暗黙的事後分布推定 鵜飼 健矢(神戸大), 松原 崇(神戸大), 上原 邦昭(神戸大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークは複雑な表現を学習することができ，様々なタスクで高い性能を示している．しかし，学習に利用できるデータは限られているため，過学習を起こしやすい．過学習を防ぐためにニューラルネットワークの学習を正則化することは，最も重要な課題の１つである．本研究では，大規模な畳み込みニューラルネットワークを対象とし，ハイパーネットを用いて，パラメータの事後分布を暗黙的に推定することで学習を正則化する．また，パラメータの分布が学習されることから，モデル平均化により識別精度を向上させることができる．実験では提案手法による学習と推論について検討を行い，一定の正則化効果を持つことを示す． |
| 抄録(英) | Deep neural networks have a rich ability to learn complex representations and achieved remarkable results in various tasks. However, they are prone to overfitting due to the limited number of training samples; regularizing the learning process of neural networks is critical. In this paper, we propose a novel regularization method, which estimates parameters of a large convolutional neural network as implicit probabilistic distributions generated by a hypernetwork. Also, we can perform model averaging to improve the network performance. Experimental results demonstrate our regularization method outperformed the commonly-used maximum a posterior (MAP) estimation. |
| キーワード(和) | ハイパーネット / ベイズ推定 / 畳み込みニューラルネットワーク / 画像認識 |
| キーワード(英) | hypernetwork / Bayesian estimation / convolutional neural network / image recognition |
| 資料番号 | CCS2018-45 |
| 発行日 | 2018-11-15 (CCS) |
| 研究会情報 | |
| 研究会 | CCS |
|---|---|
| 開催期間 | 2018/11/22(から2日開催) |
| 開催地（和） | 神戸大学 |
| 開催地（英） | Kobe Univ. |
| テーマ（和） | 相互作用と情報伝達・情報処理，一般 |
| テーマ（英） | Interaction and Communication, etc. |
| 委員長氏名（和） | 長谷川 幹雄(東京理科大) |
| 委員長氏名（英） | Mikio Hasegawa(Tokyo Univ. of Science) |
| 副委員長氏名（和） | 成瀬 誠(NICT) / 塩川 茂樹(神奈川工科大) |
| 副委員長氏名（英） | Makoto Naruse(NICT) / Shigeki Shiokawa(Kanagawa Inst. of Tech.) |
| 幹事氏名（和） | 中野 秀洋(東京都市大) / 高野 知佐(広島市立大) |
| 幹事氏名（英） | Hidehiro Nakano(Tokyo City Univ.) / Chisa Takano(Hiroshima City Univ.) |
| 幹事補佐氏名（和） | 川喜田 佑介(神奈川工科大) / 安東 弘泰(筑波大) / 松原 崇(神戸大) / 高橋 亮(愛知工科大) |
| 幹事補佐氏名（英） | Yusuke Kawakita(Kanagawa Inst. of Tech.) / Hiroyasu Ando(Tsukuba Univ.) / Takashi Matsubara(Kobe Univ.) / Ryo Takahashi(AUT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Complex Communication Sciences |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ハイパーネットによる畳み込みニューラルネットワークの暗黙的事後分布推定 |
| サブタイトル（和） | |
| タイトル（英） | Hypernetwork-based Implicit Posterior Estimation of CNN |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ハイパーネット / hypernetwork |
| キーワード(2)（和/英） | ベイズ推定 / Bayesian estimation |
| キーワード(3)（和/英） | 畳み込みニューラルネットワーク / convolutional neural network |
| キーワード(4)（和/英） | 画像認識 / image recognition |
| 第 1 著者 氏名（和/英） | 鵜飼 健矢 / Kenya Ukai |
| 第 1 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 2 著者 氏名（和/英） | 松原 崇 / Takashi Matsubara |
| 第 2 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 3 著者 氏名（和/英） | 上原 邦昭 / Kuniaki Uehara |
| 第 3 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 発表年月日 | 2018-11-23 |
| 資料番号 | CCS2018-45 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | CCS-316 |
| ページ範囲 | pp.67-72(CCS), |
| ページ数 | 6 |
| 発行日 | 2018-11-15 (CCS) |