| 講演名 | 2014-03-14 ディープラーニング事前学習の効果に関するユニット出力可視化を通した実験的考察(一般セッション,パターン認識・メディア理解における組み合わせと統合,文化の振興と教育) 落合 翼, 渡辺 秀行, 片桐 滋, 大崎 美穂, 松田 繁樹, 堀 智織, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 注目を集める強力な識別器,ディープニューラルネットワーク(DNN: Deep Neural Networks)の能力を明らかにすることを目指し,その事前学習の効果に着目して実験的な分析を行った.分析は,制約付きボルツマンマシン(RBM: Restricted Boltzmann Machine)によって事前学習されたネットワークをディープビリーフネットワークあるいはディープオートエンコーダと見倣して動作させ,それが持つ連想記憶器としての機能とネットワーク内部における入力標本の特徴表現の能力を,人物顔画像パターンを用いたネットワーク動作の視覚化実験を通して行った.その結果,RBMに基づく事前学習が,ネットワーク内部に学習標本の情報を記憶し,かつネットワーク内の各層において入力標本に関するなんらかの特徴表現を実現していることが確かめられた. |
| 抄録(英) | To clarify the capability of recent powerful classifier concept, Deep Neural Networks (DNN), we experimentally investigate effects of the pre-training used to initialize DNN. A deep neural network is first pre-trained using Restricted Boltzmann Machine (RBM), then it is run as an embodiment of Deep Belief Networks, which basically possess associative memory function, and a Deep Autoencoder, which is expected to realize feature representation for an input pattern over the inner layers of network. Analyses are conducted through the visualization of network unit outputs. Based on the experiments, we reveal that the RBM-based pre-training successfully makes networks memorize some information of training patterns and also represent pattern features inside the networks. |
| キーワード(和) | ディープラーニング / 事前学習 / ディープニューラルネットワーク |
| キーワード(英) | Deep Learning / Pre-training / Visualization of unit outputs / Deep Neural Networks |
| 資料番号 | PRMU2013-210 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2014/3/6(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ディープラーニング事前学習の効果に関するユニット出力可視化を通した実験的考察(一般セッション,パターン認識・メディア理解における組み合わせと統合,文化の振興と教育) |
| サブタイトル（和） | |
| タイトル（英） | Experimental Study on Effect of Pre-training in Deep Learning through Visualization of Unit Outputs |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ディープラーニング / Deep Learning |
| キーワード(2)（和/英） | 事前学習 / Pre-training |
| キーワード(3)（和/英） | ディープニューラルネットワーク / Visualization of unit outputs |
| 第 1 著者 氏名（和/英） | 落合 翼 / Tsubasa OCHIAI |
| 第 1 著者 所属（和/英） | 同志社大学:情報通信研究機構 Doshisha University |
| 第 2 著者 氏名（和/英） | 渡辺 秀行 / Hideyuki WATANABE |
| 第 2 著者 所属（和/英） | 情報通信研究機構:同志社大学 NICT:Doshisha University |
| 第 3 著者 氏名（和/英） | 片桐 滋 / Shigeru KATAGIRI |
| 第 3 著者 所属（和/英） | 同志社大学 Doshisha University |
| 第 4 著者 氏名（和/英） | 大崎 美穂 / Miho OHSAKI |
| 第 4 著者 所属（和/英） | 同志社大学 Doshisha University |
| 第 5 著者 氏名（和/英） | 松田 繁樹 / Shigeki MATSUDA |
| 第 5 著者 所属（和/英） | 情報通信研究機構 NICT |
| 第 6 著者 氏名（和/英） | 堀 智織 / Chiori HORI |
| 第 6 著者 所属（和/英） | 情報通信研究機構 NICT |
| 発表年月日 | 2014-03-14 |
| 資料番号 | PRMU2013-210 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | 493 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |