| 講演名 | 2012-11-07 エントロピー最小化によるRestricted Boltzmann Machineの学習の正則化(第15回情報論的学習理論ワークショップ) 木脇 太一, 牧野 貴樹, 合原 一幸, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Restricted Boltzmann Machine(RBM)の過学習問題を緩和するために隠れ変数のエントロピーを正規化項として用いる学習手法を提案する.従来のRBMには不要な複雑性を取り除くための機構が欠如していたため,データの複雑性に関係なく必要以上に複雑な表現を学習してしまう,いわゆる過学習が問題となっていた.本手法ではデータに合わせて最適なRBMの複雑性が動的に調節される,いわゆるモデル選択をRBM上に実現する.本稿ではこの正則化項に基づく学習アルゴリズムを統計力学の手法を用いて導出する. |
| 抄録(英) | We propose a learning scheme for Restricted Boltzmann Machines (RBMs) that suppresses over-fitting, where the entropy of the hidden variables is used as a regularization term. Since conventional RBMs lack mechanisms to reduce their redundant complexity, they tend to suffer from over-fitting, that is, learning excessively complex expressions regardless of the complexity of the data. In our approach, the complexity of RBMs is dynamically adjusted to be right for expressing the given data. This can be regarded as an implementation of so-called model selection on RBMs. In this paper, we analytically derived a learning algorithm based on the regularization term using techniques of statistical mechanics. |
| キーワード(和) | 教師なし学習 / 情報統計力学 / RBM / エントロピー最小化 |
| キーワード(英) | Unsupervised learning / Statistical-mechanical informatics / Restricted Boltzmann Machines / Entropy minimization |
| 資料番号 | IBISML2012-48 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2012/10/31(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | エントロピー最小化によるRestricted Boltzmann Machineの学習の正則化(第15回情報論的学習理論ワークショップ) |
| サブタイトル（和） | |
| タイトル（英） | Regularization of Restricted Boltzmann Machine Learning through Entropy Minimization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 教師なし学習 / Unsupervised learning |
| キーワード(2)（和/英） | 情報統計力学 / Statistical-mechanical informatics |
| キーワード(3)（和/英） | RBM / Restricted Boltzmann Machines |
| キーワード(4)（和/英） | エントロピー最小化 / Entropy minimization |
| 第 1 著者 氏名（和/英） | 木脇 太一 / Taichi KIWAKI |
| 第 1 著者 所属（和/英） | 東京大学大学院工学系研究科 Graduated School of Engineering, The University of Tokyo |
| 第 2 著者 氏名（和/英） | 牧野 貴樹 / Takaki MAKINO |
| 第 2 著者 所属（和/英） | 東京大学生産技術研究所 Institute of Industrial Science, The University of Tokyo |
| 第 3 著者 氏名（和/英） | 合原 一幸 / Kazuyuki AIHARA |
| 第 3 著者 所属（和/英） | 東京大学生産技術研究所 Institute of Industrial Science, The University of Tokyo |
| 発表年月日 | 2012-11-07 |
| 資料番号 | IBISML2012-48 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 279 |
| ページ範囲 | pp.- |
| ページ数 | 4 |
| 発行日 | |