| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-11-07 15:30 エントロピー最小化によるRestricted Boltzmann Machineの学習の正則化 ○木脇太一・牧野貴樹・合原一幸（東大）  IBISML2012-48 |
|
| 抄録 | （和） | Restricted Boltzmann Machine (RBM)の過学習問題を緩和するために隠れ変数のエントロピーを正規化項として用いる学習手法を提案する．従来のRBMには不要な複雑性を取り除くための機構が欠如していたため，データの複雑性に関係なく必要以上に複雑な表現を学習してしまう，いわゆる過学習が問題となっていた．本手法ではデータに合わせて最適なRBMの複雑性が動的に調節される，いわゆるモデル選択をRBM上に実現する．本稿ではこの正則化項に基づく学習アルゴリズムを統計力学の手法を用いて導出する． |
| （英） | We propose a learning scheme for Restricted Boltzmann Machines (RBMs) that suppresses over-fitting, where the entropy of the hidden variables is used as a regularization term. Since conventional RBMs lack mechanisms to reduce their redundant complexity, they tend to suffer from over-fitting, that is, learning excessively complex expressions regardless of the complexity of the data. In our approach, the complexity of RBMs is dynamically adjusted to be right for expressing the given data. This can be regarded as an implementation of so-called model selection on RBMs. In this paper, we analytically derived a learning algorithm based on the regularization term using techniques of statistical mechanics. | |
| キーワード | （和） | 教師なし学習 / 情報統計力学 / RBM / エントロピー最小化 / / / / |
| （英） | Unsupervised learning / Statistical-mechanical informatics / Restricted Boltzmann Machines / Entropy minimization / / / / | |
| 文献情報 | 信学技報, vol. 112, no. 279, IBISML2012-48, pp. 103-106, 2012年11月. | |
| 資料番号 | IBISML2012-48 | |
| 発行日 | 2012-10-31 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2012-48 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2012-11-07 - 2012-11-09 |
| 開催地（和） | 筑波大学 東京キャンパス文京校舎 |
| 開催地（英） | Bunkyo School Building, Tokyo Campus, Tsukuba Univ. |
| テーマ（和） | 第15回情報論的学習理論ワークショップ |
| テーマ（英） | the 15th Information-Based Induction Sciences Workshop |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2012-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | エントロピー最小化によるRestricted Boltzmann Machineの学習の正則化 |
| サブタイトル（和） | |
| タイトル（英） | Regularization of Restricted Boltzmann Machine Learning through entropy minimization |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 教師なし学習 / Unsupervised learning |
| キーワード(2)（和/英） | 情報統計力学 / Statistical-mechanical informatics |
| キーワード(3)（和/英） | RBM / Restricted Boltzmann Machines |
| キーワード(4)（和/英） | エントロピー最小化 / Entropy minimization |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 木脇 太一 / Taichi Kiwaki / キワキ タイチ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) University Of Tokyo (略称： Univ. Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 牧野 貴樹 / Takaki Makino / マキノ タカキ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) University Of Tokyo (略称： Univ. Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 合原 一幸 / Kazuyuki Aihara / アイハラ カズユキ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) University Of Tokyo (略称： Univ. Tokyo) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-11-07 15:30:00 |
| 発表時間 | 150分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2012-48 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.279 |
| ページ範囲 | pp.103-106 |
| ページ数 | 4 |
| 発行日 | 2012-10-31 (IBISML) |
[研究会発表申込システムのトップページに戻る]