| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2010-11-04 15:00 ［ポスター講演］Uロス関数に基づく密度推定のためのブースティング ○小森 理（統計数理研）・内藤貫太（島根大）・江口真透（統計数理研）  IBISML2010-69 |
|
| 抄録 | （和） | 本論文ではブースティングによる密度推定のための方法のクラスを提案する． 単調増加で凸な実数値関数$U$から導かれる$U$ロス関数の逐次最小化に基づき，ブースティングの教師なし学習のアルゴリズムを考察する． 学習アルゴリズムは，予め用意された弱学習機（密度関数）の集合の中から逐次的に，最適な弱学習機を前ステップの密度推定量と凸結合させることで構成される． このクラスの中で適切な密度推定を導く生成関数$U$を選択したい． 特に，$U$として$\beta$のべき指数関数を考えると，$\beta=1$のとき$U$ロス関数の最小化は$L_2$ロスの最小化と同値となる．また，$\beta=0$の極限を考えると，$U$ロス関数は負の対数尤度関数となる． それゆえ，今回の提案手法は$L_2$ロスや尤度関数を含んだより柔軟な推定法と言える． 学習アルゴリズムの更新式において更新された$U$ロス関数を2つの項に分解されることを示して，最適な弱学習機の過剰学習を防ぐ正則化の働きがあることを明らかにする．更にこのブースティングで得られた密度関数の非漸近的な誤差限界の一般公式を導出する．最後に，これらの得られた結果を数値的な実験によって確認する． |
| （英） | In this paper, we propose a class of methods for density estimation by boosting technique. By the iterative minimization of the $U$ loss function, which derives from a monotonically increasing convex function, we consider a boosting algorithm for the unsupervised learning. In the boosting algorithm, the weak learners in a predetermined set of density functions are combined convexly to produce an optimal density estimator. We want to choose the best $U$ function in the setting above. If we consider $U$ as $\beta$ power function, then the $U$ loss function is equivalent to the $L_2$ norm; moreover, we find see that the $U$ loss function approaches the negative likelihood as $\beta$ goes to 0. Hence, our proposed method is very general in these respects. We clarify that the proposed algorithm includes a penalty term that prevents over-learning or overfitting to the data, by investigating the updated $U$ loss function that can be divided into two parts. Furthermore, we derive a formula that shows a non-asymptotic bound for the density estimator. Finally, we demonstrate the utility of our method by simulation studies. |
|
| キーワード | （和） | ダイバージェンス / ブースティング / 密度推定 / / / / / |
| （英） | Divergence / Boosting / Density estimation / / / / / | |
| 文献情報 | 信学技報, vol. 110, no. 265, IBISML2010-69, pp. 73-82, 2010年11月. | |
| 資料番号 | IBISML2010-69 | |
| 発行日 | 2010-10-28 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2010-69 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2010-11-04 - 2010-11-06 |
| 開催地（和） | 東大生産研 |
| 開催地（英） | IIS, Univ. of Tokyo |
| テーマ（和） | IBIS 2010 (情報論的学習理論ワークショップ) |
| テーマ（英） | IBIS 2010 (Workshop on Information-based Induction Sciences) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2010-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | Uロス関数に基づく密度推定のためのブースティング |
| サブタイトル（和） | |
| タイトル（英） | Boosting for density estimation based on U loss function |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ダイバージェンス / Divergence |
| キーワード(2)（和/英） | ブースティング / Boosting |
| キーワード(3)（和/英） | 密度推定 / Density estimation |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 小森 理 / Osamu Komori / コモリ オサム |
| 第1著者 所属（和/英） | 統計数理研究所 (略称： 統計数理研) The Institute of Statistical Mathematics (略称： ISM) |
| 第2著者 氏名（和/英/ヨミ） | 内藤 貫太 / Kanta Naito / ナイトウ カンタ |
| 第2著者 所属（和/英） | 島根大学 (略称： 島根大) Shimane University (略称： S.U.) |
| 第3著者 氏名（和/英/ヨミ） | 江口 真透 / Shinto Eguchi / エグチ シントウ |
| 第3著者 所属（和/英） | 統計数理研究所 (略称： 統計数理研) Shimane University (略称： ISM) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2010-11-04 15:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2010-69 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | no.265 |
| ページ範囲 | pp.73-82 |
| ページ数 | 10 |
| 発行日 | 2010-10-28 (IBISML) |
[研究会発表申込システムのトップページに戻る]