電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2010-11-04 15:00
[ポスター講演]Uロス関数に基づく密度推定のためのブースティング
小森 理統計数理研)・内藤貫太島根大)・江口真透統計数理研
技報オンラインサービス実施中
抄録 (和) 本論文ではブースティングによる密度推定のための方法のクラスを提案する.
単調増加で凸な実数値関数$U$から導かれる$U$ロス関数の逐次最小化に基づき,ブースティングの教師なし学習のアルゴリズムを考察する.
学習アルゴリズムは,予め用意された弱学習機(密度関数)の集合の中から逐次的に,最適な弱学習機を前ステップの密度推定量と凸結合させることで構成される.
このクラスの中で適切な密度推定を導く生成関数$U$を選択したい.
特に,$U$として$\beta$のべき指数関数を考えると,$\beta=1$のとき$U$ロス関数の最小化は$L_2$ロスの最小化と同値となる.また,$\beta=0$の極限を考えると,$U$ロス関数は負の対数尤度関数となる.
それゆえ,今回の提案手法は$L_2$ロスや尤度関数を含んだより柔軟な推定法と言える.
学習アルゴリズムの更新式において更新された$U$ロス関数を2つの項に分解されることを示して,最適な弱学習機の過剰学習を防ぐ正則化の働きがあることを明らかにする.更にこのブースティングで得られた密度関数の非漸近的な誤差限界の一般公式を導出する.最後に,これらの得られた結果を数値的な実験によって確認する. 
(英) In this paper, we propose a class of methods for density estimation by boosting technique. By the iterative minimization of the $U$ loss function, which derives from a monotonically increasing convex function, we consider a boosting algorithm for the unsupervised learning. In the boosting algorithm, the weak learners in a predetermined set of density functions are combined convexly to produce an optimal density estimator. We want to choose the best $U$ function in the setting above.

If we consider $U$ as $\beta$ power function, then the $U$ loss function is equivalent to the $L_2$ norm; moreover, we find see that the $U$ loss function approaches the negative likelihood as $\beta$ goes to 0. Hence, our proposed method is very general in these respects. We clarify that the proposed algorithm includes a penalty term that prevents over-learning or overfitting to the data, by investigating the updated $U$ loss function that can be divided into two parts. Furthermore, we derive a formula that shows a non-asymptotic bound for the density estimator. Finally, we demonstrate the utility of our method by simulation studies.
キーワード (和) ダイバージェンス / ブースティング / 密度推定 / / / / /  
(英) Divergence / Boosting / Density estimation / / / / /  
文献情報 信学技報, vol. 110, no. 265, IBISML2010-69, pp. 73-82, 2010年11月.
資料番号 IBISML2010-69 
発行日 2010-10-28 (IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 IBISML  
開催期間 2010-11-04 - 2010-11-06 
開催地(和) 東大生産研 
開催地(英) IIS, Univ. of Tokyo 
テーマ(和) IBIS 2010 (情報論的学習理論ワークショップ) 
テーマ(英) IBIS 2010 (Workshop on Information-based Induction Sciences) 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2010-11-IBISML 
本文の言語 日本語 
タイトル(和) Uロス関数に基づく密度推定のためのブースティング 
サブタイトル(和)  
タイトル(英) Boosting for density estimation based on U loss function 
サブタイトル(英)  
キーワード(1)(和/英) ダイバージェンス / Divergence  
キーワード(2)(和/英) ブースティング / Boosting  
キーワード(3)(和/英) 密度推定 / Density estimation  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 小森 理 / Osamu Komori / コモリ オサム
第1著者 所属(和/英) 統計数理研究所 (略称: 統計数理研)
The Institute of Statistical Mathematics (略称: ISM)
第2著者 氏名(和/英/ヨミ) 内藤 貫太 / Kanta Naito / ナイトウ カンタ
第2著者 所属(和/英) 島根大学 (略称: 島根大)
Shimane University (略称: S.U.)
第3著者 氏名(和/英/ヨミ) 江口 真透 / Shinto Eguchi / エグチ シントウ
第3著者 所属(和/英) 統計数理研究所 (略称: 統計数理研)
Shimane University (略称: ISM)
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2010-11-04 15:00:00 
発表時間 180 
申込先研究会 IBISML 
資料番号 IEICE-IBISML2010-69 
巻番号(vol) IEICE-110 
号番号(no) no.265 
ページ範囲 pp.73-82 
ページ数 IEICE-10 
発行日 IEICE-IBISML-2010-10-28 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会