講演名	2015-03-05 ノンパラメトリック直交回帰におけるスケーリングを導入したSoft-thresholding(統計数理・機械学習・データマイニング・一般) 萩原 克幸,
PDFダウンロードページ	PDFダウンロードページへ
抄録(和)	本研究では,ノンパラメトリック直交回帰の問題において,soft-thresholding推定量にスケーリングを導入した場合の効果を調べた.直交回帰の下でのLARS (least angle regression)はsoft-thresholding推定量を与えることが知られており,ここではLARSの下でのsoft-thresholding推定量を考える.まず, LARSの下でのsoft-thresholding推定量にスケーリングを導入した場合のリスクを導出した.次に,そのリスクを最小化する最適なスケーリング値が,nをサンプル数として,1+O(√)で与えられることを示した.この結果の重要な点は,最適なスケーリング値が1より大きいことにある.このことは,soft-thresholdingを拡大させることにより,ナイーブなsoft-thresholdingおよびその縮小推定であるElastic netと比較して,リスク(汎化誤差)が改善されることを意味する.さらに,ナイーブな推定量とスケーリングを導入した推定量でのリスクの差はO(log n/n)であることを示した.
抄録(英)	In this paper, we introduced a positive scaling for soft-thresholding estimators in a non-parametric orthogonal regression problem. Under LARS (least angle regression) based soft-thresholding, we first gave a risk (generalization error) for a fixed scaling. We then showed that an optimal scaling value that minimizes the risk under a sparseness condition is 1+O(√), where n is the number of samples. The important point is that the optimal value of scaling is larger than one. This implies that expanding soft-thresholding estimator shows a better generalization performance compared to a naive soft-thresholding and elastic net that yields shrinkage of soft-thresholding. This also implies that a risk of LARS-oriented soft-thresholding with the optimal scaling is smaller than without scaling, for which we showed their difference is O(log n/n).
キーワード(和)	ノンパラメトリック直交回帰 / soft-thresholding / shrinkage / scaling / LASSO
キーワード(英)	non-parametric orthogonal regression / soft-thresholding / shrinkage / scaling / LASSO
資料番号	IBISML2014-88
発行日

研究会情報
研究会	IBISML
開催期間	2015/2/26(から1日開催)
開催地（和）
開催地（英）
テーマ（和）
テーマ（英）
委員長氏名（和）
委員長氏名（英）
副委員長氏名（和）
副委員長氏名（英）
幹事氏名（和）
幹事氏名（英）
幹事補佐氏名（和）
幹事補佐氏名（英）

講演論文情報詳細
申込み研究会	Information-Based Induction Sciences and Machine Learning (IBISML)
本文の言語	ENG
タイトル（和）	ノンパラメトリック直交回帰におけるスケーリングを導入したSoft-thresholding(統計数理・機械学習・データマイニング・一般)
サブタイトル（和）
タイトル（英）	Soft-thresholding with scaling for non-parametric orthogonal regression problem
サブタイトル（和）
キーワード(1)（和/英）	ノンパラメトリック直交回帰 / non-parametric orthogonal regression
キーワード(2)（和/英）	soft-thresholding / soft-thresholding
キーワード(3)（和/英）	shrinkage / shrinkage
キーワード(4)（和/英）	scaling / scaling
キーワード(5)（和/英）	LASSO / LASSO
第 1 著者 氏名（和/英）	萩原 克幸 / Katsuyuki HAGIWARA
第 1 著者 所属（和/英）	三重大学教育学部 Faculty of Education, Mie University
発表年月日	2015-03-05
資料番号	IBISML2014-88
巻番号（vol）	vol.114
号番号（no）	502
ページ範囲	pp.-
ページ数	8
発行日