講演抄録/キーワード |
講演名 |
2015-06-23 14:15
セーフスクリーニングを用いた組み合わせ効果を持つスパースモデルの効率的学習 ○中川和也・鈴村真矢・烏山昌幸・竹内一郎(名工大) IBISML2015-10 |
抄録 |
(和) |
多くの機械学習のタスクにおいて, 各特徴間の相互作用効果を考慮することが重要であると考えられる.
しかし全ての相互作用を考えることは, 組み合わせ総数の指数的増加を引き起こしてしまうため取り扱いが困難である.
本論文では, 高次相互作用モデルをLASSO により学習することでスパースなモデルを得ることを考える.
LASSO による学習では, そのようなスパース性を持つため学習前に不要な特徴を同定することが重要となる.
近年提案されたsafe-screening と呼ばれる手法を用いることでそのような特徴を事前に同定することができるが, 高次相互作用モデルにおいてはすべての相互作用に対してscreening rule を適用する必要があるため容易ではない.
そこで本論文では, すべての相互作用を木構造として捉え, 木の探索によってsafe screening を行う際のsafe pruning rule を提案する.
そして既存手法との計算時間の比較を行うことで, 提案法の有用性を示す. |
(英) |
In a variety of machine learning tasks, it has been desired to incorporate high-order interaction effects of multiple covariates. However, for recent applications with a large number covariates, it is highly challenging to identify important high-order interaction features since the number of possible candidates would be extremely large.
In this paper, we propose an efficient algorithm for LASSO-based sparse learning of such high-order interaction models.
The basic strategy is to use a recently introduced safe feature screening technique by which a subset of non-active features can be identified and they can be screened-out prior to LASSO training.
However, applying safe feature screening to each of the extremely large number of high-order interaction features would be computationally infeasible.
Our key idea for solving this computational issue is to exploit the underlying tree structure among high-order interaction features.
Specifically, we introduce a set of pruning conditions of the tree such that, if one of the conditions is satised in a certain node, then all the high-order interaction features corresponding to its descendant nodes can be guaranteed to be non-active at the optimal solution, and they can be screened-out prior to LASSO training. |
キーワード |
(和) |
高次相互作用モデル / LASSO / スパース学習 / セーフスクリーニング / / / / |
(英) |
high-order interaction model / LASSO / sparse learning / safe-screening / / / / |
文献情報 |
信学技報, vol. 115, no. 112, IBISML2015-10, pp. 63-68, 2015年6月. |
資料番号 |
IBISML2015-10 |
発行日 |
2015-06-16 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2015-10 |
|