| 講演名 | 2015-06-23 セーフスクリーニングを用いた組み合わせ効果を持つスパースモデルの効率的学習 中川 和也(名工大), 鈴村 真矢(名工大), 烏山 昌幸(名工大), 竹内 一郎(名工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 多くの機械学習のタスクにおいて, 各特徴間の相互作用効果を考慮することが重要であると考えられる. しかし全ての相互作用を考えることは, 組み合わせ総数の指数的増加を引き起こしてしまうため取り扱いが困難である. 本論文では, 高次相互作用モデルをLASSO により学習することでスパースなモデルを得ることを考える. LASSO による学習では, そのようなスパース性を持つため学習前に不要な特徴を同定することが重要となる. 近年提案されたsafe-screening と呼ばれる手法を用いることでそのような特徴を事前に同定することができるが, 高次相互作用モデルにおいてはすべての相互作用に対してscreening rule を適用する必要があるため容易ではない. そこで本論文では, すべての相互作用を木構造として捉え, 木の探索によってsafe screening を行う際のsafe pruning rule を提案する. そして既存手法との計算時間の比較を行うことで, 提案法の有用性を示す. |
| 抄録(英) | In a variety of machine learning tasks, it has been desired to incorporate high-order interaction effects of multiple covariates. However, for recent applications with a large number covariates, it is highly challenging to identify important high-order interaction features since the number of possible candidates would be extremely large. In this paper, we propose an efficient algorithm for LASSO-based sparse learning of such high-order interaction models. The basic strategy is to use a recently introduced safe feature screening technique by which a subset of non-active features can be identified and they can be screened-out prior to LASSO training. However, applying safe feature screening to each of the extremely large number of high-order interaction features would be computationally infeasible. Our key idea for solving this computational issue is to exploit the underlying tree structure among high-order interaction features. Specifically, we introduce a set of pruning conditions of the tree such that, if one of the conditions is satis ed in a certain node, then all the high-order interaction features corresponding to its descendant nodes can be guaranteed to be non-active at the optimal solution, and they can be screened-out prior to LASSO training. |
| キーワード(和) | 高次相互作用モデル / LASSO / スパース学習 / セーフスクリーニング |
| キーワード(英) | high-order interaction model / LASSO / sparse learning / safe-screening |
| 資料番号 | IBISML2015-10 |
| 発行日 | 2015-06-16 (IBISML) |
| 研究会情報 | |
| 研究会 | NC / IPSJ-BIO / IBISML / IPSJ-MPS |
|---|---|
| 開催期間 | 2015/6/23(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | 機械学習によるバイオデータマインニング、一般 |
| テーマ（英） | Machine Learning Approach to Biodata Mining, and General |
| 委員長氏名（和） | 斎藤 利通(法政大) / 関嶋 政和(東工大) / 鷲尾 隆(阪大) / 庄野 逸(電通大) |
| 委員長氏名（英） | Toshimichi Saito(Hosei Univ.) / Masakazu Sekijima(東工大) / Takashi Washio(Osaka Univ.) / Hayaru Shouno(電通大) |
| 副委員長氏名（和） | 佐藤 茂雄(東北大) / / 福水 健次(統計数理研) / 杉山 将(東工大) |
| 副委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / / Kenji Fukumizu(ISM) / Masashi Sugiyama(Tokyo Inst. of Tech.) |
| 幹事氏名（和） | 堀尾 恵一(九工大) / 田中 宏喜(京都産大) / 大羽 成征(京大) / 瀬々 潤(お茶の水女子大) / 吉本 潤一郎(OIST) / 松井 知子(統計数理研) / 大羽 成征(京大) / 小野 智司(鹿児島大) / 但馬 康宏(岡山県立大) / 林田 守広(京大) / 岩田 具治(NTT) / 吉田 哲也(北大) / 松田 健(静岡理工科大) |
| 幹事氏名（英） | Keiichi Horio(Kyushu Inst. of Tech.) / Hiroki Tanaka(Kyoto Sangyo Univ.) / Shigeyuki Oba(京大) / Jun Sese(お茶の水女子大) / Junichiro Yoshimoto(OIST) / Tomoko Matsui(ISM) / Shigeyuki Ohba(Kyoto Univ.) / Satoshi Ono(鹿児島大) / Yasuhiro Tajima(岡山県立大) / Morihiro Hayashida(京大) / Tomoharu Iwata(NTT) / Tetsuya Yoshida(北大) / Takeshi Matsuda(静岡理工科大) |
| 幹事補佐氏名（和） | 神原 裕行(東工大) / 秋間 学尚(東北大) / / 津田 宏治(東大) / 鹿島 久嗣(京大) |
| 幹事補佐氏名（英） | Hiroyuki Kanbara(Tokyo Inst. of Tech.) / Hisanao Akima(Tohoku Univ.) / / Koji Tsuda(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Special Interest Group on Bioinformatics and Genomics / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | セーフスクリーニングを用いた組み合わせ効果を持つスパースモデルの効率的学習 |
| サブタイトル（和） | |
| タイトル（英） | Efficient sparse learning for combinatorial model by using safe screening approach |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 高次相互作用モデル / high-order interaction model |
| キーワード(2)（和/英） | LASSO / LASSO |
| キーワード(3)（和/英） | スパース学習 / sparse learning |
| キーワード(4)（和/英） | セーフスクリーニング / safe-screening |
| 第 1 著者 氏名（和/英） | 中川 和也 / Kazuya Nakagawa |
| 第 1 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 第 2 著者 氏名（和/英） | 鈴村 真矢 / Shinya Suzumura |
| 第 2 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 第 3 著者 氏名（和/英） | 烏山 昌幸 / Masayuki Karasuyama |
| 第 3 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 第 4 著者 氏名（和/英） | 竹内 一郎 / Ichiro Takeuchi |
| 第 4 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 発表年月日 | 2015-06-23 |
| 資料番号 | IBISML2015-10 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | IBISML-112 |
| ページ範囲 | pp.63-68(IBISML), |
| ページ数 | 6 |
| 発行日 | 2015-06-16 (IBISML) |