| 講演名 | 2016-07-06 L0ノルム最適化手法に基づく高次元データの判別分析 伊藤 紀基(電通大), 佐藤 匡(電通大), 樺島 祥介(東工大), 宮脇 陽一(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 計測技術の発達により，比較的容易に高次元データを得ることが可能になってきた．一方で，データが持つ高い次元に対して，データの性質を記述するのに十分なサンプル数が取れないという状況が，実験のコストをはじめとする様々な要因でしばしば生じうる．このような場合においてもデータの性質を信頼度高く記述しモデル化するためには，高次元データの中から真に重要な特徴量のみを抽出する特徴量選択のプロセスが極めて重要になる．高次元データからの適切な特徴量選択手法の実現を目指し，我々は選択する特徴量の個数を陽に制御するL0ノルム最適化に基づく反復アルゴリズムに着目する．L0ノルム最適化は，主として圧縮センシングの分野で研究が進んできているが，判別問題へと適用した例はこれまで明示的には提案されていない．そこで本研究では，iterative hard thresholding (IHT) に基づくL0ノルム最適化手法を判別問題に適用する方法を提案し，その判別精度と特徴量選択の性能を評価した．シミュレーションの結果，提案手法は非スパース判別モデルであるsupport vector machine (SVM)よりも判別精度が高く，スパース判別モデルであるsparse logistic regression (SLR)よりも特徴量選択の精度が高い場合があることを確認した．これらの結果は，提案手法が高次元データからの効率的な特徴量抽出に貢献できる可能性があることを示唆している． |
| 抄録(英) | Advances in sensing devices allow us to measure high-dimensional data easily, but the sample size is often limited because of various reasons such as costs and duration to perform experiments. In such circumstances, feature selection plays a vital role to establish reliable models to describe characteristics of the high-dimensional data. For this purpose, we study iterative algorithms for L0-norm optimization that controls a number of features to be selected. The algorithms have been actively developed for compressed sensing, but not for classification problems explicitly. In this paper, we formulated a classification model with L0-norm regularization based on iterative hard thresholding (IHT) algorithm, quantified its performance in terms of accuracy in classification and feature selection, and compared the performance with that of representative models of a non-sparse classifier (support vector machine) and a sparse classifier (sparse logistic regression). Results showed that the IHT-based classifier outperformed the non-sparse classifier in terms of classification accuracy and did a sparse classifier in terms of feature selection accuracy for certain noise conditions. These results suggest that the proposed model serves an effective means to extract important features embedded in the high-dimensional data. |
| キーワード(和) | 特徴量選択 / L0ノルム最適化 / iterative hard thresholding / 高次元データ / スパースモデリング |
| キーワード(英) | feature selection / L0-norm optimization / iterative hard thresholding / high-dimensional data / sparse modeling |
| 資料番号 | NC2016-14 |
| 発行日 | 2016-06-28 (NC) |
| 研究会情報 | |
| 研究会 | NC / IPSJ-BIO / IBISML / IPSJ-MPS |
|---|---|
| 開催期間 | 2016/7/4(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | 機械学習によるバイオデータマインニング、一般 |
| テーマ（英） | Machine Learning Approach to Biodata Mining, and General |
| 委員長氏名（和） | 佐藤 茂雄(東北大) / / 福水 健次(統計数理研) |
| 委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / / Kenji Fukumizu(ISM) |
| 副委員長氏名（和） | 萩原 将文(慶大) / / 杉山 将(東大) / 鹿島 久嗣(京大) |
| 副委員長氏名（英） | Masafumi Hagiwara(Keio Univ.) / / Masashi Sugiyama(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 幹事氏名（和） | 田中 宏喜(京都産大) / 青西 亨(東工大) / / 津田 宏治(東大) / 竹内 一郎(名工大) |
| 幹事氏名（英） | Hiroki Tanaka(Kyoto Sangyo Univ.) / Toru Aonishi(Tokyo Inst. of Tech.) / / Koji Tsuda(Univ. of Tokyo) / Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 秋間 学尚(東北大) / 篠沢 佳久(慶大) / / 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事補佐氏名（英） | Hisanao Akima(Tohoku Univ.) / Yoshihisa Shinozawa(Keio Univ.) / / Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Special Interest Group on Bioinformatics and Genomics / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | L0ノルム最適化手法に基づく高次元データの判別分析 |
| サブタイトル（和） | |
| タイトル（英） | Classification analysis of high-dimensional data based on L0-norm optimization. |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 特徴量選択 / feature selection |
| キーワード(2)（和/英） | L0ノルム最適化 / L0-norm optimization |
| キーワード(3)（和/英） | iterative hard thresholding / iterative hard thresholding |
| キーワード(4)（和/英） | 高次元データ / high-dimensional data |
| キーワード(5)（和/英） | スパースモデリング / sparse modeling |
| 第 1 著者 氏名（和/英） | 伊藤 紀基 / Noriki Ito |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC Tokyo) |
| 第 2 著者 氏名（和/英） | 佐藤 匡 / Masashi Sato |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC Tokyo) |
| 第 3 著者 氏名（和/英） | 樺島 祥介 / Yoshiyuki Kabashima |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 4 著者 氏名（和/英） | 宮脇 陽一 / Yoichi Miyawaki |
| 第 4 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC Tokyo) |
| 発表年月日 | 2016-07-06 |
| 資料番号 | NC2016-14 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | NC-120 |
| ページ範囲 | pp.223-228(NC), |
| ページ数 | 6 |
| 発行日 | 2016-06-28 (NC) |