講演抄録/キーワード |
講演名 |
2013-11-12 15:45
[ポスター講演]K-重交差検証法による改定IP-OLDFとS-SVM,LDF,ロジスティック回帰の評価 ○新村秀一(成蹊大) IBISML2013-44 |
抄録 |
(和) |
混合整数計画法を用いて,最小誤分類数(Minimum Number of Misclassifications, MNM)を求める線形判別関数(改定IP-OLDF)を開発した.新手法は,既存の判別関数と比べて,判別成績が良いことを示す必要がある.そこで,Fisherの線形判別関数(LDF),2次判別関数(QDF),ロジスティック回帰,S-SVMと比較する.検証に用いたデータは,Fisherのアイリスデータやスイス銀行紙幣データなどの40件から240件の4種の小標本である.これらのデータを用いて、判別分析の新知見を得た。また、「小標本のためのK-重交差検証法」を用いて135個の異なった判別モデルで比較し、学習標本と検証標本で改定IP-OLDFの平均誤分類確率(MEAN1とMEAN2)が他手法より小さいことが分かった。
応用研究として、4個の大問の得点を用いて37点で合否判定を行った。2変数以上の11個の判別モデルのうち4個は線形分離可能である。各判別手法の検証標本で平均誤分類確率MEAN2を求めて、最小値をとるモデルで比較した。改定IP-OLDF、LDF、ロジスティック回帰、S-SVMは0、9.91、0.77、0.81であり、LDFが特に悪かった。3手法と改定IP-OLDFとのMEAN2の差を計算した。LDFと改定IP-OLDFの差の範囲は[6.23,10.55]で、ロジスティック回帰は[0.39,1.62]で、S-SVMは[0.4,1.19]であった。以上から、改定IP-OLDFは学習標本で過学習するが、検証標本で汎化能力が一番良いことが分かる。これに対して、LDFは汎化能力が一番悪いことが分かった. |
(英) |
In this paper, Revised IP-OLDF based on MNM criterion is proposed using a mixed integer programming. The new discriminant function is compared with existed discriminant functions such as Fisher’s linear discriminant function (LDF), logistic regression and soft margin SVM (S-SVM), and it is requested to show the discriminant result is superior to other methods. Four real data such as Fisher’s iris data, Swiss bank note data, CPD data and
student data are used for the development of Revised IP-OLDF. The sample sizes of those are 100, 200, 240 and 40 cases, respectively. Several new facts are found by these data.
And, K-fold cross-validation for small samples is proposed. One hundreds resampling samples are generated from real data by bootstrap method. And Revised IPLP-OLDF is compared with other methods by 100-fold cross-validation. We compare 135 different
discriminant models, and the means of error rates of Revised IP-OLDF are less than others.
In the application research, we focus on the pass/fail determination using four testlets scores as independent variables. Four discriminant models are linear separable among 11 models from 4- to 2-variables. Minimum means of error rates of Revised IP-OLDF, LDF, logistic regression and S-SVM in the validation samples are 0, 9.91, 0.77 and 0.81, respectively. The result of LDF is worst. Next, we compare the difference of the means of error rates of three methods and Revised IP-OLDF in the validation samples. The ranges of LDF, logistic regression and S-SVM with Revised IP-OLDF are [6.23,10.55], [0.39,1.62], and [0.4,1.19]. The worst model of LDF is 10.55 % higher than Revised IP-OLDF, nevertheless logistic regression and S-SVM are 1.62 and 1.19 higher than Revised IP-OLDF. Revised IP-OLDF overestimate in the training samples, but its generalization is the best in the validation samples. LDF’s generalization is the worst. |
キーワード |
(和) |
最適線形判別関数 / SVM / ロジスティック回帰 / 線形判別関数 / 誤分類数最小化基準 / 小標本の検証 / k-重交差検証法 / 線形分離可能 |
(英) |
Optimal Linear Discriminant Function / SVM / Logistic regression / Linear Discriminant Function / Minimum Number of Misclassifications / Validation of small sample / K-fold cross validation / Linear Separable |
文献情報 |
信学技報, vol. 113, no. 286, IBISML2013-44, pp. 61-68, 2013年11月. |
資料番号 |
IBISML2013-44 |
発行日 |
2013-11-05 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2013-44 |
研究会情報 |
研究会 |
IBISML |
開催期間 |
2013-11-10 - 2013-11-13 |
開催地(和) |
東京工業大学 蔵前会館 |
開催地(英) |
Tokyo Institute of Technology, Kuramae-Kaikan |
テーマ(和) |
第16回情報論的学習理論ワークショップ & 第2回IBISMLチュートリアル |
テーマ(英) |
The 16th IBIS Workshop & The 2nd IBIS Tutorial |
講演論文情報の詳細 |
申込み研究会 |
IBISML |
会議コード |
2013-11-IBISML |
本文の言語 |
日本語 |
タイトル(和) |
K-重交差検証法による改定IP-OLDFとS-SVM,LDF,ロジスティック回帰の評価 |
サブタイトル(和) |
|
タイトル(英) |
Exaluation of Revised IP-OLDF with S-SVM, LDF and logistic regression by K-fold cross-validation |
サブタイトル(英) |
|
キーワード(1)(和/英) |
最適線形判別関数 / Optimal Linear Discriminant Function |
キーワード(2)(和/英) |
SVM / SVM |
キーワード(3)(和/英) |
ロジスティック回帰 / Logistic regression |
キーワード(4)(和/英) |
線形判別関数 / Linear Discriminant Function |
キーワード(5)(和/英) |
誤分類数最小化基準 / Minimum Number of Misclassifications |
キーワード(6)(和/英) |
小標本の検証 / Validation of small sample |
キーワード(7)(和/英) |
k-重交差検証法 / K-fold cross validation |
キーワード(8)(和/英) |
線形分離可能 / Linear Separable |
第1著者 氏名(和/英/ヨミ) |
新村 秀一 / Shuichi Shinmura / シンムラ シュウイチ |
第1著者 所属(和/英) |
成蹊大学 (略称: 成蹊大)
Seikei University (略称: Seikei Univ.) |
第2著者 氏名(和/英/ヨミ) |
/ / |
第2著者 所属(和/英) |
(略称: )
(略称: ) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2013-11-12 15:45:00 |
発表時間 |
180分 |
申込先研究会 |
IBISML |
資料番号 |
IBISML2013-44 |
巻番号(vol) |
vol.113 |
号番号(no) |
no.286 |
ページ範囲 |
pp.61-68 |
ページ数 |
8 |
発行日 |
2013-11-05 (IBISML) |
|