SVM的推導(dǎo)，特性?多分類怎么處理?

? SVM是最大間隔分類器

從線性可分情況下，原問(wèn)題，特征轉(zhuǎn)換后的dual問(wèn)題，引入kernel(線性kernel,多項(xiàng)式，高斯),最后是soft margin。

線性：簡(jiǎn)單，速度快，但是需要線性可分

多項(xiàng)式：比線性核擬合程度更強(qiáng)，知道具體的維度，但是高次容易出現(xiàn)數(shù)值不穩(wěn)定，參數(shù)選擇比較多。

高斯：擬合能力最強(qiáng)，但是要注意過(guò)擬合問(wèn)題。不過(guò)只有一個(gè)參數(shù)需要調(diào)整。

? 多分類問(wèn)題，一般將二分類推廣到多分類的方式有三種，一對(duì)一，一對(duì)多，多對(duì)多。

一對(duì)一：將N個(gè)類別兩兩配對(duì)，產(chǎn)生N(N-1)/2個(gè)二分類任務(wù)，測(cè)試階段新樣本同時(shí)交給所有的分類器，最終結(jié)果通過(guò)投票產(chǎn)生。

一對(duì)多：每一次將一個(gè)例作為正例，其他的作為反例，訓(xùn)練N個(gè)分類器，測(cè)試時(shí)如果只有一個(gè)分類器預(yù)測(cè)為正類，則對(duì)應(yīng)類別為最終結(jié)果，如果有多個(gè)，則一般選擇置信度最大的。從分類器角度一對(duì)一更多，但是每一次都只用了2個(gè)類別，因此當(dāng)類別數(shù)很多的時(shí)候一對(duì)一開(kāi)銷通常更小(只要訓(xùn)練復(fù)雜度高于O(N)即可得到此結(jié)果)。

多對(duì)多：若干個(gè)類作為正類，若干個(gè)類作為反類。注意正反類必須特殊的設(shè)計(jì)。

猜你喜歡：

簡(jiǎn)述機(jī)器學(xué)習(xí)流程

在無(wú)監(jiān)督學(xué)習(xí)中如何進(jìn)行文件聚類?

樸素貝葉斯為什么被稱為“樸素”?

人工智能高級(jí)軟件工程師課程