全國(guó)咨詢(xún)/投訴熱線(xiàn):400-618-4000

首頁(yè)人工智能常見(jiàn)問(wèn)題正文

SVM的推導(dǎo),特性?多分類(lèi)怎么處理?

更新時(shí)間:2020-09-21 來(lái)源:黑馬程序員 瀏覽量:

? SVM是最大間隔分類(lèi)器

從線(xiàn)性可分情況下,原問(wèn)題,特征轉(zhuǎn)換后的dual問(wèn)題,引入kernel(線(xiàn)性kernel,多項(xiàng)式,高斯),最后是soft margin。

線(xiàn)性:簡(jiǎn)單,速度快,但是需要線(xiàn)性可分

多項(xiàng)式:比線(xiàn)性核擬合程度更強(qiáng),知道具體的維度,但是高次容易出現(xiàn)數(shù)值不穩(wěn)定,參數(shù)選擇比較多。

高斯:擬合能力最強(qiáng),但是要注意過(guò)擬合問(wèn)題。不過(guò)只有一個(gè)參數(shù)需要調(diào)整。

? 多分類(lèi)問(wèn)題,一般將二分類(lèi)推廣到多分類(lèi)的方式有三種,一對(duì)一,一對(duì)多,多對(duì)多。

一對(duì)一:將N個(gè)類(lèi)別兩兩配對(duì),產(chǎn)生N(N-1)/2個(gè)二分類(lèi)任務(wù),測(cè)試階段新樣本同時(shí)交給所有的分類(lèi)器,最終結(jié)果通過(guò)投票產(chǎn)生。

一對(duì)多:每一次將一個(gè)例作為正例,其他的作為反例,訓(xùn)練N個(gè)分類(lèi)器,測(cè)試時(shí)如果只有一個(gè)分類(lèi)器預(yù)測(cè)為正類(lèi),則對(duì)應(yīng)類(lèi)別為最終結(jié)果,如果有多個(gè),則一般選擇置信度最大的。從分類(lèi)器角度一對(duì)一更多,但是每一次都只用了2個(gè)類(lèi)別,因此當(dāng)類(lèi)別數(shù)很多的時(shí)候一對(duì)一開(kāi)銷(xiāo)通常更小(只要訓(xùn)練復(fù)雜度高于O(N)即可得到此結(jié)果)。

多對(duì)多:若干個(gè)類(lèi)作為正類(lèi),若干個(gè)類(lèi)作為反類(lèi)。注意正反類(lèi)必須特殊的設(shè)計(jì)。

猜你喜歡:

簡(jiǎn)述機(jī)器學(xué)習(xí)流程

在無(wú)監(jiān)督學(xué)習(xí)中如何進(jìn)行文件聚類(lèi)?

樸素貝葉斯為什么被稱(chēng)為“樸素”?

人工智能高級(jí)軟件工程師課程

分享到:
在線(xiàn)咨詢(xún) 我要報(bào)名
和我們?cè)诰€(xiàn)交談!