正文

二分類模型評(píng)估（二分類模型是什么意思）

發(fā)布時(shí)間：2023-04-19 13:17:16 稿源：創(chuàng)意嶺閱讀： 82

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于二分類模型評(píng)估的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、分類評(píng)估指標(biāo)
2、支持向量機(jī)
3、與簡(jiǎn)單的線性回歸模型相比，如何評(píng)估邏輯回歸模型？
4、關(guān)于機(jī)器學(xué)習(xí)應(yīng)用不得不思考哪些問題？

二分類模型評(píng)估（二分類模型是什么意思）

一、分類評(píng)估指標(biāo)

# 準(zhǔn)確率（Accuracy，ACC）

最常用、最經(jīng)典的評(píng)估指標(biāo)之一，計(jì)算公式為：

$ACC = \frac{預(yù)測(cè)準(zhǔn)確的樣例數(shù)}{總預(yù)測(cè)數(shù)}$

由此可見，準(zhǔn)確率是類別無關(guān)的，衡量整個(gè)數(shù)據(jù)集的準(zhǔn)確情況，即預(yù)測(cè)正確的樣本所占的比例。

by the way，有時(shí)人們也會(huì)用錯(cuò)誤率（Error Rate, ERR），與準(zhǔn)確率定義相反，表示分類錯(cuò)誤的樣本所占的比例，計(jì)算公式為：

$ERR = 1 - ACC$

**存在問題**

在類別不平衡數(shù)據(jù)集中，ACC不能客觀反映模型的能力。比如在三分類中，樣本數(shù)量分布為（9800，100，100），那么模型只要無腦將所有樣例都預(yù)測(cè)為A類即可以有98%的準(zhǔn)確率，然而事實(shí)是模型根本沒有分辨ABC的能力。因此下面引入精確率和召回率的概念。

# 概念定義

介紹精確率和召回率之前，我們先來了解幾個(gè)概念：

| 名稱 | 定義 |

| ------ | ------ |

| TP（True Positives，真陽性樣本數(shù)） | 被正確預(yù)測(cè)為正類別的樣本個(gè)數(shù) |

| FP（False Positives，假陽性樣本數(shù)） | 被錯(cuò)誤預(yù)測(cè)為正類別的樣本個(gè)數(shù) |

| FN（False Negatives，假陰性樣本數(shù)） | 被錯(cuò)誤預(yù)測(cè)為負(fù)類別的樣本個(gè)數(shù) |

| TN（True Negatives，真陰性樣本數(shù)） | 被正常預(yù)測(cè)為負(fù)類別的樣本個(gè)數(shù) |

注意：

* 第一個(gè)字母代表預(yù)測(cè)是否正確，第二個(gè)字母代表預(yù)測(cè)結(jié)果。Ground Truth（標(biāo)簽，數(shù)據(jù)的類別的真實(shí)情況，GT）則需要通過玩家組合這兩個(gè)字母進(jìn)行推理：預(yù)測(cè)正確則代表GT和預(yù)測(cè)結(jié)果一致，即TP的樣本是正類別，TN的樣本是負(fù)類別；反之FP的樣本是負(fù)類別，F(xiàn)N的樣本是正類別。搞清楚這個(gè)對(duì)精確率和召回率的了解會(huì)更加容易。

* 對(duì)于二分類而言，只要規(guī)定了正類別和負(fù)類別，這4個(gè)值是唯一的（負(fù)類別的TP等于正類別的TN，負(fù)類別的FP等于正類別的FN，負(fù)類別的FN等于正類別的FP，負(fù)類別的TN等于正類別的TP，因此對(duì)于二分類問題衡量正類別的指標(biāo)就夠了，因?yàn)閮蓚€(gè)類別是對(duì)等的）。對(duì)于多分類而言，用**One VS Others**的思想，將其中一類看作正類別，其他類看作負(fù)類別，**則每個(gè)類別都有這4個(gè)值，即這4個(gè)值在多分類中是與類別強(qiáng)相關(guān)的，每個(gè)類別的這幾個(gè)值都不一樣。**

# 混淆矩陣

混淆矩陣是所有分類算法模型評(píng)估的基礎(chǔ)，它展示了模型預(yù)測(cè)結(jié)果和GT的對(duì)應(yīng)關(guān)系。

| 推理類別/真實(shí)類別 | A | B | C | D |

| :----: | :----: | :----: | :----: | :----: |

| A | 56 | 5 | 11 | 0 |

| B | 5 | 83 | 0 | 26 |

| C | 9 | 0 | 28 | 2 |

| D | 1 | 3 | 6 | 47 |

其中矩陣所有元素之和為樣本總數(shù)，每一行代表**預(yù)測(cè)為某類別的樣本在真實(shí)類別中的分布**，每一列代表**某真實(shí)類別的樣本在預(yù)測(cè)類別中的分布**。以A類為例，第一行代表預(yù)測(cè)為A的有72個(gè)樣本（即TP+FP，56+5+11+0），第一列表示真實(shí)類別為A的有71個(gè)樣本（即TP+FN，56+5+9+1）。其中TP為56，F(xiàn)P為16（行，5+11+0），F(xiàn)N為15（列，5+9+1），TN為195（即除第一行和第一列外所有的值之和）。樣本總數(shù)等于混淆矩陣所有元素之和，即282。

如果用符號(hào)E來表示$B \cup C \cup D$，那么對(duì)于A來說，混淆矩陣可以改寫如下：

| 推理類別/真實(shí)類別 | A | E |

| :----: | :----: | :----: |

| A | 56 | 16 |

| E | 15 | 195 |

由此可見，對(duì)于二分類來說，混淆矩陣的值與TP等指標(biāo)對(duì)應(yīng)如下：

| 推理類別/真實(shí)類別 | Positives（正類別） | Negatives（負(fù)類別） |

| :----: | :----: | :----: |

| Positives（正類別） | TP | FP |

| Negatives（負(fù)類別） | FN | TN |

對(duì)應(yīng)多分類，可以用不同顏色來對(duì)應(yīng)TP等指標(biāo)的區(qū)域，使可視化效果更好，更方便理解。后續(xù)再更新。

# 精確率（Precision，$P$）

**對(duì)于某一類別而言**，預(yù)測(cè)為該類別樣本中確實(shí)為該類別樣本的比例，計(jì)算公式為：

$ P = \frac{TP}{TP+FP}$

以A、E的混淆矩陣為例：$ P_A = \frac{56}{56+16}=0.78, P_E = \frac{195}{15+195}=0.93$

以ABCD的混淆矩陣為例：$ P_A = 0.78, P_B = \frac{83}{5+83+0+26} = 0.73， P_C = \frac{28}{9+0+28+2}=0.72, P_D = \frac{47}{1+3+6+47} = 0.83$

可以觀察到，精確率的分母是混淆矩陣的行和，分子在對(duì)角線上。

# 召回率（Recall，$R$）

**對(duì)于某一類別而言**，在某類別所有的真實(shí)樣本中，被預(yù)測(cè)（找出來，召回）為該類別的樣本數(shù)量的比例，計(jì)算公式為：

$ R = \frac{TP}{TP+FN}$

以A、E的混淆矩陣為例：$ R_A = \frac{56}{56+15} = 0.79, R_E = \frac{195}{16+195} = 0.92$

以ABCD的混淆矩陣為例：$ R_A = 0.79, R_B = \frac{83}{5+83+0+3} = 0.91, R_C = \frac{28}{11+0+28+6} = 0.62, R_D = \frac{47}{0+26+2+47} = 0.63$

可以觀察到，召回率的分母是混淆矩陣的列和，分子在對(duì)角線上。

# F1

剛才提到，用ACC衡量模型的能力并不準(zhǔn)確，因此要同時(shí)衡量精確率和召回率，遺憾的是，**一個(gè)模型的精確率和召回率往往是此消彼長(zhǎng)的**。用西瓜書上的解釋就是：挑西瓜的時(shí)候，如果希望將好瓜盡可能多地選出來（提高召回率），則可以通過增加選瓜的數(shù)量來實(shí)現(xiàn)（），如果將所有西瓜都選上（），那么所有的好瓜也必然被選上了，但是這樣的策略明顯精確率較低；若希望選出的瓜中好瓜比例可能高，則可只挑選最有把握的瓜，但這樣就難免會(huì)漏掉不少好瓜，使得召回率較低。通常只有在一些簡(jiǎn)單任務(wù)中，才可能使得召回率和精確率都很高。因此我們引入F1來評(píng)價(jià)精確率和召回率的綜合效果，F(xiàn)1是這兩個(gè)值的調(diào)和平均（harmonic mean，與算數(shù)平均$\frac{P+R}{2}$和幾何平均$\sqrt{P*R}$相比，調(diào)和平均更重視較小值），定義如下：

$ \frac{1}{F1} = \frac{1}{2}*(\frac{1}{P}+\frac{1}{R})$

化簡(jiǎn)得：

$ F1 = \frac{2*P*R}{P+R}$

在一些應(yīng)用中，對(duì)精確率和召回率的重視程度有所不同。例如在商品推薦系統(tǒng)中，為了盡可能少打擾用戶，更希望推薦內(nèi)容的確是用戶感興趣的，此時(shí)精確率更重要；而在逃犯信息檢索系統(tǒng)中，更希望盡可能少漏掉逃犯，此時(shí)召回率更重要。$F1$的一般形式————$F_\beta$，能讓我們表達(dá)出對(duì)精確率和召回率的不同偏好，它定義為：

$F_\beta = \frac{(1+\beta^2)*P*R}{(\beta^2*P)+R}$

其中$\beta > 0$度量了召回率對(duì)精確率的相對(duì)重要性。$\beta=1$時(shí)退化為標(biāo)準(zhǔn)$F1$；$\beta>1$時(shí)召回率有更大影響；$\beta<1$時(shí)精確率有更大影響。

以AE的混淆矩陣為例：

$F1_A = \frac{2 * P_A * R_A}{P_A + R_A} = \frac{2 * 0.78 * 0.93}{0.78+0.93} = 0.85$

$F1_E = \frac{2 * P_E * R_E}{P_E + R_E} = \frac{2 * 0.93 * 0.92}{0.93+0.92} = 0.92$

以ABCD的混淆矩陣為例：

$ F1_A = 0.85 $

$ F1_B = \frac{2 * P_B * R_B}{P_B + R_B} = \frac{2 * 0.73 * 0.91}{0.73+0.91} = 0.81$

$ F1_C = \frac{2 * P_C * R_C}{P_C + R_C} = \frac{2 * 0.72 * 0.62}{0.72+0.62} = 0.67$

$ F1_D = \frac{2 * P_D * R_D}{P_D + R_D} = \frac{2 * 0.83 * 0.63}{0.83+0.63} = 0.72$

# 多分類

以上指標(biāo)除了準(zhǔn)確率，其他指標(biāo)都是類別相關(guān)的。要對(duì)模型做出總體評(píng)價(jià)，就需要算出所有類別綜合之后的總體指標(biāo)。求總體指標(biāo)的方法有兩種：宏平均（Macro Average）和微平均（Micro Average）。

**宏平均**

計(jì)算各個(gè)類對(duì)應(yīng)的指標(biāo)的算術(shù)平均

例，$F1_{macro} = \frac{F1_A+F1_B+F1_C+F1_D}{4} = \frac{0.85+0.81+0.67+0.72}{4} = 0.7625$

所謂宏，就是從更宏觀的角度去平均，即粒度是在類以上的。

**微平均**

先平均每個(gè)類別的TP、FP、TN、FN，再計(jì)算他們的衍生指標(biāo)

例，

$TP_{micro} = \frac{TP_A+TP_B+TP_C+TP_D}{4} = \frac{56+83+28+47}{4} = 53.5$

$FP_{micro} = \frac{FP_A+FP_B+FP_C+FP_D}{4} = \frac{16+31+11+10}{4} = 17$

$FN_{micro} = \frac{FN_A+FN_B+FN_C+FN_D}{4} = \frac{15+8+17+28}{4} = 17$

$TN_{micro} = \frac{TN_A+TN_B+TN_C+FN_D}{4} = \frac{195+160+226+197}{4}=194.5$

$P_{micro} = \frac{TP_{micro}}{TP_{micro}+FP_{micro}} = \frac{53.5}{53.5+17} = 0.7589$

$R_{micro} = \frac{TP_{micro}}{TP_{micro}+FN_{micro}} = \frac{53.5}{53.5+17} = 0.7589$

$F1_{micro} = \frac{2 * P_{micro}* R_{micro}}{P_{micro} + R_{micro}} = \frac{2 * 0.7589 *0.7589}{0.7589+0.7589} = 0.7589$

# 參考資料

1. 《西瓜書》

2. 《ModelArts人工智能應(yīng)用開發(fā)指南》

如有錯(cuò)誤，歡迎指出。下一期繼續(xù)探討ROC曲線、AUC曲線和PR曲線

二、支持向量機(jī)

支持向量機(jī)(support vector machines，SVM)是一種二分類模型，它的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別于感知機(jī)；SVM還包括核技巧，這使它成為實(shí)質(zhì)上的非線性分類器。 SVM的學(xué)習(xí)策略就是間隔最大化，可形式化為一個(gè)求解凸二次規(guī)劃的問題，也等價(jià)于正則化的損失函數(shù)最小值問題。SVM的學(xué)習(xí)算法就是求解凸二次規(guī)劃的最優(yōu)算法。

它在手寫識(shí)別數(shù)字和人臉識(shí)別中應(yīng)用廣泛，在文本和超文本的分類中舉足輕重，因?yàn)镾VM可以大量減少標(biāo)準(zhǔn)歸納和轉(zhuǎn)換設(shè)置中對(duì)標(biāo)記訓(xùn)練實(shí)例的需求。同時(shí)， SVM也被用來執(zhí)行圖像的分類，并用于圖像分割系統(tǒng) 。實(shí)驗(yàn)結(jié)果表明，在僅僅三到四輪相關(guān)反饋之后，SVM就能實(shí)現(xiàn)比傳統(tǒng)的查詢細(xì)化方案高出一大截的搜索精度。除此之外，生物學(xué)和許多其他學(xué)科都是SVM的青睞者，SVM現(xiàn)在已經(jīng)廣泛用于蛋白質(zhì)分類，現(xiàn)在化合物分類的業(yè)界平均水平可以達(dá)到90%以上的準(zhǔn)確率。在生物科學(xué)的尖端研究中，人們還使用支持向量機(jī)來識(shí)別用于模型預(yù)測(cè)的各種特征，以找出各種基因表現(xiàn)結(jié)果的影響因素。

SVM學(xué)習(xí)的基本想法是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。如下圖所示，即為分離超平面，對(duì)于線性可分的數(shù)據(jù)集來說，這樣的超平面有無窮多個(gè)(即感知機(jī))，但是幾何間隔最大的分離超平面卻是唯一的。

超平面與最近數(shù)據(jù)點(diǎn)之間的距離成為邊距?？梢詫蓚€(gè)類分開的最佳或最佳超平面是具有最大邊距的線。只有這些點(diǎn)與定義超平面和分類器的構(gòu)造有關(guān)。這些點(diǎn)稱為支持向量。他們支持或定義超平面。實(shí)際上，優(yōu)化算法用于找到使裕度最大化的系數(shù)的值。

SVM的三層理解：

（1）線性可分支持向量機(jī)、硬間隔

（2）線性支持向量機(jī)、軟間隔

（3）非線性支持向量機(jī)、Kernel SVM

支持向量機(jī)模型存在三寶：

（1）間隔：是指樣本點(diǎn)到超平面的距離。硬間隔是指對(duì)給定的樣本數(shù)據(jù)集中所以的樣本都能正確分類。對(duì)于線性不可分的樣本集，無法滿足線性可分支持向量機(jī)的不等式約束，也就是不存在對(duì)所有樣本都能正確分類的超平面。這種情況可能是因?yàn)閱栴}本身是非線性的，也可能問題是線性可分的，但個(gè)別樣本點(diǎn)標(biāo)記錯(cuò)誤或存在誤差而導(dǎo)致樣本集線性不可分。

因此，我們可以允許對(duì)少量的樣本分類錯(cuò)誤，容忍特異點(diǎn)的存在，而對(duì)于去除特異點(diǎn)的樣本集是線性可分的，這時(shí)稱為軟間隔。

（2）對(duì)偶

（3）核技巧

支持向量機(jī)和感知機(jī)在某些方面很相似，其相同點(diǎn) ：

（1）都是二分類模型

（2）都是通過一個(gè)分離超平民啊對(duì)特征進(jìn)行分類

不同點(diǎn)：

（1）SVM是特殊的感知機(jī)

（2）感知機(jī)是用誤分類最小的策略，求得分離超平面，這時(shí)存在無窮個(gè)解，感知機(jī)利用間隔最大化求得最優(yōu)分離超平面。如下圖所示。

圖中的藍(lán)色和黃色圓點(diǎn)分別表示正負(fù)樣本，對(duì)于這個(gè)二分類，從圖中我們可知，在最上面的黃線和最下面的綠線之間的線條都是可以把訓(xùn)練樣本集完全分開的，這就是感知機(jī)的原理，通過這些分離超平面把訓(xùn)練集分開，這樣的分離超平面存在很多條，比如圖中的虛線，從視覺上中間那條實(shí)線應(yīng)該是眾多線條中最優(yōu)的一條，感知機(jī)對(duì)于學(xué)習(xí)的分離超平面由于優(yōu)化算法、學(xué)習(xí)率等不同因素，會(huì)隨機(jī)地學(xué)習(xí)到這眾多分離超平面的一條，當(dāng)學(xué)習(xí)到的是靠近上下邊緣的分離超平面是，對(duì)于一個(gè)未知樣本，當(dāng)這個(gè)樣本稍微浮動(dòng)一下，模型就很可能對(duì)他進(jìn)行誤分類了，因此魯棒性很低，而支持向量機(jī)的目標(biāo)是找到圖中中間那條最優(yōu)的分離超平面。

為求解支持向量機(jī)的最優(yōu)化問題，我們將公式10作為原始問題，應(yīng)用拉格朗日對(duì)偶性，通過求解對(duì)偶問題得到原始問題的最優(yōu)解，這就是支持向量機(jī)的對(duì)偶算法。在約束最優(yōu)化問題中，常常利用拉格朗日對(duì)偶性將原始問題轉(zhuǎn)換為對(duì)偶問題，通過解對(duì)偶問題而得到原始問題的解(最優(yōu)解是反的，值是一樣的 ) 。這是因?yàn)椋?/p>

1）對(duì)偶問題的對(duì)偶是原問題

2）無論原始問題與約束條件是否是凸的，對(duì)偶問題都是凹問題，加個(gè)負(fù)號(hào)就變成凸問題了，凸問題容易優(yōu)化。

3）對(duì)偶問題可以給出原始問題一個(gè)下界

4）當(dāng)滿足一定條件時(shí)，原始問題與對(duì)偶問題的解是完全等價(jià)的

LinearSVC()類的主要參數(shù)：

（1）C: float, default=1.0, 懲罰系數(shù)，必須大于0，默認(rèn)值1.0。用于設(shè)置對(duì)錯(cuò)誤分類的懲罰強(qiáng)度，對(duì)于設(shè)置對(duì)錯(cuò)誤分類的懲罰強(qiáng)度，對(duì)于完全線性可分的硬間隔問題不需要設(shè)置。

（2）fit_intercept: boolean, optional(default=True)：是否計(jì)算截距，默認(rèn)為True。如果數(shù)據(jù)均值為0，則可以選擇False不計(jì)算截距。

（3）multi_class: string，”ovr“ or "crammer_singer"(default='ovr')：多類別分類策略開關(guān)。對(duì)于多元分類問題，選擇'ovr'將使用多類別策略(one-vs-set)直接對(duì)多個(gè)類別進(jìn)行分類(默認(rèn)方法)；選擇"crammer_singer"將主次進(jìn)行二值分類。

（4）class_weight：dict or "balanced", default=None，特征變量的加權(quán)系數(shù)。用于為某個(gè)特征變量設(shè)置權(quán)重，默認(rèn)所有特征變量的權(quán)重相同。

結(jié)論：1）線性核，尤其是多項(xiàng)式核函數(shù)在高次項(xiàng)時(shí)計(jì)算非常緩慢。

2）rbf和多項(xiàng)式核函數(shù)都不擅長(zhǎng)處理量綱不統(tǒng)一的數(shù)據(jù)集

這兩個(gè)缺點(diǎn)都可以由數(shù)據(jù)無量綱化來解決。因此，SVM執(zhí)行之前，非常推薦先進(jìn)行數(shù)據(jù)的無量綱化！

svc.score(): 返回給定測(cè)試數(shù)據(jù)和標(biāo)簽的平均準(zhǔn)確度。

首先，分類模型天生會(huì)傾向于多數(shù)的類，讓多數(shù)類更容易被判斷正確，少數(shù)類被犧牲掉。因?yàn)閷?duì)于模型而言，樣本量越大的標(biāo)簽可以學(xué)習(xí)的信息越多，算法就會(huì)更加依賴于從多數(shù)類中學(xué)到的信息來進(jìn)行判斷。如果我們希望捕獲少數(shù)類，模型就會(huì)失敗。其次，模型評(píng)估指標(biāo)會(huì)失去意義。這種分類狀況下，即便模型什么也不做，全把所有人都當(dāng)成不會(huì)犯罪的人，準(zhǔn)確率也能非常高，這使得模型評(píng)估指標(biāo)accuracy變得毫無意義，根本無法達(dá)到我們的“要識(shí)別出會(huì)犯罪的人”的建模目的。

所以現(xiàn)在，我們首先要讓算法意識(shí)到數(shù)據(jù)的標(biāo)簽是不均衡的，通過施加一些懲罰或者改變樣本本身，來讓模型向著捕獲少數(shù)類的方向建模。然后，我們要改進(jìn)我們的模型評(píng)估指標(biāo)，使用更加針對(duì)于少數(shù)類的指標(biāo)來優(yōu)化模型。要解決第一個(gè)問題，我們?cè)谶壿嫽貧w中已經(jīng)介紹了一些基本方法，比如上采樣下采樣。但這些采樣方法會(huì)增加樣本的總數(shù)，對(duì)于支持向量機(jī)這個(gè)樣本總是對(duì)計(jì)算速度影響巨大的算法來說，我們完全不想輕易地增加樣本數(shù)量。況且，支持向量機(jī)中的決策僅僅受到?jīng)Q策邊界的影響，而決策邊界僅僅受到參數(shù)C和支持向量的影響，單純地增加樣本數(shù)量不僅會(huì)增加計(jì)算時(shí)間，可能還會(huì)增加無數(shù)對(duì)決策邊界無影響的樣本點(diǎn)。因此在支持向量機(jī)中，我們要大力依賴我們調(diào)節(jié)樣本均衡的參數(shù)：SVC類的class_weight和接口fit可以設(shè)定的sample_weight。

混淆矩陣是二分類問題的多維衡量指標(biāo)體系，在樣本不平衡時(shí)極其有用。在混淆矩陣中，我們將少數(shù)類認(rèn)為是正例，多數(shù)類認(rèn)為是負(fù)例。在決策樹，隨機(jī)森林這些普通的分類算法里，即是說少數(shù)類是1，多數(shù)類是0。在SVM里，就是說少數(shù)類是1，多數(shù)類是-1。普通的混淆矩陣，一般使用{0,1}來表示?；煜仃囍校肋h(yuǎn)是真實(shí)值在前，預(yù)測(cè)值在后。

ROC曲線及相關(guān)問題

基于混淆矩陣，總共有六個(gè)指標(biāo)：準(zhǔn)確率Accuracy，精確度Precision，召回率Recall，精確度和召回度的平衡指標(biāo)F measure, 特異度Specificity，以及假正率FPR。

其中，假正率有一個(gè)非常重要的應(yīng)用：我們?cè)谧非筝^高的Recall的時(shí)候，Precision會(huì)下降，就是說隨著更多的少數(shù)類被捕捉出來，會(huì)有更多的多數(shù)類被判斷錯(cuò)誤，但我們很好奇，隨著Recall的逐漸增加，模型將多數(shù)類判斷錯(cuò)誤的能力如何變化呢？我們希望理解，我每判斷正確一個(gè)少數(shù)類，就有多少個(gè)多數(shù)類會(huì)被判斷錯(cuò)誤。假正率正好可以幫助我們衡量這個(gè)變化。相對(duì)的，Precision無法判斷這些判斷錯(cuò)誤的多數(shù)類在全部多數(shù)類中究竟占多大的比例，所以無法在提升Recall的過程中也顧及到模型整體的Accuracy。因此，我們可以使用Recall和FPR之間的平衡，來替代Recall和Precision之間的平衡，讓我們衡量模型在盡量捕捉少數(shù)類的時(shí)候，誤傷多數(shù)類的情況如何變化，這就是我們的ROC曲線衡量的平衡。

ROC曲線，全稱The Receiver Operating Characteristic Curve。這是一條以下不同閾值下的假正率FPR為橫坐標(biāo)，不同閾值下的召回率Recall為縱坐標(biāo)的曲線。

優(yōu)點(diǎn)：

（1）有嚴(yán)格的數(shù)學(xué)理論支持，可解釋性強(qiáng)，不依靠統(tǒng)計(jì)方法，從而簡(jiǎn)化了通常的分類和回歸問題

（2）解決小樣本下機(jī)器學(xué)習(xí)問題；

（3）能找出對(duì)任務(wù)至關(guān)重要的關(guān)鍵樣本(即：支持向量)

（4）采用核技巧之后，可以處理非線性分類/回歸任務(wù)；可以解決高維問題，即大型特征空間；

（5）最終決策函數(shù)只由少數(shù)的支持向量所確定，計(jì)算的復(fù)雜性取決于支持向量的數(shù)目，而不是樣本空間的維數(shù)，這在某種意義上避免了”維數(shù)災(zāi)難“。

缺點(diǎn)：

（1）訓(xùn)練時(shí)間長(zhǎng)。當(dāng)采用SMO算法時(shí)，由于每次都需要挑選一對(duì)參數(shù)，因此時(shí)間復(fù)雜度，其中N為訓(xùn)練樣本的數(shù)量；

（2）當(dāng)采用核技巧時(shí)，如果需要存儲(chǔ)核矩陣，則空間復(fù)雜度為。對(duì)非線性問題沒有通用解決方案，有時(shí)候很難找到一個(gè)合適的核函數(shù)；

（3）對(duì)于核函數(shù)的高維映射解釋力不強(qiáng)，尤其是徑向基函數(shù)；

（4）模型預(yù)測(cè)時(shí)，預(yù)測(cè)時(shí)間與支持向量的個(gè)數(shù)成正比。當(dāng)支持向量的數(shù)量較大時(shí)，預(yù)測(cè)計(jì)算復(fù)雜度較高。

（5）對(duì)缺失數(shù)據(jù)敏感；

因此支持向量機(jī)目前只適合小批量樣本的任務(wù)，無法適應(yīng)百萬條甚至上億樣本的任務(wù) 。

SVM主要用于分類問題，主要的應(yīng)用場(chǎng)景有字符識(shí)別、面部識(shí)別、行人檢測(cè)、文本分類等領(lǐng)域。在機(jī)器學(xué)習(xí)領(lǐng)域，SVM是有監(jiān)督的學(xué)習(xí)模型，通常用來進(jìn)行模式識(shí)別、分類(異常值檢測(cè))以及回歸分析。

三、與簡(jiǎn)單的線性回歸模型相比，如何評(píng)估邏輯回歸模型？

邏輯回歸：y=sigmoid(w'x)

線性回歸

：y=w'x

也就是邏輯回歸比線性回歸多了一個(gè)

sigmoid函數(shù)

，sigmoid(x)=1/(1+exp(-x))，其實(shí)就是對(duì)x進(jìn)行

歸一化

操作，使得sigmoid(x)位于0~1

邏輯回歸通常用于二分類模型，

目標(biāo)函數(shù)

是二類

交叉熵

，y的值表示屬于第1類的概率，用戶可以自己設(shè)置一個(gè)分類閾值。

線性回歸用來擬合數(shù)據(jù)，目標(biāo)函數(shù)是

平法

和誤差

四、關(guān)于機(jī)器學(xué)習(xí)應(yīng)用不得不思考哪些問題？

機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無法完成的功能的方法。但從實(shí)踐的意義上來說，機(jī)器學(xué)習(xí)是一種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測(cè)的一種方法。

讓我們具體看一個(gè)例子。

圖4房?jī)r(jià)的例子

拿國(guó)民話題的房子來說?，F(xiàn)在我手里有一棟房子需要售賣，我應(yīng)該給它標(biāo)上多大的價(jià)格？房子的面積是100平方米，價(jià)格是100萬，120萬，還是140萬？

很顯然，我希望獲得房?jī)r(jià)與面積的某種規(guī)律。那么我該如何獲得這個(gè)規(guī)律？用報(bào)紙上的房?jī)r(jià)平均數(shù)據(jù)么？還是參考別人面積相似的？無論哪種，似乎都并不是太靠譜。

我現(xiàn)在希望獲得一個(gè)合理的，并且能夠最大程度的反映面積與房?jī)r(jià)關(guān)系的規(guī)律。于是我調(diào)查了周邊與我房型類似的一些房子，獲得一組數(shù)據(jù)。這組數(shù)據(jù)中包含了大大小小房子的面積與價(jià)格，如果我能從這組數(shù)據(jù)中找出面積與價(jià)格的規(guī)律，那么我就可以得出房子的價(jià)格。

對(duì)規(guī)律的尋找很簡(jiǎn)單，擬合出一條直線，讓它“穿過”所有的點(diǎn)，并且與各個(gè)點(diǎn)的距離盡可能的小。

通過這條直線，我獲得了一個(gè)能夠最佳反映房?jī)r(jià)與面積規(guī)律的規(guī)律。這條直線同時(shí)也是一個(gè)下式所表明的函數(shù)：房?jī)r(jià)=面積*a+b

上述中的a、b都是直線的參數(shù)。獲得這些參數(shù)以后，我就可以計(jì)算出房子的價(jià)格。

假設(shè)a=0.75,b=50，則房?jī)r(jià)=100*0.75+50=125萬。這個(gè)結(jié)果與我前面所列的100萬，120萬，140萬都不一樣。由于這條直線綜合考慮了大部分的情況，因此從“統(tǒng)計(jì)”意義上來說，這是一個(gè)最合理的預(yù)測(cè)。

在求解過程中透露出了兩個(gè)信息：

1.房?jī)r(jià)模型是根據(jù)擬合的函數(shù)類型決定的。如果是直線，那么擬合出的就是直線方程。如果是其他類型的線，例如拋物線，那么擬合出的就是拋物線方程。機(jī)器學(xué)習(xí)有眾多算法，一些強(qiáng)力算法可以擬合出復(fù)雜的非線性模型，用來反映一些不是直線所能表達(dá)的情況。

2.如果我的數(shù)據(jù)越多，我的模型就越能夠考慮到越多的情況，由此對(duì)于新情況的預(yù)測(cè)效果可能就越好。這是機(jī)器學(xué)習(xí)界“數(shù)據(jù)為王”思想的一個(gè)體現(xiàn)。一般來說(不是絕對(duì))，數(shù)據(jù)越多，最后機(jī)器學(xué)習(xí)生成的模型預(yù)測(cè)的效果越好。

通過我擬合直線的過程，我們可以對(duì)機(jī)器學(xué)習(xí)過程做一個(gè)完整的回顧。首先，我們需要在計(jì)算機(jī)中存儲(chǔ)歷史的數(shù)據(jù)。接著，我們將這些數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法進(jìn)行處理，這個(gè)過程在機(jī)器學(xué)習(xí)中叫做“訓(xùn)練”，處理的結(jié)果可以被我們用來對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)，這個(gè)結(jié)果一般稱之為“模型”。對(duì)新數(shù)據(jù)的預(yù)測(cè)過程在機(jī)器學(xué)習(xí)中叫做“預(yù)測(cè)”?！坝?xùn)練”與“預(yù)測(cè)”是機(jī)器學(xué)習(xí)的兩個(gè)過程，“模型”則是過程的中間輸出結(jié)果，“訓(xùn)練”產(chǎn)生“模型”，“模型”指導(dǎo)“預(yù)測(cè)”。

以上就是關(guān)于二分類模型評(píng)估相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。