模型檢測效果之評價指標準確率、精確率、召回率和F1值

在評價機器學習模型或二分類問題模型檢測效果上,經常會涉及幾個評價指標,有準確率、精確率、召回率和F1值,人們往往會對這幾個詞語容易混淆,難以準確把握它們的含義,下面就對這幾個詞語進行說明,方便大家制定合適的模型評價指標。

背景知識:

在理解四個指標前,先用不同的字母表示不同的結果。T(True)、F(false)、P(Positive)、N(Negative),根據真實結果和判斷結果,標出判斷結果T/F。通過以下的表格方便大家理解。

混淆矩陣

真實結果

T

F

判斷結果

T

TP

FP

F

FN

TN

TP:表示真實結果為真,判斷結果也是為真,判斷正確

FP:表示真實結果為假,但是被誤判為真,判斷錯誤

FN:真實結果為真,但是被誤判為假,判斷錯誤

TN:表示真實結果為假,判斷結果也是為假,判斷正確

1、準確率

準確率(Accuracy),即判斷結果為正確佔總樣本的百分比,表達式如下:

準確率=(TP+TN)/ (TP+TN+FP+FN),

從該表達式可以看出分子包括了TP和TN,即含了檢測出與真實結果一致的情況,但這裡就含有真實正樣本和真實負樣本兩種情況,如果兩者樣本數偏差較大,如合格品大概為95%,次品為5%,如果都預測為合格,那麼準確率就高達了95%,這樣的準確率不能很好反映模型的真實效果,所以還需要後面的幾個指標。

2、精確率

精確率(Precision),指真實結果為真占所有判斷結果為真的樣本的概率,表達式如下:

精確率=TP / (TP+FP)

一般的人會比較容易混淆精確率和準確率兩個概念。精確率是對正樣本的判斷準確度,而準確率是對整體樣本的判斷準確程度,其中的區別可以從表達式能清楚可知。

3、召回率

召回率(Recall),指真實為真的樣本占所有被判斷為真樣本的比例。

表達式為召回率=TP/(TP+FP)

比如:樣本中共有10個雞蛋,其中有4個是壞雞蛋。設計模型進行檢測找出壞雞蛋,最後找到了5個,但是其中只有3個是壞雞蛋。那麼模型的精確率為3/5=60%,即找到了5隻雞蛋中,只找對了3個。

模型的召回率是3/4=75%,需要找到的是4個壞雞蛋,但是只找到3個。

這個是關於召回率和精確率的例子,可以幫助大家對概念的理解。

4、F1值

F1值,即F1-Score。前面提到的精確率,又叫查准率,召回率又叫查全率。在實際的計算中,精確率和召回率往往很難兩全其美,所以通過F1值尋找兩者的平衡點。

F1值表達式為F1-Score=2*精確率*召回率/(精確率+召回率)

希望能通過本介紹對大家的學習和工作有幫助,歡迎多加關注。