模型檢測效果之評價指標準確率、精確率、召回率和F1值

2022年11月29日02:39:08 科技 1656

在評價機器學習模型或二分類問題模型檢測效果上,經常會涉及幾個評價指標,有準確率、精確率、召回率和F1值,人們往往會對這幾個詞語容易混淆,難以準確把握它們的含義,下面就對這幾個詞語進行說明,方便大家制定合適的模型評價指標。

模型檢測效果之評價指標準確率、精確率、召回率和F1值 - 天天要聞

背景知識:

在理解四個指標前,先用不同的字母表示不同的結果。T(True)、F(false)、P(Positive)、N(Negative),根據真實結果和判斷結果,標出判斷結果T/F。通過以下的表格方便大家理解。

混淆矩陣

真實結果

T

F

判斷結果

T

TP

FP

F

FN

TN

TP:表示真實結果為真,判斷結果也是為真,判斷正確

FP:表示真實結果為假,但是被誤判為真,判斷錯誤

FN:真實結果為真,但是被誤判為假,判斷錯誤

TN:表示真實結果為假,判斷結果也是為假,判斷正確

1、準確率

準確率(Accuracy),即判斷結果為正確佔總樣本的百分比,表達式如下:

準確率=(TP+TN)/ (TP+TN+FP+FN),

從該表達式可以看出分子包括了TP和TN,即含了檢測出與真實結果一致的情況,但這裡就含有真實正樣本和真實負樣本兩種情況,如果兩者樣本數偏差較大,如合格品大概為95%,次品為5%,如果都預測為合格,那麼準確率就高達了95%,這樣的準確率不能很好反映模型的真實效果,所以還需要後面的幾個指標。

2、精確率

精確率(Precision),指真實結果為真占所有判斷結果為真的樣本的概率,表達式如下:

精確率=TP / (TP+FP)

一般的人會比較容易混淆精確率和準確率兩個概念。精確率是對正樣本的判斷準確度,而準確率是對整體樣本的判斷準確程度,其中的區別可以從表達式能清楚可知。

3、召回率

召回率(Recall),指真實為真的樣本占所有被判斷為真樣本的比例。

表達式為召回率=TP/(TP+FP)

比如:樣本中共有10個雞蛋,其中有4個是壞雞蛋。設計模型進行檢測找出壞雞蛋,最後找到了5個,但是其中只有3個是壞雞蛋。那麼模型的精確率為3/5=60%,即找到了5隻雞蛋中,只找對了3個。

模型的召回率是3/4=75%,需要找到的是4個壞雞蛋,但是只找到3個。

這個是關於召回率和精確率的例子,可以幫助大家對概念的理解。

4、F1值

F1值,即F1-Score。前面提到的精確率,又叫查准率,召回率又叫查全率。在實際的計算中,精確率和召回率往往很難兩全其美,所以通過F1值尋找兩者的平衡點。

F1值表達式為F1-Score=2*精確率*召回率/(精確率+召回率)

希望能通過本介紹對大家的學習和工作有幫助,歡迎多加關注。

科技分類資訊推薦

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相 - 天天要聞

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相

兼具宜商氣度與家用溫情的科技豪華旗艦MPV,第二代騰勢D9迎來西安地區正式亮相。新車依託全球新能源MPV冠軍底蘊,以第二代刀片電池、雙閥雲輦-C、天神之眼5.0智駕等核心技術全面升級,兼顧商務體面與家庭舒適,為西北高端用戶帶來一站式全能出行解決方案。
採購禁入!科華數據材料造假被拒門外 - 天天要聞

採購禁入!科華數據材料造假被拒門外

本報(chinatimes.net.cn)記者胡雅文 北京報道這家趕上AI算力風口的公司,因投標材料造假,被相關採購方列入禁入名單兩年,其此前提出的複議申請也被正式駁回。相關採購平台近日發布公告,明確駁回科華數據股份有限公司(下稱“科華數據”,002335.SZ)此前提交的複議申請。早在一年前,科華數據已被認定在“信息通信樞紐...
快評樂道L80:15萬元級買大五座,這波值得沖? - 天天要聞

快評樂道L80:15萬元級買大五座,這波值得沖?

日前,樂道L80正式發布並開啟預售,其整車購買預售價為24.58萬元起,租電購買預售價則低至15.98萬元起。面對大型SUV市場“細分再細分”之競爭趨勢,這款樂道年度重磅新車都有哪些優勢?又能否成為“大五座SUV革新之作”?下面,圈哥就帶大家全方位感受。
成都直擊凱威德:純電全尺寸SUV的張揚與大氣 - 天天要聞

成都直擊凱威德:純電全尺寸SUV的張揚與大氣

4月22日,凱迪拉克以奧斯卡級盛典規格,將上海保利大劇院點亮為璀璨舞台,在品牌代言人倪妮與全場嘉賓的共同見證下,凱迪拉克全尺寸純電公路旗艦——凱威德耀然上市。新車共推出長續航四驅Pro、高性能四驅Ultra兩款配置,官方售價區間為46.88萬-50.88萬元。