模型检测效果之评价指标准确率、精确率、召回率和F1值

2022年11月29日02:39:08 科技 1656

在评价机器学习模型或二分类问题模型检测效果上,经常会涉及几个评价指标,有准确率、精确率、召回率和F1值,人们往往会对这几个词语容易混淆,难以准确把握它们的含义,下面就对这几个词语进行说明,方便大家制定合适的模型评价指标。

模型检测效果之评价指标准确率、精确率、召回率和F1值 - 天天要闻

背景知识:

在理解四个指标前,先用不同的字母表示不同的结果。T(True)、F(false)、P(Positive)、N(Negative),根据真实结果和判断结果,标出判断结果T/F。通过以下的表格方便大家理解。

混淆矩阵

真实结果

T

F

判断结果

T

TP

FP

F

FN

TN

TP:表示真实结果为真,判断结果也是为真,判断正确

FP:表示真实结果为假,但是被误判为真,判断错误

FN:真实结果为真,但是被误判为假,判断错误

TN:表示真实结果为假,判断结果也是为假,判断正确

1、准确率

准确率(Accuracy),即判断结果为正确占总样本的百分比,表达式如下:

准确率=(TP+TN)/ (TP+TN+FP+FN),

从该表达式可以看出分子包括了TP和TN,即含了检测出与真实结果一致的情况,但这里就含有真实正样本和真实负样本两种情况,如果两者样本数偏差较大,如合格品大概为95%,次品为5%,如果都预测为合格,那么准确率就高达了95%,这样的准确率不能很好反映模型的真实效果,所以还需要后面的几个指标。

2、精确率

精确率(Precision),指真实结果为真占所有判断结果为真的样本的概率,表达式如下:

精确率=TP / (TP+FP)

一般的人会比较容易混淆精确率和准确率两个概念。精确率是对正样本的判断准确度,而准确率是对整体样本的判断准确程度,其中的区别可以从表达式能清楚可知。

3、召回率

召回率(Recall),指真实为真的样本占所有被判断为真样本的比例。

表达式为召回率=TP/(TP+FP)

比如:样本中共有10个鸡蛋,其中有4个是坏鸡蛋。设计模型进行检测找出坏鸡蛋,最后找到了5个,但是其中只有3个是坏鸡蛋。那么模型的精确率为3/5=60%,即找到了5只鸡蛋中,只找对了3个。

模型的召回率是3/4=75%,需要找到的是4个坏鸡蛋,但是只找到3个。

这个是关于召回率和精确率的例子,可以帮助大家对概念的理解。

4、F1值

F1值,即F1-Score。前面提到的精确率,又叫查准率,召回率又叫查全率。在实际的计算中,精确率和召回率往往很难两全其美,所以通过F1值寻找两者的平衡点。

F1值表达式为F1-Score=2*精确率*召回率/(精确率+召回率)

希望能通过本介绍对大家的学习和工作有帮助,欢迎多加关注。

科技分类资讯推荐

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相 - 天天要闻

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相

兼具宜商气度与家用温情的科技豪华旗舰MPV,第二代腾势D9迎来西安地区正式亮相。新车依托全球新能源MPV冠军底蕴,以第二代刀片电池、双阀云辇-C、天神之眼5.0智驾等核心技术全面升级,兼顾商务体面与家庭舒适,为西北高端用户带来一站式全能出行解决方案。
采购禁入!科华数据材料造假被拒门外 - 天天要闻

采购禁入!科华数据材料造假被拒门外

本报(chinatimes.net.cn)记者胡雅文 北京报道这家赶上AI算力风口的公司,因投标材料造假,被相关采购方列入禁入名单两年,其此前提出的复议申请也被正式驳回。相关采购平台近日发布公告,明确驳回科华数据股份有限公司(下称“科华数据”,002335.SZ)此前提交的复议申请。早在一年前,科华数据已被认定在“信息通信枢纽...
快评乐道L80:15万元级买大五座,这波值得冲? - 天天要闻

快评乐道L80:15万元级买大五座,这波值得冲?

日前,乐道L80正式发布并开启预售,其整车购买预售价为24.58万元起,租电购买预售价则低至15.98万元起。面对大型SUV市场“细分再细分”之竞争趋势,这款乐道年度重磅新车都有哪些优势?又能否成为“大五座SUV革新之作”?下面,圈哥就带大家全方位感受。
成都直击凯威德:纯电全尺寸SUV的张扬与大气 - 天天要闻

成都直击凯威德:纯电全尺寸SUV的张扬与大气

4月22日,凯迪拉克以奥斯卡级盛典规格,将上海保利大剧院点亮为璀璨舞台,在品牌代言人倪妮与全场嘉宾的共同见证下,凯迪拉克全尺寸纯电公路旗舰——凯威德耀然上市。新车共推出长续航四驱Pro、高性能四驱Ultra两款配置,官方售价区间为46.88万-50.88万元。