分类模型评估方法_政策评估的模型与方法

分类模型评估方法_政策评估的模型与方法上图矩阵中1是正例,0是只负例对于二分类问题,可以将真实类别和分类器预测类别组合为:真正例(truepositiveTP):真实类别为正例,预测类别为正例;假正例(falsepositiveFP):真实类别为负例,预测类别为正例;假负例(falsenegativeFN):真实类别为正例,预测类别为负例;真负例(truenegativeTN):真实类别为负例,预测类别为负例;分类模…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

分类模型评估方法_政策评估的模型与方法

上图矩阵中1是正例,0是只负例

对于二分类问题,可以将真实类别和分类器预测类别组合为:

真正例(true positive TP):真实类别为正例,预测类别为正例;

假正例(false positive FP): 真实类别为负例,预测类别为正例;

假负例(false negative FN):真实类别为正例,预测类别为负例;

真负例(true negative TN):真实类别为负例,预测类别为负例;

分类模型评价指标有:

1.错误率和精度

错误率(error_rate)和精度(accuracy)是分类任务中最常用的两个指标,既适用于二分类任务也适用于多分类任务;

error_rate = (FP+FN)/(P+N)

accuracy = (TP+TN)/(P+N)

accuracy = 1-error_rate

错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例;

error_rate =

2.查准率、查全率和F1

查准率(准确率)P = TP/(TP+FP)

查全率(召回率)R = TP/(TP+FN)

F1值:F1 = 2/(1/R + 1/P) = 2*P*R/(P+R)

查准率和查全率是一对矛盾的指标,一般来说,查准率高时,查全率往往偏低,而查全率高时,查准率往往偏低;平衡点BEP是查准率= 查全率时的取值,当一个学习期的BEP高于另一个学习器的,则可以认为该学习器优于另一个;

但BEP过于简化,更常用的是F1值;另外再一些应用中可能对查准率和查全率的重视程度不同,可以对它们施加不同的偏好,定义为:

分类模型评估方法_政策评估的模型与方法

3.ROC和AUC

ROC曲线的纵轴是“真正例率”(TPR),横轴是假正例率(FPR),

其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)

分类模型评估方法_政策评估的模型与方法

绘图过程:给定m+个正例率和m-个负例率,根据学习器的预测结果对样例进行排序,然后把分类阈值设为最大,即把所有样本都预测为反例,此时TPR和FPR都为0,在坐标(0,0)处标记一个点,然后,将分类阈值依次设为每个样例的预测值,即依次将每个样例预测为正例;

若一个分类器的ROC曲线将另一个分类器的曲线完全包住,则可认为该分类器优于另一个分类器;若两个分类器之间有交叉,则比较难比较优劣,此时较为合理的判断指标是AUC,即ROC曲线下的面积。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188835.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 婚礼进行曲计算机谱子,婚礼进行曲(简谱+歌词+吉他谱)

    ===============婚礼进行曲lrc歌词下载=================[ti:婚礼进行曲][ar:胡彦斌][al:男人歌][by:www.Ailrc.comFrom水晶心]婚礼进行曲胡彦斌胡彦斌by:水晶心[00:03.71]婚礼进行曲[00:09.07]词曲:胡彦斌[00:17.59]专辑:《男人歌》[00:21.22]by:水晶心[00:28.75]所有故事停止撕开了幸…

    2022年4月4日
  • Css中写RGB颜色

    Css中写RGB颜色在Css样式中写RGB颜色样式:

    2022年6月13日
  • upx脱壳(手动)

    upx脱壳(手动)1.upx脱壳几乎可以算是最简单的了,第一步还是查壳2.第二步当然是od打开,提示解析代码,是和否都可以,然后f8,打硬件断点。3.此时再f9执行到硬件断点,可以看到popad,壳代码到这基本上结束了,后面就是oep。在下面的一个大跳jmp处断点,然后取消硬件断点,f9到断点。4.然后f8过去,可以看到如下画面。此处作为oep,可以开始进行脱壳5.右键——使用od调试进程6.复…

    2022年7月19日
  • Zato入门part2

    Zato入门part2

    2022年3月12日
  • CQRS模式学习

    CQRS模式学习由于存在增删改与查询逻辑有差异的这个问题,为了更好的针对差异进行抽象,我们可以将它们分开进行设计。也就是我们的CQRS模式,即命令查询的责任分离CommandQueryResponsibilitySegregation模式。 简单的需求当我们系统中的数据模型层级较少时,数据模型足够简单时,模型与数据库可以直接进行映射。这种简单数据模型使我们不需要针对其相互关系进行复杂的建模设计,直接在工程中使用经典的三层模型就足以支撑项目需求。对于这种简单系统,过度设计会增加后续维护、重构的成本(并不能保

    2022年10月30日
  • 不要再被骗了——QQ盗号原理大揭秘

    不要再被骗了——QQ盗号原理大揭秘前言相信大家在懵懂无知的时候都有被盗号的经历吧,QQ胡乱的加好友,突然有个好友传了个文件给你,打开以后发现QQ竟然显示强制下线,然后再也上不去了QAQ,很明显,QQ号被人盗了。最近也是很多小伙伴私信我,也看了一些人发空间说QQ号被盗了啥的,以及我自己收到的一些诈骗请求。网上针对防骗这块的文章几乎没有,为了不让更多的人受害,下面我将会以最真实朴素的语言介绍最常见的一种盗号诈骗方式,浅析一下这个盗…

    2022年6月16日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号