分类模型评估方法_政策评估的模型与方法

分类模型评估方法_政策评估的模型与方法上图矩阵中1是正例,0是只负例对于二分类问题,可以将真实类别和分类器预测类别组合为:真正例(truepositiveTP):真实类别为正例,预测类别为正例;假正例(falsepositiveFP):真实类别为负例,预测类别为正例;假负例(falsenegativeFN):真实类别为正例,预测类别为负例;真负例(truenegativeTN):真实类别为负例,预测类别为负例;分类模…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

分类模型评估方法_政策评估的模型与方法

上图矩阵中1是正例,0是只负例

对于二分类问题,可以将真实类别和分类器预测类别组合为:

真正例(true positive TP):真实类别为正例,预测类别为正例;

假正例(false positive FP): 真实类别为负例,预测类别为正例;

假负例(false negative FN):真实类别为正例,预测类别为负例;

真负例(true negative TN):真实类别为负例,预测类别为负例;

分类模型评价指标有:

1.错误率和精度

错误率(error_rate)和精度(accuracy)是分类任务中最常用的两个指标,既适用于二分类任务也适用于多分类任务;

error_rate = (FP+FN)/(P+N)

accuracy = (TP+TN)/(P+N)

accuracy = 1-error_rate

错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例;

error_rate =

2.查准率、查全率和F1

查准率(准确率)P = TP/(TP+FP)

查全率(召回率)R = TP/(TP+FN)

F1值:F1 = 2/(1/R + 1/P) = 2*P*R/(P+R)

查准率和查全率是一对矛盾的指标,一般来说,查准率高时,查全率往往偏低,而查全率高时,查准率往往偏低;平衡点BEP是查准率= 查全率时的取值,当一个学习期的BEP高于另一个学习器的,则可以认为该学习器优于另一个;

但BEP过于简化,更常用的是F1值;另外再一些应用中可能对查准率和查全率的重视程度不同,可以对它们施加不同的偏好,定义为:

分类模型评估方法_政策评估的模型与方法

3.ROC和AUC

ROC曲线的纵轴是“真正例率”(TPR),横轴是假正例率(FPR),

其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)

分类模型评估方法_政策评估的模型与方法

绘图过程:给定m+个正例率和m-个负例率,根据学习器的预测结果对样例进行排序,然后把分类阈值设为最大,即把所有样本都预测为反例,此时TPR和FPR都为0,在坐标(0,0)处标记一个点,然后,将分类阈值依次设为每个样例的预测值,即依次将每个样例预测为正例;

若一个分类器的ROC曲线将另一个分类器的曲线完全包住,则可认为该分类器优于另一个分类器;若两个分类器之间有交叉,则比较难比较优劣,此时较为合理的判断指标是AUC,即ROC曲线下的面积。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188835.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • route -add_route -n命令结果详解

    route -add_route -n命令结果详解routeadd192.168.5.0mask255.255.255.0192.168.12.8routeadd命令的主要作用是添加静态路由,通常的格式是:routeADD157.0.0.0MASK255.0.0.0 157.55.80.1METRIC3IF2参数含义:^destination ^mask   ^gateway  met

    2022年8月12日
    5
  • 《SAS编程和数据挖掘商业案例》学习笔记# 19

    《SAS编程和数据挖掘商业案例》学习笔记# 19

    2022年1月2日
    77
  • winscp登录主机拒绝_winscp连接被拒绝,winscp连接被拒绝的原因和解决办法详情

    winscp登录主机拒绝_winscp连接被拒绝,winscp连接被拒绝的原因和解决办法详情iis7服务器管理工具(曾用名:IIS7远程桌面):适用群体为:机房管理、站长、运维工作、程序员,等需要大量服务器或者电脑的用户朋友。IIS7服务器管理工具可以批量管理、定时上传下载、同步操作、数据备份、到期提醒、自动更新。IIS7服务器管理工具适用于Windows操作系统和liunx操作系统;支持Ftp客户端批量操作。问题解决方法尝试以下方法:1)开启|关闭防火墙(这里需要关闭)sudouf…

    2025年12月14日
    1
  • SQL Server 数据库学习「建议收藏」

    SQL Server 数据库学习「建议收藏」一、认识数据库1、数据库的基本概念2、数据库常用对象3、数据库的组成数据库主要由文件和文件组组成。数据库中所有的数据和对象都被存储在文件中。二、创建数据库1、创建数据库对象资源管理器—数据库——右击——新建数据库三、操作数据表与视图1、创建数据表空值:表示数据未知。非空值:数据列不允许空值。(1)选择一个数据库——展开表——…

    2022年8月20日
    6
  • java获取当前日期date类型_uuid一般是多少位的啊

    java获取当前日期date类型_uuid一般是多少位的啊java中获取当前年月日使用Calendar类//获取Calendar类Calendarcalendar=Calendar.getInstance();//获取年calendar.get(Calendar.YEAR);//获取月注:获取的月比真实月少1calendar.get(Calendar.MONTH)+1;获取UUID字符串方法:uui

    2022年8月9日
    6
  • ms17010复现

    ms17010复现关于漏洞的复现干多了就发现,这种菜鸟级别的复现,,真是没有啥实用性,主要就是,自己玩玩,,,唉,,  ms17_010,好像跟什么永恒之蓝,勒索病毒有啥关系。但是,我这种小白可管不着,而且现在做的所有的复现都是基于防火墙关闭,所以,没有啥技术,复现也白复现。。。。 好了,还是讲复现: 搜索:search17_010很容易看出来,这个第一个方法是搜索网段中主机漏洞的,

    2022年6月6日
    57

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号