分类模型评估方法_政策评估的模型与方法

分类模型评估方法_政策评估的模型与方法上图矩阵中1是正例,0是只负例对于二分类问题,可以将真实类别和分类器预测类别组合为:真正例(truepositiveTP):真实类别为正例,预测类别为正例;假正例(falsepositiveFP):真实类别为负例,预测类别为正例;假负例(falsenegativeFN):真实类别为正例,预测类别为负例;真负例(truenegativeTN):真实类别为负例,预测类别为负例;分类模…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

分类模型评估方法_政策评估的模型与方法

上图矩阵中1是正例,0是只负例

对于二分类问题,可以将真实类别和分类器预测类别组合为:

真正例(true positive TP):真实类别为正例,预测类别为正例;

假正例(false positive FP): 真实类别为负例,预测类别为正例;

假负例(false negative FN):真实类别为正例,预测类别为负例;

真负例(true negative TN):真实类别为负例,预测类别为负例;

分类模型评价指标有:

1.错误率和精度

错误率(error_rate)和精度(accuracy)是分类任务中最常用的两个指标,既适用于二分类任务也适用于多分类任务;

error_rate = (FP+FN)/(P+N)

accuracy = (TP+TN)/(P+N)

accuracy = 1-error_rate

错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例;

error_rate =

2.查准率、查全率和F1

查准率(准确率)P = TP/(TP+FP)

查全率(召回率)R = TP/(TP+FN)

F1值:F1 = 2/(1/R + 1/P) = 2*P*R/(P+R)

查准率和查全率是一对矛盾的指标,一般来说,查准率高时,查全率往往偏低,而查全率高时,查准率往往偏低;平衡点BEP是查准率= 查全率时的取值,当一个学习期的BEP高于另一个学习器的,则可以认为该学习器优于另一个;

但BEP过于简化,更常用的是F1值;另外再一些应用中可能对查准率和查全率的重视程度不同,可以对它们施加不同的偏好,定义为:

分类模型评估方法_政策评估的模型与方法

3.ROC和AUC

ROC曲线的纵轴是“真正例率”(TPR),横轴是假正例率(FPR),

其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)

分类模型评估方法_政策评估的模型与方法

绘图过程:给定m+个正例率和m-个负例率,根据学习器的预测结果对样例进行排序,然后把分类阈值设为最大,即把所有样本都预测为反例,此时TPR和FPR都为0,在坐标(0,0)处标记一个点,然后,将分类阈值依次设为每个样例的预测值,即依次将每个样例预测为正例;

若一个分类器的ROC曲线将另一个分类器的曲线完全包住,则可认为该分类器优于另一个分类器;若两个分类器之间有交叉,则比较难比较优劣,此时较为合理的判断指标是AUC,即ROC曲线下的面积。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188835.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • staruml画用例图连线_画用例图的例题

    staruml画用例图连线_画用例图的例题好久没画图在StarUML里都找不到useCase了,记下来不然又忘了右击Untitled->AddDiagram->UseCaseDiagram,然后左边就有UseCase了就可以画用例图了

    2025年8月28日
    9
  • python爬取论坛图片_python爬取某网站妹子图集

    python爬取论坛图片_python爬取某网站妹子图集importrequestsfromlxmlimportetreeimporttimeimportosimportredefhuoquyuanma(url=’https://www.tujigu.com/’):headers={‘Accept’:’*/*’,’Accept-Language’:’en-US,en;q=0.8′,’Cache-Control’:’max-…

    2022年7月17日
    15
  • 利用ESP定律的upx脱壳实践

    利用ESP定律的upx脱壳实践利用ESP定律的upx脱壳实践背景:除了命令行upx-d脱壳,还有手动脱壳。ESP定律的本质是堆栈平衡,又称堆栈平衡定律,是应用频率最高的脱壳方法之一,脱壳的目的就是找到真正的OEP(源文件的EP代码)方法:从pushad到popad是一段解压缩代码(解压UPX壳),这段代码执行后,紧跟在popad后的第一个JMP指令可跳转到OEP实践:1:查壳2:OD打开3:F8//对于寄存器,指令执行后发生改变的寄存器会用红色显示.此处ESP和EIP的值发生改变,因为执行pushad指令,将8个

    2022年7月19日
    12
  • The MySQL C API 编程实例

    The MySQL C API 编程实例

    2021年11月13日
    44
  • SpringSecurity(十四)—RememberMe功能实现

    SpringSecurity(十四)—RememberMe功能实现

    2020年11月12日
    221
  • c语言 自己编程解析 xml,C语言解析.XML文件

    c语言 自己编程解析 xml,C语言解析.XML文件最近手头上有个活在忙,中间很重要的一部分就是用C语言将.XML文件中想要的key和value读出来,与之前已有的值进行比较。核心的.XML文件的格式如下:zzzxxxyyy而我的思路是这样的:1.将整个文件读到一个buf中;2.去掉不需要的头部分;(xml?>)3.采用下降递归的方法,获取到每一个人tag和content;其中用到的结构体有:typedefstructXM…

    2022年7月12日
    20

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号