分类模型评估方法_政策评估的模型与方法

全栈程序员-站长 • 2022年9月27日下午1:46 • 未分类 • 阅读 1

分类模型评估方法_政策评估的模型与方法

上图矩阵中1是正例，0是只负例

对于二分类问题，可以将真实类别和分类器预测类别组合为：

真正例(true positive TP)：真实类别为正例，预测类别为正例；

假正例（false positive FP）: 真实类别为负例，预测类别为正例；

假负例（false negative FN）:真实类别为正例，预测类别为负例；

真负例（true negative TN）：真实类别为负例，预测类别为负例；

分类模型评价指标有：

1.错误率和精度

错误率(error_rate)和精度（accuracy）是分类任务中最常用的两个指标，既适用于二分类任务也适用于多分类任务；

error_rate = (FP+FN)/(P+N)

accuracy = （TP+TN）/(P+N)

accuracy = 1-error_rate

错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例；

error_rate =

2.查准率、查全率和F1

查准率（准确率）P = TP/(TP+FP)

查全率（召回率）R = TP/(TP+FN)

F1值：F1 = 2/(1/R + 1/P) = 2*P*R/(P+R)

查准率和查全率是一对矛盾的指标，一般来说，查准率高时，查全率往往偏低，而查全率高时，查准率往往偏低；平衡点BEP是查准率= 查全率时的取值，当一个学习期的BEP高于另一个学习器的，则可以认为该学习器优于另一个；

但BEP过于简化，更常用的是F1值；另外再一些应用中可能对查准率和查全率的重视程度不同，可以对它们施加不同的偏好，定义为：

分类模型评估方法_政策评估的模型与方法

3.ROC和AUC

ROC曲线的纵轴是“真正例率”（TPR），横轴是假正例率（FPR）,

其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)

分类模型评估方法_政策评估的模型与方法

绘图过程：给定m+个正例率和m-个负例率，根据学习器的预测结果对样例进行排序，然后把分类阈值设为最大，即把所有样本都预测为反例，此时TPR和FPR都为0，在坐标（0,0）处标记一个点，然后，将分类阈值依次设为每个样例的预测值，即依次将每个样例预测为正例；

若一个分类器的ROC曲线将另一个分类器的曲线完全包住，则可认为该分类器优于另一个分类器；若两个分类器之间有交叉，则比较难比较优劣，此时较为合理的判断指标是AUC,即ROC曲线下的面积。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/188835.html原文链接：https://javaforall.net