大家好，又见面了，我是你们的朋友全栈君。

ROC曲线及AUC值

参考文献：【ROC曲线与AUC值】，【ROC，AUC最透彻的讲解（实例分析+matlab代码）】，【AUC计算方法与Python实现】，【AUC曲线计算方法及代码实现】

1. 介绍及引入

ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。平面的横坐标是False Positive Rate(FPR)，即假阳性率（$1-Sp$）；纵坐标是True Positive Rate(TPR)，即真阳性率（$Sn$）。

对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，此分类器就可以映射成ROC平面上的一个点。调整这个分类器分类时候使用的阈值，我们就可以得到一个经过(0, 0)，(1, 1)的曲线，这就是此分类器的ROC曲线。

一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。因为(0, 0)和(1, 1)连线形成的ROC曲线实际上代表的是一个随机分类器。

(0,0)代表一种极端情况，即判定样本全为阴性；(1,1)则代表判断样本全为阳性

如果很不幸，你得到一个位于此直线下方的分类器的话，一个直观的补救办法就是把所有的预测结果反向，即：分类器输出结果为正类，则最终分类的结果为负类，反之，则为正类。虽然，用ROC curve来表示分类器的Performance很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。于是Area Under roc Curve(AUC)就出现了。

顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。

2. ROC的动机

对于0，1两类分类问题，一些分类器得到的往往不是0，1这样的标签，如神经网络得到诸如0.5，0.8这样的分类结果。这时我们人为取一个阈值，比如0.4，那么小于0.4的归为0类，大于等于0.4的归为1类，可以得到一个分类结果。

图中虚线C代表0类，虚线A代表1类，实线B代表人为划定的阈值（介于0~1）

蓝色表示原始为阴性分类得到的统计图，红色表示原始为阳性得到的统计图。

那么我们取一条直线，直线左边分为负类，直线右边分为正类，这条直线也就是我们人为所取的阈值。

阈值不同，可以得到不同的结果，但是由分类器决定的统计图始终是不变的。这时候就需要一个独立于阈值，只与分类器有关的评价指标，来衡量特定分类器的好坏。还有在类不平衡的情况下，如正样本有90个，负样本有10个，直接把所有样本分类为正样本，得到识别率为90%，但这显然是没有意义的。如上就是ROC曲线的动机。

3. ROC的定义

关于两类分类问题，原始类为Positive、Negative，分类后得到四个指标，分别为：真阳、假阳、假阴、真阴。ROC空间将假阳性率（$FPR$）定义为$X$轴，真阳性率（$TPR$）定义为$Y$轴。
公式如下：

• TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。$TPR(Sn)=TP/(TP+FN)$
• FPR：在所有实际为阴性的样本中，被错误地判断为阳性之比率。$FPR(1-Sp)=FP/(FP+TN)$

形象解释：
在医学诊断中，判断有病的样本。那么尽量把有病的揪出来是主要任务，也就是第一个指标TPR，要越高越好。而把没病的样本误诊为有病的，也就是第二个指标FPR，要越低越好。不难发现，这两个指标之间是相互制约的。如果某个医生对于有病的症状比较敏感，稍微的小症状都判断为有病，那么他的第一个指标应该会很高，但是第二个指标也就相应地变高。最极端的情况下，他把所有的样本都看做有病，那么第一个指标达到1，第二个指标也为1。

4. ROC的图形化表示

以FPR为横轴，TPR为纵轴，得到如下ROC空间：

将图中每个点视为不同医生的诊断水平，则有如下形象化地判断：

1. 左上角的点（TPR=1，FPR=0），为完美分类，说明该医生诊断全对；
2. 点A（TPR>FPR），医生A的判断大体是正确的
3. 中线上的点B（TPR=FPR），也就是医生B全都是蒙的，蒙对一半，蒙错一半；
4. 下半平面的点C（TPR<FPR），这个医生说你有病，那么你很可能没有病，医生C的话我们要反着听。

上图中一个阈值，得到一个点。不同的点代表不同的阈值。为了得到一个独立于阈值的评价指标来衡量这个医生的医术如何，也就是遍历所有的阈值，得到ROC曲线。假设如下就是某个医生的诊断统计图，直线代表阈值。我们遍历所有的阈值，能够在ROC平面上得到如下的ROC曲线。

曲线距离左上角越近，证明分类器效果越好。

如上图，有三条ROC曲线，在0.23处取一条直线。那么，在同样的FPR=0.23的情况下，红色分类器得到更高的TPR。也就表明，ROC越往上，分类器效果越好。可以用一个标量值AUC来量化它。

5. 如何绘制ROC曲线

假设已经得出一系列样本被划分为正类的概率，然后按照大小排序，下图是一个示例，图中共有20个测试样本，$“Class”$一栏表示每个测试样本原始的标签（$p$表示正样本，$n$表示负样本），$“Score”$表示每个测试样本属于正样本的概率。总计有10个正样本和10个负样本，从高到低，依次将$“Score“$值作为阈值$threshold$，当测试样本属于正样本的概率大于或等于这$threshold$时，我们认为它为正样本，否则为负样本。

在ROC空间平面上描的点：

6. AUC值

6.1 AUC值的定义

AUC值为ROC曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。

1. AUC=1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。然而绝大多数预测场合，不存在完美分类器。
2. 0.5 < AUC < 1，优于随机猜测。这个分类器如果妥善设定阈值的话，能有预测价值。
3. AUC=0.5，跟随机猜测一样，模型没有预测价值。
4. AUC<0.5，比随机猜测还差；但是可以反预测而行，就优于随机猜测。

6.2 AUC值的物理意义

假设分类器的输出是样本属于正类的score（置信度），则AUC的物理意义为任取一对（正、负）样本，正样本的score大于负样本的score的概率。

6.3 AUC值的计算

1. AUC为ROC曲线下的面积，那我们直接计算面积可得。面积为一个个小的梯形面积之和，计算的精度与阈值的精度有关。
2. 根据AUC的物理意义，我们计算正样本score大于负样本的score的概率。取N*M（N为正样本数，M为负样本数）个二元组，比较score，最后得到AUC。时间复杂度为$O(N\ast M)$。
3. 与第二种方法相似，直接计算正样本score大于负样本的score的概率。我们首先把所有样本按照score排序，依次用rank表示他们，如最大score的样本，rank=n(n=N+M)，其次为n-1。那么对于正样本中rank最大的样本（rank_max），有M-1个其他正样本比他score小，那么就有(rank_max-1)-(M-1)个负样本比它score小。其次为(rank_second-1)-(M-2)。最后我们得到正样本大于负样本的概率为：
   $$AUC=\frac{({\sum }_{i\in PositiveSamples}ran{k}_i)-M(M+1)/2}{M\ast N}$$
   时间复杂度为$O(N+M)$。

自定义算法：

import numpy as np
def calAUC(y_labels,y_scores):
    f = list(zip(y_scores, y_labels))
    rank = [values2 for values1, values2 in sorted(f, key=lambda x:x[0])]
    rankList = [i+1 for i in range(len(rank)) if rank[i] == 1]
    pos_cnt = np.sum(y_labels == 1)
    neg_cnt = np.sum(y_labels == 0)
    auc = (np.sum(rankList) - pos_cnt*(pos_cnt+1)/2) / (pos_cnt*neg_cnt)
    return auc
# 其中输入y_scores是得到的概率值，y_labels是分类的标签（1，0）

从sklearn库中调用：

from sklearn.metrics import roc_auc_score
# 调用方法：roc_auc_score(y_labels, y_scores)

随机数据生成函数及调用方法：

def get_score():
    # 随机生成100组label和score
    y_labels = np.zeros(100)
    y_scores = np.zeros(100)
    for i in range(100):
        y_labels[i] = np.random.choice([0, 1])
        y_scores[i] = np.random.random()
    return y_labels, y_scores

if __name__ == '__main__':
    y_labels, y_scores = get_score()
    # 调用sklearn中的方法计算AUC，与后面自己写的方法作对比
    print('sklearn AUC:', roc_auc_score(y_labels, y_scores))
    print('diy AUC:',calAUC(y_labels, y_scores))