一、Kappa 检验方法
在做数据分析时，我们经常会面临一致性检验问题，即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外，一致性检验在临床实验中也有着广泛的应用。对于两个或多个医务工作者对同一病人给出的诊断结论进行一致性检验，英文叫 interrater reliability; 对同一医务工作者多次诊断结论的一致性检验，英文叫 intrarater reliability。
二、计算方法
Kappa 系数有带加权和不带加权两种计算方法，分别对应 SAS 的简单Kappa系数和加权Kappa系数（Simple Kappa Coefficient, Weighted Kappa Coefficient）。
带加权的公式：
注：线性权重和平方权重分别对应SAS中的Cicchetti-Allison权重和Fleiss-Cohen权重，默认情况下使用Cicchetti-Allison权重。
以上公式来自 http://www.physther.org/content/85/3/257.full（英文资料，介绍地比较全面）
三、统计检验方法
Kappa
四、如何使用 SAS 做 Kappa 分析？
1）两种评测方法评分范围一致的情况
输出结果：
2）两种评测方法评分范围不一致的情况 — 使用 Weight 语句加 zeros 选项 （请参考 UCLA 大学的网站：http://www.ats.ucla.edu/stat/sas/faq/kappa.htm）
输出结果：
SAS 的 FREQ 过程步可用于 Kappa 一致性检验，代码共有两种写法，数值都一样，只是分析结果的展现形式不太一样。
TEST KAPPA 语句
输出结果：
TABLES 语句中的 AGREE 选项
proc freq data= unequalranges;
run;
输出结果：
Label1=ASE nValue1=0.
po=0.
pe=0.
kappa=0.5
下面介绍一下如何将 Kappa 统计量保存在 SAS 数据集中便于后续的分析和使用。
1) 保存简单Kappa系数
ods output SimpleKappa = SimpleKappa;
代码如下：
ods output SimpleKappa = SimpleKappa;
ods output WeightedKappa = WeightedKappa;
proc freq data= unequalranges;
run;
五、经验
1） Weighted kappa penalizes disagreements in terms of their seriousness, whereas unweighted kappa treats all disagreements equally. Unweighted kappa, therefore, is inappropriate for ordinal scales.
2） Landis and Koch45 have proposed the following as standards for strength of agreement for the kappa coefficient:
≤0=poor,
.01–.20=slight,
.21–.40=fair,
.41–.60=moderate,
.61–.80=substantial,
and .81–1=almost perfect.
http://www.cis.udel.edu/~carberry/CIS-885/Papers/DiEugenio-Kappa-Second-Look.pdf
http://www.agreestat.com/research_papers/kappa_statistic_is_not_satisfactory.pdf
http://www.chestx-ray.com/statistics/kappa.html
http://david.abcc.ncifcrf.gov/helps/linear_search.html
http://rss.acs.unt.edu/Rdoc/library/epicalc/html/kap.html （R，我这里就不介绍了，大家有兴趣的自己看看）
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/233509.html原文链接：https://javaforall.net
