SPSS（八）logistic回归（图文+数据集）

SPSS（八）logistic回归

我们之前的线性回归也好、线性回归衍生方法也好、非线性回归也好，因变量的类型都是连续性的，假如因变量的类型是分类的呢？logistic回归针对的是二分类的因变量

logistic回归

• 基于线性回归模型发展而来

线性回归研究的是连续性因变量与自变量之间的关系

• 有的时候因变量为分类变量，需要研究该分类变量与一组自变量之间的关系

以治疗效果为因变量，结局为治愈/未治愈

如果使用新的宣传方式，决定戒烟的概率是否更高？

模型简介

平常的线性回归方程表达式如下

假如我们也是用这种来预测发生概率，则其表达式为

但是在现实情况中，发生率P为因变量，它与自变量之间通常不存在线性关系（一般是两边不敏感，中间敏感，比如收入与轿车拥有率），而且上面表达式不能保证在自变量的各种组合下，因变量的取值仍限制在0~1内，所以数学家们为了解决遇到的这两个问题，将想方设法想找到一种变量变换，能让上式的发生率限制在0~1内，而且两边不敏感，中间敏感，到最后找到了一种变换，将上式的因变量进行如下转换，就能解决我们遇到的问题

所以上面的表达式可以写成

α是常数项，表示自变量取值全为0时，比数（Y=1与Y=0的概率之比）的自然对数值

Beta为logistic回归系数，表示当其他自变量取值保持不变时，该自变量取值增加一个单位引起比数比（OR）自然对数值的变化量，当概率比较低时候，可以理解概率会上升为原来的几倍

为什么可以直接挂等号呢？当p取0时，趋于负无穷，p取1/2时为0，p取1时趋于正无穷，等式两边值域取值相等

当是上面这个公式和我们平常做回归有什么区别呢？

由于因变量为二分类，所以误差项服从二项分布，而不是正态分布，因此，常用的最小二乘法也不再适用，要用迭代方法估计

模型用途

案例：低出生体重儿影响因素

 Hosmer和Lemeshow于1989年研究了低出生体重婴儿的影响因素

• 影响因素分析，求出哪些自变量对因变量发生概率有影响。并计算各自变量对因变量的比数比
• 作为判别分析方法，来估计各种自变量组合条件下因变量各类别的发生概率，从而对结局进行预测。该模型在结果上等价于判别分析

结果变量为是否娩出低出生体重儿(变量名为LOW，1，低出生体重，即婴儿出生体重<2500克、0，非低出生体重)

考虑的影响(自变量)有：

• 产妇妊娠前体重(lwt，磅)
• 产妇年龄(age，岁)
• 产妇在妊娠期间是否吸烟(smoke，0=未吸、1=吸烟)
• 本次妊娠前早产次数(ptl，次)
• 是否患有高血压(ht，0=未患、1=患病)
• 子宫对按摩、催产素等刺激引起收缩的应激性(ui，0=无、1=有)
• 妊娠前三个月社区医生随访次数(ftv，次)
• 种族(race，1=白人、2=黑人、3=其他民族)

(假如只研究是否吸烟对体重的影响，我们可以使用卡方检验，但是目前自变量这么多，卡方检验无能为力)

我们先来看一下卡方检验

从检验结果来看，显著性检验小于0.05，产妇在妊娠期间是否吸烟对低出生体重儿还是有影响的

下面我们使用Logistic回归方法

数据集如下

85 0 19 182 2 0 0 0 1 0 2523 86 0 33 155 3 0 0 0 0 3 2551 87 0 20 105 1 1 0 0 0 1 2557 88 0 21 108 1 1 0 0 1 2 2594 89 0 18 107 1 1 0 0 1 0 2600 91 0 21 124 3 0 0 0 0 0 2622 92 0 22 118 1 0 0 0 0 1 2637 93 0 17 103 3 0 0 0 0 1 2637 94 0 29 123 1 1 0 0 0 1 2663 95 0 26 113 1 1 0 0 0 0 2665 96 0 19 95 3 0 0 0 0 0 2722 97 0 19 150 3 0 0 0 0 1 2733 98 0 22 95 3 0 0 1 0 0 2750 99 0 30 107 3 0 1 0 1 2 2750 100 0 18 100 1 1 0 0 0 0 2769 101 0 18 100 1 1 0 0 0 0 2769 102 0 15 98 2 0 0 0 0 0 2778 103 0 25 118 1 1 0 0 0 3 2782 104 0 20 120 3 0 0 0 1 0 2807 105 0 28 120 1 1 0 0 0 1 2821 106 0 32 121 3 0 0 0 0 2 2835 107 0 31 100 1 0 0 0 1 3 2835 108 0 36 202 1 0 0 0 0 1 2836 109 0 28 120 3 0 0 0 0 0 2863 111 0 25 120 3 0 0 0 1 2 2877 112 0 28 167 1 0 0 0 0 0 2877 113 0 17 122 1 1 0 0 0 0 2906 114 0 29 150 1 0 0 0 0 2 2920 115 0 26 168 2 1 0 0 0 0 2920 116 0 17 113 2 0 0 0 0 1 2920 117 0 17 113 2 0 0 0 0 1 2920 118 0 24 90 1 1 1 0 0 1 2948 119 0 35 121 2 1 1 0 0 1 2948 120 0 25 155 1 0 0 0 0 1 2977 121 0 25 125 2 0 0 0 0 0 2977 123 0 29 140 1 1 0 0 0 2 2977 124 0 19 138 1 1 0 0 0 2 2977 125 0 27 124 1 1 0 0 0 0 2992 126 0 31 215 1 1 0 0 0 2 3005 127 0 33 109 1 1 0 0 0 1 3033 128 0 21 185 2 1 0 0 0 2 3042 129 0 19 189 1 0 0 0 0 2 3062 130 0 23 130 2 0 0 0 0 1 3062 131 0 21 160 1 0 0 0 0 0 3062 132 0 18 90 1 1 0 0 1 0 3076 133 0 18 90 1 1 0 0 1 0 3076 134 0 32 132 1 0 0 0 0 4 3080 135 0 19 132 3 0 0 0 0 0 3090 136 0 24 115 1 0 0 0 0 2 3090 137 0 22 85 3 1 0 0 0 0 3090 138 0 22 120 1 0 0 1 0 1 3100 139 0 23 128 3 0 0 0 0 0 3104 140 0 22 130 1 1 0 0 0 0 3132 141 0 30 95 1 1 0 0 0 2 3147 142 0 19 115 3 0 0 0 0 0 3175 143 0 16 110 3 0 0 0 0 0 3175 144 0 21 110 3 1 0 0 1 0 3203 145 0 30 153 3 0 0 0 0 0 3203 146 0 20 103 3 0 0 0 0 0 3203 147 0 17 119 3 0 0 0 0 0 3225 148 0 17 119 3 0 0 0 0 0 3225 149 0 23 119 3 0 0 0 0 2 3232 150 0 24 110 3 0 0 0 0 0 3232 151 0 28 140 1 0 0 0 0 0 3234 154 0 26 133 3 1 2 0 0 0 3260 155 0 20 169 3 0 1 0 1 1 3274 156 0 24 115 3 0 0 0 0 2 3274 159 0 28 250 3 1 0 0 0 6 3303 160 0 20 141 1 0 2 0 1 1 3317 161 0 22 158 2 0 1 0 0 2 3317 162 0 22 112 1 1 2 0 0 0 3317 163 0 31 150 3 1 0 0 0 2 3321 164 0 23 115 3 1 0 0 0 1 3331 166 0 16 112 2 0 0 0 0 0 3374 167 0 16 135 1 1 0 0 0 0 3374 168 0 18 229 2 0 0 0 0 0 3402 169 0 25 140 1 0 0 0 0 1 3416 170 0 32 134 1 1 1 0 0 4 3430 172 0 20 121 2 1 0 0 0 0 3444 173 0 23 190 1 0 0 0 0 0 3459 174 0 22 131 1 0 0 0 0 1 3460 175 0 32 170 1 0 0 0 0 0 3473 176 0 30 110 3 0 0 0 0 0 3475 177 0 20 127 3 0 0 0 0 0 3487 179 0 23 123 3 0 0 0 0 0 3544 180 0 17 120 3 1 0 0 0 0 3572 181 0 19 105 3 0 0 0 0 0 3572 182 0 23 130 1 0 0 0 0 0 3586 183 0 36 175 1 0 0 0 0 0 3600 184 0 22 125 1 0 0 0 0 1 3614 185 0 24 133 1 0 0 0 0 0 3614 186 0 21 134 3 0 0 0 0 2 3629 187 0 19 235 1 1 0 1 0 0 3629 188 0 25 95 1 1 3 0 1 0 3637 189 0 16 135 1 1 0 0 0 0 3643 190 0 29 135 1 0 0 0 0 1 3651 191 0 29 154 1 0 0 0 0 1 3651 192 0 19 147 1 1 0 0 0 0 3651 193 0 19 147 1 1 0 0 0 0 3651 195 0 30 137 1 0 0 0 0 1 3699 196 0 24 110 1 0 0 0 0 1 3728 197 0 19 184 1 1 0 1 0 0 3756 199 0 24 110 3 0 1 0 0 0 3770 200 0 23 110 1 0 0 0 0 1 3770 201 0 20 120 3 0 0 0 0 0 3770 202 0 25 241 2 0 0 1 0 0 3700 203 0 30 112 1 0 0 0 0 1 3799 204 0 22 169 1 0 0 0 0 0 3827 205 0 18 120 1 1 0 0 0 2 3860 206 0 16 170 2 0 0 0 0 4 3860 207 0 32 186 1 0 0 0 0 2 3860 208 0 18 120 3 0 0 0 0 1 3884 209 0 29 130 1 1 0 0 0 2 3884 210 0 33 117 1 0 0 0 1 1 3912 211 0 20 170 1 1 0 0 0 0 3940 212 0 28 134 3 0 0 0 0 1 3941 213 0 14 135 1 0 0 0 0 0 3941 214 0 28 130 3 0 0 0 0 0 3969 215 0 25 120 1 0 0 0 0 2 3983 216 0 16 95 3 0 0 0 0 1 3997 217 0 20 158 1 0 0 0 0 1 3997 218 0 26 160 3 0 0 0 0 0 4054 219 0 21 115 1 0 0 0 0 1 4054 220 0 22 129 1 0 0 0 0 0 4111 221 0 25 130 1 0 0 0 0 2 4153 222 0 31 120 1 0 0 0 0 2 4167 223 0 35 170 1 0 1 0 0 1 4174 224 0 19 120 1 1 0 0 0 0 4238 225 0 24 116 1 0 0 0 0 1 4593 226 0 45 123 1 0 0 0 0 1 4990 4 1 28 120 3 1 1 0 1 0 709 10 1 29 130 1 0 0 0 1 2 1021 11 1 34 187 2 1 0 1 0 0 1135 13 1 25 105 3 0 1 1 0 0 1330 15 1 25 85 3 0 0 0 1 0 1474 16 1 27 150 3 0 0 0 0 0 1588 17 1 27 150 3 0 0 0 0 0 1588 18 1 24 128 2 0 1 0 0 1 1701 19 1 24 132 3 0 0 1 0 0 1729 20 1 21 165 1 1 0 1 0 1 1790 22 1 32 105 1 1 0 0 0 0 1818 23 1 19 91 1 1 2 0 1 0 1885 24 1 25 115 3 0 0 0 0 0 1893 25 1 16 130 3 0 0 0 0 1 1899 26 1 25 92 1 1 0 0 0 0 1928 27 1 20 150 1 1 0 0 0 2 1928 28 1 21 200 2 0 0 0 1 2 1928 29 1 24 155 1 1 1 0 0 0 1926 30 1 21 103 3 0 0 0 0 0 1970 31 1 20 125 3 0 0 0 1 0 2055 32 1 25 89 3 0 2 0 0 1 2055 33 1 19 102 1 0 0 0 0 2 2082 34 1 19 112 1 1 0 0 1 0 2084 35 1 26 117 1 1 1 0 0 0 2084 36 1 24 138 1 0 0 0 0 0 2100 37 1 17 130 3 1 1 0 1 0 2125 40 1 20 120 2 1 0 0 0 3 2126 42 1 22 130 1 1 1 0 1 1 2187 43 1 27 130 2 0 0 0 1 0 2187 44 1 20 80 3 1 0 0 1 0 2211 45 1 17 110 1 1 0 0 0 0 2225 46 1 25 105 3 0 1 0 0 1 2240 47 1 20 109 3 0 0 0 0 0 2240 49 1 18 148 3 0 0 0 0 0 2282 50 1 18 110 2 1 1 0 0 0 2296 51 1 20 121 1 1 1 0 1 0 2296 52 1 21 100 3 0 1 0 0 4 2301 54 1 26 96 3 0 0 0 0 0 2325 56 1 31 102 1 1 1 0 0 1 2353 57 1 15 110 1 0 0 0 0 0 2353 59 1 23 187 2 1 0 0 0 1 2367 60 1 20 122 2 1 0 0 0 0 2381 61 1 24 105 2 1 0 0 0 0 2381 62 1 15 115 3 0 0 0 1 0 2381 63 1 23 120 3 0 0 0 0 0 2395 65 1 30 142 1 1 1 0 0 0 2410 67 1 22 130 1 1 0 0 0 1 2410 68 1 17 120 1 1 0 0 0 3 2414 69 1 23 110 1 1 1 0 0 0 2424 71 1 17 120 2 0 0 0 0 2 2438 75 1 26 154 3 0 1 1 0 1 2442 76 1 20 105 3 0 0 0 0 3 2450 77 1 26 190 1 1 0 0 0 0 2466 78 1 14 101 3 1 1 0 0 0 2466 79 1 28 95 1 1 0 0 0 2 2466 81 1 14 100 3 0 0 0 0 2 2495 82 1 23 94 3 1 0 0 0 0 2495 83 1 17 142 2 0 0 1 0 0 2495 84 1 21 130 1 1 0 1 0 3 2495

Logistic回归涉及到的检验

• Walds检验（变量筛选）：基于标准误估计值的单变量检验

他没有考虑其他因素的综合作用，当因素间存在共线性时结果不可靠

故在筛选变量时，用Walds法应慎重

• 似然比检验（模型比较）：直接对两个模型进行的比较

当模型较为复杂时，建议使用似然比检验进行变量的筛选工作，以及模型间优劣的比较

两模型-2对数似然值之差即为似然比统计量，自由度亦为两模型参数个数之差

• 比分检验（比分检验）

考虑在已有模型基础上引入新变量之后模型效果是否发生改变

建模，分析–回归–二元Logistic （二元代表因变量二分类）

刚才我们说(假如只研究是否吸烟对体重的影响，我们可以使用卡方检验，但是目前自变量这么多，卡方检验无能为力)，我们先看看，逻辑回归只研究是否吸烟对体重的影响

谁是1，就研究自变量对这个变量的影响，反之假如为0的话，得出的结果正负值全反

块0：起始块，只有常数项模型，也叫基线模型或无效模型

分类表就是模型预测的情况，下图可以看出划分点为0.5，预测模型全部预测成好人，预测准确率达68.8%，但是这很明显不是我们想要的模型，坏的全部预测成好的了

方程中的变量：Sig.<0.05，证明常数项不为0

不在方程中的变量（比分检验）：把smoke这个变量纳入模型有没有效果，Sig.<0.05,证明纳入进来还是有效果的

块1：有自变量的模型

模型系数的综合检验：变量的纳入模型与不纳入模型是否有区别，Sig.<0.05,证明有区别，卡方说明变量的加入下降了多少似然比统计量（下面会有介绍到似然比检验）

模型汇总（似然比检验）：-2对数似然值衡量的是模型对数据的解释程度，模型的价值指标，越接近0越好，单独看是没有意义的，和其他模型比较才有价值

分类表：查看模型预测结果及切分点

方程中的变量（Walds检验）：Sig.变量纳入模型对模型效果是否显著，Exp（B）称比数比，其他自变量取值保持不变时，该自变量取值增加一个单位引起比数比（OR）自然对数值的变化量，当概率比较低时候，可以理解概率会上升为原来的几倍

刚才只是考察低出生体重儿与是否吸烟的回归关系，我们现在把所有的二分类自变量和连续类型自变量放进去建模，为什么多分类自变量先不放进去？我们等下再说

分析–回归–二元Logistic

结果解读

起始块一般没有没有什么变化，但是不在方程中的变量这表格有区别，总统计量显著性<0.05,证明把所有模型都纳入进来有意义，后续再去细看每一个自变量的Sig.进行挑选

块1：

方程中的变量：我们看到有一些变量不显著，Sig.>0.05，直接剔除掉吗？这样做的话存在潜在的危险，因为Walds检验，他没有考虑其他因素的综合作用，当因素间存在共线性时结果不可靠，故在筛选变量时，用Walds法应慎重

我们应该选用比分检验和似然检验来挑选

其他模块的结果解读前面已经讲解

我们知道变量的spss自动挑选有向前法、向后法以及逐步法，当然我们也可以自己手动挑选，毕竟spss自动挑选错误率可达30%

分析–回归–二元Logistic ，我们说过Wald方法不靠谱，最靠谱的方法为LR（似然比检验）或者条件（比分检验），LR（似然比检验）比较好，这里的向前指的是逐步法、向后指的是向后法

我们选择向前：LR

结果如下（块0不截图了，都是一样的）

我们看到最终只选择变量lwt、ptl、ht，模型比数比为217.220

假如我们使用向后：LR得到结果是什么样的呢？

发现其选的变量有四个和向前不一样lwt、smoke、ptl、ht，模型比数比为214.440，遇到这种情况，我们应该多做几次实验或者自己手动挑选变量，假如最后结果还是不一致，用专家经验，smoke其实还是对结果有影响，所以我们选择向后：LR的结果。spss自动挑选的纳入和剔除相对应的Sig.标准是0.05和0.1，可以去调，如下图（选项–步进概率）

哑变量编码

针对问题：

• 回归系数b表示其它自变量不变，x每改变一个单位时，所预测的y的平均变化量
• 当x为连续性/二分类变量时这样没有问题
• 当x为多分类变量时就不太合适了

无序多分类：民族，各族之间不存在大小问题

有序多分类：家庭收入分为高、中、低三档，它们之间的差距无法准确衡量

强行规定为等距显然可能引入更大的误差

在以上这些情况时，我们就必须将原始的多分类变量转化为数个哑变量（Dummy Variable），每个哑变量只代表某两个级别或若干个级别间的差异，这样得到的回归结果才能有明确而合理的实际意义。

(注意：哑变量必须同进同出，否则含义可能改变)

举个例子：

O型是作为对比水平（基础水平），而哑变量V1、V2、V3分别代表了A型、B型、AB型和O型相比的系数

我们的自变量里面有种族，是无须多分类的，所以我们选择其他种族为对比水平（基础水平）

把种族选进来，点击分类，之后设置参考水平即可

建模结果，模型的似然检验为206.110比之前的模型都要好，其选入的变量有lwt、smoke、ptl、ht、race

注意一下，我们查看哑变量对模型是否有显著性作用先看race总的检验结果为0.02有意义，才去细看里面的race（1）、race（2）

race（1）的比数比Exp（B）为0.392，说明白人相对于其他种族出现低出生体重为0.392倍

SPSS逻辑回归补充

• 哑变量编码的问题

针对平常的（回归–线性）里面是不支持哑变量编码的，不像Logistic回归这样直接放入协变量点击分类就SPSS自己进行哑变量编码，（回归–线性）里面进行哑变量编码要自己手动动手或者写程序

由于方差分析其实本质上是和（线性–回归）是等价的，假如模型中自变量以分类变量为主的话，放入方差分析的固定因子，自变量会自接变成哑变量的形式

• 交互作用

方差分析里面可以研究交互项对因变量的影响，Logistic回归也是支持的，我们先看看方差分析对应SPPS交互项里面操作

Logistic回归也是支持交互作用的研究的，一次选中多个变量加进去

但是（线性–回归）不支持交互作用，假如想研究交互作用，我们可以自己手动做一个新变量，比如a*b作为新的自变量纳入模型，这么麻烦的原因是方差分析已经有这个功能了，方差分析本质上是和线性回归是等价的

• SPSS Logistic回归其他好用功能

分类图