简单回归模型
基本概念
回归分析：在其他条件不变的情况下，考察一个变量对另一个变量的影响。
| X | 自变量 | 解释变量 |
|---|---|---|
| Y | 因变量 | 被解释变量 |
设变量u表示关系式中的干扰项，表示除X之外其他影响Y的因素。
我们用一个简单的方程来表示它们之间的关系：
Y = β 0 + β 1 x + u Y=\beta_0+\beta_1 x+u Y=β0+β1x+u
当X发生变化时， △ Y = β 1 △ X + △ u \triangle Y=\beta_1\triangle X+\triangle u △Y=β1△X+△u,如果 △ u = 0 \triangle u=0 △u=0,那么 △ Y = β 1 △ X \triangle Y=\beta_1\triangle X △Y=β1△X,从而可以用 β 1 \beta_1 β1衡量X对Y的影响。
零条件均值假定
如何保证其他条件不变？简单地，如果X和u是独立的，即X的变化不会对u造成系统性影响，那么 β 1 \beta_1 β1就可以度量其他条件不变的情况下X对Y的影响。在计量分析中，采用一个更弱的技术性假定——零条件均值假定
首先，对于 Y = β 0 + β 1 x + v Y=\beta_0+\beta_1 x+v Y=β0+β1x+v，若 E ( v ) = a = 0 E(v)=a=0 E(v)=a=0，令u=v;若 E ( v ) = a ≠ 0 E(v)=a\neq0 E(v)=a=0,令 u = v − a u=v-a u=v−a,这样使 E ( u ) = 0 E(u)=0 E(u)=0，这样变换后的方程为 Y = ( β 0 + a ) + β 1 x + u Y=(\beta_0+a)+\beta_1 x+u Y=(β0+a)+β1x+u使得干扰项的均值为0.
因为u和x是随机变量，所以我们能在任何给定x下定义u的条件分布，所以关键假设是u的均值与x无关。写作: E ( u ∣ x ) = E ( u ) E(u|x)=E(u) E(u∣x)=E(u)
该方程表示：u的均值独立于x，（用均值独立来近似说明u独立于x）结合 E ( u ) = 0 E(u)=0 E(u)=0，就得到了零条件均值假定： E ( u ∣ x ) = 0 E(u|x)=0 E(u∣x)=0.
零条件均值假定的直观含义：由于误差项的存在，x对y的影响是随机的。但如果零条件均值假定成立，那么无论x取什么值，误差项对y的平均影响为零，从而x对y的均值的影响是确定性的。换言之，我们无法确定x与y的关系，但可以确定x与y的均值之间的关系。
总体回归函数
根据零条件均值假定：
E ( y ∣ x ) = E ( β 0 + β 1 x + u ∣ x ) E(y|x)=E(\beta_0+\beta_1 x+u|x) E(y∣x)=E(β0+β1x+u∣x)
= E ( β 0 ∣ x ) + E ( β 1 x ∣ x ) + E ( u ∣ x ) = β 0 + β 1 x =E(\beta_0|x)+E(\beta_1 x|x)+E(u|x)=\beta_0+\beta_1 x =E(β0∣x)+E(β1x∣x)+E(u∣x)=β0+β1x
E ( y ∣ x ) = β 0 + β 1 x E(y|x)=\beta_0+\beta_1 x E(y∣x)=β0+β1x被称为总体回归函数。 △ E ( y ∣ x ) = β 1 \triangle E(y|x)=\beta_1 △E(y∣x)=β1,因此 β 1 \beta_1 β1衡量了x增加一个单位对y的条件均值的影响。
进而推得 y = E ( y ∣ x ) + u y=E(y|x)+u y=E(y∣x)+u,该方程把y分成两部分，一部分是 E ( y ∣ x ) E(y|x) E(y∣x),被称为y的系统部分，可以由x解释；另一部分u被称为非系统部分，不能被x解释，但它的均值为0。
普通最小二乘法(OLS)
矩估计
接下来讨论如何估计参数 β 0 \beta_0 β0和 β 1 \beta_1 β1,我们通过矩估计的方法，用样本矩估计总体矩。令{
( x i , y i ) : ( i = 1 , 2 , ⋯ , n ) (x_i,y_i):(i=1,2,\cdots,n) (xi,yi):(i=1,2,⋯,n)}表示从总体中抽取容量为n的样本，对每个i，都有
y i = β 0 + β 1 x i + u i y_i=\beta_0+\beta_1 x_i +u_i yi=β0+β1xi+ui
其中 u i u_i ui为第i次观测的干扰项。
根据零条件均值假定，我们知道 E ( u ) = 0 E(u)=0 E(u)=0, C o v ( x , u ) = 0 Cov(x,u)=0 Cov(x,u)=0,所以有 C o v ( x , u ) = E ( x u ) − E ( x ) E ( u ) = E ( x u ) = 0 Cov(x,u)=E(xu)-E(x)E(u)=E(xu)=0 Cov(x,u)=E(xu)−E(x)E(u)=E(xu)=0
所以 E ( u ) = E ( y − β 0 − β 1 x ) = 0 E(u)=E(y-\beta_0-\beta_1 x)=0 E(u)=E(y−β0−β1x)=0
E ( u x ) = E [ x ( y − β 0 − β 1 x ) ] = 0 E(ux)=E[x(y-\beta_0-\beta_1 x)]=0 E(ux)=E[x(y−β0−β1x)]=0
用样本均值代替总体均值，选择估计值 β ^ 0 \hat \beta_0 β^0和 β ^ 1 \hat \beta_1 β^1来代替 β 0 \beta_0 β0和 β 1 \beta_1 β1，以上两式就可以写成:
1 n ∑ i = 1 n ( y i − β ^ 0 − β ^ 1 x ) = 0 \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat \beta_0 -\hat \beta_1 x)=0 n1i=1∑n(yi−β^0−β^1x)=0
1 n ∑ i = 1 n x i ( y i − β ^ 0 − β ^ 1 x ) = 0 \frac{1}{n}\sum_{i=1}^{n}x_i(y_i-\hat \beta_0 -\hat \beta_1 x)=0 n1i=1∑nxi(yi−β^0−β^1x)=0
对于等式一，可以改写为 β ^ 0 = y ˉ − β ^ 1 x ˉ \hat\beta_0=\bar y-\hat\beta_1 \bar x β^0=yˉ−β^1xˉ
对于等式二，做进一步的替换：
∑ i = 1 n x i ( y i − β ^ 0 − β ^ 1 x ) = 0 \sum_{i=1}^{n}x_i(y_i-\hat \beta_0 -\hat \beta_1 x)=0 i=1∑nxi(yi−β^0−β^1x)=0
∑ i = 1 n x i [ y i − ( y ˉ − β ^ 1 x ˉ ) − β ^ 1 x ] = 0 \sum_{i=1}^{n}x_i[y_i-(\bar y-\hat \beta_1 \bar x) -\hat \beta_1 x]=0 i=1∑nxi[yi−(yˉ−β^1xˉ)−β^1x]=0
∑ i = 1 n x i ( y i − y ˉ ) = β ^ 1 ∑ i = 1 n x i ( x i − x ˉ ) \sum_{i=1}^{n}x_i(y_i-\bar y)=\hat \beta_1\sum_{i=1}^{n}x_i(x_i-\bar x) i=1∑nxi(yi−yˉ)=β^1i=1∑nxi(xi−xˉ)
根据求和运算的性质，有
∑ i − 1 n ( x i − x ˉ ) 2 = ∑ i = 1 n ( x i 2 − 2 x i x ˉ + x ˉ 2 ) \sum_{i-1}^n(x_i-\bar x)^2=\sum_{i=1}^{n}(x_i^2-2x_i\bar x+\bar x^2) i−1∑n(xi−xˉ)2=i=1∑n(xi2−2xixˉ+xˉ2)
= ∑ i = 1 n ( x i 2 − x i x ˉ ) = ∑ i = 1 n x i ( x i − x ˉ ) =\sum_{i=1}^n(x_i^2-x_i\bar x)=\sum_{i=1}^{n}x_i(x_i-\bar x) =i=1∑n(xi2−xixˉ)=i=1∑nxi(xi−xˉ)
同理， ∑ i − 1 n x i ( y i − y ˉ ) = ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \sum_{i-1}^n x_i(y_i-\bar y)=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y) ∑i−1nxi(yi−yˉ)=∑i=1n(xi−xˉ)(yi−yˉ)
所以只要有 ∑ i − 1 n ( x i − x ˉ ) 2 > 0 \sum_{i-1}^n(x_i-\bar x)^2>0 ∑i−1n(xi−xˉ)2>0 就有 β ^ 1 = ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) ∑ i − 1 n ( x i − x ˉ ) 2 \hat\beta_1=\frac{\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)}{\sum_{i-1}^n(x_i-\bar x)^2} β^1=∑i−1n(xi−xˉ)2∑i=1n(xi−xˉ)(yi−yˉ)
根据代数知识， β ^ 1 = C o v ( x , y ) S x 2 = C o v ( x , y ) S x S y ⋅ s y S x = r ^ x y ⋅ S y S x \hat \beta_1=\frac{Cov(x,y)}{S_x^2}=\frac{Cov(x,y)}{S_xS_y}\cdot \frac{s_y}{S_x}=\hat r_{xy}\cdot \frac{S_y}{S_x} β^1=Sx2Cov(x,y)=SxSyCov(x,y)⋅Sxsy=r^xy⋅SxSy
由样本推得总体： β 1 = r x y ⋅ S y S x \beta_1=r_{xy}\cdot\frac{S_y}{S_x} β1=rxy⋅SxSy
可以看出，若x与y正相关，则斜率为正；若x与y负相关，则斜率为负。但是，简单回归本质上是两个变量之间的相关性分析，所以在推导因果关系时需要非常小心。
最小化残差平方和
对任意斜率和截距 β 0 \beta_0 β0和 β 1 \beta_1 β1,定义y在 x = x i x=x_i x=xi时的一个拟合值为
y ^ i = β ^ 0 + β ^ 1 x i \hat y_i=\hat\beta_0+\hat\beta_1 x_i y^i=β^0+β^1xi
这是在给定斜率和截距下，y在 x = x i x=x_i x=xi时的预测值。样本中每一次观测都有一个拟合值，第i次观测的残差就是其实际值与拟合值之差： u i = y i − β ^ 0 − β ^ 1 x i u_i=y_i-\hat\beta_0-\hat\beta_1 x_i ui=yi−β^0−β^1xi
事实上，普通最小二乘法之所以得名，就是因为 β ^ 0 , β ^ 1 \hat\beta_0,\hat\beta_1 β^0,β^1这些估计值最小化了残差的平方和：
∑ i = 1 n u ^ i 2 = ∑ i = 1 n ( y i − β ^ 0 − β ^ 1 x i ) 2 \sum_{i=1}^{n}\hat u_i^2=\sum_{i=1}^{n}(y_i-\hat\beta_0-\hat\beta_1 x_i)^2 i=1∑nu^i2=i=1∑n(yi−β^0−β^1xi)2
其一阶条件恰为
∑ i = 1 n ( y i − β ^ 0 − β ^ 1 x ) = 0 ∑ i = 1 n x i ( y i − β ^ 0 − β ^ 1 x ) = 0 \sum_{i=1}^{n}(y_i-\hat \beta_0 -\hat \beta_1 x)=0 \sum_{i=1}^{n}x_i(y_i-\hat \beta_0 -\hat \beta_1 x)=0 ∑i=1n(yi−β^0−β^1x)=0∑i=1nxi(yi−β^0−β^1x)=0
一旦确定了截距和斜率的估计值，就能够建立OLS回归线：
y ^ = β ^ 0 + β ^ 1 x \hat y=\hat \beta_0+\hat \beta_1 x y^=β^0+β^1x 从该方程中得到的预测值便是估计值。
该方程又被称作样本回归函数，因为它是总体回归函数 E ( y ∣ x ) = β 0 + β 1 x E(y|x)=\beta_0+\beta_1 x E(y∣x)=β0+β1x的一个样本估计。（总体回归函数是唯一且未知的）样本回归函数来自于给定一组数据的样本，所以对于不同的样本，OLS回归线有不同的斜率和截距。
在大多数情形中，斜率的估计值可以写成： β ^ 1 = △ y ^ / △ x \hat\beta_1=\triangle\hat y/\triangle x β^1=△y^/△x,它告诉我们x变化一个单位时的 y ^ \hat y y^的变化量；
类似的，有 △ y ^ = β ^ 1 △ x \triangle \hat y=\hat \beta_1\triangle x △y^=β^1△x,所以在给定x的一个变化，我们都能计算出y的预期变化。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/177885.html原文链接：https://javaforall.net
