普通最小二乘法的两种推导方法

全栈程序员-站长 • 2026年3月26日下午6:43 • 未分类 • 阅读 2

对于一个简单的线性回归模型，其形式为 [公式]

其中是因变量，是自变量，表示出了之外其他可能影响的因素。我们要用这个模型来寻找在其他因素不变的情况下，对的影响大小，也就是说，在 [公式] 的情况下

[公式]

这个线性公式表明不管的初值是多少，它的任何一个单位的变化对 [公式] 的影响都是相同的，这和很多经济学上的边际递增或者边际递减都是不符合的，这个问题之后再讨论。

今天我们怎样估算出最准确的 [公式] 呢，我门有两个方法：

那么我们要做出怎样的假定，才能估算出最准确的 [公式] 呢？

首先，我们要保证

[公式]

其实这个假定并不是特别的强，因为只要截距被包含在等式之中，假设总体中 [公式] 就不会失掉什么。

其次要保证，因素和 [公式] 之间不相关，也就是

或者说是 [公式]

举一个例子，假设是受教育的年数，是工资水平， [公式] 是影响工资水平的其他因素，这里是天生能力，如果受过8年教育的人的天生能力和受过16年教育的人的天生能力一样的话，那么就说明天生能力和受教育年数不相关，它们独立影响工资水平。如果天生能力越强的人受到的教育越多，那么这个假定则不成立。

对于给定的样本 [公式]

[公式]

对于所有的都成立，其中是第 [公式] 次观察的误差项，包含了出了自变量之外的所有其他变量

根据，就可以把和 [公式] 改写成为

[公式]

根据以上两个假设，我们就可以推导出最小二乘法的两个结果

[公式]

这里要强调，x和y回归的beta值，和两者之间的相关系数并不一样，相关系数等于

[公式]

当然，这个也可以利用残差的平方和推导出

[公式]

为了使得残差的平方和最小，使得此公式对 [公式] 的偏导为0，可以和前面得到相同的公式

[公式]

同样可以得到对 [公式] 的合理估计

欢迎大家关注公众号“创小董”我会继续分享更多更真实的创业经历、经验、解决办法。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/177804.html原文链接：https://javaforall.net