最小二乘法的矩阵推导

最小二乘法的矩阵推导顾名思义,从数学意义推导最小二乘法公式:一,解释最小二乘法本质是寻找一组x,使Ax与b距离最近。写成二范数的形式为:最合适的x一般出现在函数的极值点,也就是导数为0的点,所以为求导计算方便,我们用二范数的平方作为计算公式:补充知识:(1)二范数二,推导补充知识:设下列向量条件(2)标量对列向量求导证明过程:另一个同理可证。(3)特殊标量对列向量求…

大家好,又见面了,我是你们的朋友全栈君。

顾名思义,从数学意义推导最小二乘法公式:

最小二乘法的矩阵推导

一,解释

最小二乘法本质是寻找一组x,使Ax与b距离最近。写成二范数的形式为:

         最小二乘法的矩阵推导

最合适的x一般出现在函数的极值点,也就是导数为0的点,所以为求导计算方便,我们用二范数的平方作为计算公式:

          最小二乘法的矩阵推导


补充知识:设下列向量条件

 

最小二乘法的矩阵推导

(1)二范数

最小二乘法的矩阵推导

(2)标量对列向量求导

    最小二乘法的矩阵推导            最小二乘法的矩阵推导

      证明过程:

最小二乘法的矩阵推导

     另一个同理可证。

(3)特殊标量对列向量求导

最小二乘法的矩阵推导

  证明过程:

最小二乘法的矩阵推导


二,推导过程

因为

最小二乘法的矩阵推导

最小二乘法所需要的极小值点一般会出现在偏导为0的地方,所以

最小二乘法的矩阵推导

最小二乘法的矩阵推导

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/145640.html原文链接:https://javaforall.net

(1)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号