极大似然、最小二乘和梯度下降

极大似然、最小二乘和梯度下降

今天学习回归算法的过程中,对于常见到的名词:极大似然、最小二乘以及梯度下降做一个总结

机器学习的基本框架大都是模型、目标和算法!

如何让模型尽可能好的拟合或者分类数据呢?那么就需要有目标函数,所以要定下模型的cost function,其中的获取损失函数的方法。

对于线性回归,可以采用他的似然函数、或根据最小二乘,写出他的损失函数。

对于逻辑回归,采用似然函数求他的损失函数。

 而采用何种优化算法,则可以使用最小二乘法、梯度下降法等。

问题1:最小二乘和最小均方误差的区别?

最小二乘:预测值和真实值差的平方和

均方误差:预测值和真实值差的期望<span>极大似然、最小二乘和梯度下降</span>,是一种加权最小二乘,权值为概率!

加权最小二乘:根据实际问题考虑每个求和项的重要程度,即加权值w,

<span>极大似然、最小二乘和梯度下降</span>

 

均方误差估计是针对概率模型,二乘估计是针对确定性模型

 

 问题2:为什么逻辑回归不用最小二乘?

主要是逻辑回归采用最小二乘获得损失函数的话,比较复杂,容易陷入局部最优

<span>极大似然、最小二乘和梯度下降</span>

<span>极大似然、最小二乘和梯度下降</span>

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/119463.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 2015阿里校招前端在线题目[通俗易懂]

    2015阿里校招前端在线题目

    2022年1月27日
    45
  • 手机靓号正则表达式「建议收藏」

    手机靓号正则表达式「建议收藏」手机靓号正则表达式手机靓号正则ABC+=1234或12345…AAAA+=1111或11111…AAAA+//ABC+DDD+//AA+BBB+//AABBCC//ABABABAAAA+    (\d)\1{3,}   //如果想调3A+改{3,}改成{2,},想固定3A的话把{2,}的{,}号去掉  (1111+)ABC+DDD+  (?:0(?=1)|1(?=2)|2(?=3)|3(?=4

    2022年6月8日
    55
  • superset、metabase、redash三个开源BI工具的个人使用心得及分析

    superset、metabase、redash三个开源BI工具的个人使用心得及分析数据可视化也是大数据领域里极为关键的一环 一开始我们用的是 SpringBoot ECharts 的经典组合来做可视化的 确实功能很强也很灵活 但后来随着统计需求越来越多 每来一个新需求都要写大量的重复的 MVC 代码 这等于花费了许多无用的时间和精力 这种时候就需要一个 BI 工具来简化这个过程 市面上有很多极为优秀的 BI 像 Tableau PowerBI 等 但这些都是收费的 不在考虑范围内 而开源免费的

    2025年7月15日
    6
  • 2014百度之星第三题Xor Sum(字典树+异或运算)「建议收藏」

    2014百度之星第三题Xor Sum(字典树+异或运算)

    2022年1月19日
    65
  • labelImg使用教程

    labelImg使用教程Anaconda环境安装Anaconda之后,在开始菜单下找到Anaconda文件夹找到AnacondaPrompt点击运行安装labelImgpipinstalllabelImg#直接命令行输入启动labelImglabelImg#直接命令行输入名称即可labelImg界面开始标注快捷键:W(创建方框),A(上一张),D(下一张)XML文件示例<annotation> <folder>夜读</folder>

    2022年6月29日
    30
  • npm和cnpm安装

    npm和cnpm安装npm和cnpm安装1.npm安装(1)去nodejs官网下载:http://nodejs.cn/download/(2)安装到目录C:\ProgramFiles\nodejs下(3)打开命令提示符窗口,window+R,输入cmd命令行输入npm-v如果报错,就打开控制面板-系统和安全-系统中打开高级系统配置,把nodejs的安装目录添加到环境变量中,例如我的就是C:\Prog…

    2022年10月15日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号