深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」

深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」参考知乎回答整理:https://www.zhihu.com/question/52398145主要参考:https://www.zhihu.com/question/52398145/answer/209358209基本概念:损失函数:计算的是一个样本的误差代价函数:是整个训练集上所有样本误差的平均目标函数:代价函数+正则化项实际应用:损失函数和代价函数是同一个东

大家好,又见面了,我是你们的朋友全栈君。

参考知乎回答整理:https://www.zhihu.com/question/52398145

主要参考:https://www.zhihu.com/question/52398145/answer/209358209

基本概念:

损失函数:计算的是一个样本的误差

代价函数:是整个训练集上所有样本误差的平均

目标函数:代价函数 + 正则化项

实际应用:

损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,举例说明:

深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」

上面三个图的曲线函数依次为f1(x),f2(x),f3(x),我们想用这三个函数分别来拟合真实值Y。

我们给定x,这三个函数都会输出一个f(X),这个输出的f(X)与真实值Y可能是相同的,也可能是不同的,为了表示我们拟合的好坏,我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function),或者叫代价函数(cost function)

深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」

损失函数越小,就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢?还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望,这是由于我们输入输出的(X,Y)遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集,f(X)关于训练集的平均损失称作经验风险(empirical risk),所以我们的目标就是最小化经验风险。

深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」

到这里完了吗?还没有。

如果到这一步就完了的话,那我们看上面的图,那肯定是最右面的f3(x)的经验风险函数最小了,因为它对历史的数据拟合的最好嘛。但是我们从图上来看它肯定不是最好的,因为它过度学习历史数据,导致它在真正预测时效果会很不好,这种情况称为过拟合(over-fitting)。为什么会造成这种结果?大白话说就是它的函数太复杂了,都有四次方了,这就引出了下面的概念,我们不仅要让经验风险最小化,还要让结构风险最小化。

这个时候就定义了一个函数J(f),这个函数专门用来度量模型的复杂度,在机器学习中也叫正则化(regularization)。常用的有L1, L2范数。到这一步我们就可以说我们最终的优化函数是: 

深入理解机器学习中的:目标函数,损失函数和代价函数「建议收藏」

即最优化经验风险和结构风险,而这个函数就被称为目标函数






版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/140508.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 吐槽下安卓手机_吐槽手机像素不好的说说

    吐槽下安卓手机_吐槽手机像素不好的说说吐槽下安卓手机安卓手机的问题:1、安卓的机子运行时间长了,都需要折腾的,这就跟电脑一样,3-6个月恢复一次系统才快。很少有安卓系统不预装自己的软件的。2、安卓手机为了炒作,很多配备多核CPU,导致发热量很大,掉电很快,手机发烫厉害影响手感。3、曲面屏,这是营销炒作出来的卖点,曲面屏由于外框没有保护,很容易摔碎,而且也有误触的问题。4、有些手机采用了窄边框,而误触处理没有做好,导致用户体验极差,这不…

    2022年9月2日
    6
  • 注册广播接收器registerReceiver

    注册广播接收器registerReceiver从registerReceiver(BroadcastReceiverreceiver,IntentFilterfilter)出发所经历的类和方法:registerReceiver(receiver,filter)–>ContextWrapper.java$registerReceiver(receiver,filter);@OverridepublicIntentregis…

    2025年7月25日
    2
  • jQuery遍历函数

    jQuery遍历函数

    2022年1月22日
    35
  • OSPF路由协议_ospf协议是一种什么路由协议

    OSPF路由协议_ospf协议是一种什么路由协议OSPF:开放式最短路径优先协议无类别链路状态路由协议,组播更新224.0.0.5/6;跨层封装到三层,协议号89;基于拓扑工作,故更新量大—–需要结构化部署–区域划分、地址规划触发更新、每30min周期更新OSPF的数据包:Hello包DBD–数据库描述包LSR–链路状态请求LSU–链路状态更新携带各种LSALSack–链路状态确认状态机—-OSP…

    2025年6月25日
    2
  • a4纸两版的小册子怎么打印_word怎么打印小册子用a4

    a4纸两版的小册子怎么打印_word怎么打印小册子用a4用word打印小册子具体操作步骤:1、首先打开将要打印的文档,然后在菜单栏下面的快捷菜单栏,找到打印机的快捷图标,单击鼠标左键选择打开打印机。2、会弹出打印机设置对话框,可以进行打印前的一些细节的设置,由于是要选择打印一本小册子所以选择打印“所有页面”。3、在下面一栏是调整页面大小,也就是打印模式,选择“小册子”进行打印。4、然后下面是关于小册子的一些设置,按照自己的需要进行设置。5、设置完成以后…

    2022年9月6日
    7
  • Jxls异常 Cannot load XLS transformer. Please make sure a Transformer impleme

    Jxls异常 Cannot load XLS transformer. Please make sure a Transformer impleme错误:CannotloadXLStransformer.PleasemakesureaTransformerimplementationisinclasspath原因:这是jxls的版本升级2.4后需要额外导入其他依赖<dependency><groupId>org.jxls</groupId><artifactId>jxls-jexcel</artifactId.

    2022年7月24日
    14

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号