神经网络优化(初始化权重)

神经网络优化(初始化权重)使隐藏层饱和了,跟之前我们说的输出层饱和问题相似,对于输出层,我们用改进的cost函数,比如cross-entropy,但是对于隐藏层,我们无法通过cost函数来改进更好的方法来初始化权重?因为传统的初始化权重问题是用标准正态分布(均值为0,方差为1)随机初始化的,这其实是存在不合理的部分。标准正态分布:可以看出真实数据的


Jetbrains全系列IDE稳定放心使用


使隐藏层饱和了, 跟之前我们说的输出层饱和问题相似, 对于输出层,我们用改进的cost函数,比如cross-entropy, 但是对于隐藏层, 我们无法通过cost函数来改进

更好的方法来初始化权重?

因为传统的初始化权重问题是用标准正态分布(均值为0,方差为1)随机初始化的,这其实是存在不合理的部分。

标准正态分布:

神经网络优化(初始化权重)

神经网络优化(初始化权重)

可以看出真实数据的分布其实是在靠近坡峰的部分,符合正态分布的。

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)

神经网络优化(初始化权重)


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/188410.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • VLAN原理详解_lc振荡电路原理图解

    VLAN原理详解_lc振荡电路原理图解转自:https://blog.csdn.net/phunxm/article/details/9498829一、什么是桥接桥接工作在OSI网络参考模型的第二层数据链路层,是一种以MAC地址来作为判断依据来将网络划分成两个不同物理段的技术,其被广泛应用于早期的计算机网络当中。我们都知道,以太网是一种共享网络传输介质的技术,在这种技术下,如果一台计算机…

    2022年8月10日
  • C++动态库和静态库_动态库和静态库调用方法

    C++动态库和静态库_动态库和静态库调用方法1、前言从事软件工作也有两年了,C++静态库和动态库也用了不少,但都是依葫芦画瓢,一直没具体去研究一下二者的区别,加载方式等,今天花时间看了几篇博客,重新学习了一下,做出如下笔记。2、定义静态库和动态库从字面意思来看,区别就是静态和动态。而这里的静态和动态指的是库的链接阶段。可以看如下的编译过程。静态库:在链接阶段库将会与目标汇编后的目标文件.o一起打包生成可执行文件。成为可执行…

    2022年9月29日
  • oracle报未明确定义列_oracle视图创建

    oracle报未明确定义列_oracle视图创建报这个错误的原因在于选出的结果集中包含相同的字段,数据库不知道应该以哪个字段为准。selectU.*from(selectq.jslongitude_gpsas**gpslatitude**,q.jslatitude_gpsas**gpslatitude**,q.jslongitude_amapaslontitude,q.jslatitude_amapasla

    2022年9月27日
  • ArcGIS Api For Flex 动态画点和线

    ArcGIS Api For Flex 动态画点和线

    2022年3月4日
  • c2框架编写

    0x00前言由于昨天520,今天又是521,我被朋友圈和qq空间给刷屏了,都在秀对象。一气之下决定把我上次写的nc拿出来使用类进行重构,多实例化几个对象,这下子我也有对象了。0x01一些小插曲

    2021年12月11日
  • windows的server服务_windowsserver是什么

    windows的server服务_windowsserver是什么WindowsServerAppFabric正式发布

    2022年10月9日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号