为什么使用全局平均池化层?[通俗易懂]

为什么使用全局平均池化层?1、全连接层:、全连接网络可以使featuremap的维度减少,进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(globalaveragepoolilng)[GAP]:、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异?、全连接层结构的模型对于训练学习

大家好,又见面了,我是你们的朋友全栈君。

为什么使用全局平均池化层?

1、全连接层:
、全连接网络可以使feature map的维度减少,进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]:
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义
gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异?
、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。
、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。
、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。

提供建议:
全局平均池化层+softmax层代替FC层,效果要好。
全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/128401.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月11日 下午9:40
下一篇 2022年4月11日 下午10:00


相关推荐

  • 2022.01.13 idea激活码(注册激活)

    (2022.01.13 idea激活码)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~0HKLM1UCCY-eyJsaWNlbnNlSWQiOi…

    2022年3月31日
    188
  • UPX 脱壳初见

    UPX 脱壳初见1.壳是什么?加壳一般是指保护程序资源的方法.脱壳一般是指除掉程序的保护,用来修改程序资源.病毒加壳技术与脱壳杀毒方法:壳是什么?脱壳又是什么?这是很多经常感到迷惑和经常提出的问题,其实这个问题一点也不幼稚。壳,在我们的印象中,它的作用就是保护,例如龟壳,这是传统意义上的壳,通常被用来保护自己;今天我们讨论的壳是程序的壳,它的功能和一般意义上的壳有相同的地方,它们都是保护作用,在一…

    2022年7月19日
    20
  • 极大似然估计求解多项式分布参数

    极大似然估计求解多项式分布参数原因今天晚上 老师在看 LDA 数学八卦的时候 问我一个问题 如下图所示 这个多项式分布的参数 采用极大估计是怎么求的呢 当时想了想还真不知道 于是在网上找了资料 学习了一下 特此记录 公式推导很多情况下 假定一个变量 XX 有 kk 个状态 其中 k gt 2k gt 2 每个状态假定的可能性为 p1 p2 pkp 1 p 2 cdots p k 且 ki 1pi 1 sum i 1

    2026年3月18日
    2
  • pycharm安装pytorch「建议收藏」

    pycharm安装pytorch「建议收藏」1、pycharm终端安装(一)①按照file、setting、project、pythoninterpreter找到解释器,如果有多个python版本,先选择想要的python版本(python2、python3);②点+,安装pytorch包测试是否安装成功2、pycharm终端安装(二)https://zhuanlan.zhihu.com/p/144544172在pycharm的命令行里用pip安装:pipinstalltorch===1.2.0torchvision===

    2022年8月25日
    8
  • Hadoop与 Spark中的Shuffle之区别与联系

    Hadoop与 Spark中的Shuffle之区别与联系Hadoop与 Spark中的Shuffle之区别与联系

    2022年4月23日
    70
  • Java常用的输入输出语句「建议收藏」

    Java常用的输入输出语句「建议收藏」对于经常上机刷题的来说,首先得解决输入输出方法,Java的输入输出流在Java学习过程的后面部分才会接触,但是我们可以掌握一些简单的,常用的输入输出方法首先输出大家最熟悉的莫过于输出方法,直接用System.out.println()或者System.out.print()了下面一个实例1234567publicclassMain{    publicstaticvoidmain(Str…

    2022年5月26日
    61

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号