为什么使用全局平均池化层?[通俗易懂]

为什么使用全局平均池化层?1、全连接层:、全连接网络可以使featuremap的维度减少,进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(globalaveragepoolilng)[GAP]:、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异?、全连接层结构的模型对于训练学习

大家好,又见面了,我是你们的朋友全栈君。

为什么使用全局平均池化层?

1、全连接层:
、全连接网络可以使feature map的维度减少,进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]:
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义
gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异?
、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。
、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。
、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。

提供建议:
全局平均池化层+softmax层代替FC层,效果要好。
全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/128401.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • oracle sequence order_oracle session

    oracle sequence order_oracle session在oracle中sequence就是所谓的序列号,每次取的时候它会自动增加,一般用在需要按序列号排序的地方。  1、Create Sequence  你首先要有CREATE SEQUENCE或者CREATE ANY SEQUENCE权限,  CREATE SEQUEN

    2022年10月10日
    0
  • 港股交易api(如何查看港股)

    港股历史行情数据API接口所有港股历史交易行情数据,完整历史交易/任意时间段查询。1.产品功能支持所有历史港股交易查询;支持指定任意时间段查询;超高的查询效率,秒级返回;所有的交易数据为未复权的数据;全接口支持HTTPS(TLSv1.0/v1.1/v1.2/v1.3);全面兼容AppleATS;全国多节点CDN部署;接口极速响应,多台服务器构建API接口负载均衡。2.API文档API详情地址:https://www.gugudata

    2022年4月9日
    99
  • 和黑客斗争的 6 天![通俗易懂]

    和黑客斗争的 6 天![通俗易懂]互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找Sql注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都…

    2022年6月11日
    29
  • 解析ASP.NET WebForm和Mvc开发的区别

    解析ASP.NET WebForm和Mvc开发的区别

    2021年8月27日
    40
  • sublime 激活码(注册激活)

    (sublime 激活码)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

    2022年3月29日
    211

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号