为什么使用全局平均池化层?[通俗易懂]

为什么使用全局平均池化层?1、全连接层:、全连接网络可以使featuremap的维度减少,进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(globalaveragepoolilng)[GAP]:、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异?、全连接层结构的模型对于训练学习

大家好,又见面了,我是你们的朋友全栈君。

为什么使用全局平均池化层?

1、全连接层:
、全连接网络可以使feature map的维度减少,进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]:
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义
gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异?
、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。
、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。
、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。

提供建议:
全局平均池化层+softmax层代替FC层,效果要好。
全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/128401.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • SOAP协议的深度解析

    SOAP协议的深度解析笔记上传:1.soap与http的区别:HTTP只负责把数据传送过去,不会管这个数据是XML、HTML、图片、文本文件或者别的什么。( HTTP就是邮局的协议,他们规定了你的信封要怎么写,要贴多少邮票等。。。。)而SOAP协议则定义了怎么把一个对象变成XML文本,在远程如何调用等  (SOAP就是你们之间交流的协议,负责把你所需要表达的意思写在信纸上,同时也负责让对方能够看得懂你的信。)2.s…

    2022年7月13日
    14
  • XStream工具简单教程

    XStream工具简单教程XStream 简单教程 阅读目录 XStream 介绍 XStream 的基本使用 XStrea 序列化重命名 XStream 注解的使用 XStream 自定义转换器 XStream 对象流的使用 XStream 对象流的使用 XStream 持久化 APIXStream 操作 JSONXStream 介绍 1 Xstream 是一种 OXMapping 技术 是用来处理 XML 文件序列化的框架 在将 JavaBea

    2025年7月22日
    6
  • 【超详细!】【超全面!】计算机二级公共基础知识考点整理「建议收藏」

    【超详细!】【超全面!】计算机二级公共基础知识考点整理「建议收藏」目录第一章数据结构与算法第一章数据结构与算法经过对部分考生的调查以及对近年真题的总结分析,笔试部分经常考查的是算法复杂度、数据结构的概念、栈、二叉树的遍历、二分法查找,读者应对此部分进行重点学习。详细重点学习知识点:1.算法的概念、算法时间复杂度及空间复杂度的概念2.数据结构的定义、数据逻辑结构及物理结构的定义3.栈的定义及其运算、线性链表的存储方式4.树与二叉树的概念、二叉树的基本性质、完全二叉树的概念、二叉树的遍历5.二分查找法6.冒泡排序法1.1算法

    2022年6月14日
    24
  • Python之os.path

    os.path常用函数示例参考:https://www.cnblogs.com/wuxie1989/p/5623435.html

    2021年12月19日
    56
  • 终身会员卡上线三重大优惠![通俗易懂]

    终身会员卡上线三重大优惠!

    2022年1月31日
    70
  • 2021年美赛A题思路与程序–已更新

    2021年美赛A题思路与程序–已更新美赛第一小题部分程序%预测的菌群的数量clc;clearall;y=input(‘请输入数据’);n=length(y);yy=ones(n,1);yy(1)=y(1);fori=2:nyy(i)=yy(i-1)+y(i)endB=ones(n-1,2);fori=1:(n-1)B(i,1)=-(yy(i)+yy(i+1))/2;B(i,2)=1;endBT=B’;forj=1:(n-1)YN(j)=y(j+1);endYN=YN’;A=inv(BT

    2022年6月6日
    49

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号