为什么使用全局平均池化层?[通俗易懂]

为什么使用全局平均池化层?1、全连接层:、全连接网络可以使featuremap的维度减少,进而输入到softmax、全连接层的参数超多、会造成过拟合、模型本身变得非常臃肿2、全局平均池化层(globalaveragepoolilng)[GAP]:、直接实现了降维、极大地减少了网络的参数、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义、gap可能会造成收敛速度减慢3、为什么会收敛速度变慢?以及对模型训练有什么差异?、全连接层结构的模型对于训练学习

大家好,又见面了,我是你们的朋友全栈君。

为什么使用全局平均池化层?

1、全连接层:
、全连接网络可以使feature map的维度减少,进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]:
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合,直接赋予了每个channel实际的内别意义
gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异?
、全连接层结构的模型对于训练学习的过程,压力更多在全连接层,卷积的特征学习低级一些,但是在不断学习调整参数中,一样效果不差。
、GAP 在学习训练的压力前导于卷积层,卷积的特征学习会高级一些,但也会淡化不同特征间的相对位置的组合关系,丢失了图像的位置信息,因此卷积训练出来的特征应该更加‘高级’。
、以上推到出一个结论:不利于迁移学习,那就调正卷积出来的特征。

提供建议:
全局平均池化层+softmax层代替FC层,效果要好。
全局平均池化层以后也可以试一试dropout,进行正则化。无论采用何种方法,毕竟全局池化是比较火的用法,采用正则至少不用被过拟合的象限困扰。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/128401.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 培根密码解密_密码学解密

    培根密码解密_密码学解密密码学真的是一门很神奇的课程。 培根密码,简单的说说原理吧。就是类似于二进制0,1的套路,但是是用A,B来替代的。类如26字母表可以如下写:大写:AaaaaaBaaaabCaaabaDaaabbEaabaaFaababGaabbaHaabbbIabaaaJabaabKababaLababbMabbaa…

    2025年6月30日
    5
  • C++ VS2012 内存泄露检测

    在VS2012中添加部分代码,可以起到检测内存泄露的作用。今天刚刚收到的解决办法,原理还不是很清楚。先分享出来1.头文件中添加以下代码2.main函数中添加程序在DEBUG模式下运行时,就

    2021年12月25日
    40
  • PL/SQL Developer下载安装及使用[通俗易懂]

    PL/SQL Developer下载安装及使用[通俗易懂]PL/SQLDeveloper下载安装及使用前言PL/SQLDeveloper是什么PL/SQLDeveloper下载PL/SQLDeveloper安装PL/SQLDeveloper使用PL/SQLDeveloper汉化PL/SQLDeveloper修改字体PL/SQLDeveloper编写SQL代码PL/SQLDeveloper连接远程服务器前言古语说的好,工欲善其事必先利其器。在开发中我们乜需要熟悉各种开发工具、数据库集成开发工具、等其他工具的使用。因为笔者在公司所使用的是or

    2022年10月12日
    3
  • Push Button Web Hosting

    Push Button Web HostingPremiumPushButtonWordPressHostingPickaPlan&BuildYourSiteinUnder60Seconds!YourOneClickWordPressWebsiteBuilderWebWeaverEliteHostingMakesBuildingYour

    2022年10月8日
    4
  • Java程序概述

    Java程序概述Java程序概述一、Java开发环境1、Java程序编译执行的过程2、Java平台概述3、JDK部分常用工具二、Application三、Applet四、Servlet五、JSP和JavaBean六、脚本一、Java开发环境1、Java程序编译执行的过程Java程序在编译执行过程中,首先把源文件(.java文件)编译成字节码文件,即类文件(.class);然后由解释器负责解释执行类文件。2、Java平台概述Java平台包括Java应用程序接口(API)和Java虚拟机(JavaVirtual

    2022年7月7日
    25
  • Lighttpd 插件mod_h264 streaming (mp4)安装

    Lighttpd 插件mod_h264 streaming (mp4)安装

    2022年3月5日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号