dropout和bagging_dropout总结「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

1.伯努利分布：伯努利分布亦称“零一分布”、“两点分布”。称随机变量X有伯努利分布, 参数为p(0

dropout其实也是一种正则化，因为也把参数变稀疏(l1，原论文)和变小(l2，caffe实际实现)。只有极少的训练样本可用时,Dropout不会很有效。因为Dropout是一个正则化技术,它减少了模型的有效容量。为了抵消这种影响,我们必须增大模型规模。不出意外的话,使用Dropout时较佳验证集的误差会低很多,但这是以更大的模型和更多训练算法的迭代次数为代价换来的。对于非常大的数据集,正则化带来的泛化误差减少得很小。在这些情况下,使用Dropout和更大模型的计算代价可能超过正则化带来的好处。http://www.dataguru.cn/article-10459-1.html

idea：想利用集成学习bagging的思想，通过训练多个不同的模型来预测结果。但是神经网络参数量巨大，训练和测试网络需要花费大量的时间和内存。

功能：1.解决过拟合

2.加快训练速度

为什么呢work：

1.dropout类似于多模型融合，多模型融合本身能解决解决一下过拟合

因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络(随机删掉一半隐藏神经元导致网络结构已经不同)，整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。https://zhuanlan.zhihu.com/p/23178423

2.减少神经元之间复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。(这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况)。迫使网络去学习更加鲁棒的特征 (这些特征在其它的神经元的随机子集中也存在)。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的模式(鲁棒性)。(这个角度看 dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高)https://zhuanlan.zhihu.com/p/23178423

3.正则化。让参数稀疏和让参数变小

4.加噪声。观点十分明确，就是对于每一个dropout后的网络，进行训练时，相当于做了Data Augmentation，因为，总可以找到一个样本，使得在原始的网络上也能达到dropout单元后的效果。比如，对于某一层，dropout一些单元后，形成的结果是(1.5,0,2.5,0,1,2,0)，其中0是被drop的单元，那么总能找到一个样本，使得结果也是如此。这样，每一次dropout其实都相当于增加了样本。https://blog.csdn.net/stdcoutzyx/article/details/49022443

caffe的实现：

论文中的实现：

训练，用伯努利分布生成概率，以概率p打开，概率1-p关闭，打开就是直接把值正常传给下一层，关闭就是不进行正向传播，传给下一层的值是0

测试，用伯努利分布分成概率，将每个权重乘以概率p进行衰减

caffe实现：

训练，用伯努利分布生成概率，以概率p打开，概率1-p关闭。打开的同时要乘以一个系数，相当于把权重放大。关闭还是和论文一样。

测试，直接把上一层的数值传递给下一层，其实也可以直接不用这一层

为什么要这么去实现：

https://blog.csdn.net/u012702874/article/details/45030991解答了为什么要在测试的时候rescale，因为如果直接使用dropout丢弃，其实就是选择了其中的n*p个神经元，所有参数乘以p其实也就是相当于选择了n*p，数量级是至少是一样的

至于caffe为什么要放大，https://stackoverflow.com/questions/50853538/caffe-why-dropout-layer-exists-also-in-deploy-testing这个也没能很好解释，只能说是等效的

前向传播：

dropout和bagging_dropout总结「建议收藏」

反向传播(注意：不进行反向传播，其实只是不求梯度，把上一层的梯度直接传给下一层)：

如果进行反向传播，还是以概率p传播梯度，概率1-p不传梯度给下一层，也就是0

如果不进行反向传播，直接把上一层的梯度传给下一层

dropout和bagging_dropout总结「建议收藏」

dropout与bagging的关系：

在Bagging的情况下,所有模型是独立的。在Dropout的情况下,模型是共享参数的,其中每个模型继承的父神经网络参数的不同子集。参数共享使得在有限可用的内存下代表指数数量的模型变得可能。在Bagging的情况下,每一个模型在其相应训练集上训练到收敛。在Dropout的情况下,通常大部分模型都没有显式地被训练,通常该模型很大,以致到宇宙毁灭都不能采样所有可能的子网络。取而代之的是,可能的子网络的一小部分训练单个步骤,参数共享导致剩余的子网络能有好的参数设定。这些是仅有的区别。除了这些,Dropout与Bagging算法一样。例如,每个子网络中遇到的训练集确实是替换采样的原始训练集的一个子集。

关于Dropout的一个重要见解是,通过随机行为训练网络并平均多个随机决定进行预测,通过参数共享实现了Bagging的一种形式。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/136275.html原文链接：https://javaforall.net