ReLU（Rectified Linear Unit，修正线性单元）函数
1.公式：
可以看出这是个非常简单的函数，大于0部分不变，小于0的值全部压缩成0.
2.优点
①作为激活函数，计算简单，更加高效，速度快
神经元得到一个值，可以直接看这个值的大小，然后直接得出结果，不用多余的加减乘除计算
②ReLU 函数也被认为具有生物学合理性
稀疏性越大：是指数据中0的数量很多；反之，则稀疏性小
③在优化时，不像Sigmoid型函数的两端饱和（两端的梯度都接近0），ReLU函数为左饱和函数，且在x> 0 时导数为1，而且导数也好求，在一定程度上能解决梯度消失的问题，加速梯度下降的收敛速度
饱和：就是趋于无穷的时候，导数为0
3.缺点
①ReLU 神经元在训练时比较容易“死亡”
要是进行不正确的梯度更新后，使得神经元计算出的值小于0，经过ReLU激活函数后，也为0，反向传播时激活函数的导数即为0，无法再进行梯度更新，即w不变，那么以后经过这个神经元的值也不会变化，训练数据就不能被更新，在以后神经元也不会被激活，就出现了坏死现象，这种现象称为死亡 ReLU 问题。
②ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移， 会影响梯度下降的效率．
零中心化：数据均值为0
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/225729.html原文链接：https://javaforall.net
