ReLU
在神经网络中，常用到的激活函数有sigmoid函数：
f(x)=11+e−xf(x)=11+e−x
双曲正切函数：
f(x)=tanh(x)f(x)=tanh(x)
而本文要介绍的是另外一种激活函数，Rectified Linear Unit Function(ReLU, 线性激活函数)
ReLU函数可以表示为
f(x)=max(0,x)f(x)=max(0,x)
显然，线性激活函数简单地将阈值设置在零点，计算开销大大降低，而且很多工作显示 ReLU 有助于提升效果
概述如下：
Noisy ReLU
在ReLU中包含高斯噪声，便可以得到noisy ReLU：
f(x)=max(0,x+N(0,σ(x)))f(x)=max(0,x+N(0,σ(x)))
改变种ReLU常被用在机器视觉任务里的受限玻尔兹曼机(Restricted Boltzmann Machines)中
Leaky ReLU
f(x)={x,ax,if x>0otherwisef(x)={x,if x>0ax,otherwise
其中，a为一个较小值，如0.01等
有研究表明采用这种形式的激活函数效果更好，但结果并不总是一致的
Randomized Leaky ReLU
对于RReLU，训练过程中负数部分的斜坡是在一个范围内随机选取的，然后在测试过程中固定。在最近的Kaggle National Data Science Bowl (NDSB) 竞赛中，据悉RReLU由于其随机的特性可以有效地减少过拟合。
Conclusion
ReLU的各种变体在一定程度上都超越了原始的ReLU，而PReLU和RReLU似乎是更好的选择
—————————————————————————–
Web Reference
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/206135.html原文链接：https://javaforall.net
