链接
https://arxiv.org/abs/1505.00853
摘要
值得注意的问题
对于RReLU，在训练阶段 a i , j a_{i,j} ai,j的取值是在 l , u l,u l,u之间均匀分布的一个随机数，也就是
y j i = { x j i , x j i ≥ 0 a j i x j i , x j i < 0 y_{ji}= \left\{ \begin{aligned} x_{ji} , \uad x_{ji} \ge0 \\ a_{ji}x_{ji} , \uad x_{ji} \lt 0 \end{aligned} \right. yji={
xji,xji≥0ajixji,xji<0
而
a j i ∼ U ( l , u ) , l < u a n d l , u ∈ [ 0 , 1 ) a_{ji} \sim U(l,u), \uad l<u\quad and\quad l,u\in[0,1) aji∼U(l,u),l<uandl,u∈[0,1)
在Test Phase，
y j i = l + u 2 x j i y_{ji}=\frac{l+u}{2}x_{ji} yji=2l+uxji
参考Dropout的思路。
可以借鉴的思路
小数据集可以采用RReLU的策略，但 l , u l,u l,u 怎么选择可能也要经验。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/232525.html原文链接：https://javaforall.net
