大家好，又见面了，我是你们的朋友全栈君。
分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)
PReLU 也是 ReLU 的改进版本：
P R e L U ( x ) = { x , x > 0 α i x , x ≤ 0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={
xαix,x>0,x≤0
PReLU函数中，参数 α \alpha α通常为0到1之间的数字，并且通常相对较小。
- 如果 α i = 0 \alpha_i=0 αi=0，则PReLU(x)变为 ReLU。
- 如果 α i > 0 \alpha_i>0 αi>0，则PReLU(x)变为Leaky ReLU。
- 如果 α i \alpha_i αi是可学习的参数，则PReLU(x)为PReLU函数。
PReLU函数的特点：
- 在负值域，PReLU的斜率较小，这也可以避免Dead ReLU问题。
- 与ELU相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于0。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/151180.html原文链接：https://javaforall.net
