深度学习中的gelu激活函数详解

全栈程序员-站长 • 2026年3月18日上午10:18 • 未分类 • 阅读 2

论文：gaussian error linear units
(一)、什么是激活函数？
激活函数的本质就是给网络模型增加非线性，也就是在 $w^Tx+b$ 等线性变换后面加一个非线性变换，这个非线性变换就称为激活函数。

(二)、什么是gelu激活函数?
gelu（gaussian error linear units）就是我们常说的高斯误差线性单元，它是一种高性能的神经网络激活函数，因为gelu的非线性变化是一种符合预期的随机正则变换方式，公式如下： $\le x)=x\Phi(x)}\tag{2.1}$ 其中 $\Phi(x)$ 指的是 $x$ 的高斯正态分布的累积分布，完整形式如下： $\le x)=x\int_{-\infty}^{x}\frac{e^{-\frac{(X-\mu)^2}{2\sigma^2}}}{\sqrt{2\pi}\sigma} \, \mathrm{d}X}\tag{2.2}$ 计算结果约为： ${0.5x(1+tanh[\sqrt{\frac{2}{\pi}}(x+0.044715x^3)])}\tag{2.3}$ 或者可以表示为： ${x\sigma(1.702x)}\tag{2.4}$ 由此可知，概率 $P(X\leq x)$ （ $x$ 可看成当前神经元的激活值输入）,即 $X$ 的高斯正态分布 $\phi(X)$ 的累积分布 $\Phi(x)$ 是随着 $x$ 的变化而变化的，当 $x$ 增大， $\Phi(x)$ 增大，当x减小， $\Phi(x)$ 减小，即当 $x$ 越小，在当前激活函数激活的情况下，越有可能激活结果为0，即此时神经元被dropout，而当 $x$ 越大越有可能被保留。

(三)、gelu的使用技巧（practices tips）
1.当在训练过程中使用gelus作为激活函数进行训练时，建议使用一个带有动量（momentum）的优化器，并将其作为深度学习网络的一种规范。
2.在使用gelus的过程中，公式（3）的 $\sigma$ 函数的选择是非常关键的，一般需要使用与正态分布的累积分布近似的函数，一般可以选择与正态分布的累积分布较为近似的函数 $sigmoid(x)=1/(1+e^{(-x)})$ 作为 $\sigma$ 函数。

(四)、gelu激活函数的公式说明
1.在确定gelus激活函数公式之前，作者说，他发现SLU（Sigmoid Linear Units），即 $x\sigma(x)$ 函数效果比ELU（Exponential Linear Units）和RELU（Rectified Linear Units）效果好，但是比 $x s i g m o i d (1.702 x)$ 公式效果要差，所以最终使用了 $s i g m o i d (1.702 x)$ 而不是 $s i g m o i d (x)$ 去替代高斯分布的累计分布 $\Phi(x)$ 。
2.之所以选择类高斯分布累积分布的函数去构建gelus激活函数公式，一是因为依据中心极限定理，大量独立随机变量的总体是服从近似正态分布的，因此，现实中有很多复杂情况可以被建模成近似正态分布，使用类正态分布函数作为激活函数就更加合理，二是在具有相同方差的所有可能的分布中，正态分布具有最大不确定性，即熵最大。

(五)、Gelu( $u (均值) = 0, σ (方差) = 1$ ),Elu( $\alpha=1$ ),Relu激活函数对比图
activation figures
(六)、Gelu( $u (均值) = 0, σ (方差) = 1$ ),Elu( $\alpha=1$ ),Relu在Cifar-10数据集上的Classification Error(%)对比图
在这里插入图片描述
(七)、Gelu( $u (均值) = 0, σ (方差) = 1$ ),Elu( $\alpha=1$ ),Relu在Cifar-100 Wide Residual Network 上Log Loss的对比图
Cifar-100 Loss
(八)、补充：ELu(Exponential Linear Units)公式
$\begin{cases} x\quad \quad if \ x>0\\ {\alpha(exp(x)-1)\quad if \ x \leq 0}\tag{7.1} \end{cases}$