机器学习：代价函数cost function

大家好，又见面了，我是你们的朋友全栈君。

本文系转载，略有修改

原博客地址：http://blog.csdn.net/u012162613/article/details/44239919

在此，向原作者表达感谢，致敬！

1.从方差代价函数说起

代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：

C = ( y - a ) 2 2

$C = \frac{(y-a)^2}{2}$

其中 $y$ 是我们期望的输出， $a$ 为神经元的实际输出 $a=\sigma (z)$ ，这里 $z=wx+b$

所以，有：

C = ( y - σ ( w x + b ) ) 2 2

$C = \frac{(y-\sigma (wx+b))^2}{2}$

在训练神经网络过程中，我们通过梯度下降算法来更新 $w$ 和 $b$ ，因此需要计算代价函数对 $w$ 和 $b$ 的导数：

\partial C \partial w = (a - y) σ' (z) x

$\frac{\partial C}{\partial w} = (a- y) \sigma ^{'}(z)x$

\partial C \partial b = (a - y) σ' (z)

$\frac{\partial C}{\partial b} = (a- y) \sigma ^{'}(z)$

然后更新 $w$ 、 $b$ ：

$w$ <—— $w$ – $η$ * $\frac{∂C}{∂w}$ = $w$ – $η * (a- y) \sigma ^{'}(z)x$

$b$ <—— $b$ – $η* \frac{∂C}{∂b}$ = $b$ – $η * (a- y) \sigma ^{'}(z)$

因为sigmoid函数的性质，导致 $σ^{'}(z)$ 在z取大部分值时会很小（如下图标出来的两端，几近于平坦），这样会使得 $w$ 和 $b$ 更新非常慢（因为 $\eta* a * \sigma(z)$ 这一项接近于0）。

sigmoid 函数

2.交叉熵代价函数（cross-entropy cost function）

为了克服这个缺点，引入了交叉熵代价函数（下面的公式对应一个神经元，多输入单输出）：

C = - 1 n \sum x [y ln (a) + (1 - y) ln (1 - a)]

$C = -\frac{1}{n} \sum_{x} [y \ln(a) +(1-y)\ln(1-a) ]$

其中y为期望的输出，a为神经元实际输出 $a=\sigma(z)$ ，这里 $z=\sum W_{j}*X_{j}+b$

与方差代价函数一样，交叉熵代价函数同样有两个性质：

非负性。（所以我们的目标就是最小化代价函数）
当真实输出a与期望输出y接近的时候，代价函数接近于0.(比如y=0，a～0；y=1，a~1时，代价函数都接近0)。

另外，它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数：

\partial C \partial w j = 1 n \sum x x j (σ (z) - y)

$\frac{\partial C}{\partial w_{j}} = \frac{1}{n} \sum_{x} x_{j} (\sigma(z) -y )$

\partial C \partial b = 1 n \sum x (σ (z) - y)

$\frac{\partial C}{\partial b} = \frac{1}{n} \sum_{x} (\sigma(z) -y )$

可以看到，导数中没有 $\sigma^{'}(z)$ 这一项，权重的更新是受 $\sigma(z)−y$ 这一项影响，即受误差的影响。所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这是一个很好的性质。

3.总结

当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。

不过，你也许会问，为什么是交叉熵函数？导数中不带 $\sigma^{'}(z)$ 项的函数有无数种，怎么就想到用交叉熵函数？这自然是有来头的，更深入的讨论就不写了，少年请自行了解。

另外，交叉熵函数的形式是 $−[y ln(a)+(1−y)ln(1−a)]$ 而不是 $−[alny+(1−a)ln(1−y)]$ ，为什么？因为当期望输出的y=0时，lny没有意义；当期望y=1时，ln(1-y)没有意义。而因为a是sigmoid函数的实际输出，永远不会等于0或1，只会无限接近于0或者1，因此不存在这个问题。

4.还要说说：log-likelihood cost

对数似然函数也常用来作为softmax回归的代价函数，在上面的讨论中，我们最后一层（也就是输出）是通过sigmoid函数，因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层，此时常用的是代价函数是log-likelihood cost。

In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。
其实这两者是一致的，logistic回归用的就是sigmoid函数，softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。

参考链接：http://deeplearning.stanford.edu/wiki/index.php/Softmax回归

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/146096.html原文链接：https://javaforall.net