FNN网络结构：
前馈神经网路是一种单向多层的网络结构，信息从输入层开始，逐层向一个方向传递，即单向传递，一直到输出层结束。前馈的意思就是指传播方向指的是前向。前馈神经网络由三部分组成：输入层（第0层），输出层（最后一层），中间部分称为隐藏层，隐藏层可以是一层，也可以是多层 。FNN如下图所示，其中圆圈是神经元。
前馈神经网络：
特点：每一层是全连接层—即每一层的每个神经元与上一层所有神经元都有连接；
作用：
1、多个全连接层可以从不同角度提取特征；
2、全连接层作为输出层有分类和数值预测的功能；也经常用于卷积神经网络。
缺点：权重多，计算量大。
场景：所有的神经网络均可以利用
FNN前向传播：
FNN反向传播：
BP神经网络：
BP神经网络是前馈神经网络的一种，是指用反向传播算法（BP算法）进行训练的多层前馈神经网络，它包括信号的前向传播和误差的反向传播两个过程，即计算误差输出时（预测与真实的误差）按从输入到输出的方向进行，而调整权值w和偏置b，则从输出到输入的方向进行（在输出层不能得到期望的输出或者说与真实差别较大，才转入反向传播进行调整）。通过不断的前向计算误差输出，再反向调整权值w和偏置b，让它预测出新的输出y’，不断迭代重复，最终能得到误差十分小的输出，如误差为0.01、0.001，与真实的值十分接近。如图所示
BP算法基本思想是梯度下降（求偏导，每次找到梯度下降最快的方向），上面推荐up主视频推导部分，权值w – 学习率α*偏导数，可以理解成调整的过程，偏导数指每次梯度下降多少，学习率α大小能决定要下降多少次才能逼近最小误差，所以实际开发中学习率太大，每次迭代下降（减去的数）就很快，太小下降就慢。好比人走路去商场，步子跨的小，走的步数多，步子跨的大，走的步数就少。如图，每次找梯度下降最快的方向下降，最终到最低点，也是误差最小点。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/207387.html原文链接：https://javaforall.net
