一、随机型神经网络的提出

BP和Hopfield网络陷入局部最小点的原因

在这里插入图片描述
随机型神经网络的基本思想

随机型神经网络的特点

Boltzmann机

二、Boltzmann机的网络结构

介于BP神经网络的多层层次结构与离散型Hopfield神经网络的单层全互连结构之间。

网络中的 $n$ 个神经元之间相互连接，为双向对称连接结构，即 $w_{ij}=w_{ji}$ 。

在这里插入图片描述
每个神经元到自身都无反馈，即 $w_{ii}=0$ 。

每个神经元的输出 $x_j$ 均为0、1二值离散输出。

$n$ 个神经元的状态集合构成了Boltzmann机网络的状态。

$n$ 个神经元分为可视层与隐含层两大部分，其中的可视层又继续分为输入部分和输出部分，但这些层次在Boltzmann机中没有明显的划分界限。

在这里插入图片描述

Boltzmann机的能量函数为 $E=-\frac12\sum_{i=1}^n\sum_{j=1}^nw_{ij}x_ix_j+\sum_{i=1}^n\theta_ix_i$

随着Boltzmann机的运行，从概率意义上说，网络的能量呈下降趋势。这意味着在网络状态的演化过程中，尽管网络能量总的变化趋势是下降的，但不能排除在某一时刻某个神经元按照小概率事件进行状态变化，从而使网络的能量暂时上升。

Boltzmann机网络处于某一状态的概率主要取决于网络在该状态下的能量，某个网络状态对应的能量越低，该状态出现的概率就越大；某个网络状态对应的能量越高，该状态出现的概率就越低。

在网络状态反复更新，并且更新次数足够大时，网络中某个状态出现的概率服从Boltzmann分布 $P(E_i)=\frac{e^{-\frac{E_i}T}}{\sum_{i=1}^me^{-\frac{E_i}T}}$

特点

最小能量状态以最大的概率出现
Boltzmann机处于某一状态的概率取决于网络温度参数 $T$
当温度 $T$ 很高时，网络各个不同状态出现的概率非常接近，网络比较容易跳出局部极小点而达到全局最小点；
当温度 $T$ 较低时，网络各个不同状态出现的概率差异较大，网络落入全局最小点或局部极小点后，虽然存在着一定的跳出可能性，但是其跳出概率较小。

基本思路

将神经元看作金属内部的“粒子”，神经网络的状态就是各个粒子的状态集合，神经网络在各个状态下的能量就是粒子所处的能态。如果在神经网络的运行中设置一个控制参数 $T$ 模拟金属退火过程中的温度，使得 $T$ 较大时，网络能量由低向高变化的可能性较大， $T$ 较小时，网络能量由低向高变化的可能性较小，那么在 $T$ 从高向低变化缓慢下降时，整个神经网络的状态的变化过程就模拟了金属的退火过程，当参数 $T$ 下降到一定程度时，网络将收敛于能量的最小值。