最近在学遗传算法优化BP神经网络，从新浪博客，Matlab中文论坛以及《MATLAB 神经网络43个案例分析》里看了许多资料， 存在着缺少test函数，以及函数名调用错误等问题。自编了test函数，调整后，供大家参考，（在Matlab2006a亲测可行）。
参考文献：
《MATLAB神经网络的43个案例分析》 王小川，史峰，郁磊等，北京航空航天大学出版社。
flyingnosky的sina博客
http://blog.sina.com.cn/s/blog_892508d501014trs.html#cmt_5397B6AA-7F000001-A3B5FCF1-7DC-8A0
1、数据准备
随机生成2000组两维随机数(x1,x2)，并计算对应的输出y=x1^2+x2^2，前1500组数据作为训练数据input_train，后500组数 据作为测试数据input_test。
N=2000; %数据总个数
M=1500; %训练数据
save data input output
2、main（遗传算法主程序）
tic
clear;
clc;
load data.mat
inputnum=2;
hiddennum=5;
outputnum=1;
input_train=input(1:1500,:)’;
input_test=input(1501:2000,:)’;
output_train=output(1:1500)’;
output_test=output(1501:2000)’;
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
net=newff(inputn,outputn,hiddennum,{‘tansig’,’purelin’},’trainlm’); %%{‘tansig’,’purelin’}为默认的激活函数（没记错的话，有兴趣的话可以试着进行调整，trainlm为默认的训练算法，Levenberg-Marquart算法)
%% 遗传算法参数初始化
maxgen=10; %进化代数，即迭代次数
sizepop=30; %种群规模
pcross=0.3; %交叉概率选择，0和1之间
pmutation=0.1; %变异概率选择，0和1之间
%% 把最优初始阀值权值赋予网络预测
% %用遗传算法优化的BP网络进行值预测
toc
3、Code函数（编码）
ret=bound(:,1)’+(bound(:,2)-bound(:,1))’.*pick; %线性插值，编码结果以实数向量存入ret中
4、fun函数（BP神经网络预测，记录预测误差）
net.lw{2,1}=reshape(w2,outputnum,hiddennum);
net.b{1}=reshape(B1,hiddennum,1);
net.b{2}=reshape(B2,outputnum,1);
%网络训练
error=sum(sum(abs(an-outputn)));
%%fun函数这里需要注意，error一定要是一个数值，不能是矩阵
5、select函数（选择）
ret=individuals;
6、cross函数（交叉）
ret=individuals.chrom;
7、mutation函数（变异）
ret=individuals.chrom;
8、test函数（判断阈值和权值是否超界）
以上这段代码是之前学习神经时的总结，后面又发现了一些问题，有很多地方都在使用“BP神经网络”这个名词，恩，有专家说这个名词是有问题的，BP是神经网络里面调节权重和阈值的一种算法，不能算是神经网络的结构，像上文中的这种神经网络应该被称为多层前馈神经网络（multilayer feedforward neural network），虽然上文中的神经网络结构只有三层。
有用上面代码测试过其他较复杂数据的可能会发现上面代码跑起来要耗费许多时间，有网友给我发了一个遗传算法工具箱（gaot），我测试了一下，发现跑得飞起。参考了里面对代价函数的写法，将fun函数改成了下面这个样子：
fun 函数（新）
function error=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn)
%该函数用来计算适应度值
%x input 个体
%inputnum input 输入层节点数
%outputnum input 隐含层节点数
%net input 网络
%inputn input 训练输入数据
%outputn input 训练输出数据
%error output 个体适应度值
将fun函数改成这样，运行速度会快很多，对比之前的fun函数，会发现这里没有搭建神经网络，没有误差后向传播的过程，运行时间大大缩减。误差后向传播来调节权值和阈值的经典算法是BP算法（又名梯度下降算法），看过matlab函数说明的同学会发现里面默认的算法是Levenberg-Marquardt（LM算法），有兴趣的同学可以找相关资料自行学习。
更新于2018年11月18日
更新一些神经网络的默认设置，之前对我造成了很大的困扰：
newff 函数， 本文使用的是新语法，网上的很多资料是基于旧的语法写的，在新版本上也是可以跑的，没有问题。
新的语法形式会把训练数据默认随机分成三组，训练集占比75%，验证集和测试集均占15%，误差表现是以验证集为基准，由于随机导致每次的误差的表现不一样，有这样一组参数可以控制：
数值可调，详细的帮助文档见 help nnproperty.net_divideParam。
更新于2019年1月17日。
更新一些新的认知（部分个人见解，仅供参考）：
1.关于神经网络的语法问题
网上的资料大多参考是之前的书籍，之前说newff已经使用了新的语法规则，newff这函数在matlab 2010b 已经被放弃了，新的函数叫feedforwardnet， 参考2010后的书，可能使用的就是feedwardnet 函数。好的是，在matlab后续版本里newff还是可以用的。在使用时，发现newff 里面是有默认的归一化函数（mapminmax）的，所以像上文那样再神经网络之前进行归一化处理，训练完再进行反归一化操作是没有必要的。也测试了一下数据，没有发现大的差异。上面的代码主要来自《MATLAB神经网络的43个案例分析》，估计写书的时候，newff还没这个功能。
（可以在命令行 help newff 查看newff的介绍）
2.遗传算法与神经网络的训练
2.1 关于遗传算法的参数问题: (来自《基于MATLAB 和遗传算法的图像处理》,西安电子科技大学出版社，鱼滨等)
种群规模：20-100
交叉概率：0.6-0.9
变异概率：0.005-0.025
最大进化次数：100-500（视情况而定）
2.2 优化效果
我在使用这串代码时发现添加遗传算法，结果并没有提升很多，搜了一众论文，发现大多论文里面使用的训练算法都是traingd， 这个训练算法收敛很慢，感觉它一直在最小值附近转悠。我将默认的trainlm 换成traingd 后 果然发现了点儿优化效果，个人感觉主要原因是迭代次数较少，traingd这方法不够靠谱。
然而我就是想用trainlm ，后面又考虑为了在代价函数里添加正则化因子（net.performParam.regularization）；发现正则化因子的大小不太好确定。搜神经网络正则化的论文时发现，大量论文都是贝叶斯正则化神经网络，使用的差异就在它的训练参数是trainbr。这个算法修改了网络的代价函数，训练算法使用的还是LM，相当于trainlm 的一个进化版。在使用这个算法后，我发现遗传算法有点效果了。
从我自己的数据看，优化是有那么点效果的。曾经一度我是怀疑为什么要用遗传算法，耗时还没啥用，感觉那些发出去的论文都在骗我。后来在论文中看到，不使用遗传算法时，通常的操作是将神经网络重复跑，他们说一般跑5次取最好的结果，以此来避免神经网络陷入局部极小值。之前对俩个版本的fun函数进行过说明，从这个角度看，书里的那种fun函数写法感觉更靠谱点。之前一直觉得这种写法很流氓，fun（新）的写法更得我心。后来想想还是流氓点好。细心的朋友可以发现书作者还是有套路的，主函数里的神经网络迭代次数100，到了fun函数里只有20了。使用fun函数时需要注意将训练参数，数据的分割调整至和主函数一致。
3. 其他
一些网友在使用自己的数据时，发现了一些错误，大多都是神经网络的输入和输出没有调好，这边给大家推荐两篇博文：
数据预测之BP神经网络具体应用以及matlab代码 – SallyBin – 博客园
对神经网络的输入和输出说得非常清楚，在我当初学习时，给我提供了极大的帮助。
在matlab上使用神经网络时，可以参考帮助里的一篇指导，写得非常细致
《Multilayer Neural Networks and Backpropagation Training》
从MATLAB 里搜索文档即可找到。
祝大家学习愉快!!!
更新于2019年4月19日
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/200174.html原文链接：https://javaforall.net
