基于自适应遗传算法的RBF神经网络优化算法

维普资讯 http://www.cqvip.com ２Ｏ０７年９月　第２２卷第３期　山东师范大学学报（自然科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｓｈａｎｄｏｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ）　Ｓｅｐ．２０Ｃｒ７　Ｖ０１．２２　Ｎｏ．３　基于自适应遗传算法的ＲＢＦ神经网络优化算法　鲍文胜　’　刘晓刚　’　（１）青岛大学师范学院，２６６０７１，山东青岛；２）青岛大学信息工程学院，２６６０７１，山东青岛／／第一作者３８岁，男，助理研究员）　摘要针对传统遗传算法收敛速度慢的缺点，本文将改进后的遗传算法应用于ＲＢＦ神经网络，对隐层中心和宽度值进行同　步优化，并在复杂非线性函数的逼近实验中证明了本文算法相比传统遗传算法在搜索全局最小点的速度上得到了很大提高．　关键词ＲＢＦ神经网络；　自适应遗传算法；　函数逼近　３０１　中图分类号　１遗传算法寻优ＲＢＦ神经网络概述　遗传算法是模仿自然界中生物群体的选择、杂交、变异等行为而发展起来的一种优化算法…，它是建立在自然选择和自　然遗传学机理基础上的迭代自适应概率性搜索算法，利用遗传算法可以在解空间内对解进行多点随机搜索，并找出最优解．　由于遗传算法的随机特性，所有解都有被搜索的可能，因而可以找到全局最优解．遗传算法的一般过程可以分为初始化、选　择、交叉和突然变异四个组成部分．　在ＲＢＦ神经网络中，隐层节点中心矢量和宽度值的选取对网络的学习能力和泛化能力具有很大的影响，不恰当地参数选　择会严重影响ＲＢＦ神经网络的性能．本文采用遗传算法寻优ＲＢＦ神经网络的隐层节点中心值和宽度值，与传统算法相比，遗　传算法训练神经网络无需先验知识，而且对初始参数不敏感，不易陷入局部最小点．为了改进传统遗传算法收敛速度慢的缺　点，采用了自适应的交叉概率和变异概率，以求在基本不损失搜索精度的基础上在收敛速度方面得到较大提高．　径向基函数神经网络ＲＢＦＮＮ由于具有非线性逼近能力强，网络结构简单，学　习速度快等优点，因而被广泛应用于函数逼近，模式识别，预测和控制等领域．　ＲＢＦ神经网络是一种特殊的３层前馈网络，它通过非线性基函数的线性组合实现　映射关系．ＲＢＦ神经网络一般包括输入层、隐含层和输出层．从输入层到隐含层的　变换是非线性的，而从隐含层到输出层的变换是线性的　ｊ．ＲＢＦ神经网络的结构　如图１所示．　ＲＢＦ神经网络的隐层输出为：　＝ｅｘｐ（一ｌ　—Ｃｌ　ｌ　１（ｌ２ａ　）），　（１）　图１　其中　是第ｉ个隐神经元的输出，　是网络的输入向量，ｃ　是第ｉ个隐神经元的中心矢量，　是高斯函数的控制参数．ＲＢＦ神　经网络的输出为：　Ｌ　Ｌ　Ｙ＝∑毗　＝∑Ｗ　ｅｘｐ（一　一ｃ　ｌ　ｌ１（２ａ　）），　ｉ＝１　ｉ＝Ｉ　（２）　其中，　是隐单元的个数．　２　遗传算法寻优ＲＢＦ神经网络的隐节点中心值　利用遗传算法寻优ＲＢＦ网络的隐节点中心值，具体步骤如下：　１）　对应于ＲＢＦ的遗传编码．　利用遗传算法寻优ＲＢＦ网络的隐节点中心值，首先需要对数据进行编码．本文采用二进制编码和实数编码相结合的方　法，对隐中心采用二进制编码，而对宽度值采用实数编码　］．每一条染色体都对应一个完整的ＲＢＦ网络．设表示每个ＲＢＦ隐中　心都需要　个字节，隐层单元的数量为Ⅳ，那么可用染色体的前Ⅳ＊　个字节表示所有的隐中心，加上对宽度值采用实数编码　占用的Ⅳ个字节，一个完整染色体可用Ⅳ＊（　＋１）个字节表示．染色体的格式如图２所示．　图２染色体的编码格式　收稿日期：２１Ｘ）７—０３—０６　维普资讯 http://www.cqvip.com ３８　２）　适应度函数的构造．　山东师范大学学报（自然科学版）　第２２卷　在遗传算法中，以个体适应度的大小来确定该个体被遗传到下一代个体中的概率．适应度函数是遗传算法指导搜索的唯　一信息，它的好坏是衡量算法优劣的关键．这里，每个个体的适应度函数可以选取为ＲＢＦ网络的期望输出与实际输出之差的　绝对值的累加和的倒数口］，即对第ｉ个染色体，其适应度为：　）：１／Ｅ（　）＝１／∑∑『ｄＨ一，，Ｈ『，　３）选择操作．　（３）　其中Ⅳ代表输入样本的个数，　代表输出结点的个数．这样选取的适应度函数比较直观地反映了每个染色体性能的好与差．　选择策略会直接影响遗传算法的性能，本文采用基于适应度比例的选择策略．假定个体置的适应度为．　，则其被选择的　概率　为　。：　／∑　，其中，∑　为群体的个体适应度的总和．　首先采用赌轮选择　方式来实现按照概率　选择个体置．具体步骤如下：先计算当前群中每个个体的选择概率　，　：，　…，Ｐ硼，然后产生一个［０，１］内的随机数ｒ，若　＋　：＋…＋　（　）＜ｒ≤　４）　自适应的交叉和变异概率．　＋　：＋…＋　，则个体置被选择到配对库，　否则，该个体不被选择．为了提高选择的质量和效率，本文将到目前为止最优的个体直接复制到下一代群体中．　遗传算法中交叉概率和变异概率的选择是影响遗传算法行为和性能的关键所在，直接影响算法的收敛性，Ｐｃ越大，新个　体产生的速度就越快．然而，　过大时遗传规模被破坏的可能性越大，使得有高适应度的个体结构很快就会被破坏．但是如果　过小，会使搜索速度缓慢，甚至停滞不前．对于变异概率　，如果　过小，就不易产生新的个体结构；如果　取值过大，那　么遗传算法就会变成纯粹的随机搜索算法．因此我们需要针对不同的优化问题，使　，　能够随适应度自动改变…，当种群　各个体适应度趋于一致或者趋于局部最优时，使Ｐｃ，　增加，而当群体适应度比较分散时，使　，　减少．同时，对于适应度　高于群体平均适应度的个体，对应于较低的　，　，使该解得以保护进入下一代；而低于平均适应度的个体，相对应于较高的　，　，使该解被淘汰．因此，自适应　，　能够提供相对某个解的最佳　，　．自适应遗传算法在保持群体多样性的同时，保　证遗传算法的收敛性．经过改进后的　和　计算表达式如下：　，／　，　（４）　：　ｌ，　／＜　：ｆ　Ｐｍｒ　ｌ，　，／　，　／＜　（５）　其中，　：０．９，，Ｐｃ：＝０．６，　：０．１，　＝０．００１．　表示群体中最大的适应度值，　表示每代群体的平均适应度值，／表示　要交叉的两个个体中较大的适应度值，厂表示要变异个体的适应度值．　５）　隐层到输出层权值的调整．　在本文中权值用伪逆算法得到，公式为：　＝　ｄ：（　）Ｉ１　ｄ．　（６）　ＲＢＦ神经网络的隐层输出由公式（１）给出，ｄ为期望输出矩阵．求伪逆的方法速度快，效率高，但　可能是一个奇异矩　阵，这样就严重影响了使用伪逆求权值的效果．这时可以将　摄动到　＋Ａｊ求解，在实验中发现这种方法很有效．　３样例校验　考虑非线性函数以ｙ：　＋８ｓｉｎ（３ｘ）＋９ｃｏｓ（２ｘ）＋２５，　∈［０，２ｎ］．用ＲＢＦ神经网络进行函数逼近．自变量分别在（０，２　）内　均匀取８０个值和７０个值从而产生８０个训练样本和７０个测试样本．以适应度到达５．０为算法终止条件，得到遗传算法改进前　后ＲＢＦ神经网络的实验性能指标如表１所示．　表１本文算法与传统遗传算法实验性能比较　从表１可以看出，本文算法由于采用了自适应的交叉概率和变异概率，在基本没有降低ＲＢＦ神经网络泛化能力的基础　上，较大地减少了搜索全局最小点所需的代数，节省了算法运行时间．利用本文算法构建的ＲＢＦ网络得到泛化误差和运行代　维普资讯 http://www.cqvip.com 第３期　鲍文胜，等：基于自适应遗传算法的ＲＢＦ神经网络优化算法　３９　数之间的关系如图２所示，可以看出，本算法在运行到第５００代附近的时候达到了较为理想的效果，此时所有染色体基本相　同，因此泛化误差不再减小．函数逼近的泛化效果如图３所示，其中口表示期望输出，☆表示网络实际输出．图４所示为此非线　性函数的泛化效果．　４结　论　本文使用基于自适应　遗传算法的径向基函数神　经网络的训练方法，并利　用二进制和实数混合的编　码方式，在基本不损失遗　传算法全局搜索能力的基　础上，对交叉概率和变异　概率进行自适应调整，加　快了ＲＢＦ神经网络全局　搜索的速度．　图３运行的代数和误差之间的关系　图４函数的泛化效果　５参考文献　［１］王小平，曹立明．遗传算法一理论、应用与软件实现［Ｍ］．西安：西安交通大学出版社，２００３　［２］郑生荣．一种改进的实数编码混合遗传算法［Ｊ］．计算机应用，２００６，２６（８）：１７～２０　［３］李红利，张晓彤，兰立柱，等．基于遗传算法的ＲＢＦ神经网络的优化设计方法［Ｊ］．计算机仿真，２００３，２０（１１）：３６～３９　［４］赵志刚，单晓虹．一种基于遗传算法的ＲＢＦ神经网络优化方法［Ｊ］．计算机工程，２００７，３３（６）：５１～５５　［５］欧阳森，王建华，宋政湘，等．一种新的改进遗传算法及其应用［Ｊ］．系统仿真学报，２００３，１５（８）：１　０６６—１　０６８　［６］周明，孑Ｌ树栋．遗传算法原理及应用［Ｍ］．北京：国防工业出版社，１９９９　［７］郑自然，刘希玉．基于遗传算法的适合纹样花卉图案设计方法［Ｊ］．山东师范大学学报（自然科学版），２００６，２１（３）：３６～３８　ＳＴＲＩ『ＣＴ【瓜Ｅ　ｏＰ，ｒ】　ⅡＺＡＴＩｏＮ　ＡＬＧｏＲｒ】　ＩＭ　ｏＦ　ＲＢＦ　ＮＥＩ　ＡＩ　ＮＥＴＷＯＲＫＳ　ＢＡＳＥＤ　ｏＮ　ＡＤＡＰＴ　，］Ｅ　ＧＥＮＥＴＩＣ　ＡＬＧｏＲＩ１删Ｂａｏ　Ｗｅｎｓｈｅｎｇ　）Ｌｉｕ　Ｘｉａｏｇａｎｇ２）　　（１）Ｎｏｒｍａｌ　Ｃｏｌｌｅｇｅ　ｏｆ　Ｑｉｎｇｄａｏ　Ｕｎｉｖｅｒｓｉｔｙ，２６６０７１，Ｑｉｎ　ａ０，Ｓｈａｎｄｏｎｇ，Ｃｈｉｎａ；　２）Ｃｏｌｌｇｅｇ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｑｍｇｄａｏ　Ｕｎｉｖｅｒｓｉｔｙ，２６６０７１，Ｑｉｎｇｔａｏ，Ｓｈａｎｄｏｎｇ，Ｃ￣ｌｉｎａ）　Ａｂｓｔｒａｃｔ　Ａｄａｐｔｉｖｅ　ｐｒｏｂａｂｉｌｉｔｙ　ｏｆ　ｃｒｏｓｓｏｖｅｒ　ａｎｄ　ｍｕｔａｔｉｏｎ　ａｒｅ　ｕｓｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ａｎｄ　ｔｈｅｙ　Ｃａｎ　ａｄｊｕｓｔ　ｔｈｅｍｓｅｌｖｅｓ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｆｉｔｎｅｓｓ　ｆｕｎｃｔｉｏｎ，ＳＯ　ｔｈａｔ　ｔｈｉｓ　ａｐｐｒｏａｃｈ　ｃａｌｌ　ｓｏｌｖｅ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｔｈａｔ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ｃｏｎｖｅｒｇｅｓ　ｉｎｔｏ　ｍｉｎｉｍｕｍ　ｐｏｉｎｔｓ　ｓｌｏｗｈｙ．Ｗｅ　ｏｐｔｉｉｚｅ　ｔｍｈｅ　ｃｅｎｔｅｒｓ　ａｎｄ　ｗｉｄｔｈｓ　ｏｆ　ＲＢＦ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｃｏｎｓｔｒｕｃｔｅｄ　ｉｎ　ｔｈｅ　ｍｅｔｈｏｄ　ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｅｄ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｏｆ　ｔｈｅ　ａｐｐｒｏｘｉｍａｔｉｏｎ　ｏｆ　ｎｏｎｌｉｎｅａｒ　ｆｕｎｃｔｉｏｎ　ｉｎｄｉｃａｔｅ　ｔｈａｔ　ｔｈｅ　ｓｐｅｅｄ　ｉｎ　ｓｄｄｋｉｎｇ　ｍｉｎｉｍｕｍ　ｐｏｉｎｔｓ　ｏｆ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｉｓ　ｇｒｅａｔｌｙ　ｉｍｐｒｏｖｅｄ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈａｔ　ｏｆ　ｔｒａｄｉｔｉｏｎａｌ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ．　Ｋｅｙ　ｗｏｒｄｓ　ＲＢＦ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；　ａｄａｐｔｉｖｅ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ；　ａｐｐｒｏｘｉｍａｔｉｏｎ　ｏｆ　ｆｕｎｃｔｉｏｎ