BP神经网络与RBF神经网络分析与研究

赵娟娟

【摘 要】本文重点介绍了当前有着广泛应用的BP神经网络,对BP神经网络的局限性进行了说明,并且给出了一些改进BP算法的实用技术。 【期刊名称】《无线互联科技》 【年(卷),期】2011(000)009 【总页数】1页(P19-19)

【关键词】人工神经网络;BP神经网络;RBF神经网络;改进;泛化能力 【作 者】赵娟娟

【作者单位】南昌陆军学院科文教研室,江西南昌330103 【正文语种】中 文 【中图分类】TP183

1 BP神经网络

BP神经网络也称为反向传播网络(Back- Propagation Network),是目前最为广泛、最具影响的人工神经网络(Aritificial neural network) 学习算法之一。它可以从大量的离散实验数据中,经过学习训练,提取其领域知识,并将知识表示为网络连接权值的大小与分布,建立起反映实际过程内在规律的系统模型。BP网络可以包含不同的隐含层,但理论上已经证明,在不限制隐层节点数的情况下,两层(只有一个隐含层)的BP网络可以实现任意非线性映射。一般情况下，我们用得最多的BP神经网络是

只有一个隐含层的BP网络，只要我们能够保证该隐含层中的隐单元数足够多，理论上就能够实现对任意一个问题的非线性分类了。 2 RBF神经网络的原理

径向基函数RBF（Radial basis function）是指某种沿径向对称的标量函数，通常定义为空间中任一点X到某一中心ci之间欧氏距离的单调函数。最常用的径向基函数是高斯核函数，形式为

其中ci为核函数中心，σ为核函数的宽度参数，控制基函数的径向作用范围，即方差。

RBF神经网络是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数映射的人工神经网络，具有最优逼近和全局逼近的特性。其网络拓扑结构是由一个隐含层和一个标准全连结的线性输出层组成的前向网络。隐含层最常用的是高斯径向基函数，而输出层采用线性激活函数[2]。RBF神经网络是一种前馈式神经网络，它由输入层、隐含层和输出层组成。它结构简单，其设计比普通前向网络训练要省时得多。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么RBF神经网络完全能够精确地逼近任意函数。RBF神经网络权值的训练是一层一层进行的，对径向基函数层权值的训练采用无导师训练，在输出层权值的设计采用误差纠正算法，为有导师训练。在RBF神经网络中，输入层到隐含层的基函数输出是一种非线性映射，而输出则是线性的。这样，RBF神经网络可以看成是首先将原始的非线性可分的特征空间变换到另一线性可分的空间（通常是高维空间），通过合理选择这一变换使在新空间中原问题线性可分,然后用一个线性单元来解决问题，从而很容易的达到从非线性输入空间向输出空间映射的目的。值得指出的是，由于RBF神经网络的权值算法是单层进行的，它的工作原理采用的是聚类功能，由训练得到输入数据的聚类中心，通过 值来调节基函数的灵

敏度，也就是RBF曲线的宽度，虽然网络结构看上去是全连结的，实际工作时神经网络是局部工作的，即对输入的一组数据，神经网络只有一个神经元被激活，其他神经元被激活的程度可忽略。所以RBF神经网络是一个局部逼近网络，这使得它的训练速度要比BP网络快2～3个数量级。 2.1 RBF神经网络的局限性

RBF网络之所以能有广泛的应用，是因为它具有网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点[3]。RBF网络虽然有以上优点,但我们也应该看到传统的RBF网络仍然存在泛化能力不足的缺点。以前人们在神经网络的学习算法方面进行了大量的研究工作,也就是说大量的工作多集中于如何缩短学习时间、提高收敛速度和逼近精度等问题上;而在如何提高神经网络的泛化能力方面,尚需作进一步的研究,探讨网络泛化能力问题仍然是RBF 网络的一个重要研究方向。 2.2 提高RBF神经网络的泛化能力

泛化能力是指对未知样本进行正确分类的能力,它是衡量网络效果好坏的重要指标之一。现阶段,提高系统泛化能力比较成熟的理论有正则化理论、统计学理论和信息熵理论等。上述提高系统泛化能力的理论虽然成熟,但离实际应用的距离还比较大。目前,提高系统泛化能力的研究主要集中在如何选取合适的网络规模,设计合理的网络结构上。

吴永贤老师多年来一直从事RBF神经网络的研究，他提出了基于RBF神经网络的局部泛化误差模型，大大提高了RBF神经网络的泛化能力。局部泛化误差的创新点在于这个模型针对一些对评价一个分类器有真正影响的非训练样本，计算该分类器对于这些非训练样本的泛化误差，从而得到一个比较合理和实用的泛化误差模型。这个局部泛化误差模型的优点主要体现在它能贴近真实应用情况，针对RBF神经网络进行评价且具有很好的理论支持。 [参考文献]

[1]陈如云.基于BP神经网络的应用研究.微计算机信息，2007年，08期，23卷.