基于混合杂草算法的神经网络优化策略

本资料包含pdf文件1个，下载需要1积分

神经网络是-个具有高度非线性的超大规模连续时间自适应信息处理系统，用分布在网络内部的联结权值表达所学习的故障诊断知识，对故障具有联想记忆、模式匹配和相似归纳等能力，可实现故障与征兆之间的非线性映射关系，特别适用于多故障、多征兆复杂模式的识别，在转子系统的故障诊断中广泛应用。在智能算法对 NN的训练应用中，BP算法为最常用的训练方法，但是这种基于梯度的学习算法易陷入局部最优解。GA在建立系统层次结构 、全局寻优 等方面具 有优点 ，但容 易导致早 熟。

PSO存在-定程度的早熟和收敛慢的现象。为了探索更好、更高效的算法，许多学者进行了大量研究工作。

A.R.Mehrabian等提出了-种从 自然界杂草进化原理演化而来的随机搜索算法--入侵式杂草优化算法。该算法模仿了杂草入侵的种子空间扩散 、生长 、繁殖和竞争性消亡的基本过程 ，具有很强的鲁棒性和自适应性。采用多维基准函数进行大量数值模拟和比较实验，揭示了 IWO算法的特性，得到更优的结果。与 GA相比，1wO算法简单、易于实现，不需要遗传操作算子，能简单有效地收敛问题的最优解，是-种强有力的智能优化工具L1]。文献[2-3]将 IWO算法应用在图像聚类和求解约束性问题中，取得了不错的效果。张氢等[4]通过马尔科夫链证明了 IWO算法的全局收敛性并应用于减速器质量最轻数学模型的优化。

笔者在总结归纳以往学者研究的基础上 ，提 出了将 GA的交叉算子和 PSO的矢量跟踪思想引入新的 HIWO算法中。用 HIWO算法实现对 NN 的权值、阈值及结构的优化，有效避免了算法陷入局部最优解。提出了-种主副分区编码方案，将网络的拓扑结构、连接权和阈值级联分区编码。在满足某- 特定性能指标的前提下，采用 HIWO算法寻找全局最优解，并给出了 HIWO动态创建网络参数的整体算法。通过对故障信号分类的仿真，并与 GA，PSO和 1wO的结果进行对比，验证了新方法的优越性和有效性。

国家 自然科学基金资助项 目(51275266)；浙江省自然科学基金资助项目(LY12E05010)；甘肃省高等学校基本科研业务费资助项 目(1202ZTC057)；留学 回国人 员择优 资助项 目(1002ZSBll4)；甘肃省 自然科 学 基金 资助项 目(1112RJZAO03)收稿 日期：2011-09-02；修改稿收到日期：2011-l1-O1第 4期 彭 斌，等：基于混合杂草算法的神经网络优化策略1 神经网络NN是由多个非常简单的处理单元彼此按某种方式互相连接而成的-种非线性动力学网络系统。

系统靠其状态对外部输入信息的动态响应来处理信息，具有高度并行处理能力。该系统模拟人的大脑神经元结构特征建立，可看成为从输入到输出的高度非线性映射。目前，NN的优化研究主要集中在前馈 NN-BP上，标准 BPNN由 3层神经元组成(输入层 、隐含层和输出层)。网络中相邻层采用全互连方式连接，同层各神经元没有连接，输出层和输入层之间没有直接的联系，结构如图 1所示 。

输入层 隐含层第0层 1至L-1层图1 标准BPNN结构假设网络有 个输入和m个输出，则其作用可看作是由 ，z维欧氏空间到rn维欧氏空间的-个非线性映射。许多研究表明，只要隐层的神经元个数足够多，则这种映射可以逼近任何连续函数。

人工神经网络的数学模型为yL-F (S )- F(V F - (S - ))-F (W F。- (W - F -。((W X))))(1)其中：x-[z1，z2，，z ]r为输入；y-[ 1，Y2，，Y ] 为输出；F(·)为激活函数；S为神经元的激活水平；W 为权重，表示输入层神经元与隐层神经元以及隐层神经元与输出层神经元之间的联接强度。

网络输出仅与输入及网络权重有关，输出为输入的显式表达。

BP网络模型处理信息的基本原理是：输入信号z 通过中间节点(隐层点)作用于输 出节点 ，经过非线形变换，产生输出信号 Y 。通过调整输入节点与隐层节点的联接强度取值 w 和隐层节点与输出节点之间的联接强度以及阈值，使误差沿梯度方向下降。经过反复学习训练，确定与最小误差(网络输出值 Y与期望输出值 t之间的偏差)相对应的网络参数(权值和阈值)，训练即告停止。

BP算法本质上为梯度下降法，它要优化的目标函数非常复杂，在进行全局搜索时，不可避免地存在收敛速度慢的问题。此外，BP算法是-种局部搜索的优化方法，在求解复杂非线性函数的全局极值时，算法有可能陷入局部极小值，导致训练失败。

2 IWO算法IWO算法是-种非常新颖而高效的全局优化算法[2]。该算法模拟杂草克垄占地、生长并繁殖的自然行为，具体的实现步骤如下。

1)初始化种群：初始种群大小 n-ini、最大迭代次数 iter 、问题 的求解维数 dim、最大种群数量plant-max-no、最大种子数 seed 、最小种子数seed -n、自变量初始搜索空间最小值 z i 及最大值37 非线性调制指数 T/、初始标 准差 0- 。和最终标准差 0- I。

2)根据初始种群、自变量初始搜索空间以及问题的求解维数随机产生初始解。

3)进化代数的更新及子代个体正态分布的标准差计算。其计算公式为O-iter- (‰ Ial- I)‰ I (2 (i termax) 。 。 。 。。 其中：iter为当前的迭代次数。

4)子代的繁殖，子代个体按照正态分布 N(O，0-2)随机扩散在父代个体周围。在计算子代个体(种子数)时，根据其适应值的优劣来决定繁殖个数。最优适应值个体允许繁殖的子代个数为 seed ，最差适应值个体允许繁殖的子代个数为 seed ，其他个体允许繁殖的子代个数与其适应值服从向下取整的线性关系。这种机制在加强优秀个体局部搜索能力的同时，兼顾群体的多样性，与自然界杂草群落真实发生的状况更为相似，其繁殖操作如图 2所示。

子数 - 钛 丰子数 最差适应值个体 杂草适应值 最优适应值个体图 2 父代个体繁殖产生种子的过程示意图振 动、测 试 与 诊 断 第 33卷5)判断是否达到最大种群数量，在未达到最大种群数量时重复操作步骤 4。

6)当超过最大种群数量时，竞争淘汰，适者生存～父代个体和子代个体按适应值优劣排序，保留适应值优秀的个体，使种群数 目保持在最大种群数量以内，精英个体在操作中被自动保留到下-代，从而保证了算法的收敛性。

7)判断是否达到最大种群数，未达到时重复步骤 4～6，反之则将适应值最优个体输出作为最优解。

3 基于 HIWO-NN的模型设计3.1 基本原理HIWO算法构建 NN结构参数的基本原理是利用杂草进化的优点，将网络的拓扑结构、连接权及阈值连成主副分区编码串而构成进化的初始群体。

通过杂草繁殖操作，在满足某-特定性能指标的前提下寻找全局最优解。该最优解的编码串经解码即为特定求解问题的合适 NN结构参数。图3为基于HIWO-NN的模型设计流程图。

3.2 BPNN结构设计3.2.1 拓扑 结构由Kolmogarav定理可知在有合理的结构和恰当权值条件下，3层前向网络能以任意精度逼近有界非线性函数，在此设计 3层神经网络结构来进行优化训练[ 引。

3.2.2 隐层 节点数在 BP网络 中，隐层节点 数 的选 择非 常重要 。

为旧能避免训练时出现过拟合现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下，壬能少的隐层节点数。若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但也会使网络训练时间延长。

另-方面，训练容易陷入局部极小 点而得不到最优点，同时也是训练时出现过拟合的内在原因。

隐层的节点数选择并没有固定模式可取，合理的隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下确定 。

开始HIWO算法种群初始化及相关参数的确定---厂- I初始解的产生 l r--- - 。。。。。-I 荔群体适应度函数计算二]二 交叉操作1种子数量的计算二二[二种子的生长簇 步/I Y磊 YI BP网络的权重阈值结束图 3 基 于 HIWO-NN 的模型设计流程 图为 NN的传递函数，从而得到性能不同的NN，满足实际的需求。

BP网络的传递函数(又称激活函数)有十几种，经常采用的有对数 Sigmoid函数(1ogsig)、正切 Sig-moid函数(tansig)和线性函数(purelin)1logsig(x)- (3)1 - tansig(x)-丽.t re e (4)purelin(x)-z (5)在实际的应用中要根据具体输出情况选择：对数Sigmoid函数将输出值限定在 0到 1之间；正切Sigmoid函数将输出值限定在-1到 1之间；purelin线性函数的输出和输入相同。

3.3 传递函数的选择 3.4 HIWO算法设置任何的数学函数只要满足定义域为全体实数且其傅里叶展开式不是完备的正交集函数，都可以作3.4.1 编码IWO算法中正态分布采用实数编码，所以这里第 4期 彭 斌，等：基于混合杂草算法的神经网络优化策略 637主编码采用实数编码。

N，L和M 分别代表 NN的输入层、隐层和输出层个数，整个主编码由4部分组成，如图4所示。

all a12 1a21以2 a站 aⅣl a肥 aM b1 b2 bL： 兰二兰 华 -- ---C D图 4 主编码构成HIWO算法的种群维数 D-N×LLL×MM。其中：N和M 相对固定，大小由具体问题的输入与输出参数个数决定；A区为输入层节点到隐层的连接权编码，a 为输入层第i节点同隐层第J节点的连接权编码；B区为隐层节点的阈值编码，b为隐层第i节点的阈值编码；C区为隐层节点到输出节点的连接权编码，C 为隐层第 i节点同输出层第J节点的连接权编码；D区为输出节点各神经元的阈值编码，d 为输出层第 i节点的阈值编码。

HIWO算法的初始编码以充分大的隐层个数L及层间全相连的方式组成初始群体。副编码为 0和 1组成的矩阵，维数与主编码-致，初始设定为全1矩阵表示全连接，在求解中与主编码相乘。随着进化过程中自适应调整隐层节点数 L及删去部分层间的连接权 ，实现 自适应地动态改变编码长度。

3.4.2 适应度 函数HIWO算法的适应度函数 F(即 NN性能评价函数)是算法指导搜索的惟-信息，它的选取是算法好坏的关键。适应度函数要能有效地指导搜索沿着优化参数组合的方向，逐渐逼近最佳参数组合，而不会导致搜索不收敛或陷入局部最优的状况，同时也要求这个函数易于计算。

NN的目标函数 E定义为：在所有的进化代数中搜索网络误差最小的权重。HIWO算法的适应度函数和 NN的目标函数有着必然的联系。HIWO算法用来求解最小值问题，它的适应度函数定义为NN的目标函数，表达式为，F-E 1∑ ∑(y -To) (6)J 1 f- 1其中：N为测试样本数；M 为网络输出神经元的个数；y 为第J个样本的第 i个网络输出节点的理想输出值；T 为第i个网络输出节点的实际输出值。

HIWO算法的适应度函数与 GA的适应度函数互为倒数，这是因为 GA只能朝着适应度函数值增大的方向进化 ]。

3.4.3 子代的矢量跟踪HIWO算法借鉴 PSO算法中速度更新公式中的社会”部分，子代在繁殖的过程中不仅正态分布于父代周围，而是也有向群体或邻域历史最佳位置逼近的趋势。

3.4.4 交叉操作交叉操作通过种群中两个个体随机交换遗传信息，形成两个相似的后代。主要 目的是通过重新组合以进化出适应度更高的个体～ GA中的交叉算子引入到 IWO算法，避免了算法的早熟收敛，提高了算法的性能。通过交叉操作，不仅能够产生新的个体，更能够在父代与子代竞争之前，对所有个体进行二次选择 ]。具体步骤：对父代和子代的所有个体取适应值较差的后-半种群进行相邻交叉操作，交叉前和交叉后的适应值排序比较，取优秀个体。

3.4.5 其他 HIWo算法参数的设置杂草种群的增加并不提高寻优成功率，非线性调制指数 对 IWO算法的收敛起着关键作用[1]。

表 1 高维问题求解参数设置参数 取值范围初始种群大小 n-ini最大迭代次数 iter问题的求解维数 dim最大种群数量 P最大种子数 seed最小种子数 seed非线性调制指数初始标准差 ainitial最终标准差 鳓 l自变量初始搜索空间 z4 数值仿真及应用实例为了验证 HIWO算法创建 NN的可行性及有效性，以转子实验台模拟 6类故障数据的 4类谱熵为训练样本，应用 Matlab软件进行仿真分析。

转子实验台如图 5所示。实验台在不同的位置布置了 13个通道的电涡流传感器，其中：1～12号电涡流传感器采集转子的振动信号；13号采集转速信号。分别模拟 6类故障：转子不对中、质量不平衡、动静碰磨、松动、油膜涡动和油膜振荡。选取转速为 2～ kr/min的实验数据作为原始数据，选取其中-个通道的3 000组数据，经过中值滤波、去直流分量和小波消噪，计算其奇异值谱熵、功率谱熵、小波能谱熵和小波空间谱熵 4类谱熵，并对样本数据O O F ∞0 巧 矗 c!)。～～～ ---638 振 动、测 试 与 诊 断 第 33卷进行归-化处理，并将其作为 HIWO-NN的训练样本 。

初始网络结构输入层为 4，隐层为 8，输出层为l。输出层的设计归-化至 0.4～0.9之间的-组数据。选取 60组数据作为训练样本，HIWO算法的初始种群为 5，最大迭代次数为 300，最大种群数 目为3O，最大种子数为 4，最小种子数为 0，非线性调制指数 为 2.3，初始标准差为 5，最终标 准差 为0.01，初始搜索空间最大值为 1，最小值为-1，交叉概率为 0.9，学习因子为 1。IWO的参数设置与HIWO相同，但没有交叉概率和学习因子。GA的种群大小为4O，交叉概率为 0.75，变异概率为 0.1。

PSO的种群大小为 40，初始惯性权重为 0.7，学习因子均为 1.5，最大飞行速度限制为 0.1。对 4种算法的初始解都采用网格分布法，输入层与隐层之间、隐层与输出层之间的传递函数都是采用对数 Sig-moid函数[10-12]。

图 5 转子实验台图6为 4种算法的迭代误差比较结果∩以看出，128代之前有交叉优势的 PS0和 HIWO占有较大优势，128代之后 HIWO算法占有绝对优势。

在对 NN的训练中，HIWO算法将隐层连接权优化到 39个，PSO算法和 IWO算法将隐层连接权优化到42个，GA将隐层连接权优化到 45个。

螺垛图 6 迭代误差比较图 7为不同运行次数下的误差比较。总体上，HIWO算法比其他 3种算法能更精确地收敛到较低的误差。

图 7 不同运行次数下迭代误差比较(迭代次数为 300)5 结束语IWO算法是-种高效的随机智能优化算法，以群体中优秀个体来指导种群的进化，以正态分布的方式将子代个体叠加在父代个体周围，通过标准差的动态调整，兼顾了群体的多样性和选择力度。

仿真结果表明，提出的 HIWO算法既能构建网络结构，又能起到网络学习的作用，相比 GA，PSO和1wO在搜索精度上有显著提高，且极易摆脱局部极小的困扰。同时，采用 HIWO算法自学习构建NN结构的方法能大大减少 NN的连接权，缩短对NN的训练时间。

随着函数维数和群体规模的增加，如何有效缩短算法的运行时间和提高求解精度是今后研究的方向之-。目前，1wO算法的研究与应用仍有限，IWO算法的理论以及与其他算法的有效混合及应用都有待进-步研究。