基于两阶段学习的半监督SVM故障检测方法

本资料包含pdf文件1个，下载需要1积分

Fault detection based on two-stage learning and semi·supervised SVM TAO Xin-rain，CAO Pan-dong，SONG Shao-yu，F Dan-dan(College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China)Abstract： A novel semi-supervised suppo vector machine fault detection model based on two-stage learning waspresented here.First of all，propagation algorithm was used to provide pseudo labels for unlabeled samples.Secondly，k-near-neighbor graph was utilized to distinguish and delete the noisy samples.Then，the denoised samples were input intoa suppovector machine(SVM)SO that the global information of the whole sample set could be considered by the SVM toenhance its fault detection ability. The comparisons among support vector machine，fuzzy support vector machine，transductive suppo vector machine and Laplacian suppo vector machine fault detection algorithms were performed.Theresults showed that the proposed approach has a more substantial detection accuracy than other algorithms with diferentlabeled sample sets. The behaviors of the proposed fault detection method with test samples and without those werecompared.The results illustrated that the proposed method with test samples can further raise its ability to detect faults。

Key words：fault detection；semi-supervised；two-stage；pseudo labels故障检测就是对测取的含有故障信息的信号利用信号处理和分析技术，找出和故障有关的特征参数并利用这些特征参数对设备的实时技术状态进行判别。

这里涉及到两个方面的问题，-是利用信号处理技术进行特征提取；二是利用模式识别技术进行故障检测。

在信号特征提取方面，主要分为：信号的时域特征，如信号的均值、均方值、峰值、峭度和歪度等；信号频域特征，如能量谱、AR功率谱等；以及信号的时频特征，如小波分析，Hilbert变换和短时傅里叶变换等 J。

在模式识别方法方面，支持向量机算法(SVM)因其良好的非线性区分能力，已广泛应用到故障检测领基金项 日：国家 自然科学基金面上项 日(61074076)；中国博士后科学基金(20090450119)；中图博士点新教师基金(20092304120017)；黑龙江省博 后基金(LBH-Z08227)； 龙江侍育厅项目(11555009)收稿 日期 ：2011-06-09 修改稿收到 日期：2011-10-14第-作者 陶新民 男，博士，副教授，1973年生域 J。支持向量机主要思想是建立-个最优决策超平面，使得该平面和最近的两类样本(即支持向量)之间的距离最大化，从而避免以往神经网络学习出现的过拟合 、易陷入局部极值和维数灾难等诸多问题。但是，传统基于支持向量机的故障检测方法 只能使用样本集中的已标识样本进行学习，而在轴承故障检测领域，人工标识样本的代价太大，因此只有少数样本是标识过的，大量的是未标识的样本。而传统的 SVM方法作为-种监督检测算法，需要-定数量且属于不同类别的标识样本进行训练才能获得较好的故障检测能力。如今，-种联合标识样本和未标识样本的半监督学习方法吸引了众多科学工作者的目光，并逐渐成为当前机器学习领域的研究热点 。

半监督学习是将已标识样本和未标识样本提供的聚类信息结合起来，进而提高算法的分类精度。因此，可以说，半监督学习方法较传统分类算法更有助于解振 动 与 冲 击 2012年第 31卷决实际问题。目前，结合未标识样本信息来提高 SVM算法的性能也有-些文献提 出，如 Joachims在文献[10]中提出了直推式支持向量机(TSVM)，加入了未标识样本形成的规划项，引导分类超平面通过低密度区，减小错分 的概率，但同时带来 了非凸优化 的问题；Mikhail等l提出了LapSVM算法，考虑了样本集的内部结构，但由于半正定优化问题同样导致该算法易陷入局部解。为了能更好地利用未标识样本信息来提高SVM算法性能，本文提出-种基于两阶段学习的 SVM算法并将其应用到故障检测领域。该算法首先在利用基于图的半监督模型给未标识样本加以伪标识；随后将这些伪标识样本与标识样本作为整个训练样本集，输入到 SVM算法中进行训练学习，使得 SVM算法在训练时能充分考虑未标识样本带来的结构信息，进而提高算法的分类精度〖虑到伪标识生成过程中可能会有噪声，在 SVM训练前根据 近邻图，对比样本标识值识别噪声样本并删除，针对剩下的每个样本根据其所属类别的概率设置不同的惩罚因子，来增强 SVM算法的鲁棒性和抗干扰能力。实验部分将本文提出的基于两阶段学习的半监督 SVM算法应用到故障检测领域同其他 SVM算法进行对比，结果说明本文算法在只有少量标识样本的情况下故障检测精度较其他算法有较大幅度提高本数为 10个，类别比例定为6：4，分别用菱形和实心圆表示，未标识样本为 190个，用正方形虚框表示，训练后得到的 SVM最优分类界面如图 1所示。

图1 传统SVM分类器得出的分类界面Fig.1 The classifcation interface afterusing the traditional classifer从图 1可以看出，由于训练样本中标识样本太少，提供的样本集信息太少，无法准确代表整个样本集合的样本分布信息，只依靠这些标识样本，训练出的 SVM分类器泛化性能并不理想。因此传统 SVM分类算法在标识样本较少时得到的分类器泛化性能较差，而这种缺乏样本标识的情况在现实中是普遍存在的，因此如何提高标识样本较少情况下的 SVM分类器泛化性能是值得深入研究的。

1 传统的支持向量机分类算法 2 基于两阶段学习的半监督 SVM算法支持向量机算法是建立在统计学习理论中结构风险最携原理基础上，根据有限的样本信息，在模型复杂度和学习能力之问寻求最佳匹配，以期获得最好的泛化能力。它通过核函数将原始特征空间中的非线性分类界面映射到更高维的特征空间中，使得分类界面在高维特征空间中变得线性可分，使分类效果更好。

其过程可表述为，对于 凡个样本的二分类问题，假设( .，Y )，( ，Y )，，( ，Y )为给定的训练样本和其期望输出，寻找最优权值向量 和闽值 b，使下面的代价函数最携 。

， 1 n、min《 I C s 1 (1)、 Z -i1 ，约束条件：Y ( 。 b) 1- 0，i1，2，， (2)式中：C>0是惩罚因子，表示对错分样本的惩罚程度，为松弛变量，表示对训练样本的错分程度∩以利用拉格朗日乘子法求解该问题的最优解，从而确定最优分类。

为了测试较少标识样本对 SVM分类器性能的影响，选用月牙形样本集，该样本集共 200个：类 1有 104个；类 2有 96个。SVM算法的参数设置为：高斯核函数 ，核宽度 0.35，惩罚因子 C1 000，已标识的训练样为了能将未标识样本的聚类信息。 纳入到训练过程，进而提高 SVM算法的分类精度，本文提出-种基于两阶段学习的半监督 SVM分类算法。算法首先利用基于图的半监督模型给未标识样本以伪标识，然后将这些伪标识样本和标识样本共同输入到 SVM算法中，使得 SVM算法在训练阶段能得到更全面的样本集合信息，进而提升算法的分类性能。

2.1 算法中的伪标识生成伪标识的生成主要分为两步：构建图模型，根据某种距离度量计算相似度矩阵；依据概率转移矩阵生成伪标识 。

2.1.1 确定相似度矩阵假设训练样本特征 为d维向量，Y为样本 的标识值，样本总数为 n：n：zu。其中前 f个为已标识样本，样本特征和对应标识值构成的样本集合为 ，J： ( ，，)，。)，( ：，Y )，，( ，Y )；后 个为未标识样本，样本特征和对应标识值构成的样本集合为 f/：U( 。，y )，( ，Y ：)，，( ，Y )，贝0整体JI练样本集合为 S：SLu U。

利用基于欧氏距离的高斯函数构建相似度矩阵w。为方便矩阵运算，将矩阵 分割成四个子矩阵，如式(3)所示，其中 为已标识样本问的相似度矩阵，O 0 O O 椰 0第 23期 陶新民等：基于两阶段学习的半监督 SVM故障检测方法 41为已标识样本和未标识样本间的相似度矩阵，为未标识样本和已标识样本间的相似度矩阵，w 为未标识样本间的相似度矩阵。

w：( ) ㈩ 32.1.2 依据转移概率确定伪标识定义标识转移概率 ，表示标识从第J-个样本转移到第i个样本的概率。其具体表示形式见式(4)。

：P(.- ) - (4)∑W其中： ，表示相似度矩阵w 中第 i个样本和第 个样本间的相似度， f表示第 个样本和其他所有样本间的相似度总和。

同时定义标识矩阵 Y∈R～，Ⅳ代表总类别数，y的每行代表样本点 属于每-类的概率，其中未标识样本属于每-类的初始概率定为 1/N，表示其所属类别待确定。

伪标识生成基本步骤为：传递标识 l，- ；行单位化 y；固定标识样本 ，重复执行传递，直到 l，收敛。为方便计算，将矩阵分割为： y 可导出未标识样本的伪标识矩阵为：Y (J- )-T fY1 (5)式中J为单位阵。则伪标识样本点的预分类为：c arg maxyu (6)式中：c 为伪标识样本集中第 i个样本所属的类别Y。

为伪标识样本中第 i个样本属于第 . 类的概率，此处i I， 2， ，f， 1，2， ，Ⅳ。

图2为伪标识生成后，利用本文算法训练得出的分类界面，其中加号表示类别 1伪标识样本，菱形框表示类别2伪标识样本。

图2 伪标识生成情况和分类界面Fig.2 The classification interface and theof producing circumstance pseudo labels由图2可以看出本文提出的两阶段学习模型，能充分发掘整体样本集的分布信息，利用已有的标识样本信息对未标识样本进行伪标识，从而得到更多的训练样本，这样使得 SVM分类器在训练时能兼顾全局聚类信息，而不会陷入局部最优解，得出的分类器反映了整体样本集的分布结构，最终提高了 SVM分类器的泛化性能。同时本文算法还需能对边界噪声样本进行处理，以避免标识穿越低密度区导致错传的情况，最大程度地保证 SVM分类器在训练时能得到更多更准确的样本集信息。

2.2 算法中核宽度的确定在伪标识生成过程中，相似度矩阵 w 中的核宽度占以往都是通过反复实验得出的，增加了其计算时间和复杂度，为此本文采用 自适应调节的方法。

exp(-d ( ， )/8 6 ) (7)其中：d( ，xj)：Ix -xj，核宽度6 d( ， f)，Xil是的第f邻居。6 随着近邻分布而自适应变化，保证样本集内同类间相似度增大，不同类问相似度减校2.3 对伪标识样本进行去噪处理生成的伪标识样本中可能存在边界噪声样本 ，将导致 SVM算法得到的信息有偏差，致使最终训练出的SVM算法分类能力被削弱，因此需要对伪标识样本进行去噪处理。本文采取两种方法，第-种通过对比标识值，识别并删除噪声样本，第二种根据样本所属类别的信任度设置不同的惩罚因子。

将相似度矩阵 w转换成 k近邻图相似矩阵 w ，以表征样本间的聚类结构信息。根据 k近邻图稀疏矩阵，对比样本点和其近邻点的标识，如果某样本点的标识值和其近邻点的伪标识值不相同，需判断该样本是否为噪声样本。令下式：y7 W Y (8)其中：Y 是未标识样本点的伪标识矩阵。w 是 近邻图相似矩阵，则伪标识样本点的预分类变为：c argmax)， ne..w (9)如果 满足下两式中任何-个 ，就将此样本当成噪声在训练样本集中删除。

c ≠c (10)<0.8 (11)yi/ V， 噪声处理后，y ne 变为yn e，Y- ，l。每个样本新 二y /的惩罚因子定义为：C C max(yn e)/ y rte (12)T 式中：y 代表点 属于每-类的概率，i1，2，，fM，C1，2， ，N，C1 000。

2.4 基于两阶段学习半监督 SVM故障检测算法流程本文将上述基于两阶段学习的半监督 SVM算法O O O 0 加 042 振 动 与 冲 击 2012年第 31卷应用到故障检钡4中，具体步骤如下：(1)首先根据相应的故障特征提取方法计算出特征向量，将标识样本和未标识样本组合成样本集合；(2)计算样本集的相似度矩阵 w并变换成 k近邻图相似矩阵 w ，相似度计算时采用高斯核参数，其参数选择采用的是平均7近邻距离法；(3)确定标识转移概率矩阵 ，计算未标识样本的伪标识矩阵Y ；(4)利用公式(10)和(11)去除噪声样本，得到新的样本标识矩阵 ；(5)用公式(12)计算每个样本的惩罚因子 C ，将处理后的样本集( ， rte.w)及参数 C 代人到 SVM的优化函数(1)中，K( ，Xj)选用高斯核函数，核参数与相似度矩阵 w 的参数取值相同；(6)通过优化函数得出分类超平面，得到决策函数 ， ( )∑CiK( ， ，)；(7)对于新的采样信号，计算其特征值，然后输入到决策函数进行故障检测判断。

3 试验分析3.1 特征提取本文 采用 的试 验 样本来 自美 国 Case WesternReserve University电气工程实验室 。振动信号的收集来 自安装在感应电机输出轴支撑轴承上端机壳上的振动加速度传感器。实验模拟了滚动轴承的4种运行状态 ：①正常运行状态；②外圈故障；③内圈故障；④滚动休故障。

本文采用基于相空间重构(RPS)模式的特征提取方法，其中相空间重构的参数包括嵌入维数 m和延迟时间间隔 下。选用训练样本易得的正常样本相空间的投影系数作为故障特征，即首先确定正常样本相空间的参数，然后取其他类型的样本在该空问的投影系数作为故障检测的特征 j，具体描述如下：若轴承振动信号时间序列为：杯识样本敌L×10：3 不同标识样本数 日下的内圈故障检测率Fig.3 Plot of inner fault detection rate underlabeled Samples with diferent sizesY1，Y2，Y3， ，Y，。 (Y ∈R)当正常样本相空间的嵌入维数为 m，延迟时间间隔为 r，则采用时间延迟技术重构相空间为：。 (Y ，Y ，，Y ( -1) )， ∈R (13)式中： 为信号在重构相空间的投影系数，其中相空问的参数利用互信息函数指标来确定，嵌入维度选择文献[2]提供的方法。试验确定的正常样本相空间的延迟间隔 r等于2，嵌入维度 m等于 5，因此故障检测的特征为5维矢量。最终形成正常样本、内圈故障样本、外圈故障样本和滚动体故障样本四种5维矢量作为故障检测特征。

3.2 故障检测试验对比选择前面生成的 1 000个正常样本、1 000个内圈故障样本、1 000个外圈故障样本和 1 000个滚动体故障样本组成训练集合，同样分别选择 1 000个样本组成测试样本集合。有标识样本集大小从 100到 500，间隔为50进行变化～本文的基于两阶段学习的半监督支持向量机算法(TSLSVM)同支持向量机算法(SVM)，模糊支持向量机算法(FSVM)，直推式支持向量机算法(TSVM)，拉普拉斯支持向量机算法(LapSVM)进行 比较学习。

实验迭代次数为 20次，取 20次的平均值作为最终的结果。SVM中核函数为高斯函数，采用 10次交叉验证法选择最佳的核宽度为 0.35，惩罚因子为 C：1 000，拉格朗日因子A10～；本文算法中 k近邻图的近邻数选为7；TSVM中惩罚函数 C1/2A，核函数为径向基函数，核宽度为 0.35；FSVM算法的模糊度训算中，近邻数 K值为9，模糊度为 1；LapSVM中RKHS(再生核希尔伯特空间)规划因子 10～，流行规划因子y，1，近邻数 Ⅳ～7。

试验结果如图3～5所示，其中图3为内圈故障的检测结果，图4为外圈故障检测结果，图 5为滚动体故障检测结果。从这些实验结果可以看出，随着标识样本数目的增多，各种算法的检测性能也随之增强，另外本文算法在不同数目的标识样本集合下检测性能都好标 样本数L×02图4 不同标识样本数 日下的外圈故障检测率Fig.4 Plot of outer fault detection rate underlabeled samples with diferent sizes标识样本数 L X 10图5 不同标识样本数H下的滚动体故障检测率Fig.5 Plot of bal fault detection rate underlabeled samples with diferent sizes第 23期 陶新民等：基于两阶段学习的半监督 SVM故障检测方法 43于其他算法，这是由于本文算法是-个半监督算法，它充分考虑到了未标识样本集合提供的聚类结构信息，因此检测性能大大提高。LapSVM因其本身的半正定优化问题，使算法易陷入局部解，导致检测效果不理想。TSVM由于在引入未标识样本的信息时产生了非凸优化问题，使算法易陷入局部极锈，最终的检测结果不如人意。FSVM算法对边缘噪声过于敏感，检测精度受到了很大的影响。

3.3 含和不含测试样本的本文半监督检测算法性能的比较试验为了验证本文方法在考虑测试样本信息下的故障检测性能，将测试样本集合加入到本文的训练方法中，标识样本数 L×l0：图6 含和不含测试样本对内圈故障检测结果对比Fig.6 Comparison of inner faultdetection of the proposed methodwith test data and without test data作为未标识样本集共同参与分类器的训练学习，其他参数设置同上，同不含测试样本的本文故障检测方法进行比较，结果如图6～8所示。

从实验结果可看出，对于不同类型故障检测性能，相同情况下，增加未标识样本的数目使检测精度平均提高了 1% ～2%。这是由于将大量的测试样本加到未标识样本集合中，使得半监督学习算法能更加充分地利用它们提供的样本空间聚类信息，旧能发掘样本集内在的分布信息，使得 SVM在训练学习时能提取到更多的样本特征信息，计算出来的流行结构更加精确，更能准确模拟出样本问的结构，使得最终训练出的分类界面更加精确，因此检测性能会大大提高。

图7 含和不含测试样本对外圈故障检测结果对比Fig.7 Comparison of outer faultdetection of the proposed methodwith test data and without test data3.4 k值对本文算法的影响为了测试 k近邻图相似矩阵中不同近邻数 k值对本文算法性能的影响，将 值取为 2，4，6，8，10，12，14。

标识样本数目选择 100：500，间隔为 50，取不同数 目标识样本集训练后的平均结果，针对三种不同故障检测类型进行实验对比，其他参数同上，结果如图9所示。

近邻数 k值图9 不同 值对检测性能的影响Fig.9 The effect of diferent k value on performance由实验结果可以看出k设置在6～11处即可，分类精度在此区间时比较好而且较稳定。k选取太型成了最近邻法，如果样本集合分散度高的话，得出的参数标识样本数 L×10z图8 含和不含测试样本对滚动体故障检测结果对 比Fig.8 Comparison of bal faultdetection of the proposed methodWjth test data and without test data不能很好的代表相似样本间的相似信息； 值过大时有可能将类别外的样本纳入其中，带来了类间的相互干扰，导致最终分类精度呈下降趋势。

4 结 论本文提出了-种基于两阶段学习的半监督 SVM故障检测方法。该算法首先利用基于图的半监督模型，预先给未标识样本进行伪标识，接着利用 近邻图将其中的噪声样本识别并删除，然后将处理后的样本集当成已标识样本集交由SVM处理，使 SVM算法充分考虑整个样本的分布信息，最终提高故障检测率。仿真试验结果表明本文方法在不同比例的标识样本集合情况下，故障检测性能优于其他算法。另外，本文对含有测试样本和不含测试样本的情况进行了比较，结果表明含有测试样本学习的检测性能较不含测试样本好。由于未标识样本在故障检测领域很容易得到，因此本文方法具有很好的现实应用价值。需要说明的是，本文算法并未对未标识样本集中存在的不均衡样本分布情况进行分析，这也是本课题下-阶段深人研究的重点。

(下转第 56页)O O O 0 O O O O 0 § 锝器O O O O O O O 芎 醉器O O O O O O O § 耐器56 振 动 与 冲 击 2012年第 31卷collapse of a spherical void[J].Philosophical Magazine，1917，34：94-98。

[14]Benjamin T B，Elis A T.Cavitation：The colapse ofcavitation bubbles and the pressures thereby produced againstsolid boundaries[J].Philosophical Transactions of the RoyalSociety of London，1966，260：221-240。

[15]Plesset M S，Chapman R B.Colapse of an initialy sphericalvapour cavity in the neighbourhood of a solid boundary[J]。

[16]Gibson D C，Blake J R.The growth and collapse of bubblesnear deformable surfaces[J].Applied Scientifc Research，1982，38：215-224。

17] Best J P，Kucera A A.Numerical investigation of non-spherical rebounding bubbles [J]. Journal of FluidMechanics，1992，245：137-154。

[18]Zhang S，Duncan J H，Chahine G L.The final stage of thecolapse of a cavitation bubble near a rigid wall[J].Journalof Fluid Mechanics，1993，257：147-181。

[19] Klaseboer E，Khoo B C，Hung K C.Dynamics of anoscilating bubble near a floating structure[J].Journal ofFluids and Structure，2005，21：395-412。

[2O]Hicks A N.Explosion induced hull whipping.In：Advancesin marine structures(Smith，C.S.，Clarke，J.D.，eds.)[C].Int.Conf.on Advances in Marine Structures.London：Elsevier 1986。

[21]Smiljanic B，Bobanac N，Senjanovic I.Bending moment ofship hul girder caused by pulsating bubble of underwaterexplosion[J]. In：Faltinsen， O.(Ed.)，ProceedingsHydroelasticity in Marine Technology. A.A. Balkema，Trondheim，1994.PP.149-156。

[22]Zong Z.Dynamic plastic response of a submerged free-freebeam to an underwater gas bubble f J].Acta Mechanics，2003，161：179-214。

[23]Zong Z.A hydroplastic analysis of a free-free beam floatingon water subjected to an underwater bubble[J].Journal ofFluids and Structures，2005，20：359-372。

[24]Zhang N，Zong Z.The efect of rigid-body motions on thewhipping response of a ship hull subjected to an underwaterbubble[J].Journal of Fluids and Structures，2011，27：1326-1336。

[25]姚熊亮，陈建平 ，任慧龙.水下爆炸气泡脉动压力下舰船动态响应分析[J].哈尔滨工程大学学报，2001，42(2)：48-55。

YAO Xiong-liang， CHEN Jian-ping， REN Hui-long. Theanalysis of dynamic response of ship hul subjected to gas bubbleimpulsive pressure of underwater explosionsJ].Journal ofHarbin Engineering University，2001，42(2)：48-55。

[26]李玉节，张孝慈，吴有生，等.水下爆炸气泡激起的船体鞭状运动[J].中国造船，2001，42(3)：1-7。

Whipping response of ship hul induced by underwaterexplosion bubble l J].Shipbuilding of China，2001，42(3)：1-7。

[27]Vermon T A. Whipping response of ship hulls fromunderwater explosion bubble loading J]. TechnicalMemorandum 86/255， Defence Research EstablishmentAtlantic，1986：1-41。

[28]Deruntz J A，Geers T L.Added mass computation by theboundary integral method[J].International Journal forNumerical Methods in Engineering，1978，12：531-550。

0 0 1. 1)r )0◆ l1 c、0 、)0 ◆ 00 00 0 00 ◆0 00 00 00◆ 00 0◆ 。。0 Ⅲ 00 0 (， j 00 ◆0 00◆ 、 (j0 00 00 0(I 0lf) ) c、0 l 0 . ( 00◆ l1 ◆ ll 、 ◆ (- ll0 j0 ll0◆ r)r)◆ ，(- 0(上接第43页)