相关向量机及其在故障诊断与预测中的应用

本资料包含pdf文件1个，下载需要1积分

随着科学技术的不断进步，T业设备和军事装备(以下统称为设备)的功能日趋完善、自动化程度不断提高，其结构愈加复杂，因而-旦发生故障，所造成的危害程度也 日益严重。因此 ，如何及时发现和预测故障以保证设备安全、可靠地运行，长期以来-直是工业和国防建设面临的-项重要课题，故障诊断与预测技术的研究与应用也受到了学术界、工业界以及军方的 日益重视。

智能化是故障诊断技术未来发展的主要方向，而机器学习被认为是提高故障诊断系统智能化水平的主要途径 ，-旦诊断系统具备了自学习能力，它就能从环境的变化中学习新知识，不断实现自我完善”。 。

作为机器学习方法的2个典型代表，人T神经网络(Artifcial Neural Network，ANN)和支持向量机(Support Vector Machine，svM)已经被广泛应用于故障诊断与预测的研究 ，并表现出了优异的性能。但ANN和SVM也存在诸多固有缺陷，ANN的性能受训练样本量的限制、优化过程易陷入局部极值、结构难以确定等；SVM的模型稀疏性有限(支持向量个数基本上随训练样本集的规模成线性增长)、输出结果是非概率的、模型参数设置复杂、核函数受Mercer条件限制等。这些不足在很大程度上限制了其应用范围的进- 步拓展以及在工程中的实际应用。

相关向量机 。 (Relevance Vector Machine，RVM)是美国学者TIPPING提m的-种基于稀疏Bayes学习理论的机器学习方法。与SVM相比，RVM具有以下优势：稀疏性更强，相关向量个数少于支持向量个数；输 是概率式的，能够提供更多的决策信息；参数设收稿日期 ：2012-10-12； 修回日期：2012-12-14作者简介：马登武 (1983-)，男，教授，博导，博士。

置简单，只需对核参数进行设置，避免了附加参数设置(如SVM 的惩罚系数)对结果的影响；核函数不受Mercer条件限制，选择范围更加广泛。本文在研究大量相关文献的基础上，从模型选择与优化、模型计算效率和模型鲁棒性改进3个方面综述了RVM的理论研究进展；总结了RVM在故障诊断与预测中的应用研究现状；分析指出了当前研究中存在的问题，并讨论了基于RVM的故障诊断与预测技术的研究方向。

1 RVM理论研究进展目前，关于RVM理论方面的研究，主要集中在模型的选择与优化、模型计算效率和模型鲁棒性改进3个方面。

1.1模型的选择与优化RVM的模型选择与优化是指RVM核函数的选择 、构造及其参数的优化 。研究表明 ，核函数的选择及其参数的设置对RVM的性能有直接影响。

在核函数的选择与构造方面，Gauss核是目前最为流行、使用最为普遍的核函数。但Gauss核是-种局部核，只对离输入变量距离较近的数据点起作用，学习能力强，但泛化能力弱。针对Gauss核的局部性，文献[10]提出了修正的Gauss核函数用于RVM。文献1 1]通过构造平移不变小波核函数，建立了-种小波RVM模型 小波核具有小波信号拥有的局部分析和特征提取的优点，能够逼近任意非线性函数 ，与Gauss核相 比是正交或是近似正交的，具有更好 的逼近能力。文献[12]指 ：由于不同的核函数具有的特性并第2期 马登武，等：相关向量机及其在故障诊断与预测中的应用 ·155·不相同，从而使得在不同的应用诚，核函数的性能表现差异很大，且核函数的构造或选择至今没有完善的理论依据；此外，当样本特征含有异构信息、样本规模很大、多维数据的不规则或数据在高维特征空间分布的不平坦，采用单个简单核进行映射的方式对所有样本进行处理并不合理。因此，多核RVM模型得到了国内外学者的重视和广泛关注。文献[10]将Gaus核的局部性和多项式核函数的全局性相结合，构造了- 种混合核函数，具有较好的学习和泛化能力。文献7在单核RVM模型的基础上，分别构建了Gauss核与改进的多项式核、Gauss核和张量积线性样条核函数进行线性组合的多种组合核函数RVM模型。文献13将多个尺度的Gauss核融合，建立了-种多尺度RVM模型。文献[14.15]分别建立了基于基本核的线性和非线性组合核函数。 r以上的RVM模型中，所有的相关向量使用相同的核函数。文献[16建立的多核学习RVM模型通过对每个相关向量运用特定的核函数，能够更有效地结合全局核和局部核，从而获得更加优异的性能。由于学习过程中需要进行大矩阵的求逆计算，因而该方法的主要缺陷是计算复杂度较高。文献[6]提出了-种自适应核RVM模型。该模型对于每-个核函数都设置不同的参数值，利用稀疏先验控制模型参数的有效数量以避免过学习，并且能够同时使用多种形式的核函数，具有更大的灵活性。

在核参数的优化设置方面，文献[17提出利用最小描述长度(MDL)准则优化RVM核参数。由于需要RVM在整个参数取值范围内进行训练，该方法的主要缺陷是计算复杂度较高。文献[5]将-种自适应Gauss核函数用于RVM非线性回归。该方法能够根据训练数据自动选择合适的Gauss核宽度，使得对于各尺度的信号都能保持较好的平滑度。文献[1 8]针对Gauss核函数的核宽度选取问题，提出了-种局部证据估计方法以获得RVM算法在稳定性和训练精度上的平衡。文献[19提出了-种 自适应核相关向量机方法。

该方法在每次迭代过程中关于Gaus核宽度对边缘似然函数的对数求最大化。由于基函数的宽度是相等的，因而核参数的优化问题转化为-维搜索问题。文献f8-9，14-15，20]提出利用遗传算法、粒子群优化算法等智能优化算法对RVM核参数进行优化。

1.2模型计算效率改进在训练过程中，RVM超参数的循环更新需要计算后验协方差矩阵，这是-个Hessian矩阵求逆的过程，导致RVM在处理大规模数据时计算复杂度高、训练时间长，限制了其在大规模数据集上的应用。文献211提出了-种序列稀疏Bayes学习算法。在训练过程中，从空集开始，依次增加基函数，以增大边际似然函数并更新超参数。同时，根据相同原理，剔除冗余的基函数，以增大目标函数，该算法显著提高了模型的训练速度。文献22]提出了-种基于Gram-Schmidt算法的RVM快速训练算法。其基本思想是利用Gram.Schmidt算法检测样本点之间的线性相关性，剔除与其他样本点具有依赖关系的点，达到精简训练样本集的目的，但该方法不具有普适性，即不能保证对任意训练集都能找到具有依赖性的样本点。文献[231提出了约简多分辨率RVM算法，应用保局投影约简输人矩阵列维数，并通过对训练数据集采样得到较小规模的训练数据集，进-步减小训练时间。文献[241基于局部分类的思想，提出了基于聚类的相关向量机快速分类算法。该算法引人Bit Reduction算法对训练样本进行聚类，将其划分为多个不同的数据簇，并利用SMOTE算法对其中的不平衡数据簇进行调整和处理，然后针对各个数据簇，构建多个局部分类器；测试时，根据测试样本与众多局部分类器对应的二进制码之间的海明距离，选择最近的分类器进行测试。但该方法的鲁棒性不是很强，分类精度存在-定的波动。

文献[25]提出了-种基于快速估计的相关向量机优化算法。利用阈值系数、约减最大上限并结合迭代估计，对训练样本的超参进行快速预估计，去除训练集中大量的非相关向量，减小训练样本规模，减少训练时间。文献[26]提出了Boosting RVM算法，其主要思想是通过-定抽样方法，将原始所有的训练样本集抽样成多个小型的训练组，然后对每个训练组进行RVM训练，最后通过Boosting方法，将所有的训练组训练出的模型集成到-起，得到最终的模型。

1.3模型鲁棒性改进由于 RVM 假设 所有样 本数 据 的噪声均 满足Gaussian分布，因而当训练样本中包含异常点时会给模型造成影响，降低预测精度。文献[27-281提出了变分相关向量机(Variational Relevance Vector Machines，VRVM)，采用明确的分布形式描述异常点，利用变分推导对RVM进行公式化描述。虽然VRVM极大地提高了RVM的鲁棒性，但需要更多的训练时间，而且失去了RVM的稀疏性 。文献[29]将 VRVM推广到 Stu。

dent-t噪声分布的情形 。该分布具有较 Gauss分布更好地厚尾性，鲁棒性更强。文献[30]提出了-种裁剪相 关 向量机 (Trimmed Relevance Vector Regression，TRVR)，通过最大化重新定义的似然函数--裁剪似然函数，实现回归。文献[31提出了-种鲁棒RVM模型，通过为每个训练样本设定独立的噪声方差系数来·156· 海军航 空工程 学院学报 第28卷提高模型对于异常点的抑 ，j ge力，从而解决传统RVM易受异常点影响的问题，提高了RVM的鲁棒性。文献[32]将RVM的噪声项分解为异常点噪声和Gaus噪声，提出了2种异常点噪声估计方法：Bayesian方法和优化方法。

2 RVM在故障诊断与预测中的应用研究现状在故障诊断应用研究方面，文献[331将RVM分别作为观测器和分类器用于传感器的故障诊断。文献f341X轴承的振动信号进行特征提取，分别通过-对- ”和-对余”的方式构建RVM多类分类器对轴承故障进行诊断。文献[35112重构相空问投影系数作为轴承故障特征，提 了基于相空间RVM的轴承故障检测方法。文献[36]针对故障检测中缺少故障样本的问题 ，构造了-个可分性评价指标进行特征选择 ，只利用正常运行状态的数据样本，建立了单值分类RVM模型，并将其应用在齿轮箱故障状态检测中。文献37]分别将基于RVM和基于SVM的多类故障诊断方法用于低速轴承的故障诊断，并通过实验对RVM和SVM两种方法的诊断效果进行了对比，指出联合RVM和线性特征提取的故障诊断性能优于SVM。文献[38对齿轮原始振动信号数据时域统计特征进行提取作为特征向量，采用Fisher准则进行特征选择，提了基于RVM的齿轮早期故障检测方法。文献[39]提- 种基于RVM的智能故障诊断方法用于检测齿轮早期故障，指出RVM模型比SVM模型更适合在线故障监测。文献40采用-对-”方法将多类故障诊断问题转化为多个二类故障诊断问题，提出-种基于RVM的模拟电路故障诊断方法。文献[4l针对模拟电路故障与特征间存在的模糊组及交叠，建立了基于Fisher准则函数的最佳聚类数白适应估计方法，采用模糊核聚类选择最优可诊断故障集，建立了RVM模拟电路故障诊断模型，提高了RVM模拟电路故障分类的效率和准确度。文献(42]提 了-种基于双树复小波包时频奇异谱和RVM的柴油机故障诊断方法。

文献[431通过RVM 回归对卫星姿控系统的敏感器和执行机构进行离线回归建模，根据正常数据对辨识模型进行测试，采用辨识模型 仿真模型形成残差输m，通过加权平方和对残差进行评价，实现卫星姿控系统单-故障诊断和系统级故障诊断。文献[44提了-种基于独立特征选择j RVM的智能故障诊断模型，用于变载荷条件下识别多类轴承故障及其故障程度。

在故障预测应用研究方面，文献[45将RVM应用于航空设备的故障预测。文献[461提出-种RVM.PF预测方法用于电池剩余寿命的预测，该方法能够给出寿命终止时间的概率密度函数。文献[47.48]将RVM用于机械部件单元的故障概率预测。文献[49]采用多步时间序列预测时不确定性传递的思想，并将蒙特卡罗采样引入其递推预测过程中，提出了-种基于RVM回归的故障预测算法。文献[50]提出了-种基于RVM和梯度下降算法的模糊模型辨识方法，并基于所给 的模糊模型辨识方法提出了-种新的故障预测算法。文献[51通过RVM方法消除数据不确定性影响，建立当前条件下包含最大信息量的RVM模型，并将PF与RVM结合，提出-种基于在轨数据的卫星关键部件寿命预测方法。文献[521提出了-种基于样本熵和RVM的电池降监测方法。文献[53结合了灰色预测和RVM回归预测的各 自优点，提出了-种灰色RVM故障预测模型。

3存在问题及研究方向讨论RVM作为-种新兴的机器学习方法，在故障诊断与预测领域有着广阔的应用前景。lT程应用是故障诊断与预测技术研究的最终目的。为了解决RVM在故障诊断与预测应用研究中存在的问题，进-步推动其T程实现，依作者浅见，在以下几个方面有必要开展深入研究。

1)核函数的构造。这个问题-直是机器学习领域的-个难点，至今没有完善的理论作为指导。虽然RVM核函数不像SVM核函数那样必须满足Mercer条件，具有更加广阔的选择范围，但是目前关于RVM的研究基本上仍然采用满足Mercer条件的核函数，如Gauss核函数、多项式核函数、线性核函数以及组合核函数等。这些核函数都还存在-定的不足，如：Gauss核属于局部核，学习能力强 ，泛化能力弱 ；多项式核函数和线性核函数属于全局核，泛化能力强 ，学习能力弱；组合核函数对于大规模数据问题，由于涉及到多核矩阵的快速求解等处理，学习效率较低。针对该问题，可从2个方面进行研究：-是研究如何根据数据特点有针对性地选择合适的核函数，实现量体裁衣”。

二是构造能够同时描述样本全局和局部结构的新型核函数 ，如文献[541在考虑样本向量相似性的基础上，提 -种高斯余弦核，能够同时描述样本全局和局部结构，可将样本数据映射到信息描述更为丰富的特征空问，有效增强了数据在高维特征空间中的表达能力。由于 RVM核函数不受Mercer条件限制 ， 而在新型核函数的构造研究方面具有更加广阔的空间。

2)RVM多类故障诊断研究。目前主要采用-对第2期 马登武，等：相关向量机及其在故障诊断与预测中的应用 ·157·余”法或-对-”法将多类故障诊断问题转化为多个二类故障诊断问题，再通过构造RVM二类分类器得到最终诊断结果。其缺点是：对于 类分类问题，OAR法需构造 个RVM二类分类器，每-个分类器的训练都需要全部样本参与，而RVM训练过程的计算复杂度为O(N )(Ⅳ为训练样本数)，导致训练时间较长，而且通过该方法构造的二类问题具有很强的不均衡性，可能导致泛化精度降低；OAO法需构造 ( -1)/2个RVM二类分类器，随着故障模式的增加，分类器数目将急剧增加，由于分类时需要遍历所有分类器，导致分类速度较低；OAR法和OAO法在分类时，可能存在测试样本属于多类或不属于任何-类的不可分区域，使分类精度下降。

决策树(Decision Tree，DT)方法是先将所有故障类别划分为2个子类，再将2个子类分别划分为2个次级子类，依此类推，直到所有故障类别被划分为单独的类为止。对于 类分类问题，DT方法只需构造 -1个二类分类器，而且参加分类器训练的样本数量逐级减少。另外，利用DT方法分类时不需要遍历所有分类器，而且避免了OAR法和OAO法存在的不可分情况。因此，基于DT的RVM多类故障诊断算法将具有更高的训练效率和诊断效率。但是，由于决策树的结构并不唯-，而且对分类精度有较大影响，如何确定决策树结构，使得构建的DT-RVM多类故障诊断算法具有较高的诊断精度有待进-步研究。另外，也可通过其他方法，如纠错输出编码法、有向非循环图法等，与RVM结合进行多类故障诊断。

3)不同的故障诊断和预测方法各有其优缺点，但这些方法并不相互排斥 ，可以相互补充。另外，对于复杂的故障诊断和故障预测问题，不同的方法利用信息的角度和程度也不尽相同。文献[53，55]分别将灰色模型和KNN方法与RVM相结合，有效地提高了单- 方法的的预测和分类精度。因此，针对具体的T程问题，选择相应地方法与RVM采认适的组合方式进行混合故障诊断和故障预测是-具有广阔应用前景的研究领域。

4结论智能化是故障诊断和预测技术发展的主要方向，而机器学习则是提高故障诊断和预测技术智能化水平的主要途径。ANN和SVM作为机器学习的代表性算法，在故障诊断和预测领域已经显现出了强大的生命力。RVM具有概率式输 、稀疏性极高、参数设置简单、核函数选择灵活、噪声处理能力强等优点，克服了ANN和SVM的诸多固有缺陷，使得机器学习进入了新的发展阶段，必将对故障诊断和预测技术的发展产生重要的推动作用 。由于RVM的发展时间较短 ，且-直以来相关研究偏重于应用层面，在理论层面还存在很多不尽完善的地方。因此 ，克服RVM在故障诊断与预测应用过程中存在的问题并将其最终应用于工程实践之中尚需大量的工作。