决策主导的多模式融合目标跟踪算法

本资料包含pdf文件1个，下载需要1积分

运动目标的自动识别与跟踪是机器视觉领域-个重要课题，而复杂嘲下的目标连续跟踪-直以来都是 目标跟踪领域的-个难点，特别是跟踪过程中的目标遮挡问题总是难以得到很好地解决↑年来，国内外的专家学者对于目标的遮挡问题进行了深入的研究 ，并提出了- 些解决的方法：1)基于目标特征点匹配的算法，文献收稿 日期：2012-07 Received Date：2012-07基金项目：国家自然科学基金(61172111)资助项 目[1]中利用 Hough变换解决 目标的部分遮挡问题，当目标被遮挡后 ，通过剩余的特征点来预测 目标可能的坐标位置。2)利用动态分层表示方法来判断和跟踪遮挡 ，但由于该类方法是基于全局统计的，造成它的定位精度低、计算量大，难以在工程中实用。3)多子模板匹配法，以各子模板的匹配结果统计方差来判定目标是否被局部遮挡，剔除错误匹配的子模板后，用剩余子模板匹配结果均值来计算 目标位置 。4)还有人提出根据运动目标488 仪 器 仪 表 学 报 第 3 4卷的特性 。，建立遮挡判决函数来检测遮挡，但是由于这种方法是根据目标模板变化的面积来进行判决，并不能有效区分 目标的运动变形和遮挡，从而造成很大的误判率。

本文针对上述问题提 -种新的多模式融合目标跟踪算法，将重心跟踪、粒子滤波和 SIFT特征匹配有机结合，取长补短，并对原有算法进行了改进 ，使之达到更好的跟踪效果和实时性的要求。

2 遮挡问题的分析遮挡问题是运动目标跟踪算法中的难题，是由于目标或背景物体的运动造成 目标的覆盖和暴露过程，如图1所示。

F -执将被遮挡的l 城(a)第 帧(a)k-th frame运动目标 遮挡背景遮捎背景 运动目标(b)第I帧(b1 1-th frameF-执将暴露的蹦标区域(c)第kn帧fc1 n-th frame图 1 遮挡问题示意图Fig.1 The problem of occlusion integral picture从图 1中可以看出，静止物体对运动目标的遮挡是- 个渐变的过程：首先被遮挡的是 目标外围的局部某区域(或上、或下、或左 、或有)，然后逐渐向中心深入，遮挡区域慢慢变大，最后可能挡住整个 目标。而运动目标脱离遮挡物体也是同样的过程，先是暴露出运动物体的局部区域，然后是中心区域，最后是整个运动 目标。所以，解决遮挡问题主要是解决以下 3个问题：1)如何及时准确地判断目标是否被遮挡；2)当目标被遮挡时，如何判断是局部遮挡，还是完全遮挡，并采取相应措施 ；3)当被遮挡 目标离开遮挡区域时，如何能够准确重新捕获目标并跟踪。

遮挡-般都是短时间的现象，当现连续遮挡时，就可以将遮挡看作丢失。丢失现象除了长时间遮挡外，还可能是光照变化、目标旋转变形等造成的。

3 决策主导的多层算法结构为了提高算法的实时性和智能化程度，便于丁程实现，本文采用决策主导模式的多层算法结构：底层图像预处理和顶层目标跟踪算法，最终实现多模式融合的目标跟踪。具体算法结构如下：1)底层图像预处理包括图像中值滤波 、直方图统计和直方图增强，该层算法是在 FPGA中完成的，所以几乎不f与用算法时间。

在底层算法中，直方图统计将图像灰度的对比度特征分成高、低两个结果 ，并以此作为算法决策判据，控制下-层算法中采任种跟踪算法进行处理：(1)当图像对比度很低时，目标的轮廓、纹理等特征都不会十分明显，因此首先在 FPGA内对图像进行直方图拉伸，以达到图像灰度增强的目的，然后进入下-层算法；(2)当图像的对比度很高时，则无需上述过程。

2)顶层目标跟踪该层算法延续底层算法的不同分支：(1)对于低对比度图像，-般目标也较小，就需要弱小目标跟踪，这里采用模糊熵阈值分割技术解决这 -问题 ；(2)对于高对比度图像 ，算法将采用重心跟踪、粒子滤波、SIFT特征口1；配3种算法相融合来实现对 目标位置的计算。

跟踪算法可在模糊熵阈值和多模融合两种跟踪方式下自动切换，不再需要通过人1方式来选择，完全由系统自主决策，实现了对多种复杂情况的自动鲁棒跟踪，大大提高了系统的智能化程度。

4 多模式融合跟踪算法的实现多模式融合是将 SIFT特征点匹配、粒子滤波和章心跟踪 3种算法相融合，使之在目标发尘缩放 、旋转 、短时遮挡以及光照变化等情况下，仍能对目标保持稳定跟踪。

4.1 粒子滤波及其改进粒子滤波 。。 是-种基于图像灰度统计的目标跟踪方法，其求解近似贝叶斯递推过程。在机动 目标跟踪领域，多以目标的灰度作为状态空间，产生的粒子”样本只反映目标灰度特征，而与 目标的形状、纹理等特征无关，特别适用于边缘模糊的目标跟踪。粒子滤波跟踪算法的基本框架，如图2所示。

第 3期 邡志成：决策主导的多模式融合 目标跟踪算法 489提取日标的特征分布根据目标的J始状态，生成 -个包含～个芈豇子的集合，其，pf，J每个粒子对应 -个 r 州 刻的目标状态按动态模型将粒子进行自身的传播根据粒子集估计出被跟踪目标在本帧图像中最可能出现的位置图2 粒子滤波跟踪算法示意图Fig.2 Schematic diagram of particle filtering tracking algorithm粒子滤波算法主要分为状态预测和状态更新两大步骤：分别用 、z 表示第k帧的运动状态和观测状态 ，则：状态预测 ：p(X I z㈨-，)∑p(X l X )p( -.1 z㈨-。)(1)状态更新：p( I z， )p(z I )p( I z。： -。)(2)式中：p( I z - )是先验概率，P(Xk I Z㈧)是后验概率。根据重要性采样定理。。 ，定义q(X I z。： )为重要性函数，则有 ：E(Xo ) x： p(Xo： I Zj：k)dXo： J ： q(Xo z )dXo：Jwkq(X叭I Zl：k)dX式中权重系数：P(z f X )P(置 J -。)q(X I Xo： -I，Zl： )(3)(4)则可用如下公式近似求得后验概率：Np( I z㈨) ∑ (dXk) (5)观察到传统的样本集合在传播过程中，重采样过程是解决样本退化的方式 ，又是导致样木匮乏的直接原因，分析重采样过程发现，被采样到的样本多是权重很高的样本，权重低的样本几乎没有贡献，有些权重低的样本被直接舍弃。样本的缺失体现为样木退化。

对于粒子滤波，目前有很多的改进方法 ，但很少涉及粒子的退化和贫瘠问题。为了解决粒子滤波的粒子退化和粒子贫瘠问题，用-种新的方式进行样本集合的传播 ，传播过程巾不断补充缺失的样本，以保证样本的多样性，该方法为半采样半重采样方法。

4.2 SIFT特征 匹配及其改进SIFq"(scale-invariant transform feature) 。 。算法是-种多尺度空间的局部特征点提取算法。SIFT特征描述具有如下的几个优点：1)由于 SIFT特征是多尺度上的局部特征，所以对图像的旋转、平移 、尺度缩放和遮挡等具有 良好的不变性，对其他的图像变换如仿射变换等也保持-定的稳定性。

2)具有多量性，即使图像中只有少数目标，SIFT 算予 也呵提取大量的特征向量 。

3)可分辨性高，多尺度空间的特征点提取，使生成的特征向量能够表述丰富的图像特征。

4)具有很强的扩展性，能够同其他算子的特征向量联合使用。

虽然 SIFT特征具有 许多优势，但其缺点是算法复杂、运算量大，很难满足实时性的要求。为了解决这-问题，本文对传统 SIFT 算法做了三点改进。

4.2.1 降低金字塔阶数SIFT算法的典型步骤如下：1)生成尺度空间，即对图像进行多尺度高斯差分，并建立高斯差分金字塔 ；2)提取各尺度空间极值点并定位极值点坐标；3)为各极值点分配方向参数；4)生成极值点描述子。

传统的SIFT算法成2 缩小图像(n为尺度个数)，形成n1阶金字塔空间。假设n5，对各级金字塔图像使用对应尺度的高斯函数进行平滑，则需要计算6×530幅图像。这对于硬件系统来说，无论是存储空间还是计算速度都很难实现。

如果只用第 1阶金子塔(即原始图像)生成n个尺度下的高斯平滑图像 ，仍使用传统的 SIFT检测算法来提取特征点，匹配特征点的数量会很少，甚至不足以确定图像变换的模型。

图4为传统 SIFT算法用 6阶金字塔对图3中的基准图和实时图进行特征点提劝匹配的结果，其中基准图提取特征点410个，实时图提取特征点 334个，最终匹配点对 35个。图 5为采用 1阶金字塔对图 3提劝 匹配的结果，其中基准图提取特征点 275个，实时图提取特征点426个，最终匹配点对 5个。

经多次测试实验及分析发现 ，采用 1阶金字塔图像进行特征点匹配 ，导致匹配点对数量减少原 因是由于采用不同尺度的滤波后 ，各尺度图像并不在 同-灰度级上，所 以提出了第二点改进 ：对高斯差分图像进行 归-化第 3期 郝志成 ：决策主导的多模式融合 目标跟踪算法 493[9][10][11][12][13]G0RD0N N J，SALMOND D，SMITH A，F，M.Novel印-proach to nonlinemand non-Gaussian Bayesian state estima-tion[J].IEEE Proceedings-F，1993，14o(2)：107-113。

ISARD M，BLAKE A.Condensation-conditional densitypropagation for visual tracking[J].International Journalof Computer Vision，1998，29(1)：5-28。

郝志成，高文.多模跟踪技术在轮式侦察车图像处理器的应用[J].中国光学，2011，4(5)：480-488。

HAO ZH CH，GAO W.Application of muhi-pattarn track-ing technique in image processor of wheel type scout car[J].Chinese Optics，2011，4(5)：480-488。

陈龙 ，郭宝龙，孙伟.基于 FCM 聚类的粒子滤波多目标跟 踪算 法 [J].仪 器 仪 表 学 报，2011，32(11)：2536-2542。

CHEN L，GUO B L，SUN W .Multi-target tracking algo-rithm based on FCM and particle filterJ].Chinese Jour-nal of Scientific Instrument，2011，32(11)：2536-2542。

郭君斌，郭晓松，雷磊 ，等.基于改进粒子滤波算法 的人眼跟 踪方法 [J].仪 器仪表 学报，2010，31(8)：1720.1725。

GUO J B，GUO X S，LEI L，et a1.Eye tracking methodbased on improved particle filtering algorithm[J].Chi-nese Journal of Scientifc Instrument，2010，3 1(8)：720-725。

[14] DAVID G L.Distinctive image features from scale-Invari-ant keypoints J f.International Journal of Computer Vi-sion，2004，60(2)：91-110。

[15] 傅卫平，秦川，刘佳，等.基于 SIFT算法的图像 目标匹配与定位[J].仪器仪表学报 ，2011，32(1)：163-169。

Fu w P，QIN CH，LIU J，et a1.Matching and location ofimage object based on SIFT algorithm[J].Chinese Jour-nal of Scientifc Instrument，2011，32(1)：l63-169。

作者简介郝志成 ，2001年于吉林 大学获得学士学位，2004年 于吉林 大学获 得硕士学位，2007年于 中科 院长春光机 所获得博士学位，现为 中科 院长春 光机所 副研究员，主要研究方 向为数字 图像处 理、模式识别等。

E-mail：hzc9725 1 3### sohu.COIl3Hao Zhicheng received B.Sc.degree in 2001 and M.Sc.de-gree in 2004 both from Jilin University，and obtained Ph.D.de-gree in 2007 from Changchun Institute of Optics，Fine Mechanicsand Physics，CAS.Now he is an associate research llow inChangchun Institute of Optics，Fine Mechanics and Physics，CAS。

His main research direction focuses on digital image processingtechnique and patern recognition。