一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法与流程

本发明涉及图像处理、视频处理、目标跟踪等领域，尤其涉及基于视频的目标跟踪领域。
背景技术：
：在视频目标跟踪技术中，遮挡问题是一个常见的难点。目标在移动过程中，可能会遇到各种遮挡：目标因旋转或因动作引起的自我遮挡、移动目标遇到其他行人引起的相互遮挡、移动目标被周围环境中的障碍物遮挡等。目标遇到遮挡时，使得目标的特征信息的提取被干扰，造成目标特征获取不完整甚至完全获取不到，最终引起目标跟踪不准确，甚至目标跟丢。粒子滤波是一种通过蒙特卡罗方法仿真和基于贝叶斯估计推导的算法，它利用状态空间中一组带有权重的随机样本(“粒子”)来表示状态的后验概率密度函数，然后利用贝叶斯估计方法来不断地迭代更新导出新的随机样本以及新的权重，以此来得到下一时刻状态的后验概率密度函数。粒子滤波方法可适用于非线性、非高斯系统下的目标跟踪问题。从原理上看，粒子滤波跟踪算法既具有处理遮挡问题的潜力，又具有先天性的特征融合框架。传统的粒子滤波跟踪方法提取单一的颜色直方图进行目标跟踪，颜色直方图是一种基于全局的特征，它没有关注目标的局部特征，所以在遇到遮挡后，全局颜色特征并不能很准确地描述目标。技术实现要素：为了克服当前现有的视频目标跟踪方法单一特征的局限性以及在发生遮挡时表现出的跟踪效果不佳、甚至目标跟丢的问题，本发明提出一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法，该方法将颜色特征与局部二值模式特征按照各自特征与背景的区分度，通过确定性系数进行加性融合，能更有效地描述目标特征，在跟踪过程中，对遮挡情况进行实时判定并针对不同的遮挡情况采取相应的跟踪机制，从而提高遮挡情况下目标跟踪的稳定性和鲁棒性。本发明解决其技术问题所采用的技术方案是：一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法，包括以下步骤：步骤1，目标的初始化；步骤2，感兴趣区域的颜色积分直方图和局部二值模式积分直方图特征提取；步骤3，颜色特征和局部二值模式特征的特征确定性系数计算：计算每个粒子矩形框的颜色直方图特征和局部二值模式直方图特征，计算每个粒子背景区域的颜色直方图特征和局部二值模式直方图特征，计算每个粒子的颜色特征与其背景区域的颜色特征的似然比值并根据似然比值计算每个粒子的颜色特征与背景颜色特征的区分度，根据区分度计算每个粒子的颜色特征的特征确定性系数，计算每个粒子的局部二值模式特征与其背景区域的局部二值模式特征的似然比值并根据似然比值计算每个粒子的局部二值模式特征与背景局部二值模式特征的区分度，根据区分度计算每个粒子的局部二值模式特征的特征确定性系数；步骤4，根据当前目标状态不同，选择不同的跟踪方法：如果目标状态正常，用颜色与局部二值模式特征融合的粒子滤波方法进行目标跟踪，如果目标状态为部分遮挡，用颜色与局部二值模式特征融合的分块粒子滤波方法进行目标跟踪，如果目标状态为严重遮挡，用最小二乘法预测目标位置；步骤5，更新当前目标状态；步骤6，当目标处于正常状态时，更新目标的颜色特征模板、局部二值模式特征模板以及子块的颜色特征模板、局部二值模式特征模板；步骤7，采用系统重采样方法进行粒子的重采样；步骤8，粒子传播：经过重采样的粒子，在x、y方向上分别扩散得到新的对应粒子，作为下一帧中粒子的初始分布。进一步，所述步骤1中，目标的初始化过程为：在第1帧中通过手动框选出目标，记目标跟踪框的高为height，宽为width，目标中心点坐标为(x1,y1)，提取目标区域的颜色直方图和局部二值模式特征并初始化目标的颜色特征模板H＝(h1,h2,…,hn)和局部二值模式特征模板G＝(g1,g2,…,gn)(n＝1,2,…,32),n是特征直方图的区间个数；将目标的高等分成三份横向子块，从上到下分别记为子块1、2、3，将目标的宽等分成三份纵向子块，从左到右分别记为子块4、5、6，提取每个子块的颜色直方图和局部二值模式特征并初始化目标的子块颜色特征模板Hi＝(h'1,h'2,…,h'n)和子块局部二值模式特征模板Gi＝(g'1,g'2,…,g'n)(i＝1,2,…,6；n＝1,2,…,32)，初始化粒子数p，初始化各粒子的位置(p_xj,p_yj)(j＝1,2,…,p)，初始化目标状态标志位Flag为0，初始化各子块的状态标志位为0。更进一步，所述步骤2中，感兴趣区域的颜色积分直方图和局部二值模式积分直方图特征提取过程为：读取第k帧图像P，感兴趣区域指能覆盖所有粒子背景区域的最小矩形区域，粒子的背景区域是以粒子位置为中心点，宽为高为的矩形区域减去目标矩形区域后的“回”字形区域，其中，height为目标跟踪框的高，width为目标跟踪框的宽，感兴趣区域的四个顶点A、B、C、D的坐标分别为：(xA,yA)=(min(p_x)-22height,min(p_y)-22width),]]>(xB,yB)=(min(p_x)-22height,max(p_y)+22width),]]>(xC,yC)=(max(p_x)+22height,min(p_y)-22width),]]>(xD,yD)=(max(p_x)+22height,max(p_y)+22width),]]>其中，(p_x,p_y)是粒子的坐标，min()是求最小值函数，max()是求最大值函数，计算感兴趣矩形区域ABCD上颜色特征的积分直方图Hin(x,y)，即计算从图像点P(xA,yA)到点P(x,y)构成的矩形区域内所有点的颜色直方图；计算感兴趣矩形区域ABCD上局部二值模式特征的积分直方图Gin(x,y)，即计算从图像点P(xA,yA)到点P(x,y)构成的矩形区域内所有点的局部二值模式直方图。更进一步，所述步骤3中，颜色特征和局部二值模式特征的特征确定性系数的计算过程为：利用积分直方图对p个粒子分别提取以每个粒子j(j＝1,2,…,p)为中心的宽为width，高为height的矩形框内的颜色直方图特征HPj＝(hp1,hp2,…,hpn)和局部二值模式直方图特征GPj＝(gp1,gp2,…,gpn)(n＝1,2,…,32)，其中粒子j矩形框的四个顶点A'、B'、C'、D'坐标分别为：(xA′,yA′)=(p_xj+12height,p_yj+12width),]]>(xB′,yB′)=(p_xj-12height,p_yj+12width),]]>(xC′,yC′)=(p_xj+12height,p_yj-12widk),]]>(xD′,yD′)=(p_xj-12height,p_yj-12width),]]>其中，(p_xj,p_yj)(j＝1,2,…,p)是粒子j的坐标，则粒子j矩形框的颜色直方图特征HPj和局部二值模式直方图特征GPj分别为：HPj＝Hin(xA',yA')-Hin(xC',yC'-1)-Hin(xB'-1,yB')+Hin(xD'-1,yD'-1)，GPj＝Gin(xA',yA')-Gin(xC',yC'-1)-Gin(xB'-1,yB')+Gin(xD'-1,yD'-1)，其中，Hin(x,y)是感兴趣矩形区域上颜色特征的积分直方图，Gin(x,y)是感兴趣矩形区域上局部二值模式特征的积分直方图；利用积分直方图提取粒子j的背景区域的颜色直方图特征BG_HPj＝(bh1,bh2,…,bhn)和局部二值模式直方图特征BG_GPj＝(bg1,bg2,…,bgn)(n＝1,2,…,32)，粒子的背景区域是以粒子位置为中心点，宽为高为的矩形区域减去目标矩形区域后的“回”字形区域，粒子背景区域的四个外顶点E'、F'、G'、H'坐标分别为：(xE′,yE′)=(p_xj+22height,p_yj+22width),]]>(xF′,yF′)=(p_xj-22height,p_yj+22width),]]>(xG′,yG′)=(p_xj+22height,p_yj-22width),]]>(xH′,yH′)=(p_xj-22height,p_yj-22width),]]>则粒子j背景区域的颜色直方图特征BG_HPj和局部二值模式直方图特征BG_GPj分别为：BG_HPj＝Hin(xE',yE')-Hin(xG',yG'-1)-Hin(xF'-1,yF')+Hin(xH'-1,yH'-1)-HPj，BG_GPj＝Gin(xE',yE')-Gin(xG',yG'-1)-Gin(xF'-1,yF')+Gin(xH'-1,yH'-1)-GPj，计算粒子j的颜色特征与其背景区域的颜色特征的似然比值其中ε＝0.001，设T0为特征的区分度阈值，则粒子j的颜色特征与背景颜色特征的区分度为粒子j的颜色特征的特征确定性系数为计算粒子j的局部二值模式特征与其背景区域的局部二值模式特征的似然比值其中ε＝0.001，粒子j的局部二值模式特征与背景局部二值模式特征的区分度为粒子j的局部二值模式特征的特征确定性系数为再进一步，所述步骤4中，目标状态正常下的颜色与局部二值模式特征融合的粒子滤波目标跟踪过程为：对p个粒子分别计算粒子j(j＝1,2,…,p)的颜色特征HPj＝(hp1,hp2,…,hpn)与目标颜色特征模板H＝(h1,h2,…,hn)(n＝1,2,…,32)的巴氏系数巴氏距离为计算粒子j的颜色特征权重其中σ＝0.05，对各粒子的颜色特征权重进行归一化处理对p个粒子分别计算粒子j的局部二值模式特征GPj＝(gp1,gp2,…,gpn)与目标局部二值模式特征模板G＝(g1,g2,…,gn)的巴氏系数巴氏距离为计算粒子j的局部二值模式特征权重其中σ＝0.05，对各粒子的局部二值模式特征权重进行归一化处理从上一个步骤中可计算得到粒子j的颜色特征的特征确定性系数为β_Cj，局部二值模式特征的特征确定性系数为β_Lj，计算各粒子颜色和局部二值模式特征融合后的权重为(若特征确定性系数β_Cj＝β_Lj＝0，则令β_Cj＝β_Lj＝0.5)，对各粒子权重进行归一化处理将各粒子坐标按其权重加权得到当前帧(第k帧)目标的中心点坐标或者是：所述步骤4中，目标被部分遮挡时的颜色与局部二值模式特征融合的粒子滤波目标跟踪过程为：根据上一帧图像中目标出现遮挡情况而检测出的子块状态标志位对p个粒子分别计算粒子j(j＝1,2,…,p)中时即有效子块的颜色直方图特征HPj_i和局部二值模式直方图特征GPj_i；将粒子j的各有效子块的颜色特征与对应的子块颜色特征模板Hi进行对比，计算各有效子块i的巴氏系数取有效子块相似度的均值作为对应粒子j整体部分的相似度，记有效子块个数为M，则粒子j的巴氏系数为巴氏距离为计算各粒子的颜色特征权重对各粒子的颜色特征权重进行归一化处理再将粒子j的各有效子块的局部二值模式特征与对应的子块局部二值模式特征模板Gi进行对比，计算各有效子块i的巴氏系数取有效子块相似度的均值作为对应粒子j整体部分的相似度，记有效子块个数为M，则粒子j的巴氏系数为巴氏距离为计算各粒子的局部二值模式特征权重对各粒子的局部二值模式特征权重进行归一化处理从上一个步骤中可计算得到粒子j的颜色特征的特征确定性系数为β_Cj，局部二值模式特征的特征确定性系数为β_Lj，计算各粒子颜色和局部二值模式特征融合后的权重为(若特征确定性系数β_Cj＝β_Lj＝0，则令β_Cj＝β_Lj＝0.5)，对各粒子权重进行归一化处理将各粒子坐标按其权重加权得到当前帧(第k帧)目标的中心点坐标又或者是：所述步骤4中，目标被严重遮挡时的最小二乘法目标位置预测过程为：根据前面所有帧的目标中心点坐标(xt,yt)(t＝1,2,…,k-1)，建立如下方程：xt=a1t+b1yt=a2t+b2]]>通过解这个方程计算出各系数a1,a2,b1,b2，根据公式xk＝a1k+b1，yk＝a2k+b2计算得到第k帧中目标的中心点坐标(xk,yk)。再进一步，所述步骤5中，目标状态的更新过程为：从前面步骤中可计算得到当前帧(第k帧)目标的中心点坐标(xk,yk)，计算当前帧中目标颜色直方图特征Hacc＝(h1′,h2′,……,hn′)(n＝1,2,…,32)，记当前帧目标颜色特征与颜色特征模板H＝(h1,h2,…,hn)(n＝1,2,…,32)的相似度为设目标的整体相似度阈值为T1，当B大于等于阈值T1时，说明目标在当前帧中是正常状态，如果此时目标状态标志位Flag等于0，则保持不变，否则更新当前目标状态标志位为0，即表明此时目标已经脱离了遮挡；当B小于阈值T1时，说明目标在当前帧中被遮挡，提取目标坐标(xk,yk)区域上各子块i(i＝1,2,…,6)的颜色直方图特征记作Hacc_i，计算各子块颜色特征与对应子块颜色特征模板Hi的相似度设子块的颜色特征相似度阈值为T2，则：FlagBi=0,Bi<T21,Bi≥T2]]>即当Bi小于T2，该子块i为无效子块，记子块状态标志位为0；当Bi大于等于T2，该子块i为有效子块，记子块状态标志位为1，统计有效子块的数目M，根据有效子块数目来判定目标的遮挡严重程度：Flag=1,M>22,M≤2]]>即当有效子块的数目M大于2时，说明目标在当前帧中被部分遮挡，更新目标状态标志位Flag为1，当有效子块的数目M小于等于2时，说明目标在当前帧中被严重遮挡，更新目标状态标志位Flag为2。所述步骤6中，模板更新方法为：记目标颜色特征模板为H，当前帧的目标新坐标区域颜色直方图特征为Hacc，则模板更新公式为：H＝αH+(1-α)Hacc，其中，0.80≤α≤0.99，α具体数值根据视频情况设定；目标的局部二值模式特征模板、子块的颜色特征模板、子块的局部二值模式特征模板更新方法与上述目标颜色特征模板更新方法类同。本发明的有益效果主要表现在：提取目标的颜色特征和局部二值模式特征，并将颜色特征与局部二值模式特征通过确定性系数进行加性融合，能更有效地描述目标特征，对遮挡进行实时判定并根据不同遮挡情况采取不同的跟踪机制，可提高遮挡情况下目标跟踪的稳定性和鲁棒性。附图说明图1为本发明的一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法流程图。图2为分块方法示意图。图3为粒子目标区域和背景区域示意图。图4为感兴趣区域示意图。图5为严重遮挡示意图。图6为测试视频的目标跟踪效果，其中，(a)为传统粒子滤波目标跟踪方法跟踪结果((a)-1是第15帧，(a)-2是第28帧，(a)-3是第45帧，(a)-4是第63帧，(a)-5是第92帧，(a)-6是第102帧，(a)-7是第113帧，(a)-8是第142帧)；(b)为本发明提出的一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法跟踪结果((b)-1是第15帧，(b)-2是第28帧，(b)-3是第45帧，(b)-4是第63帧，(b)-5是第92帧，(b)-6是第102帧，(b)-7是第113帧，(b)-8是第142帧)。具体实施方式下面结合附图和实施例对本发明作进一步说明。参照图1～图6，一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法，包括以下步骤：步骤1，目标的初始化；步骤2，感兴趣区域的颜色积分直方图和局部二值模式积分直方图特征提取；步骤3，颜色特征和局部二值模式特征的特征确定性系数计算：计算每个粒子矩形框的颜色直方图特征和局部二值模式直方图特征，计算每个粒子背景区域的颜色直方图特征和局部二值模式直方图特征，计算每个粒子的颜色特征与其背景区域的颜色特征的似然比值并根据似然比值计算每个粒子的颜色特征与背景颜色特征的区分度，根据区分度计算每个粒子的颜色特征的特征确定性系数，计算每个粒子的局部二值模式特征与其背景区域的局部二值模式特征的似然比值并根据似然比值计算每个粒子的局部二值模式特征与背景局部二值模式特征的区分度，根据区分度计算每个粒子的局部二值模式特征的特征确定性系数；步骤4，根据当前目标状态不同，选择不同的跟踪方法：如果目标状态正常，用颜色与局部二值模式特征融合的粒子滤波方法进行目标跟踪，如果目标状态为部分遮挡，用颜色与局部二值模式特征融合的分块粒子滤波方法进行目标跟踪，如果目标状态为严重遮挡，用最小二乘法预测目标位置；步骤5，更新当前目标状态；步骤6，当目标处于正常状态时，更新目标的颜色特征模板、局部二值模式特征模板以及子块的颜色特征模板、局部二值模式特征模板；步骤7，采用系统重采样方法进行粒子的重采样；步骤8，粒子传播：经过重采样的粒子，在x、y方向上分别扩散得到新的对应粒子，作为下一帧中粒子的初始分布。本实施例采用CAVIAR视频库的一段视频进行测试，该视频为MPEG2压缩的MPG格式文件，分辨率是384×288像素，帧速为每秒25帧，设粒子数为300，阈值T0＝0.7，T1＝0.8，T2＝0.9，α＝0.9。具体的实施流程包括8个步骤，如图1所示，具体为：(1)目标初始化在第1帧中通过手动框选出目标，记目标跟踪框的高为height，宽为width，目标中心点坐标为(x1,y1)，提取目标区域的颜色直方图特征和局部二值模式直方图特征，初始化目标的颜色特征模板H＝(h1,h2,…,hn)和局部二值模式特征模板G＝(g1,g2,…,gn)(n＝1,2,…,32),n是特征直方图的区间个数。如图2所示，将目标的高等分成三份横向子块，从上到下分别记为子块1、2、3，将目标的宽等分成三份纵向子块，从左到右分别记为子块4、5、6，提取每个子块的颜色直方图和局部二值模式直方图特征，初始化目标的子块颜色特征模板Hi＝(h'1,h'2,…,h'n)和子块局部二值模式特征模板Gi＝(g'1,g'2,…,g'n)(i＝1,2,…,6；n＝1,2,…,32)，初始化粒子数p，初始化各粒子的位置(p_xj,p_yj)(j＝1,2,…,p)，初始化目标状态标志位Flag为0，初始化各子块的状态标志位为0。(2)感兴趣区域的颜色积分直方图和局部二值模式积分直方图特征提取读取第k帧图像P，感兴趣区域指能覆盖所有粒子背景区域的最小矩形区域，如图3表示的是原始图像与粒子背景区域位置，图中矩形A'B'C'D'就是以粒子为中心的宽为width，高为height的目标区域，矩形E'F'G'H'就是以粒子为中心的宽为高为的区域，矩形A'B'C'D'和矩形E'F'G'H'构成的“回”字形区域为粒子的背景区域，目标区域和背景区域覆盖面积相同，即包含的总像素点的个数是相同的。如图4表示的是原始图像与感兴趣区域的位置，图中矩形ABCD(即斜线底纹部分)即感兴趣区域，其四个顶点A、B、C、D的坐标分别为：(xA,yA)=(min(p_x)-22height,min(p_y)-22width),]]>(xB,yB)=(min(p_x)-22height,max(p_y)+22width),]]>(xC,yC)=(max(p_x)+22height,min(p_y)-22width),]]>(xD,yD)=(max(p_x)+22height,max(p_y)+22width),]]>其中，min()是求最小值函数，max()是求最大值函数。在积分直方图中，每个像素点的值代表的是从图像的左上角的原点到这个像素点所构成的矩形区域内所有点的颜色直方图。计算感兴趣矩形区域ABCD上颜色特征的积分直方图Hin(x,y)，即计算从图像点P(xA,yA)到点P(x,y)构成的矩形区域内所有点的颜色直方图；计算感兴趣矩形区域ABCD上局部二值模式特征的积分直方图Gin(x,y)，即计算从图像点P(xA,yA)到点P(x,y)构成的矩形区域内所有点的局部二值模式直方图。(3)特征确定性系数计算对于不同的跟踪环境来说，特征对其目标的描述能力的强弱也不一样。在计算目标区域的特征时，应当考虑到目标的整体与背景的区分程度，当目标特征与背景差距比较大时，说明该特征能较好地描述目标。本发明通过用log似然比来比较目标与背景的区分程度，从而计算出特征的确定性系数，用确定性系数来修正不同特征表述下的粒子权值，得到一个更加准确的粒子权值。利用感兴趣区域的颜色特征的积分直方图Hin(x,y)和局部二值模式特征的积分直方图Gin(x,y)，可快速计算得到当前第k帧中以每个粒子j为中心的宽为width，高为height的区域内的颜色直方图特征HPj＝(hp1,hp2,…,hpn)和局部二值模式直方图特征GPj＝(gp1,gp2,…,gpn)(n＝1,2,…,32)。如图3所示，粒子j的目标区域为矩形A'B'C'D'，其四个顶点A'、B'、C'、D'的坐标分别为：(xA′,yA′)=(p_xj+12height,p_yj+12width),]]>(xB′,yB′)=(p_xj-12height,p_yj+12width),]]>(xC′,yC′)=(p_xj+12height,p_yj-12width),]]>(xD′,yD′)=(p_xj-12height,p_yj-12width),]]>则利用积分直方图可计算粒子j矩形框的颜色直方图特征HPj和局部二值模式直方图特征GPj分别为：HPj＝Hin(xA',yA')-Hin(xC',yC'-1)-Hin(xB'-1,yB')+Hin(xD'-1,yD'-1)(1)GPj＝Gin(xA',yA')-Gin(xC',yC'-1)-Gin(xB'-1,yB')+Gin(xD'-1,yD'-1)(2)矩形A'B'C'D'和矩形E'F'G'H'构成的“回”字形区域为粒子j的背景区域，背景区域的四个外顶点E'、F'、G'、H'的坐标分别为：(xE′,yE′)=(p_xj+22height,p_yj+22width),]]>(xF′,yF′)=(p_xj-22height,p_yj+22width),]]>(xG′,yG′)=(p_xj+22height,p_yj-22width),]]>(xH′,yH′)=(p_xj-22height,p_yj-22width),]]>则利用积分直方图提取粒子j背景区域的颜色直方图BG_HPj和局部二值模式直方图BG_GPj分别为：BG_HPj＝Hin(xE',yE')-Hin(xG',yG'-1)-Hin(xF'-1,yF')+Hin(xH'-1,yH'-1)-HPj(3)BG_GPj＝Gin(xE',yE')-Gin(xG',yG'-1)-Gin(xF'-1,yF')+Gin(xH'-1,yH'-1)-GPj(4)通过计算log似然比函数，可以较快速地比较目标特征直方图和背景特征直方图，挑选出区分度较明显的特征分量。计算粒子j的颜色特征与其背景区域的颜色特征的似然比值：LR_Cj(n)=|logmax{HPj(n),ϵ}max{BG_HPj(n),ϵ}|---(5)]]>其中，ε＝0.001，保证分子分母都不能为零。设T0为特征的区分度阈值，则粒子j的颜色特征与背景颜色特征的区分度为：γ_cj(n)=1,LR_Cj(n)≥T00,LR_Cj(n)<T0---(6)]]>本发明中目标特征的确定性系数是指目标特征中与背景特征差距较大的特征占整个目标总特征的比例，则颜色特征的特征确定性系数为：β_Cj=Σq=1nγ_cj(q)HPj(q)Σq=1nHPj(q)---(7)]]>计算粒子j的局部二值模式特征与其背景区域的局部二值模式特征的似然比值：LR_Lj(n)=|logmax{GPj(n),ϵ}max{BG_GPj(n),ϵ}|---(8)]]>则粒子j的局部二值模式特征与背景局部二值模式特征的区分度：γ_lj(n)=1,LR_Lj(n)≥T00,LR_Lj(n)<T0---(9)]]>其局部二值模式特征的特征确定性系数为：β_Lj=Σq=1nγ_lj(q)GPj(q)Σq=1nGPj(q)---(10)]]>(4)跟踪策略的选择根据目标状态的不同，选择不同的跟踪策略来达到抗遮挡且稳定跟踪的目的。如果目标状态标志位Flag为0，表示目标状态正常，用颜色与局部二值模式特征融合的粒子滤波方法进行目标跟踪；如果目标状态标志位Flag为1，表示目标状态为部分遮挡，用颜色与局部二值模式特征融合的分块粒子滤波方法进行目标跟踪；如果目标状态标志位Flag为2，表示目标状态为严重遮挡，用最小二乘法预测目标位置。目标状态正常下的颜色与局部二值模式特征融合的粒子滤波目标跟踪过程为：根据上一步骤中计算得到的粒子j矩形框的颜色直方图特征HPj和局部二值模式直方图特征GPj，用巴氏系数作为当前粒子框特征与目标模板相似性对比的参照系数，当巴氏系数的数值越大，巴氏距离的数值就越小，说明两个样本的相似程度越高，反之，说明两个样本之间的相似程度越低。粒子j的颜色特征HPj与目标颜色特征模板H的巴氏系数BCj计算公式为：BCj=Σq=1nHPj(q)H(q)---(11)]]>巴氏距离为粒子j的颜色特征权重w1(j)计算公式为：w1(j)=12πσexp(-dCj22σ2)---(12)]]>其中，σ＝0.05，再对各粒子颜色特征权重进行归一化处理：w1(j)=w1(j)Σq=1pw1(q)---(13)]]>粒子j的局部二值模式特征GPj与目标局部二值模式特征模板G的巴氏系数BLj计算公式为：BLj=Σq=1nGPj(q)G(q)---(14)]]>巴氏距离为粒子j的局部二值模式特征权重w2(j)计算公式为：w2(j)=12πσexp(-dLj22σ2)---(15)]]>再对各粒子局部二值模式特征权重进行归一化处理：w2(j)=w2(j)Σq=1pw2(q)---(16)]]>根据上一步骤中计算得到的特征确定性系数把颜色和局部二值模式特征进行加性融合来计算各粒子的权重：w(j)=β_Cjβ_Cj+β_Ljw1(j)+β_Ljβ_Cj+β_Ljw2(j)---(17)]]>其中，为了保证公式(17)的有效性，若特征确定性系数β_Cj和β_Lj同时为0时令β_Cj＝β_Lj＝0.5。对各粒子权重进行归一化处理把所有粒子的坐标按其权重加权得到当前帧目标的中心点坐标当出现遮挡时，对目标进行分块跟踪。被遮挡的子块特征将不能完整提取，此时需要对未被遮挡的子块进行特征提取，以达到持续跟踪的目的。目标被部分遮挡时的颜色与局部二值模式特征融合的粒子滤波目标跟踪过程为：根据上一帧图像中目标出现遮挡情况而检测出的子块状态标志位提取粒子j中时即有效子块的颜色直方图特征HPj_i和局部二值模式直方图特征GPj_i。将粒子j矩形框内的各有效子块的颜色直方图特征HPj_i与对应的子块颜色模板Hi进行对比计算各子块颜色特征的巴氏系数：BCj_i=Σq=1nHPj_i(q)Hi(q)---(18)]]>取有效子块相似度均值作为对应粒子的整体部分的相似度，记有效子块个数为M，则粒子j颜色特征的巴氏系数为：BCj=1MΣi=16FlagBiBCj_i---(19)]]>巴氏距离为用公式(12)计算各粒子的颜色特征权重w1(j)，用公式(13)对各粒子颜色特征权重进行归一化处理。将粒子j矩形框内的各有效子块的局部二值模式直方图特征GPj_i与对应的子块局部二值模式模板Gi进行对比计算各子块局部二值模式特征的巴氏系数：BLj_i=Σq=1nGPj_i(q)Gi(q)---(20)]]>则粒子j的局部二值模式特征的巴氏系数为：BLj=1MΣi=16FlagBiBLj_i---(21)]]>巴氏距离为用公式(15)计算各粒子的局部二值模式特征权重w2(j)，用公式(16)对各粒子局部二值模式特征权重进行归一化处理。根据上一步骤中计算得到的特征确定性系数用特征融合公式(17)计算各粒子的权重w(j)，对各粒子权重进行归一化处理把所有粒子的坐标按其权重加权得到当前帧目标的中心点坐标目标被严重遮挡时的最小二乘法目标位置预测过程为：在跟踪过程中，若在前一帧检测到目标被严重遮挡，则特征信息提取较为困难，需要根据前面k-1帧的目标位置来预测出第k帧目标的位置。记之前帧中目标的中心位置坐标为(xt,yt)，其中t＝1,2,…,k-1，t表示帧数。当目标在短暂时间内被严重遮挡时，假设目标近似在做直线运动。根据最小二乘法原理，建立当前目标中心位置在x轴上的坐标xt和在y轴上的坐标yt随着帧数t的变化方程如下：xt=a1t+b1yt=a2t+b2---(22)]]>代入已知的中心位置坐标(xt,yt)(t＝1,2,…,k-1)解这个方程，其中两条直线的斜率a1、a2和截距b1、b2的计算公式分别如下:a1=(k-1)·Σt=1k-1t·xt-Σt=1k-1t·Σt=1k-1xt(k-1)·Σt=1k-1t2-(Σt=1k-1t)2---(23)]]>a2=(k-1)·Σt=1k-1t·yt-Σt=1k-1t·Σt=1k-1yt(k-1)·Σt=1k-1t2-(Σt=1k-1t)2---(24)]]>b1=Σt=1k-1(t)2·Σt=1k-1xt-Σt=1k-1t·Σt=1k-1t·xt(k-1)·Σt=1k-1t2-(Σt=1k-1t)2---(25)]]>b2=Σt=1k-1(t)2·Σt=1k-1yt-Σt=1k-1t·Σt=1k-1t·yt(k-1)·Σt=1k-1t2-(Σt=1k-1t)2---(26)]]>求得两条拟合的直线后，当前帧图像中预测的目标中心点位置(xk,yk)表示为：xk＝a1k+b1(27)yk＝a2k+b2(28)这样就可计算得到k帧的目标中心位置(xk,yk)。(6)更新目标状态目标在运动过程中，在正常状态下即没有遮挡发生时提取的整体特征应该是在一定范围内变动或者保持不变，但是遇到遮挡后，被遮挡部分的特征会发生变化，从而影响整体目标的特征。我们通过对整体颜色特征与颜色模板的比较来分析目标是否被遮挡。经过前述步骤在得到当前帧目标估计位置的中心坐标(xk,yk)后，将以当前新坐标(xk,yk)为中心点的区域内的颜色特征与目标颜色模板进行比较，当相似度高于阈值时，说明新坐标位置上的目标与跟踪的目标相似度比较高，是匹配的，继续用粒子滤波跟踪方法进行跟踪；当相似度低于阈值时，说明目标的特征发生较大变化，认为目标出现了遮挡情况，但具体的遮挡严重程度还需要进一步来判别。计算当前帧中目标颜色特征直方图Hacc＝(h1′,h2′,…,hn′)，记当前帧目标特征与颜色模板H的相似度为：B=Σq=1nHacc(q)H(q)---(29)]]>设目标的整体相似度阈值为T1。当B≥T1时，说明目标在当前帧中状态正常；如果此时目标状态标志位Flag等于0，无需更新，否则更新目标状态标志位Flag为0，说明此时目标已经脱离了遮挡。当B＜T1时，说明目标在当前帧中出现了遮挡情况，利用当前目标子块颜色特征与分块颜色模板比较分析目标遮挡情况的严重性。将当前位置的各子块颜色特征分别与目标颜色模板中对应子块特征进行比较，若相似度较高，说明该子块状态正常；若子块颜色特征与对应的子块颜色模板间存在较大差异时，说明在该子块出现了遮挡情况。将以当前新坐标(xk,yk)为中心点的矩形区域分块后，提取每个子块i(i＝1,2,…,6)的颜色特征直方图记作Hacc_i，把各子块颜色特征分别与目标颜色模板中相应子块特征Hi进行比较，对应的相似度记为Bi：Bi=Σq=1nHacc_i(q)Hi(q)---(30)]]>设分子块的相似度阈值为T2，统计每个子块的相似度情况，设定有效子块和无效子块，记子块的状态标志位为FlagBi，则：FlagBi=0,Bi<T21,Bi≥T2---(31)]]>即当Bi＜T2，令代表子块i是无效子块；当Bi≥T2，令代表子块i是有效子块。本发明分块中若有4个子块都出现遮挡情况，则遮挡总面积覆盖了目标框内大部分像素。因而，将无效子块数目的阈值定为4，则有效子块数目的阈值为2，如图5所示，当子块1、3、4和5都是无效子块时，目标处于严重遮挡状态。统计所有子块中的有效子块数目，根据有效子块数目来判定目标的遮挡严重程度：Flag=1,M>22,M≤2---(32)]]>即当M＞2时，代表目标处于部分遮挡状态，更新目标状态标志位Flag＝1；当M≤2时，代表目标处于严重遮挡状态，更新目标状态标志位Flag＝2。(7)模板的更新目标的特征模板初始化是在视频初始帧中手动框选出目标时计算得到的，随着时间的推移，目标可能会发生或多或少的变化，需要对目标的特征模板进行自适应更新。当目标在遮挡情况下时，不对模板进行更新，以免受到遮挡物的干扰。只有在目标处于正常状态下时，对目标模板进行更新。即Flag＝0时，按模板更新公式分别对目标的特征模板和子块的特征模板同时进行更新。令目标颜色特征模板的直方图为H，当前帧的目标新坐标(xk,yk)区域颜色特征直方图为Hacc，颜色特征模板更新公式为：H＝αH+(1-α)Hacc(33)其中，0.80≤α≤0.99，本实施例中α＝0.9；目标的局部二值模式特征模板、子块的颜色特征模板、子块的局部二值模式特征模板更新方法与目标颜色特征模板更新方法类同。(8)粒子重采样我们用系统重采样算法来进行粒子的重采样，去除权值小的粒子，保留或复制权值高的粒子。(9)粒子的传播经过重采样的粒子，在x、y方向上分别扩散得到新的对应粒子，作为下一帧中粒子的初始分布。图6是传统粒子滤波目标跟踪方法与本发明提出的一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法在测试视频上的跟踪效果对比图。在这个视频场景中，黑色上衣的男子是跟踪的目标人物，目标在移动过程中被白色上衣的女子遮挡，当采用传统的粒子滤波目标跟踪方法进行跟踪时，跟踪框会偏离目标位置，甚至在目标离开遮挡物后，跟踪框出现跟错的现象。而采用本发明的方法进行跟踪时，在目标人物遇到遮挡以及离开遮挡后的整个过程中，跟踪框能够准确地跟踪目标。在第15、28、45帧时，目标处于被遮挡状态，两种方法都能框出目标人物，而本发明的方法能更准确地框出目标人物；在第63帧时，目标被遮挡物遮挡住部分身体，两种方法的跟踪框还是可以框出目标的可见部分；从第102帧开始，传统粒子滤波方法的跟踪框已经偏向于遮挡物，处于错跟状态，直至目标跟丢，而本发明的方法能较好地继续对目标人物进行跟踪，且跟踪框显示较准确，达到良好的稳定跟踪效果。为了更好地比较两种方法，采用目标的中心位置的跟踪误差来衡量两种方法的跟踪效果。跟踪误差用欧式距离来计算，如下式所示：d=(x′-x)2+(y′-y)2---(34)]]>其中，(x',y')表示跟踪方法测得的目标中心点位置，(x,y)为视频中每帧的实际目标中心点位置，这里我们通过手动测量获取。分别计算出用两种跟踪方法得到的中心点坐标和跟踪误差，进行对比分析，比较结果如表1和表2所示。可以明显地看出，不论有无遮挡影响，本发明提出的基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法都比传统粒子滤波方法的跟踪误差小，尤其是随着帧数的增加，在目标遇到遮挡并离开遮挡物后，传统的粒子滤波方法已经跟丢目标，而本发明方法的误差一直保持在一定范围内，表现出了稳定且鲁棒的跟踪效果。表1表2显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。当前第1页1 2 3