基于交叉耦合的边检测边跟踪系统的制作方法
【专利摘要】本发明涉及目标跟踪技术。本发明公开了一种基于交叉耦合的边检测边跟踪系统，其组成结构包括i通道和j通道。通过i通道和j通道形成的双通道交叉耦合反馈，来实现前帧图像包含的先验信息和后帧图像包含的后验信息相互之间的补偿和校正，通过帧间信息的校正和补偿实现对目标的准确跟踪。本发明中，i通道包括图像检测单元ii、图像跟踪单元ii、图像检测单元ij和图像跟踪单元ij。j通道包括图像检测单元jj、图像跟踪单元jj、图像检测单元ji和图像跟踪单元ji。两个通道都能够同时进行检测算法和跟踪算法。第i帧图像经过校正单元后，第j帧图像经过补偿单元后，输入信号i和输入信号j既包括输入的图像信号，也包含经过了检测和跟踪处理的信号，彻底打破了检测算法和跟踪算法的先后界限。
【专利说明】基于交叉耦合的边检测边跟踪系统
【技术领域】
[0001]本发明涉及目标跟踪【技术领域】，特别涉及一种基于交叉耦合的边检测边跟踪系统。
【背景技术】
[0002]目标丢失和目标误判问题一直是目标跟踪中的一个难点，由于出现遮挡、翻转和突然的轨迹变换等，会导致后帧图像中目标信息的缺失，目标表达模型与观测结果的匹配度会急剧降低，由于信息的不完整无法对目标进行准确地跟踪。在目标的检测跟踪中，比较成熟的理论和技术是先检测后跟踪(Detect Before Tract缩写为DBT)和先跟踪后检测(Tract Before Detect缩写为TBD)。在DBT算法中，传统的方法有帧间差分法(FrameDifference Method,参见 Davide A, Matteo M, Matteo Naccari Μ.A revaluat1n offrame difference in fast and robust mot1n detect1n[C].California, USA:VSSN’06,2006:215-218.)、光流法(Optical Flow,参见 J.L.Barron, D.J.Fleet, S.S.Beauchemin.Performance of optical flow techniques[J].1nternat1nal Journal of ComputerVis1n.1994 (I))和小波变化法(Wavelet Transform,参见 Daubechies 1.The wavelettransform, Time-frequency localizat1n and signal analysis.1EEE TransTheory, 36:961-1005)。在TBD算法中，传统的方法有动态规划法(Dynamic Programming,参见L.A.Johnston, V.Krishnamurthy.Performance analysis of a dynamic programmingtrack before detect algorithm.1EEE Transact1n on Aerospace and ElectronicSystems, 2002，38 (I): 228-242)、多级假设检测方法(Multistage hypothesis testing,参见 Blostein S D, Huang T S.Detect1n of small object in image sequences usingmultistage hypothesis testing.1n IEEE Int Cont on Assp, New York, 1998.)。
[0003]现有技术目标跟踪方法，检测和跟踪分开进行，难以解决在动态背景下实现目标可靠跟踪的问题。
【发明内容】
[0004]本发明所要解决的技术问题，就是提供一种基于交叉耦合的边检测边跟踪系统，采用双通道交叉耦合的边检测边跟踪方法，实现对目标的可靠跟踪。
[0005]本发明解决所述技术问题，采用的技术方案是，基于交叉耦合的边检测边跟踪系统，具有i通道和j通道，其特征在于，所述i通道包括图像检测单元i1、图像跟踪单元i1、图像检测单元ij、图像跟踪单元i j，所述j通道包括图像检测单元jj、图像跟踪单元j j、图像检测单元j1、图像跟踪单元ji ；
[0006]所述图像检测单元ii，对输入信号i使用检测算法ii，得到目标特征I输入图像跟踪单元ii ；
[0007]所述图像跟踪单元ii，对输入的匹配目标特征1，使用跟踪算法ii，得到目标估计区域I输入图像检测单元ij ;
[0008]所述图像检测单元ij，对输入的目标估计区域1，使用检测算法ij，再次进行目标检测，得到匹配目标特征I输入图像跟踪单元ij ；
[0009]所述图像跟踪单元ij，对输入的匹配目标特征1，使用跟踪算法ij，再次进行目标跟踪，得到目标跟踪区域I输入j通道，反馈到j帧图像中，对第j帧图像进行补偿；
[0010]所述图像检测单元jj，对输入信号j使用检测算法jj，得到目标特征2输入图像跟踪单元jj ;
[0011]所述图像跟踪单元jj，对输入的目标特征2，使用跟踪算法jj，得到目标估计区域2输入图像检测单元ji ；
[0012]所述图像检测单元ji，对输入的目标估计区域2，使用检测算法ji再次进行目标检测，得到匹配目标特征2输入图像跟踪单元ji ；
[0013]所述图像跟踪单元ji，对输入的的匹配目标特征2，使用跟踪算法ji再次进行目标跟踪，得到目标跟踪区域2输入i通道，反馈到i帧图像中，对第i帧图像进行校正。
[0014]进一步的，所述i通道还包括校正单元，所述校正单元根据目标跟踪区域2对第i帧图像进行校正，所述输入信号i为经过校正的第i帧图像信号。
[0015]进一步的，所述j通道还包括补偿单元，所述补偿单元根据目标跟踪区域I对第j帧图像进行补偿，所述输入信号j为经过补偿的第j帧图像信号。
[0016]具体的，i<j。
[0017]优选的，所述目标跟踪区域2精度优于目标跟踪区域I。
[0018]进一步的，所述i通道中，检测算法ii精度优于检测算法ij，跟踪算法ii精度优于跟踪算法ij ;所述j通道中，检测算法jj精度优于检测算法ji，跟踪算法jj精度优于跟踪算法j i。
[0019]本发明的有益效果是，打破了检测和跟踪的先后界限，检测和跟踪同时协调工作，形成边检测边跟踪算法。本发明模拟了人类视觉运动感知模式，能够在获取目标特征后，迅速消除无关信息，突出目标的主要特征，并进行由粗到细的区域跟踪，在先验知识的指导和后验数据的校正下，实现多重复杂反馈。本发明采用了 i通道和j通道的双通道交叉耦合边检测边跟踪方法，将交叉耦合的思想引入目标跟踪算法，同时利用图像的先验信息和后验信息，形成两次检测跟踪的交叉耦合反馈，既能够使用先验信息对后帧图像进行补偿，解决目标出现消失、遮挡、轨迹突变等信息缺失的问题，也能够使用后验信息对前帧图像进项校正，对前帧图像不准确的检测跟踪结果进行校正。
【专利附图】
【附图说明】
[0020]图1是本发明系统结构示意图。
【具体实施方式】
[0021 ] 下面结合附图及实施例，详细描述本发明的技术方案。
[0022]为使本发明目的、技术方案和优点更加清楚明白，以下参照附图，对本发明进一步详细描述。
[0023]本发明基于交叉耦合的边检测边跟踪系统，结构如图1所示，具有i通道和j通道(i〈j，即i为前帧图像，j为后帧图像)。通过i通道和j通道形成的双通道交叉耦合反馈，来实现前帧图像包含的先验信息和后帧图像包含的后验信息相互之间的补偿和校正，通过帧间信息的校正和补偿实现对目标的准确跟踪。本发明中，i通道包括图像检测单元i1、图像跟踪单元i1、图像检测单元ij和图像跟踪单元ij。j通道包括图像检测单元jj、图像跟踪单元jj、图像检测单元ji和图像跟踪单元ji。可以看出，两个通道都能够同时进行检测算法和跟踪算法。第i帧图像经过校正单元后，第j帧图像经过补偿单元后，输入信号i和输入信号j既包括输入的图像信号，也包含经过了检测和跟踪处理的信号，彻底打破了检测算法和跟踪算法的先后界限。
[0024]由于要保持运动目标轨迹的连续性和采样频率，在这里我们设定I j-1 I < 5，即i帧图像和j帧图像之间相隔小于或等于5帧，以此在i通道中，用检测算法ii和跟踪算法ii得到估计目标区域1，使用检测算法i j和跟踪算法i j针对估计目标区域I再次进行计算，得到准确的目标跟踪区域I ;将得到目标跟踪区域I反馈到第j帧图像中，第j帧的检测算法jj和跟踪算法jj将在给出的跟踪区域I附件进行计算。在j通道中，使用检测算法ji和跟踪算法ji对目标估计区域2再次进行计算，得到准确的目标跟踪区域2 ;将得到的目标跟踪区域2反馈到第i帧图像中，第i帧的检测算法ii和跟踪算法ii将在给出的准确跟踪区域2附近进行计算。
[0025]下面描述本发明基于交叉耦合的边检测边跟踪系统信号处理流程。
[0026]在i通道:
[0027]图像检测单元ii，对于输入的经过校正的第i帧图像，使用检测算法ii，得到目标特征I，输入图像跟踪单元ii。
[0028]在检测算法ii中，首先建立目标的候选特征点，可以采用Meanshift检测算法,对大范围内的目标特征进行迅速的提取，进行特征点匹配，得到一个粗略匹配的目标特征点集合，该算法计算量小，在特征空间分析领域有很好的应用。
[0029]图像跟踪单元ii，利用上述目标特征1，使用跟踪算法ii，得到目标跟踪的估计区域，简称为目标估计区域1，输入图像检测单元ij。
[0030]跟踪算法ii，可以采用扩展卡尔曼滤波跟踪算法，根据得到的粗略匹配目标特征，经过扩展卡尔曼滤波后，得到一个粗略大范围的跟踪区域。
[0031]图像检测单元ij，利用所述目标估计区域1，使用检测算法ij，在缩小的区域范围内再次进行目标检测，得到更精确的匹配目标特征1，输入图像跟踪单元ij。
[0032]检测算法ij，在粗略大范围的跟踪区域中，可以采用camshift检测算法，对其进行一个由粗到细的筛选，该算法能够处理整个视频序列，自适应地调整出最匹配的特征。
[0033]图像跟踪单元ij，利用所述匹配目标特征1，使用跟踪算法ij，在缩小的区域范围内再次进行目标跟踪，得到准确的目标跟踪区域1，并输入j通道反馈到j帧图像中，对第j帧图像进行补偿。
[0034]跟踪算法ij，可以采用粒子滤波跟踪算法，根据得到的精确匹配目标特征，能够设定相应的粒子数量进行更细致的目标跟踪，得到一个精确小范围的跟踪区域。
[0035]该处理步骤中，目标跟踪区域I的相关信息反馈到j帧图像中，作为先验信息对第j帧图像进行补偿。由于目标变化的连续性，对第j帧图像的目标特征点检测，集中在输入的精确小范围跟踪区域及其周边一定范围内进行。
[0036]在j通道:
[0037]图像检测单元jj，对经过补偿的第j帧图像信号，使用检测算法jj，得到目标特征
2输入图像跟踪单元jj ;
[0038]在检测算法j j中，首先建立目标的候选特征点，可以采用Meanshift检测算法,对大范围内的目标特征进行迅速的提取，进行特征点匹配，得到一个粗略匹配的目标特征点集合，该算法计算量小，在特征空间分析领域有很好的应用。
[0039]图像跟踪单元jj，利用所述目标特征2，使用跟踪算法jj，得到目标估计区域2，输入图像检测单元ji ;
[0040]在跟踪算法jj中，可以采用扩展卡尔曼滤波跟踪算法，根据得到的粗略匹配目标特征，经过扩展卡尔曼滤波后，得到一个粗略大范围的跟踪区域。
[0041]所述图像检测单元ji，利用目标估计区域2，使用检测算法ji，在缩小的区域范围内再次进行目标检测，得到更精确的匹配目标特征2，输入图像跟踪单元ji。
[0042]检测算法ji，在粗略大范围的跟踪区域中，可以采用camshift检测算法，对其进行一个由粗到细的筛选，该算法能够处理整个视频序列，自适应地调整出最匹配的特征。
[0043]所述图像跟踪单元ji，利用所述匹配目标特征2，使用跟踪算法ji，在缩小的区域范围内再次进行目标跟踪，得到准确的目标跟踪区域2，输入i通道，反馈到i帧图像中，对第i帧图像进行校正。
[0044]跟踪算法ji，可以采用粒子滤波跟踪算法，根据得到的精确匹配目标特征，能够设定相应的粒子数量进行更细致的目标跟踪，得到一个精确小范围的跟踪区域。
[0045]将跟踪区域2的相关信息反馈到i帧图像中，作为后验信息对第j帧图像进行校正。
[0046]在本发明中，将得到的精确小范围的跟踪区域反馈到第i帧图像中，由于目标变化的连续性，对第j帧图像的目标特征点检测，集中在输入的精确小范围跟踪区域及其周边一定范围内进行。
【权利要求】
1.基于交叉耦合的边检测边跟踪系统，具有i通道和j通道，其特征在于，所述i通道包括图像检测单元i1、图像跟踪单元i1、图像检测单元ij、图像跟踪单元ij，所述j通道包括图像检测单元jj、图像跟踪单元jj、图像检测单元j1、图像跟踪单元ji; 所述图像检测单元ii，对输入信号i使用检测算法ii，得到目标特征1，输入图像跟踪单元ii ; 所述图像跟踪单元ii，对输入的匹配目标特征1，使用跟踪算法ii，得到目标估计区域1，输入图像检测单元ij ; 所述图像检测单元ij，对输入的目标估计区域1，使用检测算法i j再次进行目标检测，得到匹配目标特征1，输入图像跟踪单元ij ； 所述图像跟踪单元ij，对输入的匹配目标特征1，使用跟踪算法i j再次进行目标跟踪，得到目标跟踪区域I输入j通道，反馈到j帧图像中，对第j帧图像进行补偿； 所述图像检测单元jj，对输入信号j使用检测算法jj，得到目标特征2，输入图像跟踪单元jj ; 所述图像跟踪单元jj，对输入的目标特征2，使用跟踪算法jj，得到目标估计区域2输入图像检测单元ji ； 所述图像检测单元ji，对输入的目标估计区域2，使用检测算法ji再次进行目标检测，得到匹配目标特征2输入图像跟踪单元ji ； 所述图像跟踪单元ji，对输入的的匹配目标特征2，使用跟踪算法ji再次进行目标跟踪，得到目标跟踪区域2输入i通道，反馈到i帧图像中，对第i帧图像进行校正。
2.根据权利要求1所述的基于交叉耦合的边检测边跟踪系统，其特征在于，所述i通道还包括校正单元，所述校正单元根据目标跟踪区域2对第i帧图像进行校正，所述输入信号i为经过校正的第i帧图像信号。
3.根据权利要求1所述的基于交叉耦合的边检测边跟踪系统，其特征在于，所述j通道还包括补偿单元，所述补偿单元根据目标跟踪区域I对第j帧图像进行补偿，所述输入信号j为经过补偿的第j帧图像信号。
4.根据权利要求1、2或3所述的基于交叉耦合的边检测边跟踪系统，其特征在于，i< J.。
5.根据权利要求4所述的基于交叉耦合的边检测边跟踪系统，其特征在于，所述目标跟踪区域2精度优于目标跟踪区域I。
6.根据权利要求5所述的基于交叉耦合的边检测边跟踪系统，其特征在于，所述i通道中，检测算法ij精度优于检测算法ii，跟踪算法ij精度优于跟踪算法ii ;所述j通道中，检测算法ji精度优于检测算法jj，跟踪算法ji精度优于跟踪算法jj。
【文档编号】G06T7/20GK104361610SQ201410658428
【公开日】2015年2月18日 申请日期:2014年11月18日 优先权日:2014年11月18日
【发明者】陈勇, 张立波, 冷佳旭 申请人:电子科技大学