专利名称：一种目标跟踪方法和装置的制作方法
技术领域：
本发明涉及图像处理技术领域，特别是涉及一种目标跟踪方法和装置。
背景技术：
目标检测与跟踪是动态图像处理技术的主要研究方向，具有广泛的应用前景，尤其是在智能监控、人机交互以及辅助医疗诊断等领域。通过目标跟踪，系统可以自动地获取跟踪目标在视频或图像中的位置、大小等信息。在一般的视频目标跟踪方法中，会预先建立一个标识跟踪目标或待检测物体的参考模板作为识别和确定跟踪目标位置的依据，然后使用参考模板与实时图像中的各个子区域进行比较，以找出实时图像中与参考模板中的跟踪目标最接近的子区域图像的位置，作为跟踪目标在实时图像中的当前位置。现有技术中，均值移动算法以其原理简单、收敛速度快、实时性能优越等特性在视频目标跟踪中得到了广泛的应用。均值移动算法是通过计算参考模板与候选模板之间的相 似度确定跟踪目标在实时图像中的位置的。其中，基于核颜色直方图的均值移动算法以颜色为跟踪特征，通过对图像块内的颜色进行加权统计，来确定跟踪目标的位置。在实现本发明的过程中，发明人发现现有技术中至少存在如下问题现有技术中，均值移动算法虽然采用了核颜色直方图来对跟踪目标进行建模，但是当跟踪目标较为弱小、目标颜色与背景颜色接近时，均值移动算法容易被背景颜色干扰，从而陷入局部极值点，进而丢失跟踪目标，算法的鲁棒性不强。
发明内容
为解决上述技术问题，本发明实施例提供了一种目标跟踪方法和装置，可以在跟踪目标小、目标颜色与背景颜色接近的情况下，有效抑制背景干扰，提高跟踪算法的鲁棒性。技术方案如下—方面，本发明实施例公开了一种目标跟踪方法，所述方法包括在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。优选地，所述方法还包括获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。优选地，在对所述多帧图像进行多高斯背景建模处理之前，所述方法还包括将所述多帧图像从彩色图像转换成灰度图像。优选地，所述对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像具体包括对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。优选地，所述在所述候选区域的前景图像中对待识别目标进行跟踪具体包括获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标对应的第二位置；·判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，将所述第二位置的值作为第一位置的值，进入在所述候选区域的前景图像中在与所述第一位置对应的区域建立候选目标的核直方图的步骤，直至判断所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。优选地，所述方法还包括当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置，将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入获取帧差模板的步骤。另一方面，本发明实施例还公开了一种目标跟踪装置，所述装置包括帧差获取单元，用于在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；前景获取单元，用于利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取如景模板；融合单元，用于对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；跟踪单元，用于在所述候选区域的前景图像中对待识别目标进行跟踪。优选地，所述装置还包括背景建模单元，用于获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。优选地，所述装置还包括转换单元，用于将所述多帧图像从彩色图像转换成灰度图像。优选地,所述融合单元具体包括第一获取单元，用于对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像；处理单元，用于利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。优选地,所述跟踪单元具体包括
第一建立单元，用于获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图；第二建立单元，用于在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值；位置获取单元，用于利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标的对应的第二位置；判断单元，用于判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，进入迭代单元；迭代单元，用于如果当判断所述第二位置的值与所述第一位置的值之间的差值的模大于设定阈值时，将所述第二位置的值作为第一位置的值，进入第二建立单元，直至所述判断单元的判断结果表明所述第二位置的值与所述第一位置的值之间的差值的模小于 设定阈值时，停止迭代。优选地，所述装置还包括输出单元，用于当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置；将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入帧差获取单元。本发明实施例能够达到的有益效果为本发明提供了一种目标跟踪算法，将实时检测结果融合到目标跟踪方法中，具体的，是通过获取当前帧图像与上一帧图像的帧差模板，以提取目标由于运动而产生的变化像素；并利用预先建立的背景模板获取前景图像，并将获取的帧差模板与前景图像进行融合，对候选目标的前景区域进行有效提取，然后在提取的前景区域内进行移动目标跟踪。由于提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I为本发明实施例提供的目标跟踪方法第一实施例流程图；图2为本发明实施例提供的目标跟踪方法第二实施例流程图；图3a-图3d为本发明一实施例获取融合后的候选区域前景图像效果示意图；图4a-图4d为现有技术跟踪效果示意图；图5a-图5d为本发明跟踪效果示意图；图6a-图6d为本发明另一实施例获取融合后的候选区域前景图像效果示意图；图7为本发明实施例提供的目标跟踪处理装置示意图。
具体实施方式
目标检测与跟踪在动态图像处理技术中得到了广泛的应用。现有技术中，目标检测与目标跟踪处于系统的两个不同模块之中，其中，目标检测为目标跟踪提供初始条件，而在后继的目标跟踪中则很少再利用目标检测结果。除非发生目标丢失，需要重新初始化系统。而在一般的目标跟踪算法中，一般利用颜色特征进行目标跟踪，当背景颜色与目标颜色比较相近时，跟踪算法容易被背景颜色吸引，这样会导致目标丢失情况的出现。发明人在实现本发明的过程中发现，当跟踪目标的颜色与背景颜色较为接近时，使用现有技术提供的方法容易出现目标丢失的现象。因此，如何抑制背景像素的干扰成为解决问题的关键。发明人发现，如果对当前帧图像进行处理，剔除与目标颜色相近的背景像素，提取候选目标的有效前景区域，再在前景区域中进行目标跟踪则能够有效的抑制背景干扰，从而克服现有技术容易出现目标丢失的问题。具体的，在本发明实施中，视频或图像像素级别的变化是通过背景减除、帧间差分来确定的，而像素的隶属关系则是通过块级别的均值移动算法来完成。因此将二者进行有机的结合，利用它们各自的优点来提高跟踪算法的鲁棒性、抗干扰性将成为可行途径。
为了解决现有技术的上述问题，本发明实施例提供了一种目标跟踪方法和装置，可以在跟踪目标小、目标颜色与背景颜色接近的情况下，有效抑制背景干扰，提高跟踪算法的鲁棒性。具体的，本发明实施例提出了一种融合检测结果的视频目标跟踪方法，即在跟踪的同时，采用背景减除、帧间差分方法进行变化像素提取，这样可以将背景中与目标颜色相似的静止干扰像素剔除。最后将得到的前景图像和对应的视频区域进行“与”操作，从而得到目标的有效候选区域，在候选区域内使用均值移动算法对目标进行进一步跟踪。本发明提出的方法融合了像素级别的检测算法和块级别的跟踪算法各自的优点，并且算法操作简单、计算量小、跟踪精度高，鲁棒性强，不易发生丢失目标的现象。为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。参见图1，为本发明提供的目标跟踪方法第一实施例流程图，包括S101，在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板。具体的，使用帧间差分算法获取当前帧图像与上一帧图像的帧差模板，以提取由于背景变化、目标移动而发生变化的像素。S102，利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板。具体的，可以通过多高斯背景建模，获取背景模板。再利用当前帧图像与背景模板进行前景检测，也就是通过背景减除获取前景模板。这里通过多高斯背景建模、背景减除可以获取较为明显的前景区域，这些区域可能包括跟踪目标，也可能包括其他前景目标。本领域技术人员可以理解的是，步骤SlOl和步骤S102的执行顺序可以颠倒，或者可以并行的执行。S103，对所述帧差模板和所述前景模板进行融合处理，获取融合后的候选区域前景图像。具体的，是将帧差模板和前景模板中的像素进行或运算，获取融合后的第一图像。然后利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。S104，在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。具体的，可以使用均值移动算法对确定的目标进行跟踪。确定跟踪目标时，可以在初始图像中，通过手工标定或者检测的方法确定需要跟踪的目标。这里，当采用手工标定的方法确定跟踪的目标时，初始图像是有感兴趣的跟踪目标的图像，可以是首次出现感兴趣目标的图像帧。当采用检测的方法确定跟踪目标时，初始图像是检测到感兴趣目标的首个图像帧。当然，也可以使用其他跟踪算法在所述候选区域的前景对象中对确定的跟踪目标进行跟踪，例如模板匹配算法、粒子滤波算法或者多窗口的目标跟踪算法等。其中，模板匹配算法是通过参考模板与目标模板进行匹配进行跟踪的。在获取跟踪目标的参考模板后， 即在获取的所述候选区域的前景图像中，利用穷尽搜索机制，找到所述候选区域内的目标候选位置作为跟踪目标的最终跟踪位置。由于在本发明中，提取了前景的有效区域，剔除了背景因素的影响，因此也有效的降低了模板匹配算法进行穷举搜索的时间。本领域技术人员可以理解的是，本发明不限定具体的跟踪算法，本领域技术人员在不付出创造性劳动下获取的其他实施方式均属于本发明的保护范围。在本发明第一实施例中，是通过获取当前帧图像与上一帧图像的帧差模板，以提取目标由于运动而产生的变化像素；并利用预先建立的背景模板获取前景图像，并将获取的帧差模板与前景图像进行融合，对候选目标的前景区域进行有效提取，然后在提取的前景区域内进行移动目标跟踪。由于提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。参见图2，为本发明提供的目标跟踪方法第二实施例流程图。S201，获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。具体的，可以读入T帧图像，对读入的T帧图像进行多高斯背景建模处理。T为系统预先设定或自定义的参数，为大于I的整数。优选的，在对读入的T帧图像进行多高斯背景建模处理之前，可以现将所述T帧图像从彩色图像转换成灰度图像。这是因为随着时间的变化，背景可能随着光线发生变化，为了抑制光照变化的影响，可以在背景建模前将彩色图像转换成灰度图像。这样可以进一步降低系统的运算量，提高系统的实时处理能力。具体的，在本发明实施例中，采用混合高斯模型对初始帧图像进行背景建模。混合高斯模型建模的具体方式为采用k个高斯函数，计算图像中坐标为(x，y)的像素Xt属于背景的概率密度，计算公式为
I Cx tj _xij)'
I K d I '7^5^Pr(Xi) = -Ifl )-e ' J
K (!)其中，d表示所采用颜色空间的维数，如采用三通道RGB颜色空间，d等于3 ;如采用单通道灰度图像，d等于I ;0表示每个通道的标准差；xtj为像素Xt在第j个通道中的灰度值；Xij为像素Xt在第i个高斯函数中第j个通道中的灰度值。
S202，获取当前帧图像。读入一帧图像作为当前帧图像。当前帧图像的来源可以来自前端监控设备、图形图像处理设备等，获取当前帧图像后，保存当前帧图像。S203，利用所述当前帧图像与所述背景模板进行前景检测处理，获取前景模板。在通过多帧图像建立背景模板后，则利用获取的当前帧图像与背景模板进行背景减除处理，以提取前景模板。通过前景检测的处理，可以提取去除背景的前景图像。这时，获取的前景模板可能包括跟踪目标，也可能包括其他前景目标。当跟踪目标与背景颜色相近时，检测到的前景可能会存在漏洞或残缺。为了进一步提高跟踪性能，可以使用帧间差分提取变化的像素。具体的，可以采用如下公式计算前景模板F
侧={0else
、 (2)其中，Pr (Xt)是公式(I)获取的像素Xt属于背景的概率密度；像素Xt的图像坐标为(X，y)即Xt=(x，y) ;6是设定的阈值。S204，将所述当前帧图像与上一帧图像进行比较，获取帧差模板。帧间差分可以抑制场景渐变的影响，并可以增加跟踪目标由于运动而产生的像素，这样可以克服目标移动速度较快而产生的跟踪目标丢失的问题。具体的，在本发明实施例中，使用帧间差分算法将当前帧图像与上一帧图像进行比较，获取帧差模板，以提取由于背景变化、目标移动而发生变化的像素。具体的，可以采用公式(3)计算帧差模板D :
n ,、—fi \i,{x,y)-it-\{x^y)\>TijAx^y) ~}η /
L0 else( 3)其中It (x, y)是当前图像中贞;It_! (x, y)是前一图像中贞;图像坐标为(X，y),即Xt =(X，y) ;T是设定的阈值。本领域技术人员可以理解的是，在具体执行时，步骤S203和步骤S204可以颠倒地或并行地执行。S205，对所述帧差模板和所述前景模板进行融合处理，获取融合后的候选区域前景图像。具体的，是将帧差模板和前景模板中的像素进行或运算，获取融合后的第一图像。这时，获取的是融合后的前景图像，即融合模板。具体的，可以公式(4)获取融合模板M :
(I if /■； U,rj==l or /),m==l
Mr{x,y) = \
I0 else(4 )其中，Ft (x, y)是当前时刻前景模板；Dt(x，y)是当前时刻帧差模板；(x，y)为像素位置。以图3b和图3c为例进行说明，图中背景像素为黑色，假设取值为O;前景像素为白色，假设取值为I。当将图3b所示的前景模板和图3c所示的帧差模板中的像素进行或运算后，则会获取完整的前景图像即第一图像。由于这时前景图像均被赋予为白色，如果图像中存在多个前景目标，则无法正确的对前景目标进行区分，这时，需要对第一图像进行处理。具体的，是利用当前帧图像和所述融合后的第一图像(融合模板)进行逻辑运算，获取融合后的候选区域前景图像。具体的，可以公式(5)获取融合前景图L，即融合后的候选区域前景图像
权利要求
1.一种目标跟踪方法，其特征在于，所述方法包括 在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取中贞差模板； 利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板； 对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像； 在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。
2.根据权利要求I所述的方法，其特征在于，所述方法还包括 获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。
3.根据权利要求I或2所述的方法，其特征在于，在对所述多帧图像进行多高斯背景建模处理之前，所述方法还包括 将所述多帧图像从彩色图像转换成灰度图像。
4.根据权利要求I所述的方法，其特征在于，所述对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像具体包括 对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像； 利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。
5.根据权利要求I所述的方法，其特征在于，所述在所述候选区域的前景图像中对待识别目标进行跟踪具体包括 获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图； 在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值； 利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标对应的第二位置； 判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，将所述第二位置的值作为第一位置的值，进入在所述候选区域的前景图像中在与所述第一位置对应的区域建立候选目标的核直方图的步骤，直至判断所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。
6.根据权利要求I或5所述的方法，其特征在于，所述方法还包括 当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置，将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入获取帧差模板的步骤。
7.一种目标跟踪装置，其特征在于，所述装置包括 帧差获取单元，用于在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板； 前景获取单元，用于利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板； 融合单元，用于对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；跟踪单元，用于在所述候选区域的前景图像中对待识别目标进行跟踪。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括 背景建模单元，用于获取多帧图像，对所述多帧图像进行多高斯背景建模处理，获取背景模板。
9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括 转换单元，用于将所述多帧图像从彩色图像转换成灰度图像。
10.根据权利要求7所述的装置，其特征在于，所述融合单元具体包括 第一获取单元，用于对所述帧差模板和所述前景模板中的像素进行或运算，获取融合后的第一图像； 处理单元，用于利用当前帧图像对所述融合后的第一图像进行处理，获取融合后的候选区域前景图像。
11.根据权利要求7所述的装置，其特征在于，所述跟踪单元具体包括 第一建立单元，用于获取跟踪目标的初始位置作为第一位置，以所述第一位置为中心，建立参考目标的核直方图； 第二建立单元，用于在所述候选区域的前景图像中，在与所述第一位置对应的区域建立候选目标的核直方图，并获取各个颜色分量的权值； 位置获取单元，用于利用所述第一位置以及所述各个颜色分量的权值获取与所述候选目标的对应的第二位置； 判断单元，用于判断所述第二位置的值与所述第一位置的值之间的差值的模是否小于设定阈值；如果否，进入迭代单元； 迭代单元，用于如果当判断所述第二位置的值与所述第一位置的值之间的差值的模大于设定阈值时，将所述第二位置的值作为第一位置的值，进入第二建立单元，直至所述判断单元的判断结果表明所述第二位置的值与所述第一位置的值之间的差值的模小于设定阈值时，停止迭代。
12.根据权利要求7或11所述的装置，其特征在于，所述装置还包括 输出单元，用于当通过迭代计算，判断所述第一位置的值与第二位置的值之间的差值的模小于设定阈值时，输出目标位置；将所述第二位置的值作为第一位置的值，获取下一帧图像，将下一帧图像作为当前帧图像，进入帧差获取单元。
全文摘要
本发明涉及图像处理技术领域，特别是涉及一种目标跟踪方法和装置，所述方法包括:在进行目标跟踪时，获取当前帧图像，将所述当前帧图像与上一帧图像进行比较，获取帧差模板；利用所述当前帧图像与预先建立的背景模板进行前景检测处理，获取前景模板；对所述帧差模板和所述前景模板进行融合、处理，获取融合后的候选区域前景图像；在所述候选区域的前景图像中对确定的跟踪目标进行跟踪。由于在本发明实施例中，提取的融合后的候选目标前景区域剔除了大部分背景干扰，从而使得目标跟踪能够在有效区域内进行，使得进行目标跟踪时陷入局部极值点的机会大大变小，进一步提高了目标跟踪方法的抗干扰能力，增强了算法的准确度和鲁棒性。
文档编号G06T7/20GK102903119SQ20121016083
公开日2013年1月30日 申请日期2012年5月22日 优先权日2012年5月22日
发明者安国成, 李洪研, 张涛 申请人:北京国铁华晨通信信息技术有限公司