专利名称：基于双感兴趣区域的运动目标视觉跟踪方法及系统的制作方法
技术领域：
本发明涉及一种视觉跟踪技术，具体涉及一种基于双感兴趣区域的运动目标跟踪 方法及系统，属于信息技术领域，特别适用于智能视频监控，感兴趣目标的快速准确跟踪。
背景技术：
计算机视觉是智能机器获取外部信息和理解世界的主要途径，运动目标的检测与 跟踪作为计算机视觉的核心课题之一，已经成为近年来计算机视觉领域的热点研究问题。 运动目标的检测与跟踪是一种对包含运动目标的序列图像进行分析和综合而对目标定位 的技术，该项技术融合了图像处理、模式识别、人工智能、自动控制、计算机等领域的先进技 术，在视觉导航、视频监控、医疗诊断、工业检测等方面有着重要的价值及广阔的前景。因此 对其进行研究是非常必要的。在现有视觉跟踪技术中，Camshift算法以其计算的简单性和高效率被众多学者认 可，但是Camshift算法只利用目标的颜色信息，对颜色的错误判断会造成跟踪的错误，如 光照的变化和与目标受到大面积相似色干扰就很容易导致跟踪发散和丢失，另外当目标移 动的过程中，由于遮挡或者目标移出视频窗口时，跟踪窗口静止保持在丢失前一时刻的状 态，当目标再次进入时，Camshift算法无法继续对目标进行捕捉及继续跟踪。许多跟踪方 法虽然采用了多特征融合的方法去补偿Camshift (如与粒子滤波的结合)来增强跟踪的鲁 棒性，但是这样会增大系统的计算量和计算时间，牺牲了跟踪实时性的性能指标。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提出了一种基于双感兴趣区 域的运动目标跟踪方法，在不明显增加计算量的情况下使得计算机对运动目标进行跟踪 时，满足可靠性和快速性的要求并能实现目标再入的继续跟踪。技术方案本发明为实现上述发明目的，采用如下技术方案一种基于双感兴趣区域的运动目标视觉跟踪方法，该方法根据目标的运动信息和 跟踪目标的ROI区域的颜色概率分布得到基于双ROI区域颜色信息和运动状态信息融合的 状态估计，进而实现目标的快速实时跟踪及再入定位，具体步骤包括步骤21，获取运动目标的双ROI区域颜色信息；步骤22，采用Kalman滤波器获取运动目标的预估值信息；步骤23，状态融合、得到搜索窗口或搜索方向的初始化状态估计；步骤24，根据步骤23所述的状态估计结果，计算得到目标质心位置；步骤25，根据步骤24得到的双ROI区域目标质心位置，判断运动目标的状态，并将 判决结果送至步骤23 ；步骤26，循环执行步骤21-25从而实现连续帧中动态目标的跟踪，直至退出。
进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法的获取双ROI区 域颜色信息的具体过程如下步骤A，在一段视频序列的第一帧中确定两个跟踪窗口，所述跟踪窗口包括目标区 域，所述目标区域包含跟踪的对象，跟踪窗口形状根据目标的形状进行设置；选定R0I#0作为Camshift#0搜索匹配区域后，将R0I#0设为Camshift#l的不感 兴趣区域，同时设定Camshift#l对R0I#1的跟踪，并将R0I#1设为Camshift#0的不感兴趣 区域；步骤B，对于自第二帧起的每一帧，获得前一帧两个跟踪区域的颜色特征概率分布 图。进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法的步骤22中获 取预估值信息的实现方法如下步骤C，建立运动目标的状态方程和观测方程如下X(k) = AX(k-l)+ff(k)(1)Z(k) = HX(k)+V(k)(2)其中X(k)为系统在k时刻的状态向量，Z(k)为k时刻的系统状态测量向量，k 为自然数；w(k)和V(k)分别为正态分布的状态噪声和测量噪声，且W(k)和V(k)均服从 P(Kk)) N(0，Q)，P(V(k)) N(0，R)分布，其中Q为状态噪声的协方差矩阵，R为测量噪 声的协方差矩阵；定义状态向量和测量向量为X(k) = [x{k),y{k),x{k),y{k)iZ(k) = [x(k),y(k)]T其中χ (k)和y (k)表示目标重心在视觉窗X轴和Y轴上的位置，对Α；)和KO表示相 应的速度，系统状态矩阵A和测量矩阵H参照X (k)和Z (k)，有
"10 7 0"
A =
0 1 O Γ 0 0 10 0 0 0 1
H =
10 0 0 0 10 0
T为采样时间；步骤D，采用Kalman滤波器方程预测位置信息(x (k | k_l)，y (k | k_l))更新阶段X (k |k-l) = AX(k-l |k-l)P (k |k-l) = AP(k-l |k-l)AT+Q校正阶段Kg (k) = P (k |k-l) Ht/(HP (k |k-l) HT+R)X (k I k) = X (k I k-1) +Kg (k) (Ζ (k) -HX (k | k_l))P (k I k) = (I-Ks (k) H) P (k I k-1)
(34)}6)7) /l\ 5 /l\ /l\以上公式(3)-(7)中，X(kI k-1)是利用上一状态预测的结果，X(k-11 k-1)为k_l 时刻的最优值，P (k I k-1)是先验误差相关矩阵，P (k-11 k-1)是前一步的后验误差相关矩 阵，Kg (k)为Kalman增益矩阵，Z (k)为给定的测量参数；将预测状态向量X(k|k-1)中的位置信息(x(k|k-l), y(k|k-l))即运动目标的预 估值信息传送到步骤23。
进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法的步骤23中获 取搜索窗口或搜索方向的初始化状态估计的实现方法如下根据上一轮步骤25处得到的目标运动状态判断结果，若目标没有丢失和分离则 采用状态估计方法，根据预估值和前一帧的搜索窗的大小来初始当前帧的搜索窗口的大小 和位置；若目标在视频窗口内发生丢失和分离则根据前一帧的搜索窗的大小和位置来初 始当前帧的搜索窗口的大小和位置并赋予发生分离的窗口一定的速度信息来线性预测目 标在当前帧中可能出现的位置；若目标移出搜索窗口则按规定的速度信息来初始化搜索方向。进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法中E，所述当目标在视频窗口内发生丢失和分离时赋予分离窗口一定的速度信息来 线性预测目标在当前帧中可能出现的位置，其速度信息确定如下眷释卞(“(8)涉輝-1广(“(9)其中，T为两帧图像采集的时间间隔，(x(k|k-l),y(k|k-l))为搜索窗口位置估计 信息，(x(k-l)，y(k-l))为上一帧目标位置信息；F，所述若目标移出搜索窗口则按规定的速度信息来初始化搜索方向，其中速度信 息规定如下x{k) = Xm{k)T~X'(10)y(k)^ym<<k^~yi(11)其中(xm(k)，ym(k))为搜索窗口与视频窗口发生碰撞时搜索窗口的中心坐标，(X1, Y1)为窗口碰撞后窗口将移向的点的坐标，(Xpy1)为视窗内的随机点，或预先设定。进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法中计算获取目标 质心位置的实现方法如下G，若目标没有发生偏离或丢失则按Camshift算法得到目标的质心位置；H，若目标在视频窗口内发生了丢失和偏离则可以用式(8)-(9)线性预测目标在 当前帧中可能出现的位置，具体质心位置计算公式如下x(k +1) = x(k) + Tx(k)(12)其中x(k+l)为k+1帧的目标质心位置，x(k)为第k帧的目标质心位置，对幻为第 k帧的目标质心速度，T为两帧图像采集的时间间隔；I，若目标移出了视频窗口，则按式(IO)-(Il)赋予的搜索方向不断进行搜索，直 到搜索到目标为止。进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪方法中步骤25中获 取运动目标的状态的实现方法如下J、通过双ROI模型两跟踪窗口中心的位置关系判断两个跟踪窗口是否发生分离 或丢失
批c-xJ2+(ydc-yJ2<E(13)其中(xd。，ydc)，(xuc,yj分别为Camshift#0与Camshift#l跟踪区域的中心坐标， E为阈值；K、通过双ROI模型跟踪窗口的质心位置和视频窗口的大小确定跟踪窗口是否移 出视频窗口。一种应用本发明的基于双感兴趣区域的运动目标视觉跟踪系统，该系统包括双 ROI区域颜色特征获取模块、Kalman预估模块，特征融合及状态估计模块、目标位置确定模 块，其中双ROI区域颜色特征获取模块，用于获取双ROI区域的颜色特征信息，并传送给特 征融合及状态估计模块；Kalman预估模块，用于根据质心位置预测值和当前时刻的位置观测值得到下一帧 的预估值，并将之传送给特征融合及状态估计模块；特征融合状态估计模块，用于将双ROI区域颜色特征获取模块得到的颜色特征信 息及Kalman预估模块的预估值，初始化搜索窗口的大小、质心位置或搜索方向；目标位置确定模块，用于根据特征融合状态估计模块的估计值通过迭代运算得到 当前帧的目标位置。进一步的，本发明的基于双感兴趣区域的运动目标视觉跟踪系统还包括运动目标 状态确定模块，用于判断出目标跟踪窗口的状态，若跟踪窗口在视窗内且两窗口之间的质 心位置大于一定的阈值，则判断其发生偏离和丢失。有益效果与现有技术相比，本发明简单有效，在不牺牲原有算法效率的同时，增加了跟踪的 快速性和稳健性并能实现目标的再定位。它的关键在于采用了双ROI模型，实现了对跟踪 区域的窗口分离判别，适应于不同的场景，取得了良好的跟踪效果，尤其适用于目标被部分 遮挡或目标环境中有大面积相似色干扰的情况；引入Kalman预估器模型提高了 CAMSHIFT 算法的速度，通过对Kalman预估器速度信息的利用可以有效地解窗口内遮挡及再定位问 题；目标移出视频窗口后通过定义速度信息，使搜索窗口获得一定的搜索方向和速度，从而 实现目标再入窗口后的快速定位。本文给出了当目标丢失后的再入定位图和目标受到相似 色干扰时的跟踪效果图，如图5所示。利用本发明进行视觉跟踪，即可以作为跟踪结果，也可以作为视觉理解和分析的 中间结果。本发明具有广泛的应用领域和前景，可以在交通监控、工业检测、医学研究、军事 侦查、导航制导、虚拟现实、视觉伺服等众多领域得到应用。以安全领域的视频监控为例，若 把此技术应用现有的视频监控系统就能实现对目标的主动跟踪，从而省掉安防监控人员的 大量时间和减轻他们的劳动负荷强度。
图1为本发明实施例基于双ROI模型的视觉跟踪结构示意图；图2为本发明实施例基于双ROI模型的视觉跟踪方法的原理性流程图；图3为运用图2所示的原理进行目标跟踪的一个具体实施例的方法流程图；图4为本发明双ROI模型示意图5a_f为本发明所提出的双ROI模型对目标在受大面积相似色干扰时的跟踪效 果图及目标移出视频窗口的再入定位效果图。
具体实施方案下面结合附图对技术方案的实施作进一步的详细描述参看图1为本发明实施例基于双ROI模型的视觉跟踪示意图，该系统包含双ROI 区域颜色信息获取模块11、特征融合及状态估计模块12、Kalman预估模块13和目标位置 确定模块14。双ROI区域颜色信息获取模块11，获取感兴趣区域的颜色信息，传送给特征融合 及状态估计模块12，其中双ROI模型的选取规则详见步骤21.Kalman预估模块13，获取目标的预测位置和速度信息，传送给特征融合及状态估 计模块12，其传送的特征信息受窗口状态的影响，具体见步骤22.特征融合及状态估计模块12，根据窗口的状态和获得的特征信息初始化搜索窗口 的大小、质心位置或搜索方向和动力。其中窗口的状态判断详见步骤25处的描述。目标位置确定模块14，通过迭代运算获得当前帧的双ROI区域所确定的目标位置 信息，并根据双ROI窗口中心位置关系判断两个跟踪窗口的状态。这些状态信息包括两个 跟踪窗口是否发生分离，是否发生目标丢失，具体判别准则详见步骤25.参看图2，为本发明实施例基于双ROI模型的视觉跟踪方法的原理性流程图，该方 法包括以下步骤步骤21，获取双ROI区域颜色信息。其具体过程如下首先，在一段视频序列的第一帧中确定两个跟踪窗口，所述跟踪窗口包括目标区 域，所述目标区域包含跟踪的对象，跟踪窗口形状根据目标的形状进行设置。本文模型建立 如图4所示。当Camshift#0选定R0I#0作为搜索匹配区域后，将R0I#0设为Camshift#l 的不感兴趣区域，同时设定Camshift#l对R0I#1的跟踪，并将R0I#1设为Camshift#0的不 感兴趣区域，以上设定的目的在于让一个跟踪器对另一个跟踪器所关心的区域互斥。然后，对于自第二帧起的每一帧，获得前一帧两个跟踪区域的颜色特征概率分布 图。步骤22，获取Kalman预估位置、速度信息。具体时实现方法如下系统的状态方程和观测方程可以表示为X(k) = AX(k-l)+ff(k)(1)Z (k) = HX (k) +V (k)(2)其中X(k)为系统在k时刻的状态向量，Z(k)为k时刻的系统状态测量向量，W(k) 和V(k)分别为正态分布的状态噪声和测量噪声，且服从P (W) N(0，Q)，P(V) N(0，R)* 布，其中Q为状态噪声的协方差矩阵，R为测量噪声的协方差矩阵。Camshift方法的视觉跟 踪中，由于相邻帧图像的间隔时间较短，目标运动变化较小，近似为目标在两帧之间做勻速 运动，本文采用等勻速运动建模，定义状态向量和测量向量为 X(k) = [x(k),y(k),x(k),y(k)fZ(k) = [x(k),y(k)]T其中x(k)和y (k)表示目标重心在视觉窗X轴和Y轴上的位置，对幻和K幻表示相应的速度。系统状态矩阵A和测量矩阵H参照X(k)和Z(k)，有
为采样时间。
T为采样时间。Kalman滤波器在此的预测和校正两个阶段为更新阶段X (k |k-l) = AX(k-l |k-l)P (k |k-l) = AP(k-l |k-l)AT+Q校正阶段Kg (k) = P (k |k-l) Ht/ (HP (k I k-1) HT+R)X(kI k) = X(kI k-1) +Kg(k) (z(k)-HX(k k-1))P (k I k) = (I-Kg (k) H) P (k I k-i)
\1/ \1/ Ni/ 6 7 5 /l\ /l\
⑶ ⑷以上公式(3)-(7)中，X(kI k-1)是利用上一状态预测的结果，X(k-11 k-1)为k-1 时刻的最优值，P (k I k-1)是先验误差相关矩阵，P (k-11 k-1)是前一步的后验误差相关矩 阵，Kg(k)为Kalman增益矩阵，Z (k)为给定的测量参数。该步要把预测状态向量X(k | k_l) 中的位置信息(x(k|k-l),y(k|k-l))及相应的速度信息传送到步骤23处。步骤23，状态融合、搜索窗口大小和质心位置或搜索方向的状态估计，原则上根据 前一帧的定位结果来预测当前帧的搜索窗口的大小和位置。根据步骤25处的判断结果，若目标仍在视频窗口内且没有发生分离(大面积相 似色干扰)和目标丢失(遮挡情况)，这时根据步骤22处传来的位置信息(x(k|k-l)， y (k I k-1))初始化Camshift搜索窗口的中心位置，并把Camshift算法输出的重心位置作 为测量值校正Kalman预估器模型，进而得到Kalman最优化估算值X (k | k)，再将其应用于 式(3)中，循环直到算法结束；若目标仍在视频窗口内但是发生了分离或目标丢失情况，由 于相邻帧图像的间隔时间较短，目标运动变化较小，近似为目标在两帧之间做勻速运动，可 以用相应的速度信息线性预测目标在当前帧中可能出现的位置，具体实现见步34处；若目 标移出到视频窗口之外，当搜索窗口与视窗碰撞后仍未搜索到目标时，这时赋予运动窗口 新的速度信息
(8) 其中(xm(k)，ym(k))为搜索窗口与视频窗口发生碰撞时搜索窗口的中心坐标，(X1, Y1)为窗口碰撞后窗口将移向的点的坐标，(Xl，Y1)可以为视窗内的随机点，也可以预先设定。目标的速度矢量给予目标丢失或受相似色干扰后搜索(跟踪)窗口对目标搜索的 “方向”和“动力”，使得搜索窗口以目标之前的运动方向和速度运动，以搜索丢失或受相似 色干扰的目标。步骤24，根据状态估计计算得到目标质心位置。根据步骤25的结果，若目标没有 丢失或跟踪窗口没有分离，按下述方法得到目标的实际质心位置。若目标发生丢失或窗口出现分离则应按相应的速度信息首先完成目标的捕捉。据概率分布图及步骤23处传来搜索窗口位置估计信息(X(k|k-1)，y(k|k-l))通 过Camshift算法得到当前帧的两个跟踪窗口的中心点坐标。Camshift算法的核心过程包 括计算跟踪窗口的零阶矩(式10)和一阶矩(式11和12)通过式(13)，式(14)迭代计算 (x。，y。)坐标，直到该坐标没有明显位移或迭代到最大次数时的坐标就是当前帧的跟踪窗口 中心· xc = Μ10/Μ00(13)yc = Μ01/Μ00(14)步骤25，判断搜索窗口的状态。本视频窗口大小是一定的，可以根据搜索窗口的中 心坐标判断其是否和视频窗口发生碰撞。若碰撞则把碰撞时搜索窗口的中心坐标(xm(k)， ym(k))传送到步骤23处；若目标任然在视频窗口内，但是发生了双ROI跟踪窗口分离或目 标丢失的情况，则把步骤22处的速度信息(具体见步骤34)送到步23处，若没有发生跟踪 窗口的分离和目标丢失的情况，则把步骤22处的位置信息送到步23处。下面给出窗口分 离或丢失的判别准则采用四维向量将R0I#0和R0I#1分别表示为(xd, yd, wd, hd)和(xu, yu，wu, hu)，其 中(xd, yd)，(xu，yu)为 R0I#0 和 R0I#1 迭代窗口 的底左坐标，(wd, hd)和(wu,hu)为 R0I#0 和 R0I#1迭代窗口的宽度和高度，本文初始设定Wd = wu, hd = 3hu。通过双ROI模型对目标进行跟踪，根据两窗口中心的位置关系判断两个跟踪窗口 是否发生分离或丢失
(15)其中(xdc,ydc)，(xuc,yuc)分别为Camshift#0 与 Camshift#l 跟踪区域的中心坐标， E为阈值。若式(15)成立，说明Camshift#0与Camshift#l有较好的稳健性。若式(15)不成立，说明其中一个跟踪窗口发生偏离或丢失，此时考虑目标帧间运 动的连续性，相邻两帧的运动变化不会太大，则当前帧与上一帧的中心位置变化不会太大。
(16)
(17)若以上两式成立，说明Camshift#l跟踪区域发生偏离或丢失，根据步骤23调整 Camshift#l的跟踪方向和区域。
(18)
(19) 若以上两式成立，说明Camshift#0跟踪区域发生偏离或丢失，调整Camshift#0的 跟踪方向和区域。式(16)-(19)中(xdc(k), yd。(k))，(xuc(k), yuc(k))分别为 Camshift#0与Camshift#l跟踪区域当前帧跟踪窗口的中心坐标，(xdc(k-1), yd。(k_l))，(xu。(k_l)， yuc(k-l))分别为Camshift#0与Camshift#l前一帧跟踪窗口的中心坐标。上述方案为本发明视觉跟踪方法的基本原理。图2中步21-23为本发明获得运动 特征信息和颜色信息进行融合获得状态估计的过程，步24是运用Camshift算法获得目标 位置的运算过程，步25为窗口状态判别过程，它决定了步23采用何种有用信息。下面结合 图3所示的具体实施例，对图2所属的方法进行详细说明。参看图3，为运用图2所示原理进行视觉跟踪的一个具体实施例的方法流程图，该 方法包括以下步骤步骤31，选择初始窗口。在视频序列的第一帧中确定两个跟踪窗口，跟踪窗口的大小、形状及分布根据被 跟踪目标的大小、形状等特征由操作者自己确定.将两个跟踪窗口上下分布，矩形红色框 为Camshift#0跟踪区域，蓝色框为Camshift#l跟踪区；步骤32，获取双ROI区域颜色信息。将RGB图像转换到HSV颜色空间，经过图像去噪处理，自第二帧起的每一帧，获得 前一帧两个跟踪区域的颜色特征概率分布图。步骤33，获取Kalman预估值或获得丢失目标时的位置和速度信息。把相应的预测状态向量X(k|k-1)中的位置估计信息(x(k|k-l)，y(k|k_l))，位置 校正信息X(k-Ι)，y (k-Ι)传送到步骤34处。状态向量的获得可按照步骤22处的方法获 得，本实验中取=Q = diag(881616)，R = diag(0. 10. 2)，PO = diag(llll)，PO 为初始误差
方差矩阵。步骤34，状态融合、估计搜索窗口大小、质心位置或确定搜索窗口的搜索方向。若目标仍在视频窗口内且没有发生跟踪窗口分离和目标丢失，根据步33处的位 置信息(x(k|k-l)，y(k|k-l))初始化Camshift搜索窗口的中心位置；若目标仍在视频窗口 内但是发生了分离或目标丢失情况，可以用速度信息((20)-(21)式)线性预测目标在当前 帧中可能出现的位置；若目标移出到视频窗口之外，当搜索窗口与视窗碰撞后仍未搜索到 目标时，这时赋予运动窗口新的速度信息如步骤23处的(8)-(9)式所示。朔二释-I广(“(20)涉遲―-”(21)其中，T为两帧图像采集的时间间隔。步骤35，计算得到目标质心位置。如步骤24处所示，根据搜索窗口位置估计信息(x (k I k-1), y(k|k-l))通过 Camshift算法得到当前帧的两个跟踪窗口的中心点坐标；若窗口内发生丢失或干扰则按 步骤34处的速度信息按= + ㈨线性预测当前帧的跟踪窗口的中心点坐标；若 目标移出窗口则按步骤23处的速度方向进行搜索。本实施例中跟踪窗口中心坐标χ。和y。 的值变化小于1或迭代到最大次数10次时的坐标就是当前帧的目标质心位置。步骤36，判断双ROI区域搜索窗口的状态。根据步骤25处所述，获取两个跟踪窗口中心坐标(xd。，ydc)，(xuc, yuc)，判断是否和 视频窗口(视窗为320X240像素窗口)发生碰撞，因视频窗口边缘位置噪声强，容易被搜索窗口判断为“目标”，本实施例中设定“碰撞边缘余度”为3像素。若碰撞，获得搜索窗口 与视频窗口发生碰撞时搜索窗口的中心坐标((xm(k)，ym(k))，并设定窗口碰撞后窗口将移 向的点的坐标(X1, yi)，本文设定为视频窗口的中心。若没有碰撞，则根据(15)-(19)式判 别跟踪窗口是否发生分离或丢失，其中E值可根据视频窗口和目标大小设定，然后把其状 态送到步骤34处进行状态的估计。参看图5a_f，为本发明实施例基于双感兴趣区域的运动目标跟踪方法的跟踪过程 示意图。图5中的a为初始化的双ROI区域跟踪窗口 ；图b为目标受到相似色干扰时的跟 踪效果图，从图中可以看出，由于受到相似色的干扰，蓝色跟踪窗口有发散的迹象，但是由 于本文采用了双ROI区域模型及相应的分离调整准则，可以使发散的跟踪窗口不断的得到 调整，从而避免了跟踪窗口锁定到干扰色上停止跟踪这种情况的发生，调整后的跟踪效果 如图c、d所示；图e为目标移出视频窗口且跟踪窗口和视频窗口发生碰撞后跟踪窗口的搜 索方向示意图；图f为目标再入视频窗口后，跟踪窗口对目标的捕捉定位及跟踪示意图。本发明的保护范围不限于上述的实施例。
权利要求
一种基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于，该方法根据目标的运动信息和跟踪目标的双ROI区域的颜色概率分布得到基于双ROI区域颜色信息和运动状态信息融合的状态估计，进而实现目标的快速实时跟踪及再入定位，具体步骤包括步骤21，获取双ROI区域颜色信息；步骤22，采用Kalman滤波器获取运动目标的预估值信息；步骤23，状态融合、得到搜索窗口或搜索方向的初始化状态估计；步骤24，根据步骤23所述的状态估计结果，计算得到目标质心位置；步骤25，根据步骤24得到的双ROI区域目标质心位置，判断运动目标的状态，并将判决结果送至步骤23；步骤26，循环执行步骤21 25从而实现连续帧中动态目标的跟踪，直至退出。
2.根据权利要求1所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于所 述获取ROI区域颜色信息的具体过程如下步骤A，在一段视频序列的第一帧中确定两个跟踪窗口，所述跟踪窗口包括目标区域， 所述目标区域包含跟踪的对象，跟踪窗口形状根据目标的形状进行设置；选定R0I#0作为Camshift#0搜索匹配区域后，将R0I#0设为Camshift#l的不感兴趣区 域，同时设定Camshift#l对R0I#1的跟踪，并将R0I#1设为Camshift#0的不感兴趣区域； 步骤B，对于自第二帧起的每一帧，获得前一帧两个跟踪区域的颜色特征概率分布图。
3.根据权利要求1所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于所 述步骤22中获取预估值信息的实现方法如下步骤C，建立运动目标的状态方程和观测方程如下 X(k) = AX(k-l)+ff(k)(1) (2)其中X(k)为系统在k时刻的状态向量，Z(k)为k时刻的系统状态测量向量，k为 自然数；W(k)和V(k)分别为正态分布的状态噪声和测量噪声，且W(k)和V(k)均服从 P(W(k)) N(0，Q)，P(V(k)) N(0，R)分布，其中Q为状态噪声的协方差矩阵，R为测量噪 声的协方差矩阵；定义状态向量和测量向量为 其中x(k)和y(k)表示目标重心在视觉窗X轴和Y轴上的位置，i(幻和K幻表示相应的 速度，系统状态矩阵A和测量矩阵H参照X (k)和Z (k)，有 T为采样时间步骤D，采用Kalman滤波器方程预测位置信息(x (k | k_l)，y (k | k_l)) 更新阶段X (k |k-l) = AX(k-l|k-l)(3)P (k |k-l) = AP (k-l|k-l)AT+Q(4)校正阶段 以上公式(3)-(7)中，X(kI k-l)是利用上一状态预测的结果，X(k-l I k-l)为k-l时 刻的最优值，P (k I k-l)是先验误差相关矩阵，P (k-l I k-l)是前一步的后验误差相关矩阵， Kg(k)为Kalman增益矩阵，Z (k)为给定的测量参数；将预测状态向量X(k|k-1)中的位置信息(x(k|k-l), y(k|k-l))即运动目标的预估值 信息传送到步骤23。
4.根据权利要求1所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于所 述步骤23中获取搜索窗口或搜索方向的初始化状态估计的实现方法如下根据上一轮步骤25处得到的目标运动状态判断结果，若目标没有丢失和分离则采用 状态估计方法，根据预估值和前一帧的搜索窗的大小来初始当前帧的搜索窗口的大小和位 置；若目标在视频窗口内发生丢失和分离则根据前一帧的搜索窗的大小和位置来初始当 前帧的搜索窗口的大小和位置并赋予发生分离的窗口一定的速度信息来线性预测目标在 当前帧中可能出现的位置；若目标移出搜索窗口则按规定的速度信息来初始化搜索方向。
5.根据权利要求4所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于 E，所述当目标在视频窗口内发生丢失和分离时赋予分离窗口一定的速度信息来线性预测目标在当前帧中可能出现的位置，其速度信息确定如下 其中，τ为两帧图像采集的时间间隔，(x (k I k-l), y(k|k-l))为搜索窗口位置估计信 息，(x(k-l), y(k-l))为上一帧目标位置信息；F，所述若目标移出搜索窗口则按规定的速度信息来初始化搜索方向，其中速度信息规 定如下 其中(xm(k)，ym(k))为搜索窗口与视频窗口发生碰撞时搜索窗口的中心坐标，(Xl，Y1) 为窗口碰撞后窗口将移向的点的坐标，(Xl，yi)为视窗内的随机点，或预先设定。
6.根据权利要求5所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于所 述计算获取目标质心位置的实现方法如下G，若目标没有发生偏离或丢失则按Camshift算法得到目标的质心位置； H，若目标在视频窗口内发生了丢失和偏离则可以用式(8)-(9)线性预测目标在当前 帧中可能出现的位置，具体质心位置计算公式如下x{k +1) = x{k) + Tx{k)(12)其中x(k+l)为k+1帧的目标质心位置，x(k)为第k帧的目标质心位置，iR)为第k帧 的目标质心速度，T为两帧图像采集的时间间隔；I，若目标移出了视频窗口，则按式(IO)-(Il)赋予的搜索方向不断进行搜索，直到搜 索到目标为止。
7.根据权利要求1所述的基于双感兴趣区域的运动目标视觉跟踪方法，其特征在于所 述步骤25中获取运动目标的状态的实现方法如下J、通过双ROI模型两跟踪窗口中心的位置关系判断两个跟踪窗口是否发生分离或丢失(13)其中(Xdc Ydc)，(xu。，yJ分别为Camshift#0与Camshift#l跟踪区域的中心坐标，E为 阈值；K、通过双ROI模型跟踪窗口的质心位置和视频窗口的大小确定跟踪窗口是否移出视频窗口。
8.一种应用权利要求1的基于双感兴趣区域的运动目标视觉跟踪系统，其特征在于 该系统包括双ROI区域颜色特征获取模块、Kalman预估模块，特征融合及状态估计模块、目 标位置确定模块，其中双ROI区域颜色特征获取模块，用于获取双ROI区域的颜色特征信息，并传送给特征融 合及状态估计模块；Kalman预估模块，用于根据质心位置预测值和当前时刻的位置观测值得到下一帧的预 估值，并将之传送给特征融合及状态估计模块；特征融合状态估计模块，用于将双ROI区域颜色特征获取模块得到的颜色特征信息及 Kalman预估模块的预估值，初始化搜索窗口的大小、质心位置或搜索方向；目标位置确定模块，用于根据特征融合状态估计模块的估计值通过迭代运算得到当前 帧的目标位置。
9.根据权利要求8所述的基于双感兴趣区域的运动目标视觉跟踪系统，其特征在于 还包括运动目标状态确定模块，用于判断出目标跟踪窗口的状态，若跟踪窗口在视窗内且 两窗口之间的质心位置大于一定的阈值，则判断其发生偏离和丢失。
全文摘要
本发明提供一种基于双感兴趣区域的运动目标视觉跟踪方法及基于该方法的系统，属于信息技术领域，特别适用于智能视频监控。本发明的方法根据目标的运动信息和当前跟踪目标的双ROI区域的颜色概率分布得到基于双ROI区域颜色信息和运动状态信息融合的状态估计；系统包括双ROI区域颜色特征获取模块、Kalman预估模块，特征融合及状态估计模块、目标位置确定模块。与现有技术相比，本发明简单有效，在不牺牲原有算法效率的同时，增加了跟踪的快速性和稳健性并能实现目标丢失后的再入定位。
文档编号H04N7/18GK101894378SQ20101020035
公开日2010年11月24日 申请日期2010年6月13日 优先权日2010年6月13日
发明者乔兵, 李志成, 胡鹏, 连红森 申请人:南京航空航天大学