专利名称：一种非参数化模型的视觉跟踪方法
技术领域：
本发明属于图像工程技术领域，具体涉及一种非参数化模型的视觉跟踪新方法。
背景技术：
随着计算机技术的发展，视觉跟踪技术逐渐成为机器视觉领域中的研究热点。
在机器人视觉、增强现实等领域中，视觉跟踪技术主要是通过图像配准技术利用求解一 定的参数化运动模型来实现的。首先计算需要配准的两帧图像中的特征点，并相互匹配出一 定数量的精确匹配点对。然后在两帧图像间建立合适的变换模型(如平移变换、仿射变换、 透视变换等)，解出变换参数。最后把目标在前一帧图像中的位置代入变换模型求出当前的目 标位置，实现对目标的跟踪。该方法对特征点的依赖很大，当图像中特征点信息不明显时需 要人工设立标志物来完成特征点的提取，这就减低了箅法的适应性。另外该算法计算复杂耗 时，实时性不好。有的学者利用光流场建立运动模型的方法检测与大背景运动趋势不同的小 目标，虽然也取得了一定效果但算法复杂度却大大增加，不能满足视觉跟踪实时性的要求。
上述传统的视觉跟踪算法大都是更多利用背景的信息建立运动模型来实现目标的跟踪。 由于背景往往面积大特征复杂，所以这种视觉跟踪算法十分复杂。实际上为了实现对特定目 标的跟踪，我们完全可以首先指定待跟踪的目标，然后对该目标施行一定邻域内的连续跟踪。 与箅法无关的特征以及距离目标较远的非兴趣背景可以不去考虑。这样就大大提高了视觉跟 踪的准确性和实时性。
在图像处理学中已经有很多成熟的分割方法可以把图像中有一定特征的部分提取出来， 如提取细胞组织图像中的细胞核。 发 明 内 容
本发明提出了一种非参数化模型的视觉跟踪方法。本发明以灰度图像为原始数据，主要 包括自适应跟踪窗口的建立和自适应目标提取的实现。首先通过模式判断环节选择目标分割 的模式即普通模式或增强模式。当目标与背景有一定差异时选择普通模式，直接通过图像分
割法二值分割提取出目标；当目标与背景差异不明显时，选择增强模式，先通过图像变换算 法放大目标与背景的差异，然后做图像二值分割提取出目标。自适应跟踪窗口的建立包括区 域大小的确定和质心位置的确定。在目标提取阶段，将图像二值化分割后像素少的部分定义 为前景区域，因此跟踪窗口的定义为二值图像中前景像素数量A倍的正方形(A>2)。质心
位置的确定则是通过迭代运算出的一个稳定位置值。
一种非参数化模型的视觉跟踪方法，包括如下步骤步骤l:通过模式判断环节选择跟踪模式，即普通模式A、增强模式B。 步骤2:建立自适应跟踪窗口D。初始时需要手动划定跟踪窗口 D，以后跟踪窗口D为 二值图像中前景像素数量义倍的正方形。重复计算跟踪窗口D的大小与质心位置，当其质心 位置变化小于一定阈值l时，以当前质心位置为跟踪窗口 D的几何中心。
步骤3:对增强模式B下的图像进行灰度均衡变换。当目标与背景差异不明显时，对图
像进行灰度均衡处理来放大目标与背景的差异，为图像分割提供基础。
步骤4:计算分割阈值T2，并进行图像分割。通过图像分割算法，计算分割阈值T2，将
跟踪窗口 D二值分割，将像素少的部分定义为目标并将二值图像中对应像素灰度赋值255，
其余像素灰度赋值为0。
步骤5:在视频图像中标记出目标，并驱动相机运动，实现持续的视觉跟踪。 本发明的优点在于
(1) 实时性好本发明跟踪方法不用建立繁琐的参数模型，实现方便，易于操作，运 算量小，能够满足视觉跟踪系统实时性的要求。
(2) 准确性高本发明的跟踪方法能够准确提取出目标的全部或局部的特性信息，而 不是基于粗略的运动估计，从而能够实现目标的准确定位。
(3) 自适应性好本发明建立了自适应图像分割阈值和自适应跟踪窗口，能够适应更多 的跟踪情况。
图1是本发明一种非参数化模型的视觉跟踪方法的流程图2是本发明一种非参数化模型的视觉跟踪方法的白色目标黑色背景图3是本发明一种非参数化模型的视觉跟踪方法的白色目标白色背景图4是本发明一种非参数化模型的视觉跟踪方法的二值图像表示图5是本发明一种非参数化模型的视觉跟踪方法的跟踪窗口 D求解流'程图6是本发明一种非参数化模型的视觉跟踪方法的白色目标白色背景灰度均衡图7是本发明一种非参数化模型的视觉跟踪方法的跟踪效果具体实施例方式
下面结合附图对本发明提供的基于图像分割的自适应视觉跟踪方法进行详细说明。 本发扭考虑到实际应用中所需跟踪目标具有一定的特点或是相对背景有一定的差异，可 以以此来实现目标的提取。为了方便计算与比较，将目标与背景的特征用单一信息量来表示， 即采用图像的灰度信息作为原始计算数据，当目标与背景灰度有较大差异时可以选择普通丰莫 式，通过图像分割算法提取目标；当目标与背景灰度接近时可以选择增强模式，先通过图像 变换放大目标与背景的差异，再做图像分割提取目标。这种基于图像分割的视觉跟踪算法直接从目标与背景的灰度特征着手，并且只是在作用域内实施算法，较运动估计算法实现方便、 实时性好。
本发明提供一种非参数化模型的视觉跟踪方法。该方法通过模式判断环节选择当前跟踪 模式(普通模式A或增强模式B)。普通模式A下直接做图像二值分割，增强模式B下先通 过图像灰度平衡变换增强目标与背景的差异然后做图像二值分割。跟踪窗口 D为目标二值分 割的作用区域，跟踪窗口D的定义为二值分割图像中前景像素数量A倍的正方形(义>2)。 跟踪窗口 D的几何中心是经迭代运算确定的前景中心。
如图1所示，本发明的具体实施步骤如下
步骤l:通过模式判断环节选择跟踪模式，即普通模式A、增强模式B。 当目标与背景有一定差异时，如附图2，目标为白色，背景为黑色，此时选择普通模式
A，直接通过图像分割提取目标；当目标与背景差异不明显时，如附图3，目标为白色，背景
也是白色，此时选择增强模式B，需要先对图像进行灰度均衡变换处理，放大目标与背景的
差异后再通过图像分割提取目标。
对视觉来说，在观察物体时，起决定作用的是目标物体和背景的灰度差异，所以目标检
测与识别的理论一般都是基于目标与背景的灰度对比展开的。
目标一背景的对比度定义为C。6-^^i, /。是被观测的目标物体灰度；/^是目标所在
的背景灰度；C。6为目标一背景对比度。定义跟踪窗口D为二值分割图像中前景像素数量;i倍 的正方形(义>2)，存在跟踪窗口平均灰度/^^ + (,1)76 ，故^=^1^。以跟踪窗口d
A A —l
中心的一定邻域内像素灰度均值作为被观测的目标物体灰度/。，代入/A =计算出/A,
a -l
再将/。、 A代入c。6-^"，求出目标一背景的对比度c。6。当cr。时，认为目标与背景
々
差异不明显，此时选择增强模式B,否则认为目标与背景有一定差异，此时选择普通模式A。 本发明中取阈值7^20。
步骤2:建立自适应跟踪窗口D。
为了对比和表示方便，做一个与视频图像大小相同、位置相对的二值图像，如图4所示， 跟踪窗口 D中用白色表示前景，黑色表示背景，跟踪窗口 D外用灰色表示。初始时跟踪窗口
D是手动划定的矩形，以后跟踪窗口 D的确定通过下面步骤实现，流程如附图5:
a、 计算二值图像中跟踪窗口 D的零阶矩Z。^SJ;/(;c,力,计算像素坐标;c和y的一阶矩
乂 _V
Zk^SS^"，力，^-SS^"，力。式中，7(x,力是像素坐标为(A:,力的像素值，jc和y的
变化范围为跟踪窗口 D的范围。
b、 计算跟踪窗口D的质心为C(Xc,凡)，其中^^4。/Z。。， k=Z。,/Z。。。c、根据质心C(Xt,K)，重新计算跟踪窗口 D的大小，得到新的跟踪窗口D'的边长为
d-^义IS，考虑到对称性，^取与计算结果最接近的奇数，义取2.5 4。
d、 移动新的跟踪窗口 "'中心到质心C(;c。,K)，计算新的跟踪窗口 D'的质心为C'W,乂)， 则质心位置的变化量AC = |& -《I + k - 乂| 。
e、 如果AC〉7;，重复步骤a、 b、 c、 d;如果AC^7^，则质心收敛，输出此时的跟踪窗 口 D的大小和位置。其中参数；取1 3个像素单位。
步骤3:在增强模式B下进行图像灰度均衡变换。
在增强模式B下，目标与背景差异不明显，待处理区域灰度集中在某个范围内即灰度分
布不均衡，经均衡处理后原本灰度接近的像素灰度距离会有一定增加。因此灰度均衡为后续
的目标分割提供了执行基础。
设像素P(x,力的灰度值为A ，经灰度均衡处理后灰度值^ ，存在^ =re，|>]x255/7bto/ ，
其中rmp[A]代表跟踪窗口 D中灰度值小于或等于A的像素的数量，rw"/代表跟踪窗口 D内
像素总数。如附图6是白色目标在白色背景中跟踪窗口 D经灰度均衡变换后的效果图，变
换后白色目标与白色背景之间的差异明显增强。
步骤4:计算图像分割阈值，并进行图像分割。
首先计算图像分割阈值石，包括以下几步
a、 选择一个分割阈值^的初始估计值^。本实施例取跟踪窗口 D中所有像素的灰度均 值作为初始估计值"。
b、 用分割阈值7;'分割图像，得到两组像素区域G!和G2， G,由所有灰度值大于r(的
像素组成，而G2由所有灰度值小于或等于r/的像素组成。
c、 对区域G工和G2中所有像素计箅平均灰度值A和A。
d、 计算新的分割阈值《'r2"=》1+//2)，则分割阈值变换量Ar-lr2'-:T21。
e、 如果厶7^『3，则重复步骤b、 c、 d;否则确定分割阈值72 。本实施例中73取l
根据上述的分割阈值r2进行图像分割，做出二值分割图像。在区域Gi和G2中令像素数
量少的为前景，像素数量多的为背景，将前景像素在二值分割图像中的对应像素赋值为255， 将背景像素在二值分割图像中的对应像素赋值为0,其余跟踪窗口 D外的像素赋值为125, 如附图4，白色表示前景，黑色表示背景，跟踪窗口D外用灰色表示。
步骤5:在视频图像中标记出目标，并驱动实现持续的视觉跟踪。在视频图像中标记出目 标，计算跟踪窗口 D中心位置相对图像视野中心的偏移，以此计算相机的运动参数并驱动相 机运动，实现持续的视觉跟踪。如附图7，白色方形框为目标的标记框，中心圆形为视野中心，通过实时驱动相机运动使目标时刻保持在视野中心。 如果需要继续跟踪则重复步骤2 4，否则结束跟踪。
至此，本发明通过图像自适应阈值分割和自适应跟踪窗口建立的方法实现了实时视觉跟 踪的目的。
权利要求
1、一种非参数化模型的视觉跟踪方法，其特征在于如下步骤步骤一通过模式判断环节选择跟踪模式，即普通模式A、增强模式B；当目标与背景有一定差异时，选择普通模式A，当目标与背景差异不明显时，选择增强模式B；步骤二建立自适应跟踪窗口D；步骤三对增强模式B进行图像灰度均衡变换；步骤四计算分割阈值T2，并进行图像分割；步骤五在视频图像中标记出目标，并驱动实现持续的视觉跟踪。
2、 根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于所述的根据目标 与背景的差异情况，通过模式判断环节选择跟踪模式过程为首先定义跟踪窗口D为二值分割图像中前景像素数量;i倍的正方形，义>2，存在跟踪窗 口D平均灰度/z^ + ^-1)^ ，故A-^^,以跟踪窗口D中心的一定邻域内像素灰度均义 义—1值作为被观测的目标物体灰度/。，再将/。、 A代入c。6-^^i，求出目标一背景的对比度c。fc，当cr。时，认为目标与背景差异不明显，此时选择增强模式B，否则认为目标与背景有一定差异，此时选择普通模式A,其中7;>20。
3、根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于步骤二中建立自 适应跟踪窗口 D具体过程为a、计算二值图像中跟踪窗口 D的零阶矩Zo^ZZ/0，力，计算像素坐标;c和y的一阶矩Zh^SZ^",力，Zm-ZI;W"力，式中，/"力是像素坐标为(A"的像素值，x和y的变化范围为跟踪窗口 D的范围；b、 计算跟踪窗口 D的质心为C(&,幻，其中x^《。/Z。。，尺-Z。,/Z。。；c、 根据质心C(A,^)，重新计算跟踪窗口 D的大小，得到新的跟踪窗口ZT的边长为d、 移动新的跟踪窗口 D'中心到质心C(A，A)，计算新的跟踪窗口 Z)'的质心为C'(JC:，乂)， 则质心位置的变化量ACH;c广x:l + k-乂l;e、 如果AC^7;，重复步骤a、 b、 c、 d;否则认为质心收敛，输出此时的跟踪窗口 D的 大小和位置，其中参数7i取l 3个像素单位。
4、根据权利要求1所述的一种非参数化模型的视觉跟踪方法，其特征在于当目标与背景的 灰度差异不大时，通过灰度均衡和阈值分割两部分联合实现目标提取，rf取与计算结果最接近的奇数，/l取2.5 4;灰度均衡的具体作法为设像素/K^,力的灰度值为A,经灰度均衡处理后灰度值&， & :rem;^]x255/roto/ ,其中7V附p[/ ]代表跟踪窗口 D中灰度值小于或等于/ 的像素的数量， 7bto/代表跟踪窗口 D内像素总数；计算分割阈值K的具体步骤为a、 选择一个分割阈值r2的初始估计值:T2'，取跟踪窗口 D中所有像素的灰度均值作为初始估计值K';b、 用分割阈值r2'分割图像，得到两组像素区域Gi和G2, G:由所有灰度值大于"的 像素组成，而02由所有灰度值小于或等于石'的像素组成；c、 对区域Gi和G2中所有像素计算平均灰度值M和A;d、 计算新的分割阈值r/: r2"=|(//1+//2)，则分割阈值变换量^ = |《-r21;e、 如果Ar〉7;，则重复步骤b、 c、 d;否则确定分割阈值r2 =r/;其中的参数7;取l 3。
全文摘要
本发明公开了一种非参数化模型的视觉跟踪方法，该方法首先通过模式判断环节选择跟踪模式，当目标与背景有一定差异时，选择普通模式A，当目标与背景差异不明显时，选择增强模式B；然后建立自适应跟踪窗口D；对于增强模式B进行图像灰度均衡变换后再计算分割阈值T<sub>2</sub>，并进行图像分割，而对于普通模式A则直接进行分割阈值T<sub>2</sub>计算和图像分割；最后在视频图像中标记出目标，并驱动实现持续的视觉跟踪。本发明的方法不需要建立参数模型，实现方便，易于操作，而且实时性好，准确性高，自适应性好。
文档编号G06T7/00GK101504771SQ20091008038
公开日2009年8月12日 申请日期2009年3月20日 优先权日2009年3月20日
发明者丁文锐, 李新军, 李红光 申请人:北京航空航天大学