专利名称：一种基于多目标均值漂移的跟踪装置的制作方法
技术领域：
本发明涉及一种基于多目标均值漂移的跟踪装置，属于图像处理、视频监控领域。
背景技术：
经典的块匹配跟踪是通过把目标与检测器提供的前景团块进行匹配实现的，其优 点是准确高效，缺点是需要建立在检测器可靠的基础上。若场景中存在目标中部分像素点 的灰度值与背景相近或者场景中存在较快的光影变化时，检测器检测得到的前景团块常会 发生破损或断裂，此时跟踪器则会出现跟丢跟错等现象。这就要求跟踪器能够准确地从破 损或断裂的前景团块中跟踪真实目标。目前，跟踪方法的种类很多，较为突出的是Mean-Shift (均值漂移)方法。 Mean-Shift方法是利用颜色分布对运动目标进行检测与跟踪的常用方法，其是采用密度 梯度爬升来找到概率分布峰值的非参数方法，具有较强的鲁棒性和较好的实用性。公开 号为CN 101162525A的中国专利申请公开了一种基于Mean-Shift和人工鱼群智能优化 的人体多关节特征跟踪方法；公开号为US 6590999B1的美国专利申请公开了一种基于 Mean-Shift的非刚体目标实时跟踪方法。但上述专利所提供的方法并不能直接地解决从破 损或断裂的前景团块中准确地跟踪目标的问题。综上所述，目前迫切需要提出一种能解决上述问题的跟踪装置。
发明内容
有鉴于此，本发明的主要目的在于解决从破损或断裂的前景团块中准确地匹配跟 踪目标的问题，实现目标的正确匹配跟踪。为达到上述目的，本发明提供了一种基于多目标均值漂移的跟踪装置，所述跟踪 装置包括至少一个MSre单体目标跟踪器，用于跟踪一个目标，和跟踪器流水线管理器，用于所述MSre单体目标跟踪器的申请、销毁，以及数据的 导入、导出；其中所述跟踪器流水线管理器包括目标需求分析模块，用于判断目标是否满足所述跟踪装置的处理范围，若满足则 执行数据导入模块，否则所述跟踪装置放弃对目标的处理，数据导入模块，用于为所述Msre单体目标跟踪器导入目标的基本数据，跟踪器执行模块，用于开启执行所述MSre单体目标跟踪器，跟踪器可靠性分析模块，用于对所述MSre单体目标跟踪器运行的跟踪结果进行 可靠性评估；如果跟踪目标是可靠的，则执行数据导出模块，如果跟踪结果是不可靠的，则 所述跟踪装置对相应的目标作放弃处理，和数据导出模块，用于将可靠的跟踪结果对应的信息导出到对外接口，以满足外部 模块读取使用；
所述MSre单体目标跟踪器包括模型建立/更新模块，用于对首次输入的目标建立模型，对已存在模型的目标进行模型更新判断以选择是否对该目标进行更新，和MS迭代模块，用于对目标的当前帧位置进行迭代逼近。优选地，所述目标需求分析模块中判断目标是否满足所述跟踪装置的处理范围的 条件为(1)目标为稳定的有趋势目标；(2)块匹配跟踪器中前景检测的块匹配系数小于第一阈值Tl ；(3)目标的生命期大于第二阈值T2 ；(4)存在所述MSR；单体目标跟踪器处于空闲状态；其中，第一阈值Tl e
，第二阈值T2 e [15,30]且为整数。优选地，所述稳定的有趋势目标的定义为块匹配跟踪器中目标生成后，连续跟踪 多帧且沿某一方向移动一定距离的目标。优选地，所述目标的基本数据包括目标的中心位置、目标的框体、上一帧图像、当 前帧图像、上一帧的前景团块、当前帧的前景团块、目标ID与目标上一帧对应的前景检测 框。优选地，所述跟踪器可靠性分析模块对所述MSre单体目标跟踪器的跟踪目标的 巴氏系数B进行判断；如果所述巴氏系数B大于第三阈值T3，则认为所述MSre单体目标 跟踪器的跟踪目标是可靠的，继续执行数据导出模块；否则认为所述Msre单体目标跟踪 器的跟踪目标是不可靠的，所述跟踪装置对不可靠的跟踪目标做放弃处理，其中，第三阈值 T3 e
。优选地，可靠的跟踪目标对应的信息包括目标的中心位置、目标的框体、目标的 面积和目标的直方图。优选地，所述模型建立/更新模块通过对上一帧目标区域内的前景点作直方图统 计来对首次输入的目标建立模型，其中，首先对前景点的灰度值作处理，选择预先计算好的 核函数进行加权；假设HM是目标模型直方图，用于作为MS迭代模块的比较标准，其计算公 式如下<formula>formula see original document page 7</formula><formula>formula see original document page 7</formula> <formula>formula see original document page 7</formula>其中，HM(i)表示目标模型的直方图第i条的值，KernelHist (R2)表示点(x，y)在 核函数中对应的系数值，R2表示点(x，y)到目标的中心点O^ytl)的归一化的距离平方，w、 h分别表示目标的宽度和高度，g(x，y)表示点(X，y)的灰度值，GrayLevel (g (x, y))表示 对点(χ，y)的灰度值g(x，y)进行的量化，以得到该点(χ，y)的灰度等级，其中所述点(χ, y)属于目标点。
优选地，所述模型建立/更新模块通过当前帧的目标模型直方图的总量VMnew与上 一帧的目标模型直方图的总量VM的比值r来判断已存在模型的目标是否需要进行模型更 新，该比值r的计算公式如下
<formula>formula see original document page 8</formula>
其中，HMnew为当前帧的目标模型直方图，VM_为当前帧的目标模型直方图的总量， HM为上一帧的目标模型直方图，VM为上一帧的目标模型直方图的总量；当该比值r e [第 四阈值T4，第五阈值T5]时，认为该目标允许执行模型更新，将上一帧的目标模型直方图更 新为当前帧的目标模型直方图，即HM = HMnew，否则保留原来的目标模型直方图HM，其中，第 四阈值 T4G
，第五阈值15￡ [1. 2，1. 4]。优选地，所述MS迭代模块采用Mean-Shift算法对目标的当前帧位置进行迭代逼 近，该Mean-Shift算法通过在目标区域中逐点计算权重，并对目标区域的全部点的权重求 平均值，从而得到目标的推动向量，其中，目标区域内点(x，y)的权重的计算公式如下
<formula>formula see original document page 8</formula>其中，《x,y为点(x，y)的权重，KernelShift 2)表示点(x，y)的均值偏移核函数 的计算函数，所述计算函数用R2来计算，R2表示点(x，y)到目标的中心点(xo，y。)的归一 化的距离平方，HC表示候选直方图，用于表征在所述MS迭代模块中每一次迭代后目标所在 候选区域的直方图分布情况，HC⑴表示候选直方图第i条的值。
假设目标区域内第j个点(\，yj)的权值为则目标的推动向量(Vx，Vy)计算且为整数。 优选地，所述MS迭代模块还包括对目标的位置进行调整；如果Bl > B0，则 目标中心点(xQ，y0)的位置变为(xQ+Vx，yQ+Vy)，否贝U，目标中心点(xQ，y0)的位置变为
(x0 +全K，y。+\vy)；其中，B0表示上一次迭代后新位置目标的直方图与原目标模型直方图匹配的巴氏系数，Bl表示当前迭代后新位置目标的直方图与原目标模型直方图匹配的巴 氏系数，新位置目标的直方图与原目标模型直方图匹配的巴氏系数B的计算公式如下 ZVTnew.hist(^)*Tmodel.hist(^)<formula>formula see original document page 9</formula>其中，Tnew. hist为新位置跟踪目标的直方图，Tm。del. hist表示原目标模型的直方 图。优选地，所述Msre单体目标跟踪器还包括re修正模块，所述re修正模块用于以 MS迭代模块的输出结果为线索，检测器的输出结果为数据，修正前景可靠的目标的位置和 尺寸。优选地，所述re修正模块首先以所述MS迭代模块中输出的目标的新位置为中心 点，原始目标区域为边，向四周扩展一定比例所形成的矩形框为搜索框，搜索框中心与原矩 形框中心重合，所述搜索框的尺寸的计算公式如下
<formula>formula see original document page 9</formula>其中，w、h分别表示目标的矩形框的宽度和高度，W、H分别表示搜索框的宽度和高 度，-0. 25 彡 α 彡 0. 5 ；然后计算搜索框内目标区域与前景检测区域的交叠面积与前景检测区域面积的 比值R1，以及搜索框内目标区域与前景检测区域的交叠面积与目标区域面积的比值R2，如 果Rl大于第七阈值Τ7且R2大于第八阈值Τ8，则认为该目标对应的前景可靠，并对该目标 的新位置进行re修正，否则跳出该模块，不对该目标的新位置进行re修正，其中，第七阈值 T7 e
，第八阈值 T8 e
；对搜索框内的当前帧前景检测进行统计，计算其零阶矩、一阶矩和二阶矩，计算公 式如下j W01 = Σ Σ J. FG(x, y)其中，FG(χ, y)表示前景检测的二值图像中点(x，y)的灰度值，Hiij表示对应的阶 次的矩，通过上述矩，计算re修正后的目标新位置，包括目标的中心点(x' 0,y' ^、目标 区域的宽度一和高度h'，其计算公式如下<formula>formula see original document page 10</formula>
本发明所提供的基于多目标均值漂移的跟踪装置适合与常用的块匹配跟踪器配 合使用，解决了由于光照等因素使块匹配跟踪器出现的跟丢跟错等现象的问题。
图1示出了按照本发明的基于多目标均值漂移的跟踪装置的总体框架图；图2示出了按照本发明的基于多目标均值漂移的跟踪装置的跟踪器流水线管理 器的框架图；图3示出了按照本发明的基于多目标均值漂移的跟踪装置的MSre单体目标跟踪 器的框架图；图4示出了本发明的一种优选的MSFG单体目标跟踪器的框架图。
具体实施例方式为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实 施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。本发明所提供的基于多目标均值漂移的跟踪装置是基于检测器、块匹配跟踪器 (块匹配跟踪器就是指一般的含有目标匹配的跟踪器)基础上的，其具体应用时需要先进 行检测器的处理，再进行块匹配跟踪器的处理，然后再进行本发明的跟踪装置的处理。本 发明是对块匹配跟踪器的进一步优化处理，是为了解决块匹配跟踪器中出现的目标跟错跟 丢现象。由于检测器和块匹配跟踪器不是发明点，因此本发明不再对其进行具体阐述。检 测器、块匹配跟踪器可以通过现有的技术实现，例如可以参见申请号为200910077433. 6和 200910077435. 5的专利申请。如图1所示，图1示出了按照本发明的基于多目标均值漂移的跟踪装置的总体框 架图。由图1可以看出，本发明的基于多目标均值漂移(Multi-objects Mean-Shift，简 称为匪S)的跟踪装置包括跟踪器流水线管理器1和至少一个MSRUMSR；是“Mean-Shift withForeGroimd”的简称)单体目标跟踪器2。其中，跟踪器流水线管理器1用于对MSTO 单体目标跟踪器2的申请、销毁，以及数据的导入、导出；每一个所述Msre单体目标跟踪器 用于跟踪一个目标，跟踪器流水线管理器1与每个MSR；单体目标跟踪器2相互之间均为通 信连接，即，跟踪器流水线管理器1与每个Msre单体目标跟踪器2之间通过常规通信连接 传送数据和指令。如图2所示，图2示出了按照本发明的基于多目标均值漂移的跟踪装置的跟踪器 流水线管理器的框架图。由图2可以看出，按照本发明的跟踪器流水线管理器1包括以下
10模块目标需求分析模块11，用于判断目标是否满足该跟踪装置的处理范围，若满足则执行数据导入模块12，否则该跟踪装置放弃对目标的处理；数据导入模块12，用于为MSR；单体目标跟踪器2导入目标的基本数据；跟踪器执行模块13，用于开启执行MSR；单体目标跟踪器2 ；跟踪器可靠性分析模块14，用于对MSR；单体目标跟踪器2运行的跟踪结果进行可靠性评估，如果跟踪结果可靠，则执行数据导出模块15，如果跟踪结果不可靠，则该跟踪装 置对相应的目标作放弃处理；和数据导出模块15，用于将可靠的跟踪结果对应的信息导出到对外接口，以满足外 部模块读取使用。其中，目标需求分析模块11中判断目标是否满足该跟踪装置的处理范围的条件 如下(1)目标为稳定的有趋势目标；(2)块匹配跟踪器中前景检测的块匹配系数(块匹配 跟踪器输出的结果中含有该块匹配系数，例如申请号为200910077435. 5的专利申请中的 检测区域与目标的匹配系数)小于第一阈值Tl，第一阈值Tie
； (3)目标的生 命期(即块匹配跟踪器中连续跟踪到的目标的帧数)大于第二阈值T2，第二阈值T2 e [15， 30]且为整数；(4)存在MSR；单体目标跟踪器2处于空闲状态。其中，条件(1)中稳定的有 趋势目标的定义为块匹配跟踪器中目标生成后，连续跟踪多帧(该多帧可以是6-12帧，例 如可以选为8帧)且沿某一方向移动一定距离(该一定距离可以是8-12个像素，例如可以 选为10个像素)的目标。经过目标需求分析模块11判断，如果目标满足该跟踪装置的处理范围，则执行数 据导入模块12。该数据导入模块12为MSre单体目标跟踪器2导入目标的基本数据，该基 本数据包括目标的中心位置、目标的框体、上一帧图像、当前帧图像、上一帧的前景团块、 当前帧的前景团块、目标ID与目标上一帧对应的前景检测框。在跟踪器执行模块13开启执行MSR；单体目标跟踪器2后，跟踪器可靠性分析模 块14对MSre单体目标跟踪器2的跟踪目标的巴氏系数B进行判断，若该巴氏系数B大于 第三阈值T3，则认为Msre单体目标跟踪器2的跟踪目标是可靠的，继续执行数据导出模块 7 ；否则认为Msre单体目标跟踪器2的跟踪目标是不可靠的，该跟踪装置对相应的目标(即 不可靠的跟踪目标)作放弃处理。其中，第三阈值T3e
0巴氏系数B的计算公式如下
<formula>formula see original document page 11</formula>其中，Tnew. hist为新位置跟踪目标的直方图，Tm。del. hist表示原目标模型的直方 图。直方图的计算属于现有技术，通常是统计直方图。对某一物理量(区域或者目标)在 相同条件下做η次重复测量，得到一系列测量值，找出它的最大值和最小值，然后确定一个 区间，使其包含全部测量数据，将该区间分成若干小区间，统计测量结果出现在各小区间的 频数Μ，以测量数据为横坐标，以频数M为纵坐标，划出各小区间及其对应的频数高度，则可 得到一个矩形图，即统计直方图。
对于跟踪器可靠性分析模块14中判断为可靠的跟踪目标，数据导出模块15导出 该可靠的跟踪目标对应的信息，该信息包括目标的中心位置、目标的框体、目标的面积和 目标的直方图。如图3所示，图3示出了按照本发明的基于多目标均值漂移的跟踪装置的MSR；单 体目标跟踪器的框架图。由图3可以看出，按照本发明的MSR；单体目标跟踪器2包括以下 模块模型建立/更新模块21，用于对首次输入的目标建立模型，对已存在模型的目标进行 模型更新判断以选择是否对该目标进行更新；和MS迭代模块22，用于对目标的当前帧位置 进行迭代逼近。其中，模型建立/更新模块21对于首次输入的目标建立模型，该建立模型是通过 对上一帧目标区域内的前景点作直方图统计来进行的。在作直方图统计时，需要对前景点 的灰度值作处理，可以选择预先计算好的核函数进行加权。假设HM是目标模型(Histogram ofModel)，用于作为MS迭代模块22的比较标准，其计算公式如下 <formula>formula see original document page 12</formula>
<formula>formula see original document page 12</formula>
<formula>formula see original document page 12</formula>
i = GrayLevel (g (x, y))其中，HM⑴表示目标模型的直方图第i条的值。KernelHist(R2)表示点(x，y)在 核函数中对应的系数值，这里用R2来计算KernelHistU，y) ；R2表示点(x，y)到目标的中 心点(XQ，yQ)的归一化的距离平方(目标的中心点的坐标是检测器输出的)；w、h分别表示 目标的宽度和高度(目标的宽度和高度也是由检测器输出的)；g(x，y)表示点(x，y)的灰 度值，GrayLevel (g(x, y))表示对点(x，y)的灰度值g(x，y)进行的量化，以得到该点(X， y)属于哪一个灰度等级，可以选择32个等级，S卩i =0，1，K，31。其中，所述点(x，y)属于 目标点。模型建立/更新模块21对于已存在模型的目标首先进行是否需要进行模型更新 的判断，其判断依据是当前帧的目标模型直方图的总量VMnew(Volume of Model)与上一帧 的目标模型直方图的总量VM的比值r，该比值r计算公式如下<formula>formula see original document page 12</formula>
<formula>formula see original document page 12</formula><formula>formula see original document page 12</formula>其中，HMnew为当前帧的目标模型直方图，VMnev为当前帧的目标模型直方图的总量， HM为上一帧的目标模型直方图，VM为上一帧的目标模型直方图的总量，目标模型直方图的 计算方法如上所述。当该比值re [第四阈值，第五阈值]时，认为该目标允许执行模型更 新，将上一帧的目标模型直方图更新为当前帧的目标模型直方图，即HM = HMnew，否则保留 原来的目标模型直方图HM。其中，第四阈值e
，第五阈值￡ [1.2，1.4]。
MS迭代模块22采用Mean-Shift算法对目标的当前帧位置进行迭代逼近。该 Mean-Shift算法可以是经典的Mean-Shift算法(请参见文献"Dorin Comaniciu, Visvanathan Ramesh, Peter Meer Real-TimeTracking of Non-Rigid Objects Using Mean-Shift. CVPR 2000”。)该Mean-Shift算法通过在目标区域(即目标的外接矩形区域) 中逐点计算权重，并对目标区域的全部点的权重求平均值，从而得到目标的推动向量。其 中，目标区域内点(χ，y)的权重的计算公式如下<formula>formula see original document page 13</formula><formula>formula see original document page 13</formula>其中，cox,y为点(x，y)的权重，KernelShift (R2)表示点(x，y)的均值偏移核函数 的计算函数，该计算函数用R2来计算，R2表示点(x，y)到目标的中心点(X(l，y。)的归一化的 距离平方。HC表示候选直方图，用于表征在MS迭代模块22中每一次迭代后目标所在候选 区域的直方图分布情况，HC(i)表示候选直方图第i条的值。其中，HC的直方图计算方法与 HM的直方图计算方法相同。i、HM(i)、GrayLevel (g(x，y))和R2的含义或计算方法已在模 型建立/更新模块21中描述，在此不再重复描述。假设目标区域内第j个点(Xj，Yj)的权值为Qj，则目标的推动向量(Vx，Vy)计算 如下
<formula>formula see original document page 13</formula>如果目标的位移Vx < 1个像素且Vy < 1个像素，或者目标的Mean-Shift迭代次 数大于第六阈值T6，则停止执行Mean-Shift迭代。其中，第六阈值T6 e [5，10]且为整数。由于并非每一次Mean-Shift向量(即上述的目标的推动向量)的计算都是正确 的，但按照Mean-Shift爬坡的原理，每一次Mean-Shift迭代后新位置目标的直方图与原目 标模型直方图匹配的巴氏系数应该有所提高，只有在最后一次迭代中，有可能出现“过梭” 现象，即爬坡过程超过了山顶又沿下山方向前进。因此MS迭代模块22还包括对目标的位 置进行调整如果Bl >B0，则目标中心点(XQ，yQ)的位置变为(xQ+Vx，yQ+Vy)；否则，目标中
心点(x。，y。)的位置变为(Χ+1/2Vx,y0+1/2Vy))。其中，BO表示上一次迭代后新位置目标的直
方图与原目标模型直方图匹配的巴氏系数，Bl表示当前迭代后新位置目标的直方图与原目 标模型直方图匹配的巴氏系数，新位置目标的直方图与原目标模型直方图匹配的巴氏系数 B的计算公式如下
<formula>formula see original document page 14</formula>
其中，Tnew. hist为新位置目标的直方图，Tffl0del. hist表示原目标模型的直方图。作为本发明一种优选的实施方式，MSre单体目标跟踪器2还包括re修正模块23， FG修正模块23用于以MS迭代模块22的输出结果为线索，检测器的输出结果为数据，修正 前景可靠的目标的位置和尺寸。FG修正模块23用于修正前景可靠的目标的位置和尺寸，即对于前景可靠的目标 才修正MS迭代模块22中输出的该目标的新位置。TO修正模块23首先以MS迭代模块22 中输出的目标的新位置为中心点，原始目标区域为边，向四周扩展一定比例所形成的矩形 框为搜索框，搜索框中心与原矩形框中心重合，搜索框的尺寸的计算公式如下{ ,,)其中，w、h分别表示目标的矩形框的宽度和高度，W、H分别表示搜索框的宽度和高 度。a的取值范围为[-0. 25，0. 5]，即-0. 25彡a彡0. 5。接着计算搜索框内目标区域与前景检测区域的交叠面积与前景检测区域面积的 比值R1，计算搜索框内目标区域与前景检测区域的交叠面积与目标区域面积的比值R2。其 中，通过计算搜索框内目标区域与前景检测区域的交叠面积与前景检测区域面积的比值来
计算R1，即= OVerlaP-area，overlap area为搜索框内目标区域与前景检测区域的交 fg _ area_
叠面积，fg.area为前景检测区域面积；通过计算搜索框内目标区域与前景检测区域的交
q vevlciu citcci
叠面积与目标区域面积的比值来计算R2，即尺2= + /-——，overlap area为搜索
tgt 一 area_
框内目标区域与前景检测区域的交叠面积，tgt_area为目标区域面积。如果R1大于第七 阈值T7且R2大于第八阈值T8，则认为该目标对应的前景可靠，并对该目标的新位置进行 TO修正，否则跳出该模块，不对该目标的新位置进行TO修正。其中，第七阈值T7E
，第八阈值T8 e
0然后对搜索框内的当前帧前景检测进行统计，计算其 零阶矩、一阶矩和二阶矩，计算公式如下FG{x, y)其中，FG(x, y)表示前景检测的二值图像中点(x，y)的灰度值，m^.表示对应的阶 次的矩。通过上述矩，计算TO修正后的目标新位置，包括目标的中心点(x' 0, y' ^、目 标区域的宽度和高度h'，其计算如下
<formula>formula see original document page 15</formula>在本发明的一个实施例中以室外为场景，例如公路上、小路上。其中，第一阈值Tl =0.8，第二阈值12 = 20，第三阈值T3 = 0.7，第四阈值T4 = 0.7，第五阈值T5 = 1.3，第 六阈值T6 = 8，第七阈值T7 = 0. 6，第八阈值T8 = 0. 5，α为0. 2。与现有技术相比，按照本发明的基于多目标均值漂移的跟踪装置解决了由于光照 等因素使块匹配跟踪器出现跟丢跟错等现象的问题。需要声明的是，上述发明内容及具体实施方式
意在证明本发明所提供技术方案的 实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理 内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。
权利要求
一种基于多目标均值漂移的跟踪装置，其特征在于，所述跟踪装置包括至少一个MSFG单体目标跟踪器，用于跟踪一个目标，和跟踪器流水线管理器，用于所述MSFG单体目标跟踪器的申请、销毁，以及数据的导入、导出；其中所述跟踪器流水线管理器包括目标需求分析模块，用于判断目标是否满足所述跟踪装置的处理范围，若满足则执行数据导入模块，否则所述跟踪装置放弃对目标的处理，数据导入模块，用于为所述MSFG单体目标跟踪器导入目标的基本数据，跟踪器执行模块，用于开启执行所述MSFG单体目标跟踪器，跟踪器可靠性分析模块，用于对所述MSFG单体目标跟踪器运行的跟踪结果进行可靠性评估；如果跟踪目标是可靠的，则执行数据导出模块，如果跟踪结果是不可靠的，则所述跟踪装置对相应的目标作放弃处理，和数据导出模块，用于将可靠的跟踪结果对应的信息导出到对外接口，以满足外部模块读取使用；所述MSFG单体目标跟踪器包括模型建立/更新模块，用于对首次输入的目标建立模型，对已存在模型的目标进行模型更新判断以选择是否对该目标进行更新，和MS迭代模块，用于对目标的当前帧位置进行迭代逼近。
2.根据权利要求1所述的跟踪装置，其特征在于，所述目标需求分析模块中判断目标 是否满足所述跟踪装置的处理范围的条件为(1)目标为稳定的有趋势目标；(2)块匹配跟踪器中前景检测的块匹配系数小于第一阈值Tl；(3)目标的生命期大于第二阈值T2;(4)存在所述Msre单体目标跟踪器处于空闲状态；其中，第一阈值Tie
，第二阈值12￡ [15,30]且为整数。
3.根据权利要求1所述的跟踪装置，其特征在于，所述目标的基本数据包括目标的中 心位置、目标的框体、上一帧图像、当前帧图像、上一帧的前景团块、当前帧的前景团块、目 标ID与目标上一帧对应的前景检测框。
4.根据权利要求1所述的跟踪装置，其特征在于，所述跟踪器可靠性分析模块对所述 MSFG单体目标跟踪器的跟踪目标的巴氏系数B进行判断；如果所述巴氏系数B大于第三阈 值T3，则认为所述Msre单体目标跟踪器的跟踪目标是可靠的，继续执行数据导出模块；否 则认为所述Msre单体目标跟踪器的跟踪目标是不可靠的，所述跟踪装置对不可靠的跟踪 目标做放弃处理，其中，第三阈值T3 e
。
5.根据权利要求1所述的跟踪装置，其特征在于，可靠的跟踪目标对应的信息包括目 标的中心位置、目标的框体、目标的面积和目标的直方图。
6.根据权利要求1所述的跟踪装置，其特征在于，所述模型建立/更新模块通过对上一 帧目标区域内的前景点作直方图统计来对首次输入的目标建立模型，其中，首先对前景点 的灰度值作处理，选择预先计算好的核函数进行加权；假设HM是目标模型直方图，用于作 为MS迭代模块的比较标准，其计算公式如下<formula>formula see original document page 3</formula>其中，HM⑴表示目标模型的直方图第i条的值，KernelHist (R2)表示点(x，y)在核函 数中对应的系数值，R2表示点(x，y)到目标的中心点(Χ(ι，％)的归一化的距离平方，w、h分 别表示目标的宽度和高度，g(x，y)表示点(X，y)的灰度值，GrayLeveKg (x, y))表示对点 (x，y)的灰度值g(x，y)进行的量化，以得到该点(x，y)的灰度等级，其中所述点(x，y)属 于目标点。
7.根据权利要求1所述的跟踪装置，其特征在于，所述模型建立/更新模块通过当前帧 的目标模型直方图的总量VMnev与上一帧的目标模型直方图的总量VM的比值r来判断已存 在模型的目标是否需要进行模型更新，该比值r的计算公式如下<formula>formula see original document page 3</formula>其中，HMnew为当前帧的目标模型直方图，VMnev为当前帧的目标模型直方图的总量，HM为 上一帧的目标模型直方图，VM为上一帧的目标模型直方图的总量；当该比值r e [第四阈 值T4，第五阈值T5]时，认为该目标允许执行模型更新，将上一帧的目标模型直方图更新为 当前帧的目标模型直方图，即HM = HMnew，否则保留原来的目标模型直方图HM，其中，第四阈 值 T4 e
,第五阈值 T5 e [1. 2，1. 4]。
8.根据权利要求1所述的跟踪装置，其特征在于，所述MS迭代模块采用Mean-Shift算 法对目标的当前帧位置进行迭代逼近，该Mean-Shift算法通过在目标区域中逐点计算权 重，并对目标区域的全部点的权重求平均值，从而得到目标的推动向量，其中，目标区域内 点(X，y)的权重的计算公式如下<formula>formula see original document page 3</formula>其中，(0x,y为点(x，y)的权重，KernelShift (R2)表示点(x，y)的均值偏移核函数的计 算函数，所述计算函数用R2来计算，R2表示点(χ，y)到目标的中心点(xo，y。)的归一化的 距离平方，HC表示候选直方图，用于表征在所述MS迭代模块中每一次迭代后目标所在候选 区域的直方图分布情况，HC(i)表示候选直方图第i条的值。假设目标区域内第j个点(Xj，y」)的权值为ω」，则目标的推动向量(Vx，Vy)计算如下<formula>formula see original document page 4</formula>如果目标的位移Vx小于1个像素且Vy小于1个像素，或目标的Mean-Shift迭代次数 大于第六阈值T6，则停止执行Mean-Shift迭代，其中，第六阈值T6 e [5，10]且为整数。
9.根据权利要求8所述的跟踪装置，其特征在于，所述MS迭代模块还包括对目标的位 置进行调整；如果Bl > B0，则目标中心点(X(l，y0)的位置变为(X(l+Vx，y(l+Vy)，否则，目标中心点(xQ，yQ)的位置变为(Χ其中，BO表示上一次迭代后新位置目标的直方图与原目标模型直方图匹配的巴氏系数，Bl表示当前迭代后新位置目标的直方图与原目 标模型直方图匹配的巴氏系数，新位置目标的直方图与原目标模型直方图匹配的巴氏系数 B的计算公式如下<formula>formula see original document page 4</formula>其中，Tnew. hist为新位置跟踪目标的直方图，Tfflodel. hist表示原目标模型的直方图。
10.根据权利要求ι所述的跟踪装置，其特征在于，所述MSre单体目标跟踪器还包括 re修正模块，所述re修正模块用于以Ms迭代模块的输出结果为线索，检测器的输出结果为 数据，修正前景可靠的目标的位置和尺寸。
11.根据权利要求 ο所述的跟踪装置，其特征在于，所述re修正模块首先以所述Ms 迭代模块中输出的目标的新位置为中心点，原始目标区域为边，向四周扩展一定比例所形 成的矩形框为搜索框，搜索框中心与原矩形框中心重合，所述搜索框的尺寸的计算公式如 下<formula>formula see original document page 4</formula>其中，W, h分别表示目标的矩形框的宽度和高度，W、H分别表示搜索框的宽度和高 度，-0. 25 ≤ α ≤ 0. 5 ；然后计算搜索框内目标区域与前景检测区域的交叠面积与前景检测区域面积的比值 R1，以及搜索框内目标区域与前景检测区域的交叠面积与目标区域面积的比值R2，如果Rl 大于第七阈值Τ7且R2大于第八阈值Τ8，则认为该目标对应的前景可靠，并对该目标的 新位置进行re修正，否则跳出该模块，不对该目标的新位置进行re修正，其中，第七阈值 T7 E
，第八阈值 T8 E
；对搜索框内的当前帧前景检测进行统计，计算其零阶矩、一阶矩和二阶矩，计算公式如下<formula>formula see original document page 5</formula>其中，FG(χ, y)表示前景检测的二值图像中点(X，y)的灰度值，Hiij表示对应的阶次的 矩，通过上述矩，计算re修正后的目标新位置，包括目标的中心点(x' 0,y' o)、目标区域的宽度一和高度h'，其计算公式如下 <formula>formula see original document page 5</formula>
全文摘要
本发明提供了一种基于多目标均值漂移的跟踪装置，该跟踪装置包括跟踪器流水线管理器和至少一个MSFG单体目标跟踪器。其中，跟踪器流水线管理器用于MSFG单体目标跟踪器的申请、销毁，以及数据的导入、导出，跟踪器流水线管理器包括目标需求分析模块、数据导入模块、跟踪器执行模块、跟踪器可靠性分析模块和数据导出模块。每一个MSFG单体目标跟踪器用于跟踪一个目标，MSFG单体目标跟踪器包括模型建立/更新模块和MS迭代模块。本发明解决了由于光照等因素使块匹配跟踪器出现跟丢跟错等现象的问题。
文档编号G06K9/62GK101807303SQ20101011943
公开日2010年8月18日 申请日期2010年3月5日 优先权日2010年3月5日
发明者黄建 申请人:北京智安邦科技有限公司