一种跟踪球机的目标跟踪方法及跟踪球的制造方法
【专利摘要】本发明公开了一种跟踪球机的目标跟踪方法及装置，能够较好地提高自动跟踪球机跟踪目标的准确性。其中该方法包括：针对获取的待检测图像，确定跟踪球机的当前状态信息；根据所述当前状态信息，确定跟踪球机的转动速度；以及基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的；根据所述目标位置信息，跟踪球机对所述跟踪目标进行跟踪。
【专利说明】一种跟踪球机的目标跟踪方法及跟踪球机
【技术领域】
[0001]本发明涉及视频监控【技术领域】，尤其是涉及一种跟踪球机的目标跟踪方法及跟踪球机。
【背景技术】
[0002]智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析，对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。
[0003]智能跟踪球机是一种常见的监控设备，该设备可以自动选择待跟踪的目标，并实现长时间的变倍放大跟踪，广泛应用于车站、地铁、小区以及学校等众多监控场所。在视频分析领域中，主动跟踪用于在动态场景中跟踪指定目标。其中，目标跟踪方法一般包括下述几种:
[0004]第一种方法:基于模型匹配的目标跟踪方法，如粒子滤波法、均值偏移(mean-shift)法等。具体为:首先提取目标的特征作为模板，然后根据该特征模板，在下一帧中确定出最接近该特征的位置信息，再次将该确定出的位置信息作为目标的所在的位置信息，并更新特征模板。
[0005]第二种方法:卢卡斯奏托马西特征跟踪(kit, Kanade-Lucas-Tomasi FeatureTracker)方法。其具体处理流程为:首先提取出目标上的特征像素点，然后跟踪每一个特征像素点(也可以称之为特征像素点)。较佳地，可以采用卢卡斯(lk，Lucas-Kanade)光流法计算特征像素点的速度，但是由于特征像素点无法长期跟踪，当特征像素点丢失的数量达到一定数值之后，会重新检测特征像素点并进行目标跟踪。
[0006]第三种方法:跟踪学习检测(TLD, Track-Learn-Detect)跟踪方法,该方法是一个以检测来改进目标跟踪的策略。具体为:首先需要设置一个短时跟踪器，以设置的短时跟踪器持续跟踪目标，并且生成一个在线检测器，该在线检测器以短时跟踪器的跟踪结果作为训练器的输出生成，并根据输出生成的结果更新短时跟踪器的跟踪目标。当短时跟踪器跟丢目标后，可以通过在线检测器重新找回目标，从而实现延长跟踪时间和抗遮挡的目的。
[0007]但是在现有视频跟踪技术中，可能会存在目标被遮挡，包括局部遮挡、完全遮挡等。以及目标的表观发生突变，例如强光照环境变化等等，此外，环境的复杂度也会对跟踪效果造成较大的影响。因此，上述方法主要缺陷在于:
[0008]第一种方法的缺陷:基于模型匹配的方法需要建立的模型和背景之间的差异度要足够大。一般的模型都使用了目标的颜色或者纹理或者轮廓信息。例如对于颜色信息，要求目标存在的每一帧，目标和背景之间都存在较大的颜色差异，而具体实施中，只有在有限的实验环境中才能达到。同样对于纹理信息，一般也只用了目标纹理的有限采样，因此也只有有限的实验环境中，才存在符合要求的环境。而当目标进出阴影时，目标的颜色即会发生改变，此时往往会导致目标跟踪失败。此外，短时的光照改变也会导致目标跟踪失败。因此该种方法进行目标跟踪时，准确性较差。
[0009]第二种方法的缺陷:klt方法是一种基于运动分析的方法，该方法可以直接估计出目标在两帧之间的运动速度，从而为跟踪提供了有效地速度、位置预估。但是kit采用了特征像素点来进行跟踪，对于较小的人体，和对比度较低的场景，在这类环境中，人体上的特征像素点数量较少，且跟踪的可靠性不高，由于人体不是刚体，对特征像素点进行光流计算结果不太可靠，一般偏差较大。此外，当存在多目标时，由于只利用了运动信息，不同运动目标之间难以区分，容易跟踪错误目标，此外，场景中存在的各种随机摆动的树叶等也会导致跟踪失败。因此该种方法进行目标跟踪时，准确性较差，可靠性较低。
[0010]第三种方法的缺陷:TLD方法，即跟踪-学习-检测的目标跟踪方法，如果设置的短时跟踪器效果不理想，不能在其跟踪期间提供有效地样本供学习，则无法生成可靠的检测器。因此，该方法进行目标跟踪时，准确性较差，并未本质上解决如何可靠跟踪目标的问题。
[0011 ] 综上所述，现有技术中提出的目标跟踪方法，使得自动跟踪球机进行目标跟踪时的准确性较差。
【发明内容】
[0012]本发明实施例提供了一种跟踪球机的目标跟踪方法及跟踪球机，能够较好地提高自动跟踪球机跟踪目标的准确性。
[0013]一种跟踪球机的目标跟踪方法，包括:针对获取的待检测图像，确定跟踪球机的当前状态信息；根据所述当前状态信息，确定跟踪球机的转动速度；以及基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的；根据所述目标位置信息，跟踪球机对所述跟踪目标进行跟踪。
[0014]一种跟踪球机，包括:确定模块，用于针对获取的待检测图像，确定跟踪球机的当前状态信息；根据所述当前状态信息，确定跟踪球机的转动速度；以及基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的；跟踪模块，用于根据所述目标位置信息，对所述跟踪目标进行跟踪。
[0015]采用上述技术方案，通过针对获取的待检测图像，确定跟踪球机的当前状态信息，进而确定出跟踪球机的转动速度，基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，并对目标进行跟踪，相对于现有技术，引入跟踪球机的转动速度，从而能够确定出球机的状态，进而确定目标位置信息进行跟踪，避免环境干扰，提出了以跟踪球机转动速度结合确定目标位置信息的方法，并不是现有技术中提出的纯粹以相似度来进行判断，能够较好地提高自动跟踪球机跟踪目标的准确性，也提高了系统可靠性。
【专利附图】
【附图说明】
[0016]图1为本发明实施例中，提出的跟踪球机的目标跟踪方法流程图；
[0017]图2为本发明实施例中，提出的确定跟踪球机转动速度的方法流程图；
[0018]图3a为本发明实施例中，提出的将待检测图像划分为具有相同大小的图像块的第一种划分形式；
[0019]图3b为本发明实施例中，提出的将待检测图像划分为具有相同大小的图像块的第二种划分形式；
[0020]图4为本发明实施例中，提出的跟踪球机的结构组成示意图。
【具体实施方式】
[0021]针对现有技术中存在的目标跟踪过程中准确性较低的问题，本发明实施例这里提出的技术方案中，提出一种在动态场景下持续跟踪视频中的特定运动目标而不易丢失的方法。通过对跟踪球机转动速度的确定，选择不同的跟踪算法，然后在运动区域范围内，搜索最匹配目标，能够较好地提高目标跟踪过程中跟踪的准确率，也提高了系统可靠性。
[0022]下面将结合各个附图对本发明实施例技术方案的主要实现原理、【具体实施方式】及其对应能够达到的有益效果进行详细地阐述。
[0023]本发明实施例这里提出一种跟踪球机的目标跟踪方法，针对获取的待检测图像，确定跟踪球机的转动速度，以及根据确定出的转动速度，按照预设算法，确定目标跟踪区域内的目标位置信息，其中，目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的，最后根据目标位置信息，对目标位置信息中包含的目标进行跟踪。如图1所示，其具体处理流程如下述:
[0024]步骤11，针对获取的待检测图像，确定跟踪球机的当前状态信息，并根据跟踪球机的当前状态信息，确定跟踪球机的转动速度。
[0025]由于跟踪球机正常工作时，即跟踪球机未工作时，可以处于两种状态，分别是停止状态以及转动状态，因此，如图2所示，可以按照下述步骤来确定跟踪球机的转动速度:
[0026]步骤21，确定跟踪球机的当前状态信息。
[0027]步骤一:将待检测图像划分为至少两个图像块。
[0028]其中，将待检测图像划分为至少两个图像块，图像块的大小可以相同，也可以不相同，较佳地，本发明实施例这里提出的技术方案中，将待检测图像划分为具有相同大小的图像块，可以较好地节省处理资源。
[0029]其中，将待检测图像划分为具有相同大小的图像块，可以但不限于有两种划分形式，如图3a和图3b所示，图3a是划分的具有相同大小的图像块之间没有间隔，图3b是划分的具有相同大小的图像块之间有一定间隔。较佳地，本发明实施例这里提出的技术方案中，采用第二种划分方式，即划分的具有相同大小的图像块之间有一定间隔。
[0030]首先确定获取的待检测图像的大小，根据待检测图像的大小，确定待划分的图像块之间的间隔，按照确定出的间隔，将该待检测图像划分为具有相同大小的图像块。其中，图像块之间的间隔包括水平方向上的图像块之间的间隔和竖直方向上的图像块之间的间隔。可以按照下述公式1，来确定待划分的图像块之间水平方向上的间隔:.W
[0031]A 二 ^ 公式 I
[0032]其中，^'是待划分的图像块之间水平方向上的间隔，W是待检测图像水平方向的长度，Nffl是控制待划分的图像块间隔的参数。
[0033]较佳地，在水平方向上，Nm具体为水平方向上，待划分的图像块的数量。Nm的取值范围可以是在20~40之间。例如，假设在水平方向上，待划分出30个图像块，则此时Nm=30。
[0034]按照下述公式2来确定待划分的图像块之间竖直方向上的间隔:
【权利要求】
1.一种跟踪球机的目标跟踪方法，其特征在于，包括: 针对获取的待检测图像，确定跟踪球机的当前状态信息； 根据所述当前状态信息，确定跟踪球机的转动速度；以及 基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的； 根据所述目标位置信息，跟踪球机对所述跟踪目标进行跟踪。
2.如权利要求1所述的方法，其特征在于，确定跟踪球机的当前状态信息，包括: 将所述待检测图像划分为至少两个图像块； 确定划分的每个图像块对应的运动矢量； 根据所述运动矢量，确定跟踪球机的当前状态信息。
3.如权利要求2所述的方法，其特征在于，确定划分的每个图像块对应的运动矢量，包括: 判断划分的图像块是否是纹理块； 在确定出划分的图像块是纹理块时，按照下述公式判断划分的图像块是否是纹理块: EX1-(KXf > Td 其中，X是划分的图像块的像素值，EX2是X2的期望值，(EX)2的期望值的平方，Td是预设第一阈值。
4.如权利要求2所述的方法，其特征在于，确定每个纹理块对应的运动矢量，包括: 基于预设的运动矢量计算方法，确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量； 根据所述运动矢量，确定跟踪球机的当前状态信息，包括: 确定划分的每个纹理块的速度矢量方向； 根据所述速度矢量方向，统计速度的方向直方图； 确定所述方向直方图中包含的最高柱的位置信息； 根据所述最高柱的位置信息，确定跟踪球机的当前状态信息。
5.如权利要求4所述的方法，其特征在于，按照下述公式确定划分的每个纹理块的速度矢量方向:.V;.& = arctan —
vi 其中，Θ 1是第i个纹理块的速度矢量方向1是第i个纹理块的竖直方向上的速度矢量，< 第i个纹理块的水平方向上的速度矢量。
6.如权利要求4所述的方法，其特征在于，按照下述公式统计速度的方向直方图:
?=1 其中，Histu是速度的方向直方图，η是纹理块的数量，δ ui是克罗内克Kronecker函数，如果纹理块i的方向属于第u个bin，函数值为1，否则为0，其中bin是直方图上的一个柱。
7.如权利要求4所述的方法，其特征在于，根据所述最高柱的位置信息，确定跟踪球机的当前状态信息，包括: 若所述最高柱的高度值为O，则确定跟踪球机的当前状态信息是停止状态，否则，采用下述公式确定跟踪球机的当前状态信息是否是转动状态:
Hisi 十 Hist 十 Hist > I'M* Sum( Hi si) 其中，MWftf是最高柱位置处的柱数量信息，M气^， Hist—是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息，Sum(Hist)是速度的方向直方图的累加和值，TH是预设第二阈值。
8.如权利要求7所述的方法，其特征在于，根据所述状态信息，确定跟踪球机的转动速度，包括: 在确定出跟踪球机的当前状态信息是停止状态时，则所述跟踪球机的转动速度为O ;以及 在确定出跟踪球机的当前状态信息是转动状态时，则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。
9.如权利要求8所述的方法，其特征在于，采用下述公式确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值，所述速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中，Vcx是跟踪球机在水平方向上的水平速度，Pnrl和Plrt是速度的方向直方图中包含的最高柱相邻的柱，Vcy是跟踪球机在垂直方向上的垂直速度，V〗是第i个纹理块的垂直方向上的速度矢量ν是第i个纹理块的水平方向上的速度矢量，是第i个纹理块的速度矢量方向，若91在(Pm-UPlrt)之间，δ取值为1，否则取值为零。
10.如权利要求1所述的方法，其特征在于，基于确定出的转动速度，确定预设时间段内跟踪目标在目标跟踪区域内运动的目标位置信息，包括: 在确定出的目标跟踪区域内提取特征像素点；并 基于二值图表征所述特征像素点； 对得到的二值图进行光流计算，确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量；并 根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度，对待检测图像进行光流分割，得到当前帧的运动二值图； 统计所述运动二值图，得到目标跟踪区域内的目标位置信息。
11.如权利要求10所述的方法，其特征在于，采用下述公式，根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度，对待检测图像进行光流分割:
KL,- >th—min& SlVcx - K； I V^iaxx > th _ segs^ &&Vcy - V； / Vs^sv > th—segi'其中，
Vex是跟踪球机在水平方向上的水平速度，G是第i个纹理块的水平方向上的速度矢量，是Vey是跟踪球机在垂直方向上的垂直速度，G是第i个纹理块的垂直方向上的速度矢量，th_min是预设第三阈值,th_segv是预设第四阈值； 根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量，对分割后得到的光流二值图中包含的像素点进行位置校正，得到当前帧的运动二值图。
12.如权利要求10所述的方法，其特征在于，统计所述运动二值图，得到目标跟踪区域内的目标位置信息，包括: 确定跟踪球机在目标跟踪区域内的搜索间隔； 确定在目标跟踪区域内的当前颜色直方图和初始目标位置处的初始颜色直方图； 确定当前颜色直方图和初始颜色直方图之间的匹配度； 以所述搜索间隔，按照匹配度在运动二值图中包含的预设匹配范围内，选择最相似位置信息作为目标位置信息。
13.如权利要求1所述的方法，其特征在于，在对所述跟踪目标进行跟踪之后，还包括: 若当前跟踪的目标的水平方向上的速度矢量等于0，且竖直方向上的速度矢量等于0，确定所述跟踪的目标处于静止。
14.如权利要求13所述的方法，其特征在于，在对所述跟踪目标进行跟踪之后，还包括: 确定跟踪的目标当前位置信息和跟踪的目标前一位置信息之间的相似度； 根据所述相似度，确定计数值； 若所述计数值大于预设第五阈值，则确定跟踪的目标丢失；其中采用下述公式确定相似度:
其中，Siml是相似度，p(X)是目标位置信息的颜色直方图，P(y)是当前目标跟踪区域的颜色直方图； 采用下述公式确定计数值:
其中，siml是相似度，Cnt是计数值。
15.一种跟踪球机，其特征在于，包括: 确定模块，用于针对获取的待检测图像，确定跟踪球机的当前状态信息；根据所述当前状态信息，确定跟踪球机的转动速度；以及基于确定出的转动速度，确定预设时间段内运动目标在目标跟踪区域内的目标位置信息，其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的； 跟踪模块，用于根据所述目标位置信息，对所述跟踪目标进行跟踪。
16.如权利要求15所述的跟踪球机，其特征在于，所述确定模块，具体用于将所述待检测图像划分为至少两个图像块；确定划分的每个图像块对应的运动矢量；根据所述运动矢量，确定跟踪球机的当前状态信息。
17.如权利要求16所述的跟踪球机，其特征在于，所述确定模块，具体用于判断划分的图像块是否是纹理块；在确定出划分的图像块是纹理块时，按照下述公式判断划分的图像块是否是纹理块:
其中，X是划分的图像块的像素值，EX2是X2的期望值，(EX)2是X的期望值的平方，Td是预设第一阈值。
18.如权利要求16所述的跟踪球机，其特征在于，所述确定模块，具体用于基于预设的运动矢量计算方法，确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量；其中，根据所述运动矢量，确定跟踪球机的当前状态信息，包括:确定划分的每个纹理块的速度矢量方向；根据所述速度矢量方向，统计速度的方向直方图；确定所述方向直方图中包含的最高柱的位置信息；根据所述最高柱的位置信息，确定跟踪球机的当前状态信息。
19.如权利要求18所述的跟踪球机，其特征在于，所述确定模块，具体用于按照下述公式确定划分的每个纹理块的速度矢量方向:
其中，Θ 1是第i个纹理块的速度矢量方向，< 是第i个纹理块的竖直方向上的速度矢量，<第i个纹理块的水平方向上的速度矢量。
20.如权利要求18所述的跟踪球机，其特征在于，所述确定模块，具体用于按照下述公式统计速度的方向直方图:
其中，Histu是速度的方向直方图，η是纹理块的数量，δ ui是克罗内克Kronecker函数，如果纹理块i的方向属于第u个bin，函数值为1，否则为0，其中bin是直方图上的一个柱。
21.如权利要求18所述的跟踪球机，其特征在于，所述确定模块，具体用于若所述最高柱的高度值为0，则确定跟踪球机的当前状态信息是停止状态，否则，采用下述公式确定跟踪球机的当前状态信息是否是转动状态:
其中，是最高柱位置处的柱数量信息，5 MWi1是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息，Sum(Hist)是速度的方向直方图的累加和值，TH是预设第二阈值。
22.如权利要求21所述的跟踪球机，其特征在于，所述确定模块，具体用于在确定出跟踪球机的当前状态信息是停止状态时，则所述跟踪球机的转动速度为O ;以及在确定出跟踪球机的当前状态信息是转动状态时，则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。
23.如权利要求22所述的装置，其特征在于，所述确定模块，具体用于采用下述公式确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值，所述速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中，Vcx是跟踪球机在水平方向上的水平速度，Pnrl和Plrt是速度的方向直方图中包含的最高柱相邻的柱，Vcy是跟踪球机在垂直方向上的垂直速度，4是第i个纹理块的垂直方向上的速度矢量，<是第i个纹理块的水平方向上的速度矢量，Θ 1是第i个纹理块的速度矢量方向，若91在(Pm-UPlrt)之间，δ取值为1，否则取值为零。
24.如权利要求15所述的跟踪球机，其特征在于，所述确定模块，具体用于在确定出的目标跟踪区域内提取特征像素点；并基于二值图表征所述特征像素点；对得到的二值图进行光流计算，确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量；并根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度，对待检测图像进行光流分割，得到当前帧的运动二值图；统计所述运动二值图，得到目标跟踪区域内的目标位置信息。
25.如权利要求24所述的跟踪球机，其特征在于，所述确定模块，具体用于采用下述公式，根据目标区域在 水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度，对待检测图像进行光流分割:KLx > th _mm& &VCX — FJ / V^x > th—segv & ScVcy — V； / V^y > th segv 其中，丨z二,.= max(Ky ；)，= niax{ 1:?, V；).Vcx是跟踪球机在水平方向上的水平速度，G是第i个纹理块的水平方向上的速度矢量，是Vey是跟踪球机在垂直方向上的垂直速度，v'是第i个纹理块的垂直方向上的速度矢量，th_min是预设第三阈值，th_segv是预设第四阈值； 根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量，对分割后得到的光流二值图中包含的像素点进行位置校正，得到当前帧的运动二值图。
26.如权利要求24所述的跟踪球机，其特征在于，所述确定模块，具体用于确定跟踪球机在目标跟踪区域内的搜索间隔；确定在目标跟踪区域内的当前颜色直方图和初始目标位置处的初始颜色直方图；确定当前颜色直方图和初始颜色直方图之间的匹配度；以所述搜索间隔，按照匹配度在运动二值图中包含的预设匹配范围内，选择最相似位置信息作为目标位置信息。
27.如权利要求15所述的跟踪球机，其特征在于，判丢模块，还用于在对所述跟踪目标进行跟踪之后，若当前跟踪的目标的水平方向上的速度矢量等于O，且竖直方向上的速度矢量等于O，确定所述跟踪的目标处于静止。
28.如权利要求27所述的跟踪球机，其特征在于，所述判丢模块，具体用于确定跟踪的目标当前位置信息和跟踪的目标前一位置信息之间的相似度；根据所述相似度，确定计数值；若所述计数值大于预设第五阈值，则确定跟踪的目标丢失；其中采用下述公式确定相似度:
其中，siml是相似度，p(X)是目标位置信息的颜色直方图，P(y)是当前目标跟踪区域的颜色直方图； 采用下述公式确定计数值:
其中，siml是相似度，Cnt是计数值。
【文档编号】H04N7/18GK104168444SQ201310187161
【公开日】2014年11月26日 申请日期:2013年5月17日 优先权日:2013年5月17日
【发明者】周璐, 潘石柱, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司