一种目标跟踪模板更新的方法、系统和存储介质与流程

本发明涉及海洋信息化、计算机视觉的技术领域，尤其涉及一种目标跟踪模板更新的方法、系统和存储介质。

背景技术：

近年来，随着国家对海洋权益的日益重视，海洋信息化变得越发重要。通过构建海洋信息化系统，渔业、海警、国防、远洋航行，等等各种行业都可以得到极大的好处。基于视频的目标跟踪技术，在海洋信息化应用之中，有着极其广阔的应用前景。目标的跟踪质量和效率，对自动监控系统的影响很大。

但是，跟踪过程中，很容易出现跟踪漂移的现象。这是由于视频拍摄过程中，受到大气湍流、相机抖动、目标视角变化、目标形变等因素的影响，如果模板的更新策略有缺陷，更新不及时，就会出现跟踪结果相对于真实位置一点点发生偏移的现象。当积累到一定程度的时候，跟踪结果就会严重偏离，从而导致跟踪的失败。

当前的跟踪方法很多，但是在目标的模板更新策略上，都存在如下的问题：

1、没有对噪声样本进行过滤。某一帧跟踪出错的时候，没有一个有效的机制，对该帧的结果进行验证。该错误样本也会被更新到跟踪模板中，导致模板与真实模板出现一定的偏差。

2、模板更新时，一般采用多帧的最佳位置图像计算平均值的做法。灵活性不足。

3、不能结合历史上的多帧，对跟踪结果反向验证，不能利用反向验证的结果，重新更新目标模板。

技术实现要素：

本发明提供了一种目标跟踪模板更新的方法，包括如下步骤：

步骤1：人工选定初始跟踪位置，得到初始模版t0；

步骤2：前n帧图像中的目标跟踪；

步骤3：初始样本集s的构建，及其特征计算；

步骤4：k均值聚类，得到初始样本集的聚类中心c；

步骤5：计算聚类中心c与初始模板t0的相关系数；

步骤6：判断相关系数是否大于阈值，如果是执行步骤7；否则，直接进入步骤13；

步骤7：跟踪正常，进行模板更新；

步骤8：利用ransac算法对样本集s进行噪声过滤；

步骤9：对去除噪声之后的新的样本集，进行聚类，得到聚类中心c1；

步骤10：利用c1对n帧图像再度跟踪，构建新的样本集s1；

步骤11：利用ransac算法对样本集s1进行噪声过滤，得到聚类中心c2；

步骤12：更新当前模版；

步骤13：进入下一阶段的跟踪；

后续每一个阶段的模板更新，都是利用前一阶段模板得到样本集的基础上，通过去掉噪声进行聚类所得到。

作为本发明的进一步改进，在所述步骤1中，在初始帧图像中，人工给出初始位置之后，首先在最开始的n帧视频中进行目标的跟踪，并且向外界实时给出跟踪结果，用于用户实时观看效果；该阶段的n帧视频的跟踪过程，不进行模板更新，而是直接用初始模板t0。

作为本发明的进一步改进，在所述步骤3中，利用前n帧视频，每一帧视频中的最佳目标搜索位置，剪切出来得到当前目标图像，这些目标图像组合起来，形成样本库，记为s。

作为本发明的进一步改进，在所述步骤8中，ransac算法包括如下步骤：

s1步骤：ransac算法初始化设置；

s2步骤：从样本集中随机选择设定数量的样本，组成子集a，计算聚类中心c；

s3步骤：计算子集a所有样本到聚类中心c的距离d_total；

s4步骤：s2步骤和s3步骤循环多次，找到d_total最小的那组子集a_best；

s5步骤：利用最优子集的聚类中心c_best，从样本集s中挑选一致集；

s6步骤：利用一致集得到最终的聚类结果。

作为本发明的进一步改进，在所述步骤s5中，利用子集a_best对应的聚类中心c_best，对s中的所有样本计算距离，设定距离阈值，s中与c_best距离小于阈值的样本，组成一个新的集合s_new，该集合就是一致集。

作为本发明的进一步改进，所述阈值为0.9。

本发明还公开了一种目标跟踪模板更新系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求中所述的方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。

本发明的有益效果是：1.本策略适用于各种跟踪算法，只要涉及到模板更新，本策略都适用；2.针对跟踪漂移现象，设计了噪声样本过滤机制，引入ransac(随机采样一致性)算法，可以防止某一帧的跟踪偏差导致的模板更新出错；3.整体计算模板时，不再采用简单的多样本计算平均值的办法，而是去掉噪声，然后找到聚类中心。将聚类中心作为新的模板。该方法不受噪声干扰；4.包含了一个反向验证的过程，利用一个时间段内得到的模板图，对历史帧重新跟踪，并且用新的跟踪结果，调整模板的学习结果，实时跟踪时，人眼看到的跟踪效果，与模板学习时所用的跟踪样本，并不是完全一致的；5.提供了离线学习的机制，在线跟踪，与模板的学习，是两条并行的途径，并不冲突，随时可以通过分析历史帧，重新调整模板。

附图说明

图1是本发明的整体运行流程图；

图2是本发明的ransac算法流程图。

具体实施方式

如图1-2所示，本发明公开了一种目标跟踪模板更新的方法，包括如下步骤：

步骤1：人工选定初始跟踪位置，得到初始模版t0；

由于最开始的n帧，n的选择一般较小。因此该过程，只需要使用初始模板t0就可以进行跟踪。短时间内的跟踪，即便不进行模板更新，也可以得到较好的跟踪效果。

步骤2：前n帧图像中的目标跟踪；

利用前n帧视频，每一帧视频中的最佳目标搜索位置，剪切出来得到当前目标图像。这些目标图像组合起来，形成样本库，记为s。

一般的搜索策略，都是在上一帧目标的中心位置的周边选择一定尺寸的搜索范围(比如100*100个像素大小的搜索区域)。在搜索区域的每一个像素位置，将模板图像与当前图像进行比较，计算相似度。搜索区域内的相似度最高的位置，作为当前帧的最佳目标位置，以该最佳位置为中心，切取子图，得到样本图像。

步骤3：初始样本集s的构建，及其特征计算；

针对样本库s中的所有的样本(每一幅目标图像)，提取对应的特征。比如，如果是基于灰度像素的跟踪，特征就是灰度向量。如果是基于hog(梯度方向直方图)特征，则特征就是hog向量。

每个样本的特征维度，由提取特征的具体细节决定。如果是灰度特征，则其维度与样本图像的像素数目一致。

步骤4：k均值聚类，得到初始样本集的聚类中心c；

计算样本库s的聚类中心c。所用聚类算法为k均值算法。此时的聚类中心c，可以表述模板信息，但其精度还需要进一步提升。k均值算法较为常见，不赘述。

能够使用聚类算法，并且将聚类中心用于模板表述，是基于如下假设：

1)n帧内的视频图像，每一帧的真实目标图像，差别不大，虽然存在一定的变化，但因为时间短，差异不会很明显；

2)前n帧的所有的真实位置的目标图像，是分布在真实模板t的周围的，它们呈现出高斯分布，真实模板t在该分布的中心；

3)聚类算法，可以找到这个真实模板t。

步骤5：计算聚类中心c与初始模板t0的相关系数；

判断聚类中心c与初始模板t0的相关系数，相关系数的计算为常识内容，不再赘述。

本发明比较两个样本的相似度，采用的是相关系数，而不是欧氏距离。这主要是为了便于计算。相关系数和图像卷积的计算可以采用fft(快速傅里叶)方法提速。该方法属于常用工具性方法，不再赘述。

步骤6：判断相关系数是否大于阈值，如果是执行步骤7；否则，直接进入步骤13；

相关系数小于阈值corr_th，则说明当前n帧视频的跟踪效果不理想，不能进行模板更新，直接进入下一个阶段的n帧视频目标跟踪，阈值corr_th默认为0.9。

设定该过程的目的，是为了预防跟踪过程中出现的异常现象，导致跟踪出现差错，异常现象包括：

1)小的遮挡。比如舰船行驶时的浪花、岸边的电线杆等小面积遮挡物。它们会导致跟踪结果发生偏差；

2)大的遮挡。目标完全被遮挡，此时跟踪结果可能偏差较大；

3)相机的抖动造成的图像模糊，引起跟踪失败；

4)外接光照的变化，引起相机的光照调节，整个画面出现亮度突变。

在发生异常情况时，很可能导致部分帧上面的跟踪效果不正确，这些错误的跟踪结果，引起了聚类中心c，偏离真实的目标模板，此时利用相关度可以侦测出来，一旦发现差异较大，为了后续继续能够跟踪，该阶段不进行模板更新，依然使用上一阶段的旧的模板，也就是t0进行后续帧的跟踪。

步骤7：跟踪正常，进行模板更新；

步骤5的相关系数大于阈值corr_th，则说明该阶段跟踪正常，可以进行模板的更新和优化。

步骤8：利用ransac算法对样本集s进行噪声过滤；

调用随机采样一致性方法(ransac)，对样本库s进行噪声过滤，具体细节见后续内容；噪声样本，就是指某一帧，跟踪结果与实际位置有一定偏差的情形。

在聚类中心与初始模板t0差异不大时，这说明该阶段跟踪基本正常，但是，噪声样本是在所难免的，噪声样本对应某一帧跟踪出现部分偏差。造成偏差的原因是多方面的：

1)诸如浪花、飞鸟等小面积遮挡；

2)空气湍流造成的前后帧图像差异，这种差异很细微，人眼无法感知，但是对于跟踪算法，则可能很敏感；

3)相机自身的抖动，抖动可能是风造成的，也可能是经过的车辆造成的；

4)相机亮度的突变。

在过滤掉这些噪声样本之后，剩余的样本，称为一致集，一致集的样本纯度较高，它们分布在真实模板的周边，距离较近，相似度很高，利用一致集计算出来的模板，才是最接近真实情况的。

步骤9：对去除噪声之后的新的样本集，进行聚类，得到聚类中心c1；

对过滤噪声样本之后的一致集，重新计算新的聚类中心c1。将c1作为新的模板t1。

步骤10：利用c1对n帧图像再度跟踪，构建新的样本集s1；

利用t1对该阶段的n帧图片重新进行跟踪，利用每一帧的跟踪结果，同样提取新的样本库s1。

之所以要用t1对n帧视频图像重新进行跟踪，是因为第一帧的初始模板，未必就是真实的模板图像，原因如下：

1)初始模板虽然是人工选定的，但由于大气湍流等外在因素的影响，导致相机所拍摄的图像，与真实的目标已经有了一定的差异；

2)外在因素导致每一帧的图像，与该帧真实内容，都有一定差异；

3)这些差异导致图像中所看到的画面内容，其实是呈现随机扰动的，它们分布在真实内容的周边；

4)因此，第一帧的人工初始模板，所得出来的跟踪结果，未必是最优的；

5)t1与t0则不一样。t1是利用多个样本聚类得到的，它已经在很大程度将随机干扰消除掉，相比于t0，它更加接近于模板的真实情况；

因此，利用t1对n帧视频图像重新跟踪，是完全有必要的；

重复步骤3到步骤9，得到聚类中心c2。

步骤11：利用ransac算法对样本集s1进行噪声过滤，得到聚类中心c2；

聚类中心c2就是该n帧目标的模板更新结果，记为t2。

步骤12：更新当前模版；

进入第二阶段，针对视频帧[n+1,2n]，利用t2进行跟踪。然后持续步骤3到步骤11。

步骤13：进入下一阶段的跟踪；

后续每一个阶段的模板更新，都是利用前一阶段模板得到样本集的基础上，通过去掉噪声进行聚类所得到。

在所述步骤1中，在初始帧图像中，人工给出初始位置之后，首先在最开始的n帧视频中进行目标的跟踪，并且向外界实时给出跟踪结果，用于用户实时观看效果；该阶段的n帧视频的跟踪过程，不进行模板更新，而是直接用初始模板t0。

在所述步骤3中，利用前n帧视频，每一帧视频中的最佳目标搜索位置，剪切出来得到当前目标图像，这些目标图像组合起来，形成样本库，记为s。

在所述步骤8中，ransac算法包括如下步骤，详见图2：

s1步骤：ransac算法初始化设置；

s2步骤：从样本集中随机选择设定数量的样本，组成子集a，计算聚类中心c；

从样本集s中，随机选择一定数量的样本(比如10％的样本)，组成子集a。

由于子集a的样本数量少于s中样本的数量，因此其中包含噪声样本的概率，比s中包含噪声的概率，要低得多。

用子集a来进行聚类计算，得到该10％样本的聚类中心c。

s3步骤：计算子集a所有样本到聚类中心c的距离d_total；

计算子集a中的所有样本到该聚类中心c的距离，将所有的距离累加起来，得到d_total。

s4步骤：s2步骤和s3步骤循环多次，找到d_total最小的那组子集a_best；

重复步骤s2和s3很多次(比如1000次)，选择其中d_total最小的那个子集a_best。

s5步骤：利用最优子集的聚类中心c_best，从样本集s中挑选一致集；

利用子集a_best对应的聚类中心c_best，对s中的所有样本计算距离。设定距离阈值。s中与c_best距离小于阈值的样本，组成一个新的集合s_new，该集合就是一致集。

s6步骤：利用一致集得到最终的聚类结果。

在所述步骤s5中，利用子集a_best对应的聚类中心c_best，对s中的所有样本计算距离，设定距离阈值，s中与c_best距离小于阈值的样本，组成一个新的集合s_new，该集合就是一致集。

ransac算法又叫随机采样一致性算法，是一种过滤噪声样本的常见策略。

所述阈值为0.9。

本发明还公开了一种目标跟踪模板更新的系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求中所述的方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。

本发明所提到的目标跟踪方法，需要通过人工选定初始跟踪框。一般做法如下：

在实时在线目标跟踪软件系统的显示界面上，利用鼠标选定目标的初始位置。然后系统自动进行模板初始化，将初始框中的图像内容存储下来，将其作为模板图像。后续帧的图像来临时，利用该模板图像，在全图中进行搜索，找到最优的位置。

初始跟踪模板记为t0。后续过程需要对该模板进行更新。

本发明方案的目标更新过程，需要在n帧(n默认为200)连续视频上进行分析处理。因此，对模板的更新，是分段的，每n帧作为一个小段。

本发明的有益效果是：1.本策略适用于各种跟踪算法，只要涉及到模板更新，本策略都适用；2.针对跟踪漂移现象，设计了噪声样本过滤机制，引入ransac(随机采样一致性)算法，可以防止某一帧的跟踪偏差导致的模板更新出错；3.整体计算模板时，不再采用简单的多样本计算平均值的办法，而是去掉噪声，然后找到聚类中心。将聚类中心作为新的模板。该方法不受噪声干扰；4.包含了一个反向验证的过程，利用一个时间段内得到的模板图，对历史帧重新跟踪，并且用新的跟踪结果，调整模板的学习结果，实时跟踪时，人眼看到的跟踪效果，与模板学习时所用的跟踪样本，并不是完全一致的；5.提供了离线学习的机制，在线跟踪，与模板的学习，是两条并行的途径，并不冲突，随时可以通过分析历史帧，重新调整模板。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。