专利名称：基于多视点视频的目标跟踪方法及系统的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及基于多视点视频的目标跟踪方法及系统。
背景技术：
在多摄像头监控中，需要在传统单摄像头目标检测基础上，将在多个视角中出现的同一目标关联起来。因此跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别的基础。多视点特定目标的提取和跟踪与单摄像头运动目标检测与跟踪存在一定的差别单摄像头运动目标的检测和跟踪是针对连续的目标，其跟踪可以通过运动矢量、速度特征应用kalman(卡尔曼)滤波等算法预估出目标在下一帧出现的位置，然后根据实际检测的结果进行纠正来达到跟踪的目的；而多视点特定目标 的提取和跟踪，目标是在多个摄像头出现，不是连续的目标，从一个摄像头消失以后无法通过算法准确预测目标会在下面哪个摄像头的哪个位置出现，所以基于特征的跟踪就显得尤为重要。目前多视点特定目标的提取与跟踪技术，基本采用如下步骤首先通过运动目标检测分割出运动目标，然后对整个运动目标提取颜色、纹理、边缘和形状等特征，最后再通过一定的法则去匹配，比如专利PTZ单目标自动跟踪的装置及方法(公开号102215377A，
公开日2011-10-12)是对跟踪目标建立模板，跟踪过程中对提取的运动目标也建立模板，然后通过模板的相似度来判断是否是同一目标。也有技术通过对运动目标先分类为人、车和其他，然后对人目标分为头、躯干和腿，车和其他目标不区分，最后再提取特征来匹配，比如专利一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法(公开号:101848377A，
公开日:2010-09-29)。多视点特定目标提取和跟踪的现有技术主要有以下几点不足I、跟踪目标的特征模板大小固定(用大、小目标分别匹配小、大目标)现有技术采用的颜色、纹理或其它特征模板大小固定，而多摄像头跟踪的特点是目标在摄像头中其大小变化较大，采用固定大小的模板在匹配时误差较大，极易出现误匹配。2、跟踪目标采用一个特征模板(用正面、侧面分别去匹配侧面、正面)现有技术都是采用一个模板来对目标进行跟踪，但是在多摄像头跟踪过程中(特别是人)，可能会出现在上一个摄像头监控的是人的正面，而到下一个摄像头监控的是人的背面，特征变化较大，容易出现漏匹配，导致目标丢失。
发明内容
本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。为克服现有多视点视频特定目标跟踪技术中用大、小目标分别匹配小、大目标、以及用正面、侧面分别去匹配侧面、正面的不足，本发明提供一种基于多视点视频的目标跟踪方法和系统，增加辅助模板来进行匹配，同时，可在跟踪过程中适时调整和增加更新模板，从而提高多视点特定目标的匹配精度，降低漏匹配和误匹配。本发明解决上述技术问题所采用的技术方案如下根据本发明的一个方面，提供一种基于多视点视频的目标跟踪方法，包括下列步骤在样例目标的原始模板的基础上增加至少一个辅助模板；对视频流进行目标检测，得出目标区域；以该原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。根据本发明的一个实施例，该辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。根据本发明的一个实施例，以该原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，以匹配得到的最高相似度作为颜色相似度，如果颜色相似度大于设定的颜色相似度阈值，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的纹理或形状特征相似度阈值则认为是需要跟踪的目标，否则认为没有跟踪目标。根据本发明的一个实施例，以该原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，分别得到颜色相似度；以该原始模板和所得到的目标区域进行纹理特征匹配，得到纹理特征相似度；分别将各颜色相似度与该纹理特征相似度进行综合判断，并取最高相似度作为综合相似度；如果综合相似度大于设定的综合相似度阈值，则认为是需要跟踪的目标，否则认为没有跟踪目标。根据本发明的一个实施例，该目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，该目标区域通过基于特征的匹配而从视频流中获取。根据本发明的一个实施例，在检测到第一个符合相似度要求的跟踪目标后，将此目标作为该更新模板。根据本发明的一个实施例，以该更新模板和所得到的目标区域进行特征匹配，得到匹配相似度；并以该原始模板或其它辅助模板和所得到的目标区域进行特征匹配，得到匹配相似度；以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。根据本发明的一个实施例，在检测到符合相似度要求的后续跟踪目标后，判断该后续跟踪目标与该更新模板的相似度是否大于该后续跟踪目标与该原始模板或其它辅助模板的相似度，如果大于，则用当前目标替代该更新模板，否则不替代。根据本发明的另一个方面，提供一种基于多视点视频的目标跟踪系统，包括多模板生成模块，其在样例目标的原始模板的基础上增加至少一个辅助模板；目标检测模块，其对视频流进行目标检测，得出目标区域；匹配模块，其以该原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。根据本发明的一个实施例，该辅助模板选自对样例目标按设定比例进行放大后的、放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。本发明提供放大、缩小和原始大小三种模板来匹配，提高了准确率。同时，本发明可在跟踪过程中适时调整和增 加更新模板，采用多模板来跟踪，提高准确率。利用本发明的多模板跟踪方法，克服了现有多视点视频特定目标跟踪技术中模板固定(用大、小目标分别匹配小、大目标)、单一模板(用正面、侧面分别去匹配侧面、正面)的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配。通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。
下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中图I为根据本发明的一个实施例，对要跟踪的目标生成多模板的示意图；图2为根据本发明的一个实施例，采用多模板进行跟踪的流程图；图3为根据本发明的一个实施例，基于多视点视频的目标跟踪系统的结构示意图。
具体实施例方式本实施例提供一种多视点视频特定目标的多模板跟踪方法，旨在解决现有多视点特定目标跟踪方法中存在的一些不足，通过多模板加缩放的方法，提高跟踪的准确率。如图I所示为本发明对要跟踪的目标生成多模板的示意图，具体步骤如下101、选择要跟踪目标的模板；102、对目标进行缩放；103、生成缩小目标；104、对缩小目标进行特征提取；105、生成缩小目标的模板；106、生成原始目标；107、对原始目标进行特征提取；108、生成原始目标的模板；109、生成放大目标；110、对放大目标进行特征提取；111、生成放大目标的模板。这样，形成了三个模板，即放大模板A、原始模板B和缩小模板C。除了原始模板B之外，增加了两个辅助模板，即放大模板A和缩小模板C。放大模板和缩小模板是基于设定的比例获取的，例如放大的比例是I. I倍，缩小的比例为0. 9倍。此外，还可以增加一个辅助模板，即后面所详细描述的更新模块D。本实施例中多视点视频特定目标的多模板加缩放跟踪的技术方案是首先获取目标的分割区域，然后对该区域进行特征提取，接着将该区域特征和放大模板A、原始模板B、缩小模板C和更新模板D进行匹配，得出最高相似度，最后根据相似度的大小来判断是否要增加和调整模板。其具体步骤如下第一步、目标分割；第二步、目标特征提取；第三步、目标的多模板加缩放跟踪；第四步、调整和增加模板；第五步、保存当前跟踪结果，退出。下面对本实施例的几个步骤依次进行详细描述 第一步、目标分割I、目标检测得出目标区域目标检测分割出目标区域采用现有技术，主要有以下两种方法I)建立背景模型、通过背景差来获取运动目标区域；2)基于特征匹配的目标区域提取。第二步、目标特征提取目标的特征提取也可以通过常见的目标特征提取算法实现，特征有很多种，可应用颜色、纹理、或形状特征。I)颜色特征本发明基于HSV颜色空间，计算颜色直方图作为特征。2)纹理特征本发明采用旋转缩放不变特征作为纹理特征。第三步、目标的多模板加缩放跟踪I、将放大、缩小和原始目标三种模板分别和当前目标进行匹配，计算目标的相似度，由于采用的旋转缩放不变纹理特征对旋转、放大、缩小、平移等变形具有特征不变的性质，所以仅仅对颜色特征采用三个模板分别匹配，纹理特征只和原始模板匹配；当然，本实施例中采用三个模板(放大模板A、原始模板B、缩小模板C)分别进行匹配，但本领域技术人员应了解只采用放大模板和原始模板，或只采用缩小模板和原始模板也是可以的，同样可以实现提高精度的目的。当然，也可以只增加一个更新模板D作为辅助模板，采用更新模板D的目的也是为了提高精度，比如最开始的模板是行人的正面模板，但是随着人在摄像机内的走动，有可能行人以侧面或背面出现在摄像机内，那么正面的模板和侧面或背面的目标去匹配显然准确率不会太高，通过更新模板D的实时调整，可以很好地解决这种问题。I)将放大模板A和当前目标进行颜色特征匹配，采用相关系数方法计算相似度，下面是相关系数的公式这里采用的颜色特征是颜色直方图，由于这里是采用的72层HSV颜色空间，那么颜色直方图中颜色的个数就是72个，也就是公式中的n = 72 ;其中Xi在这一步代表放大模板A的颜色直方图的值，尤在这里代表放大模板A所有颜色的颜色直方图值求和的平均值；Yi在这一步代表当前目标的颜色直方图的值，f在这里代表当前模板所有颜色的颜色直方图值求和的平均值；rXY就是计算出来的颜色相似度的值。
权利要求
1.一种基于多视点视频的目标跟踪方法，其特征在于包括下列步骤 在样例目标的原始模板的基础上增加至少一个辅助模板； 对视频流进行目标检测，得出目标区域； 以所述原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。
2.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，所述辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。
3.根据权利要求I或2所述的基于多视点视频的目标跟踪方法，其特征在于，以所述原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，以匹配得到的最高相似度作为颜色相似度，如果颜色相似度大于设定的颜色相似度阈值，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的纹理或形状特征相似度阈值则认为是需要跟踪的目标，否则认为没有跟踪目标。
4.根据权利要求I或2中任一项所述的基于多视点视频的目标跟踪方法，其特征在于，以所述原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，分别得到颜色相似度；以所述原始模板和所得到的目标区域进行纹理特征匹配，得到纹理特征相似度；分别将各颜色相似度与所述纹理特征相似度进行综合判断，并取最高相似度作为综合相似度；如果综合相似度大于设定的综合相似度阈值，则认为是需要跟踪的目标，否则认为没有跟踪目标。
5.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，所述目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，所述目标区域通过基于特征的匹配而从视频流中获取。
6.根据权利要求2所述的基于多视点视频的目标跟踪方法，其特征在于，在检测到第一个符合相似度要求的跟踪目标后，将此目标作为所述更新模板。
7.根据权利要求6所述的基于多视点视频的目标跟踪方法，其特征在于，以所述更新模板和所得到的目标区域进行特征匹配，得到匹配相似度；并以所述原始模板或其它辅助模板和所得到的目标区域进行特征匹配，得到匹配相似度；以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。
8.根据权利要求7所述的基于多视点视频的目标跟踪方法，其特征在于，在检测到符合相似度要求的后续跟踪目标后，判断所述后续跟踪目标与所述更新模板的相似度是否大于所述后续跟踪目标与所述原始模板或其它辅助模板的相似度，如果大于，则用当前目标替代所述更新模板，否则不替代。
9.一种基于多视点视频的目标跟踪系统，其特征在于包括 多模板生成模块，其在样例目标的原始模板的基础上增加至少一个辅助模板； 目标检测模块，其对视频流进行目标检测，得出目标区域； 匹配模块，其以所述原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。
10.根据权利要求9所述的基于多视点视频的目标跟踪系统，其特征在于，所述辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小 后的缩小模板、或实时获取的相似目标所形成的更新模板。
全文摘要
本发明提供一种基于多视点视频的目标跟踪方法和系统，该方法包括在样例目标的原始模板的基础上增加至少一个辅助模板；对视频流进行目标检测，得出目标区域；以原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为目标区域与样例目标的相似度，判断是否为需要跟踪的目标。辅助模板可选自对样例目标按设定比例进行放大后的放大模板、对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。本发明克服了现有多视点视频特定目标跟踪技术中用大、小目标分别匹配小、大目标、以及用正面、侧面去分别匹配侧面、正面的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配。
文档编号H04N7/18GK102663777SQ20121012501
公开日2012年9月12日 申请日期2012年4月26日 优先权日2012年4月26日
发明者龚灼 申请人:安科智慧城市技术(中国)有限公司