专利名称：一种基于多视点视频的目标跟踪方法和系统的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种基于多视点视频的目标跟踪方法和系统。
背景技术：
多视点特定目标的跟踪方法，目前的技术主要是通过提取特定目标的颜色、纹理、形状和边缘等特征，基于一定的法则来匹配跟踪，但是在提取特定目标特征的过程中，基本都是通过运动检测首先获取运动目标，然后对整个运动目标来提取特征，然后再来匹配。在多摄像头监控中，需要在传统单摄像头目标检测基础上，将在多个视角中出现的同一目标关联起来。因此，跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别的基础。多视点特定目标的提取和跟踪与单摄像头运动目标检测与跟踪存在一定的差别，主要体现在单摄像头运动目标的检测和跟踪是针对 连续的目标，其跟踪可以通过运动矢量、速度特征应用kalman (卡尔曼)滤波等算法预估出目标在下一帧出现的位置，然后根据实际检测的结果进行纠正来达到跟踪的目的；而多视点特定目标的提取和跟踪，目标是在多个摄像头出现，不是连续的目标，从一个摄像头消失以后无法通过算法准确预测目标会在下面哪个摄像头的哪个位置出现，所以基于特征的跟踪就显得尤为重要。目前多视点特定目标的提取与跟踪技术，基本采用如下步骤首先通过运动目标检测分割出运动目标，然后对整个运动目标提取颜色、纹理、边缘和形状等特征，最后再通过一定的法则去匹配，比如专利“PTZ单目标自动跟踪的装置及方法”(公开号102215377A，
公开日2011-10-12)是对跟踪目标建立模板，跟踪过程中对提取的运动目标也建立模板，然后通过模板的相似度来判断是否同一目标。也有技术通过对运动目标先分类为人、车和其他，然后对人目标分为头、躯干和腿，车和其他目标不区分，最后再提取特征来匹配，比如专利“一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法”(公开号:101848377A，
公开日:2010-09-29)。多视点特定目标提取和跟踪的现有技术主要有以下几点不足I、目标分割不准确现有技术的目标提取主要是通过运动目标检测来分割目标，由于目标阴影和环境的干扰使得分割出来的目标不太准确，包含了阴影和一些背景，导致颜色匹配或特征提取时不准确。2、采用整个跟踪目标作为模板颜色特征是现有技术当中的一种重要特征，如果对整个跟踪目标提取特征来跟踪，对于上白下黑和上黑下白这样对称的目标则无法区分，虽然专利“一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法”(公开号101848377A，
公开日2010-09-29)首先将目标分类为人、车和其它，然后再对人目标做了头、躯干和腿三部分分解，但是由于运动目标检测时得到的位置可能会有偏差，可能在人的头部上面或脚下面有相当多的背景区域，如果仅仅按照比例将人分为头、躯干和腿三部分肯定是不准确的，导致分解错误从而导致误匹配或漏检测。同时，将运动目标首先分类为人、车和其它，也存在分类错误的风险，这样会导致累积误差，从而使得跟踪准确度大大降低，而且对车和其它的目标并没有做分解。
发明内容
本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。为克服现有技术的问题，本发明提供一种基于多视点视频的目标跟踪方法和系统，将所有目标分为上、下两部分再进行快速准确定位，从而克服现有技术中无法区分对称目标等的缺点，无须区分人、车等对象，大大提高了准确率和实用性；而且，将运动检测或其它方法分割得到的目标区域的范围按照设定的比例扩大，然后再进行快速、精确的匹配定位，提高了目标分割的准确性；另外，本发明采用基于积分图的计算方法，大大提高了匹配 和检测的速度。本发明解决上述技术问题所采用的技术方案如下根据本发明的一个方面，提供一种基于多视点视频的目标跟踪方法，包括下列步骤将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；对视频流进行目标检测，得出目标区域；以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；如果与该样例目标相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值落在设定的阈值范围内，则认为当前匹配区域是相似区域。根据本发明的一个实施例，当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形部分的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。根据本发明的一个实施例，在对视频流进行目标检测时，将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再在所得到的扩大的目标区域中进行该基于颜色的模板匹配。根据本发明的一个实施例，如果有相似区域，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。根据本发明的一个实施例，该关系值为样例目标或当前匹配区域内上部分的所有像素的颜色值之和与下部分的所有像素的颜色值之和之间的比值。根据本发明的一个实施例，该目标区域是采用建立背景模型，通过背景差从视频 流中获取的运动目标区域。根据本发明的一个实施例，该目标区域通过基于特征的匹配而从视频流中获取。
根据本发明的另一个方面，提供一种基于多视点视频的目标跟踪系统，包括样例目标特征获取模块，其将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；目标区域检测模块，其对视频流进行目标检测，得出目标区域；颜色匹配模块，其以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；如果与该样例目标相t匕，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值落在设定的阈值范围内，则认为当前匹配区域是相似区域。
根据本发明的一个实施例，该颜色匹配模块中包括颜色值计算单元，所述颜色值计算单元对当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。根据本发明的一个实施例，该目标区域检测模块中包括目标区域扩大单元，该目标区域扩大单元将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再由该颜色匹配模块在所得到的扩大的目标区域中进行该基于颜色的模板匹配。根据本发明的一个实施例，还包括纹理或形状特征匹配模块，其在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。本发明将所有目标分为上、下两部分再进行快速准确定位，不会出现头、躯干和腿定位不准确的误差，也不会因为人、车和其它目标分类错误导致误差，大大提高了准确率，克服了现有技术中无法区分对称目标等的缺点，无须区分人、车等对象，大大提高了准确率和实用性。而且，本发明将运动检测或其它方法分割得到的目标区域的范围按照设定的比例扩大，然后再进行快速、精确的匹配定位，提高了目标分割的准确性。另外，本发明通过采用基于积分图的计算方法，大大提高了匹配和检测的速度。通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。
下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中图I为积分图的定义；图2为积分图中矩形和计算示意图；图3为本发明基于积分图计算的目标跟踪方法的示意性流程图；图4为本发明目标跟踪系统的结构不意图。
具体实施例方式本发明的实施例提供一种多视点视频特定目标基于积分图计算的分解跟踪方法，旨在解决现有多视点特定目标跟踪方法中存在的一些不足，通过对目标进行上、下分解和通过积分图进一步精确定位的方法，提闻跟踪的准确率。本实施例所采用的方法的具体步骤如下
第一步、目标分割并扩大区域I)目标检测得出目标区域目标检测分割出目标区域采用现有技术，主要有以下两种方法a.建立背景模型、通过背景差来获取运动目标区域；b.基于特征匹配的目标区域提取，该特征可以是颜色特征，也可以是纹理或形状特征。2)将目标区域扩大按照设定的阈值，以目标区域的中心为中心，将目标区域的范围从左、右、上、下向外扩展。因为通过运动目标检测得到的目标，由于干扰的问题使得目标位置可能不太准确(比如由于干扰的问题，通过运动目标检测得到的区域把目标的一部分丢失了)，而通过将目标区域扩大，在后面可以通过更精细的比对来获取更加准确的匹配位置。第二步、目标颜色特征提取本实施例基于HSV (色调、饱和度、亮度)颜色特征来进行分析。第三步、目标积分图计算当样例目标在当前得到的目标区域中通过匹配来获取精确位置的时候，本实施例在HSV空间计算目标区域中当前匹配区域的上、下两部分的所有像素的颜色值之和(或称特征值)，如果上、下两部分的所有像素的颜色值之和以及上、下部分的所有像素的颜色值之和之间的关系值(例如上、下部分的所有像素的颜色值之和之间的比值，当然，也可以采用差值等其它关系值)在设定的阈值范围，则认为是满足条件的区域。例如，阈值范围可以设定为0. 8-1. 2，分别比较当前匹配区域和样例目标这两个模板的上部分特征值相除的比值、下部分特征值相除的比值、每个模板上部分特征值除以下部分特征值的比值，如果都满足0. 8-1. 2这个范围，贝U认为满足条件。由于每个区域内像素的个数非常庞大，如果每次匹配计算都要统计矩形内所有像素的颜色值之和，即每一次匹配都将一个一个像素地去计算像素点的颜色值之和，这将会大大降低检测的速度，因此本发明采用积分图来快速计算。积分图的重要组成部分是矩形特征(图2是积分图中矩形和计算的示意图)，矩形特征的特征值计算只与此特征矩形端点的积分图有关(因为端点的值就是该矩形特征中所有像素颜色值的总和)，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量(因为矩形的特征值计算好以后，如果特征矩形的尺度发生变化，只需要将端点的值做个简单的加或减运算即可，所以消耗的时间是常量)，只需遍历图像一次，就可以求得所有子窗口的特征值(单个像素是最基本的子窗口，依此类推，任意多个像素的组合都可以是一个子窗口)。如图I所示，积分图的定义如下，积分图像的任意一点(x，y)的像素颜色积分值表示图I所示的阴影区域的所有像素颜色值的总和，即公式(1)，其中I(x’，I，)为图像在点(x，，y，)处的像素颜色值。
权利要求
1.一种基于多视点视频的目标跟踪方法，其特征在于包括下列步骤 将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值； 对视频流进行目标检测，得出目标区域； 以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；如果与所述样例目标相比，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值落在设定的阈值范围内，则认为当前匹配区域是相似区域。
2.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。
3.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，在对视频流进行目标检测时，将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再在所得到的扩大的目标区域中进行所述基于颜色的模板匹配。
4.根据权利要求1-3中任一项所述的基于多视点视频的目标跟踪方法，其特征在于，如果有相似区域，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。
5.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，所述关系值为样例目标或当前匹配区域内上部分的所有像素的颜色值之和与下部分的所有像素的颜色值之和之间的比值。
6.根据权利要求I所述的基于多视点视频的目标跟踪方法，其特征在于，所述目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，所述目标区域通过基于特征的匹配而从视频流中获取。
7.一种基于多视点视频的目标跟踪系统，其特征在于包括 样例目标特征获取模块，其将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值； 目标区域检测模块，其对视频流进行目标检测，得出目标区域； 颜色匹配模块，其以样例大小的模板在所得到的目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；如果与所述样例目标相t匕，当前匹配区域内的上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值落在设定的阈值范围内，则认为当前匹配区域是相似区域。
8.根据权利要求7所述的基于多视点视频的目标跟踪系统，其特征在于，所述颜色匹配模块中包括颜色值计算单元，所述颜色值计算单元对当前匹配区域中各部分的所有像素的颜色值之和基于积分图进行计算，在计算时，任一矩形的所有像素的颜色值之和为矩形左上端点的像素颜色积分值与右下端点的像素颜色积分值之和减去左下端点的像素颜色积分值与右上端点的像素颜色积分值之和。
9.根据权利要求7所述的基于多视点视频的目标跟踪系统，其特征在于，所述目标区域检测模块中包括目标区域扩大单元，所述目标区域扩大单元将检测出的目标区域的范围进行扩大，得出扩大的目标区域，再由所述颜色匹配模块在所得到的扩大的目标区域中进行所述基于颜色的模板匹配。
10.根据权利要求7-9中任一项所述的基于多视点视频的目标跟踪系统，其特征在于，还包括纹理或形状特征匹配模块，其在有相似区域的情况下，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的阈值则认为是需要跟踪的目标，否则认为没有跟踪目标直接退出。
全文摘要
本发明提供一种基于多视点视频的目标跟踪方法和系统，将样例目标分解为上、下两部分，并计算上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；对视频流进行目标检测，得出目标区域；以样例大小的模板在目标区域中进行基于颜色的模板匹配，分别计算当前匹配区域内上部分的所有像素的颜色值之和、下部分的所有像素的颜色值之和、以及上、下部分的所有像素的颜色值之和之间的关系值；与样例目标进行比较，来确定当前匹配区域是否为相似区域。本发明无须区分人、车等对象，大大提高了准确率和实用性，同时提高了目标分割的准确性；而基于积分图计算则大大提高了匹配和检测的速度。
文档编号G06T7/20GK102663778SQ20121012501
公开日2012年9月12日 申请日期2012年4月26日 优先权日2012年4月26日
发明者王一科 申请人:安科智慧城市技术(中国)有限公司