专利名称：一种基于图像块特征的目标跟踪方法及跟踪系统的制作方法
技术领域：
本发明涉及图像处理技术领域，具体涉及一种基于图像块特征的目标跟踪方法及足艮S宗胃会充。
背景技术：
运动目标跟踪算法是视频智能分析中比较基础，也是相对重要的部分，主要是指通过定义相应数学模型及检测算法，对视频帧序列中的运动目标自动进行跟踪、位置检测的一种技术。在进行运动目标跟踪时，需要对运动目标进行建模表达，主要途径为使用基于点的模型，使用基于轮廓的模型和使用基于密度核的模型。这些方法首先都是根据所需跟踪的运动目标来构建模型，然后在线进行模型匹配，来获取运动目标跟踪的效果。使用基于点的模型主要是先使用滤波器等方式提取运动目标的关键点(主要是拐点)，然后使用点特征来对这些关键点进行描述，再在线得使用点检测和点特征匹配来跟踪运动目标。使用基于轮廓的模型的方法主要是使用数学方式构建目标的轮廓(一般在离线的时候进行训练，因为离线的时候才有大量样本可以用于训练)在线检测的时候通过自适应的方法逼近运动目标，进而获取运动目标位置，达到跟踪运动目标的目的。使用密度核的模型则是对运动目标抽取全局特征，如颜色直方图，梯度方向直方图，然后使用meanshift等方法根据直方图在目标帧中进行基于密度的漂移，最终找到运动目标，从而达到跟踪目的。现有的一类运动目标跟踪算法为通过对运动目标的整体区域进行特征提取，然后使用特征匹配的方法来进行运动目标跟踪，如使用梯度方向直方图的跟踪，各种基于在线学习方法的跟踪。但是现有技术仍然存在如下问题由于在运动目标受到遮挡，运动目标转身，运动目标变换姿势的时候，目标的整体特征改变较多，因此单纯对运动目标整体区域进行特征提取，无法对抗这些干扰。其次是这类方法一般只使用一种特征，使得其没有办法应对相对复杂的情况，如两个人交错，若只使用单一特征则很容易受到干扰。
发明内容
本发明提供一种基于图像块特征的目标跟踪方法和跟踪系统，能够解决现有技术中目标跟踪准确度不高的问题。本发明提供了一种基于图像块特征的目标跟踪方法，包括如下步骤根据基准目标图像块和背景图像块的特征建立基准目标模板；将待定目标的特征与所述基准目标模板中的基准目标图像块的特征进行相似度比较；根据相似度比较结果确定待定目标位置。所述建立基准目标模板优选为如下步骤
提取所述基准目标图像块和所述背景图像块；提取所述基准目标图像块的特征和所述背景图像块的特征；将所述基准目标图像块的特征和所述背景图像块的特征进行辨识度比较；根据辨识度比较结果建立包含基准目标图像块的特征的基准目标模板。提取所述基准目标图像块优选为如下步骤通过背景建模或手动标定来确定基准目标初始位置，将基准目标分为一个或多个子基准目标图像块，记录每个子基准目标图像块的位置；提取所述背景图像块优选为如下步骤从基准目标四周选取一个或多个矩形区域，从矩形区域中选取背景图像块。所述基准目标图像块的特征或背景图像块的特征优选为轮廓特征、和/或结构特征、和/或纹理特征、和/或颜色特征、和/或运动状态特征；提取基准目标图像块的特征或背景图像块的特征优选为包括通过统计所述基准目标图像块或所述背景图像块中每个像素的中心对称的局部二值模式CSLBP和所述局部二值模式的直方图，提取所述基准目标图像块的结构特征和所述背景图像块的结构特征；提取基准目标图像块的特征或背景图像块的特征优选为包括通过统计所述基准目标图像块或所述背景图像块的梯度方向直方图H0G，提取所述基准目标图像块的纹理特征或所述背景图像块的纹理特征；提取基准目标图像块的特征或背景图像块的特征优选为包括通过统计所述基准目标图像块或所述背景图像块的颜色直方图HOC，提取所述基准目标图像块的颜色特征或所述背景图像块的颜色特征。所述辨识度比较的步骤优选为基于基准目标图像块的每一个特征相对于与其类
Nb
型相同的背景图像块特征的相似度S，根据公式7=1 1-&目β, 计算辨识度d ；
1如果所述辨识度大于辨识度阈值则优选将该基准目标图像块的特征列入所述基准目标模板内。所述将待定目标的特征与所述基准目标模板中的特征进行相似度比较优选为如下步骤提取当前位置待定目标的图像块；提取当前位置待定目标图像块的特征；将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较；若相似度的最大值大于或等于匹配阈值则所述相似度的最大值对应的当前位置待定目标图像块的特征视为待定目标成功匹配特征。所述确定待定目标位置优选为如下步骤计算相似度的最大值对应的基准目标模板中的特征相对所述待定目标成功匹配特征的特征偏移值；根据所有所述特征偏移值计算基准目标模板偏移值；根据所述基准目标模板偏移值和待定目标的上一个位置来确定待定目标位置，所述待定目标位置视为待定目标当前位置。所述基准目标模板中的特征可以包含匹配特征队列和后备特征队列，所述匹配特征队列内可以包括用于与待定目标的特征进行相似度比较的匹配特征，所述后备特征队列内可以包括备用的用于与待定目标的特征进行相似度比较的匹配特征；所述相似度比较优选为如下步骤提取当前位置待定目标的图像块；提取当前位置待定目标图像块的特征；将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较；若相似度的最大值大于或等于匹配阈值则所述相似度的最大值对应的当前位置待定目标图像块的特征视为待定目标成功匹配特征；否则相似度的最大值对应的基准目标模板中的特征标记为失败；若失败次数大于设定值，则删除该特征，并从后备特征队列中选择与被删除特征相同类型相同的特征填补到匹配特征队列中。本发明还提供一种基于图像块特征的目标跟踪系统，包括根据基准目标图像块和背景图像块的特征建立基准目标模板的模块；将待定目标的特征与基准目标模板中基准目标图像块的特征进行相似度比较的模块；根据相似度比较结果确定待定目标位置的模块。所述建立基准目标模板的模块优选包括提取基准目标图像块子模块和提取背景图像块子模块、提取基准目标图像块的特征的子模块和提取背景图像块的特征的子模块、 将所述基准目标图像块的特征和所述背景图像块的特征进行辨识度比较的子模块；根据辨识度比较结果建立包含基准目标特征的基准目标模板的子模块；所述待定目标的特征与基准目标模板中的特征进行相似度比较的模块优选包括 提取当前位置待定目标图像块子模块、提取当前位置待定目标图像块特征子模块、将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较的子模块、根据相似度比较结果确定待定目标成功匹配特征的子模块；所述根据相似度比较结果确定待定目标位置的模块优选包括计算相似度的最大值对应的基准目标模板中的特征和所述待定目标成功匹配特征的特征偏移值的子模块、根据所有所述特征偏移值计算基准目标模板偏移值的子模块、根据基准目标模板偏移值和待定目标的上一个位置来确定待定目标位置的子模块。通过本发明提供，能够达到如下效果一、目标跟踪准确度提高。本发明提出了使用基于图像块的方法，也就是使用对运动目标各个部分提取特征生成运动目标模板的方法，以及使用多种图像特征来进行运动目标跟踪的方案，能够规避运动目标受遮挡，运动目标姿势变换等所造成运动目标的整体特征在单帧图像上有很大变化的问题，从而能够提高运动目标跟踪的准确度。二、抗干扰能力增强。本发明使用图像块多种特征的方式对运动目标实施综合跟踪，并采用结构特征、纹理特征、颜色特征对其进行表达，有效的提高了抗干扰能力。三、在线更新，节约时间。本发明采用产生式获取运动目标模板，也即小样本学习的方法，节省了离线学习运动目标模板的大量时间，也使得模板更贴近运动目标，再结合在线更新的方法，使得模板对运动目标的表达更加完备，且耗时较短。
为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。图1为根据本发明实施例的运动目标跟踪方法流程图；图2为本发明实施例中图像块采样方法示意图；图3为本发明实施例中背景图像块采样区域示意图。
图4为本发明实施例中结构特征计算过程中像素标记示意图。
具体实施例方式以下将结合附图1、2、3或4对本发明各实施例的技术方案进行清楚、完整的描述， 显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的一种目标跟踪方法和跟踪系统，能够解决现有技术中目标跟踪准确度不高的问题。本发明提供了一种基于图像块特征的目标跟踪方法，包括如下步骤根据基准目标图像块和背景图像块的特征建立基准目标模板；将待定目标的特征与所述基准目标模板中的基准目标图像块的特征进行相似度比较；根据相似度比较结果确定待定目标位置。所述建立基准目标模板通常包括如下步骤提取所述基准目标图像块和所述背景图像块；提取所述基准目标图像块的特征和所述背景图像块的特征；将所述基准目标图像块的特征和所述背景图像块的特征进行辨识度比较；根据辨识度比较结果建立包含基准目标图像块的特征的基准目标模板。图1步骤101 提取基准目标图像块和背景图像块；提取所述基准目标图像块可以包括通过背景建模或手动标定确定基准目标初始位置，将基准目标分为一个或多个子图像块，记录每个子图像块的坐标；具体为从视频中获取第一帧，及在第一帧中基准目标初始位置，这个初始位置可以通过背景建模等模块获取，或者使用手动标定。基准目标初始位置定义为<x，y，w，h>，其中χ为基准目标初始位置的横坐标，y为基准目标初始位置的纵坐标，w为基准目标的宽度， h为基准目标的高度。然后根据预先设定的采样步频r，将基准目标分为的图像块数目为N = [(w-s)/ r+l]*[(h-s)/r+l]，基准目标图像块表示为，其中i为图像块索引，s为图像块的高和宽，其大小为s*s。参照图2，对于每个图像块Pi,还需要记录下它的坐标<、,，& >，这样就获取了所需的构成基准目标图像块。提取所述背景图像块可以包括从基准目标四周选取一个或多个矩形区域，从矩形区域中选取图像块；具体为在选取基准目标图像块的同时，在运动状态下基准目标四周取背景图像块，所取范围为四个矩形，四个矩形可以布满基准目标四周的区域，也可以不布满目标四周的区域，四个矩形可以是大小均一、相同，也可以大小不均一、不相同；当基准目标的位置为
〈X，y，w, h>时，在这个区域里均勻取图像块，获取仏+ ^个图像块，其中s为背景图
像块的宽度和高度，与基准目标图像块大小一致，背景图像块表示为{PdA = /，参照图3。以上基准目标图像块和背景图像块的提取方法仅为图像块提取的一种实现方式， 在具体实现的时候，可以根据运算能力的情况来设置采样步频的大小，步频越小获取的图像块越多越密集，计算能力需求也越大。针对普通的电脑(3G赫兹CPU)，步频设置一般为 4，双核的步频可以设为1。如果运算能力允许，也可以将所有非运动目标的区域作为背景图像块提取的区域。对于运动目标在视频边缘的时候，若运动目标和视频边缘的距离小于图像块的尺寸s，则直接放弃使用该相应区域，不使用其进行背景图像块的提取。图1步骤102，提取基准目标图像块特征和背景图像块特征所述基准目标图像块的特征或背景图像块的特征优选为轮廓特征、和/或结构特征、和/或纹理特征、和/或颜色特征、和/或运动状态特征；提取基准目标图像块的特征或背景图像块的特征优选为包括通过统计所述基准目标图像块或所述背景图像块的梯度方向直方图H0G，提取所述基准目标图像块的纹理特征或所述背景图像块的纹理特征；具体算法为首先将基准目标图像块或背景图像块中所有像素转换为灰度表示， 然后计算基准目标图像块或背景图像块中所有像素的中心对称的局部二值模式。计算方式如下，如参照图4，将基准目标或背景像素灰度值记为&，其周围8个像素的灰度值记为 gl 由，则该像素的中心对称的局部二值模式计算如下
权利要求
1.一种基于图像块特征的目标跟踪方法，其特征在于，包括如下步骤 根据基准目标图像块和背景图像块的特征建立基准目标模板；将待定目标的特征与所述基准目标模板中基准目标图像块的特征进行相似度比较； 根据相似度比较结果确定待定目标位置。
2.如权利要求1所述的目标跟踪方法，其特征在于，所述建立基准目标模板包括如下步骤提取所述基准目标图像块和所述背景图像块； 提取所述基准目标图像块的特征和所述背景图像块的特征； 将所述基准目标图像块的特征和所述背景图像块的特征进行辨识度比较； 根据辨识度比较结果建立包含基准目标图像块的特征的基准目标模板。
3.如权利要求2所述的目标跟踪方法，其特征在于，提取所述基准目标图像块包括通过背景建模或手动标定来确定基准目标初始位置， 将基准目标分为一个或多个子基准目标图像块，记录每个子基准目标图像块的位置； 和/或提取所述背景图像块包括从基准目标四周选取一个或多个矩形区域，从矩形区域中选取背景图像块。
4.如权利要求1至3中任一项所述的目标跟踪方法，其特征在于，所述基准目标图像块的特征或背景图像块的特征包括轮廓特征、和/或结构特征、和 /或纹理特征、和/或颜色特征、和/或运动状态特征；提取基准目标图像块的特征或背景图像块的特征包括通过统计所述基准目标图像块或所述背景图像块中每个像素的中心对称的局部二值模式CSLBP和所述局部二值模式的直方图，提取所述基准目标图像块的结构特征和所述背景图像块的结构特征；提取基准目标图像块的特征或背景图像块的特征包括通过统计所述基准目标图像块或所述背景图像块的梯度方向直方图H0G，提取所述基准目标图像块的纹理特征或所述背景图像块的纹理特征；提取基准目标图像块的特征或背景图像块的特征包括通过统计所述基准目标图像块或所述背景图像块的颜色直方图HOC，提取所述基准目标图像块的颜色特征或所述背景图像块的颜色特征。
5.如权利要求1至4中任一项所述的目标跟踪方法，其特征在于，所述辨识度比较的步骤包括基于基准目标图像块的每一个特征相对于与其类型相同的背景图像块特征的相似Nb度S，根据公式J= [1 _°(目标/，背景]计算辨识度d ； 1如果所述辨识度大于辨识度阈值，则将该基准目标图像块的特征列入所述基准目标模板内。
6.如权利要求1至5中任一项所述的目标跟踪方法，其特征在于，所述将待定目标的特征与所述基准目标模板中的特征进行相似度比较包括提取当前位置待定目标的图像块；提取当前位置待定目标图像块的特征；将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较；若相似度的最大值大于或等于匹配阈值，则将与所述相似度的最大值对应的当前位置待定目标图像块的特征视为待定目标成功匹配特征。
7.如权利要求6中任一项所述的目标跟踪方法，其特征在于，所述确定待定目标位置包括计算相似度的最大值对应的基准目标模板中的特征相对所述待定目标成功匹配特征的特征偏移值；根据所有所述特征偏移值计算基准目标模板偏移值；根据所述基准目标模板偏移值和待定目标的上一个位置来确定待定目标位置，所述待定目标位置视为待定目标当前位置。
8.如权利要求1-7中任意一项所述的目标跟踪方法，其特征在于，所述基准目标模板中的特征包含匹配特征队列和后备特征队列，所述匹配特征队列内包括用于与待定目标的特征进行相似度比较的匹配特征，所述后备特征队列内包括备用的用于与待定目标的特征进行相似度比较的匹配特征；所述相似度比较包括提取当前位置待定目标的图像块；提取当前位置待定目标图像块的特征；将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较；若相似度的最大值大于或等于匹配阈值则所述相似度的最大值对应的当前位置待定目标图像块的特征视为待定目标成功匹配特征；否则相似度的最大值对应的基准目标模板中的特征标记为失败；若失败次数大于设定值，则删除该特征，并从后备特征队列中选择与被删除特征类型相同的特征填补到匹配特征队列中。
9.一种如权利要求1所述的目标跟踪方法的基于图像块特征的跟踪系统，其特征在于，包括根据基准目标图像块和背景图像块的特征建立基准目标模板的模块；将待定目标的特征与基准目标模板中基准目标图像块的特征进行相似度比较的模块；根据相似度比较结果确定待定目标位置的模块。
10.如权利要求9所述的目标跟踪方法的跟踪系统，其特征在于，所述建立基准目标模板的模块包括提取基准目标图像块子模块和提取背景图像块子模块、提取基准目标图像块的特征的子模块和提取背景图像块的特征的子模块、将所述基准目标图像块的特征和所述背景图像块的特征进行辨识度比较的子模块；根据辨识度比较结果建立包含基准目标特征的基准目标模板的子模块；所述将待定目标的特征与基准目标模板中的特征进行相似度比较的模块包括提取当前位置待定目标图像块子模块、提取当前位置待定目标图像块特征子模块、将当前位置待定目标图像块的每一个特征和基准目标模板中的所有相同类型的特征进行相似度比较的子模块、根据相似度比较结果确定待定目标成功匹配特征的子模块；所述根据相似度比较结果确定待定目标位置的模块包括计算相似度的最大值对应的基准目标模板中的特征和所述待定目标成功匹配特征的特征偏移值的子模块、根据所有所述特征偏移值计算基准目标模板偏移值的子模块、根据基准目标模板偏移值和待定目标的上一个位置来确定待定目标位置的子模块。
全文摘要
本发明涉及图像处理技术领域，具体涉及一种基于图像块特征的目标跟踪方法及跟踪系统，能够提高运动目标跟踪的准确度。该跟踪方法包括根据基准目标图像块和背景图像块的特征建立基准目标模板；将待定目标的特征与所述基准目标模板中基准目标图像块的特征进行相似度比较；根据相似度比较结果确定待定目标位置。该跟踪系统包括根据基准目标图像块和背景图像块的特征建立基准目标模板的模块；将待定目标的特征与基准目标模板中基准目标图像块的特征进行相似度比较的模块；根据相似度比较结果确定待定目标位置的模块。
文档编号G06K9/32GK102324030SQ201110267278
公开日2012年1月18日 申请日期2011年9月9日 优先权日2011年9月9日
发明者周宏斐, 林倞, 江波, 胡赟 申请人:广州灵视信息科技有限公司