本发明涉及目标跟踪技术领域,尤其涉及一种基于多特征和自适应字典学习的目标跟踪方法及系统。
背景技术:
在计算机视觉领域,可视化追踪问题由于它的复杂场景依然是一个具有挑战性的研究,例如目标遮挡、目标变形、转动、规模变化和杂乱的背景等问题。近年来,一直都有许多基于不同理论框架改良而得的可视化追踪算法。大多数这些算法可以大致分为生成模型与判别模型,生成模型通常发现最相似的候选者或者在后续帧中找到与原始目标的相似度最高的候选者,但当对象匹配或者预测算法不够精确,这种追踪算法很容易遭到否决。判别模型通过查找决策边缘对目标的前景和背景进行分类,这种判别式追踪算法的性能优劣取决于训练的样本数量和更新的策略。
近来,基于相关滤波器的追踪器和基于深度学习的追踪器,分别由于它们的对深度特征的强大表征和快速追踪性能,受到了相当的关注。基于追踪器的稀疏表示法利用字典对目标外观进行建模,并通过比较目标与样本的重建误差来定位目标。
目标外观的表示模型是跟踪方法的一个重要问题。为了解决这个问题,rossetal.使用增量特征空间来适应外观变化。wangetal.通过部分最小二乘(pls)分析学习一组特征空间来表示对象,该分析同时考虑所有目标和周围背景。虽然当发生目标变形、单一特征的目标外观缺乏考虑目标的颜色分布和梯度信息以及固定字典的整体外观忽略了目标前景的变化线索情况时,这些方法有很强的追踪鲁棒性。
技术实现要素:
本发明的目的在于克服现有技术的不足,本发明提供了一种基于多特征和自适应字典学习的目标跟踪方法及系统,利用纹理特征和颜色特征相结合构造判别字典,能够补充目标外观的表征能力,以及减少背景噪声干扰提高跟踪精度。
为了解决上述技术问题,本发明实施例提供了一种基于多特征和自适应字典学习的目标跟踪方法,所述目标跟踪方法包括:
获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板;
根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典;
基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理,获取判别纹理特征字典和判别颜色特征字典;
根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置。
可选的,所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板,包括:
在目标初始位置的第一帧图像框中进行随机采样,获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板;
在目标初始位置的第一帧图像框的周围按高斯分布进行采样,提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
可选的,所述根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典,包括:
根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典,获取初始纹理特征字典;
根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典,获取初始颜色特征字典。
可选的,所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置,包括:
基于目标的上一帧图像的位置在当前帧图像中进行采样,获取多个候选样本;
根据所述判别纹理特征字典和所述判别颜色特征字典,基于稀疏特征匹配算法,通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性,并根据所述最大相似性获取目标下一帧的跟踪位置。
可选的,所述目标跟踪方法还包括:
判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件;
若是,基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
可选的,所述更新判别纹理特征字典和判别颜色特征字典的条件,包括:
当前帧的最佳样本的噪声能量小于所有样本的平均噪声能量;
样本的平均噪声能量与表示场景变化的阈值曲线相交;
两次更新的间隔时间大于预设阈值。
可选的,所述基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新,包括:
对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典;
基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新。
另外,本发明实施例还提供了一种基于多特征和自适应字典学习的目标跟踪系统,所述目标跟踪系统包括:
模板获取模块:用于获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板;
字典构建模块:用于根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典;
字典学习模块:用于基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理,获取判别纹理特征字典和判别颜色特征字典;
跟踪匹配模块:用于根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置。
可选的,所述目标跟踪系统还包括:
判断模块:用于判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件;
字典更新模块:用于基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
可选的,所述字典更新模块包括:
重新采样单元:用于对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典;
更新学习单元:用于基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新。
在本发明实施例中,利用纹理特征和颜色特征相结合构造判别字典,能够补充目标外观的表征能力,以及减少背景噪声干扰提高跟踪精度;在跟踪过程中,使用样本相似性度量对候选样本的搜索范围进行过滤,以选择最佳候选样本,这样能有效减少异常的干扰;对判别字典进行相应的自适应更新,减少在目标跟踪过程中发生目标漂移的概率,维持稳定的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于多特征和自适应字典学习的目标跟踪方法的流程示意图;
图2是本发明实施例中的基于多特征和自适应字典学习的目标跟踪系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1是本发明实施例中的基于多特征和自适应字典学习的目标跟踪方法的流程示意图。
如图1所示,一种基于多特征和自适应字典学习的目标跟踪方法,所述目标跟踪方法包括:
s11:获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板;
在本发明具体实施过程中,所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板,包括:在目标初始位置的第一帧图像框中进行随机采样,获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板;在目标初始位置的第一帧图像框的周围按高斯分布进行采样,提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
具体的,通过对目标初始位置的第一帧图像对目标外观进行建模,在建模完成之后,在目标初始位置的第一帧图像框中进行随机采样,获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板;在目标初始位置的第一帧图像框的周围按高斯分布进行采样,提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
进一步的,在对目标进行跟踪的过程中,目标可以采用稀疏表达式进行稀疏特征表示,具体如下:
其中,y表示目标的稀疏特征表示,d表示字典,t表示目标前景模板,b表示目标周围背景模板,i表示对角矩阵,其中字典由目标前景模板、目标周围背景模板和对角矩阵组合而成;c表示稀疏系数,z表示目标系数,v表示背景系数,e表示噪声系数,其中稀疏系数由目标系数、背景系数和噪声系数构成。
s12:根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典;
在本方具体实施过程中,所述根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典,包括:根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典,获取初始纹理特征字典;根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典,获取初始颜色特征字典。
具体的,由s11中可知,字典由目标前景模板、目标周围背景模板和对角矩阵组合而成,因此,初始纹理特征字典是由目标前景模板的第一纹理特征、目标周围背景模板的第二纹理特征构和对角矩阵一起构建而成;初始颜色特征字典由目标前景模板的第一颜色特征、目标周围背景模板的第二颜色特征构和对角矩阵一起构建而成。
s13:基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理,获取判别纹理特征字典和判别颜色特征字典;
在本发明具体实施过程中,所述基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理的计算公式如下:
进一步的,公式(2)通过以下表达式进行求解:
其中,
进一步的,通过上述计算公式,即可获取判别纹理特征字典和判别颜色特征字典。
s14:根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置;
在本发明具体实施过程中,所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置,包括:基于目标的上一帧图像的位置在当前帧图像中进行采样,获取多个候选样本;根据所述判别纹理特征字典和所述判别颜色特征字典,基于稀疏特征匹配算法,通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性,并根据所述最大相似性获取目标下一帧的跟踪位置。
具体的,在跟踪过程中,需要对目标后续的每一帧图像中目标可能位置进行预测和匹配;因此,首先需要在基于目标的上一帧图像的位置在当前帧图像中进行采样,获取多个候选样本;然后,采用一种稀疏特征匹配的方法,通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性,从而根据计算获得的最大相似性来获取目标下一帧的跟踪位置。
对于上述的通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性,是在判别纹理特征字典和判别颜色特征字典的基础上,分别计算候选样本相应的相似性;以其中一个判别字典为例,首先,将目标的第一帧图像初始目标所对应的基向量d1,并将第t-1帧跟踪目标对应的基向量dp;则在第t帧时,对于第j个候选样本yj,通过字典分解,得到该样本的稀疏系数cj和基向量dj;定义gk(j)为基向量d1到基向量dj的欧式距离,sk(j)为基向量dp到基向量dj的欧式距离,其中k的取值为1或者2,分别对应判别纹理特征字典和判别颜色特征字典;因此,在第k个判别字典下,当前帧第j个候选样本与目标的相似性函数定义为lk(j):
上述的公式(4)的第三项是该候选样本的最小重构误差影响,η是正则化参数;把第j个候选样本在两个字典下得到的相似性进行连乘,获得该最终相似性值,通过如下公式获取最大相似性值的那个候选样本
s15:判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件;
在本发明具体实施过程中,所述更新判别纹理特征字典和判别颜色特征字典的条件,包括:当前帧的最佳样本的噪声能量小于所有样本的平均噪声能力;样本的平均噪声能力与表示场景变化的阈值曲线相交;两次更新的间隔时间大于预设阈值。
具体的,在目标跟踪的过程中,目标和背景随时间推移而发生变化,影响跟踪效果;大部分跟踪算法通过对目标外观模型进行在线更新以保持这些改变信息;然而,在更新过程中,如果更新的信息不准确,容易积累错误,这将导致目标跟踪发送漂移;为了维持良好的跟踪效果,需要减少积累的错误和过度拟合;若不满足更新判别纹理特征字典和判别颜色特征字典的条件,则返回s14。
对每一个候选样本,需要都在判别特征字典
在第t帧中,所有目标的周围的候选样本的平均噪声能量表达式表示为:
其中,
在本发明实施例中,定义阈值为
其中,
s16:若是,基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
在本发明具体实施过程中,所述基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新,包括:对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典;基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新。
具体的,对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典,其中包括对目标在当前帧图像框中进行随机采样和目标当前帧图像框的周围按高斯分布进行采样;然后基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新,获得更新后的判别纹理特征字典和更新后的判别颜色特征字典;在更新之后,返回s14进行目标位置继续跟踪。
在本发明实施例中,利用纹理特征和颜色特征相结合构造判别字典,能够补充目标外观的表征能力,以及减少背景噪声干扰提高跟踪精度;在跟踪过程中,使用样本相似性度量对候选样本的搜索范围进行过滤,以选择最佳候选样本,这样能有效减少异常的干扰;对判别字典进行相应的自适应更新,减少在目标跟踪过程中发生目标漂移的概率,维持稳定的跟踪效果。
图2是本发明实施例中的基于多特征和自适应字典学习的目标跟踪系统的结构组成示意图。
如图2所示,一种基于多特征和自适应字典学习的目标跟踪系统,所述目标跟踪系统包括:
模板获取模块11:用于获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板;
在本发明具体实施过程中,所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板,包括:在目标初始位置的第一帧图像框中进行随机采样,获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板;在目标初始位置的第一帧图像框的周围按高斯分布进行采样,提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
具体的,通过对目标初始位置的第一帧图像对目标外观进行建模,在建模完成之后,在目标初始位置的第一帧图像框中进行随机采样,获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板;在目标初始位置的第一帧图像框的周围按高斯分布进行采样,提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
进一步的,在对目标进行跟踪的过程中,目标可以采用稀疏表达式进行稀疏特征表示,具体如下:
其中,y表示目标的稀疏特征表示,d表示字典,t表示目标前景模板,b表示目标周围背景模板,i表示对角矩阵,其中字典由目标前景模板、目标周围背景模板和对角矩阵组合而成;c表示稀疏系数,z表示目标系数,v表示背景系数,e表示噪声系数,其中稀疏系数由目标系数、背景系数和噪声系数构成。
字典构建模块12:用于根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典;
在本方具体实施过程中,所述根据所述目标前景模板和目标周围背景模板构建初始字典,获取初始纹理特征字典和初始颜色特征字典,包括:根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典,获取初始纹理特征字典;根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典,获取初始颜色特征字典。
具体的,由s11中可知,字典由目标前景模板、目标周围背景模板和对角矩阵组合而成,因此,初始纹理特征字典是由目标前景模板的第一纹理特征、目标周围背景模板的第二纹理特征构和对角矩阵一起构建而成;初始颜色特征字典由目标前景模板的第一颜色特征、目标周围背景模板的第二颜色特征构和对角矩阵一起构建而成。
字典学习模块13:用于基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理,获取判别纹理特征字典和判别颜色特征字典;
在本发明具体实施过程中,所述基于lc-ksvd算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理的计算公式如下:
进一步的,公式(2)通过以下表达式进行求解:
其中,
进一步的,通过上述计算公式,即可获取判别纹理特征字典和判别颜色特征字典。
跟踪匹配模块14:用于根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置;
在本发明具体实施过程中,所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配,获取目标下一帧的跟踪位置,包括:基于目标的上一帧图像的位置在当前帧图像中进行采样,获取多个候选样本;根据所述判别纹理特征字典和所述判别颜色特征字典,基于稀疏特征匹配算法,通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性,并根据所述最大相似性获取目标下一帧的跟踪位置。
具体的,在跟踪过程中,需要对目标后续的每一帧图像中目标可能位置进行预测和匹配;因此,首先需要在基于目标的上一帧图像的位置在当前帧图像中进行采样,获取多个候选样本;然后,采用一种稀疏特征匹配的方法,通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性,从而根据计算获得的最大相似性来获取目标下一帧的跟踪位置。
对于上述的通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性,是在判别纹理特征字典和判别颜色特征字典的基础上,分别计算候选样本相应的相似性;以其中一个判别字典为例,首先,将目标的第一帧图像初始目标所对应的基向量d1,并将第t-1帧跟踪目标对应的基向量dp;则在第t帧时,对于第j个候选样本yj,通过字典分解,得到该样本的稀疏系数cj和基向量dj;定义gk(j)为基向量d1到基向量dj的欧式距离,sk(j)为基向量dp到基向量dj的欧式距离,其中k的取值为1或者2,分别对应判别纹理特征字典和判别颜色特征字典;因此,在第k个判别字典下,当前帧第j个候选样本与目标的相似性函数定义为lk(j):
上述的公式(4)的第三项是该候选样本的最小重构误差影响,η是正则化参数;把第j个候选样本在两个字典下得到的相似性进行连乘,获得该最终相似性值,通过如下公式获取最大相似性值的那个候选样本
判断模块15:用于判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件;
在本发明具体实施过程中,所述更新判别纹理特征字典和判别颜色特征字典的条件,包括:当前帧的最佳样本的噪声能量小于所有样本的平均噪声能力;样本的平均噪声能力与表示场景变化的阈值曲线相交;两次更新的间隔时间大于预设阈值;若不满足更新判别纹理特征字典和判别颜色特征字典的条件,返回跟踪匹配模块14。
具体的,在目标跟踪的过程中,目标和背景随时间推移而发生变化,影响跟踪效果;大部分跟踪算法通过对目标外观模型进行在线更新以保持这些改变信息;然而,在更新过程中,如果更新的信息不准确,容易积累错误,这将导致目标跟踪发送漂移;为了维持良好的跟踪效果,需要减少积累的错误和过度拟合。
对每一个候选样本,需要都在判别特征字典
在第t帧中,所有目标的周围的候选样本的平均噪声能量表达式表示为:
其中,
在本发明实施例中,定义阈值为
其中,
字典更新模块16:用于基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
在本发明具体实施过程中,所述字典更新模块16包括:重新采样单元:用于对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典;更新学习单元:用于基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新。
具体的,对集中在当前帧的目标位置进行重新采样得到正负样本,并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典,其中包括对目标在当前帧图像框中进行随机采样和目标当前帧图像框的周围按高斯分布进行采样;然后基于lc-ksvd算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理,完成更新,获得更新后的判别纹理特征字典和更新后的判别颜色特征字典;在更新之后,返回跟踪匹配模块14进行目标位置继续跟踪。
在本发明实施例中,利用纹理特征和颜色特征相结合构造判别字典,能够补充目标外观的表征能力,以及减少背景噪声干扰提高跟踪精度;在跟踪过程中,使用样本相似性度量对候选样本的搜索范围进行过滤,以选择最佳候选样本,这样能有效减少异常的干扰;对判别字典进行相应的自适应更新,减少在目标跟踪过程中发生目标漂移的概率,维持稳定的跟踪效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取存储器(ram,randomaccessmemory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于多特征和自适应字典学习的目标跟踪方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。