基于表观特征和深度特征的目标跟踪方法、系统、装置与流程

文档序号:19741543发布日期:2020-01-18 05:18阅读:来源:国知局

技术特征:

1.一种基于表观特征和深度特征的目标跟踪方法,其特征在于,该方法包括:

步骤s10,根据t-1帧的目标位置和预设的目标尺寸,获取待追踪的目标在第t帧图像的区域,将该区域作为目标区域;并基于所述t-1帧的目标位置的中心点获取n倍于所述目标区域大小的区域,将其作为搜索区域;

步骤s20,通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征;

步骤s30,基于预设权重,分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均,得到目标区域的融合特征、搜索区域的融合特征;

步骤s40,根据所述目标区域的融合特征、所述搜索区域的融合特征,通过相关滤波器得到所述待追踪目标的响应图;将所述响应图的峰值对应的位置作为第t帧的目标位置;

其中,

所述表观特征提取网络基于卷积神经网络构建,用于根据输入的图像获取其对应的表观特征;

所述深度特征提取网络基于resnet网络构建,用于根据输入的图像获取其对应的深度特征。

2.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,步骤s10中“根据t-1帧的目标位置和预设的目标尺寸,获取待追踪的目标在第t帧图像的区域,将该区域作为目标区域”,其方法为:若t等于1,根据预设的目标位置和预设的目标尺寸,获取目标待追踪目标的目标区域;若t大于1,则根据t-1帧的目标位置和预设的目标尺寸,获取待追踪目标的目标区域。

3.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,所述表观特征提取网络其结构为:两个卷积层、一个相关滤波层,每个卷积层后连接一个最大池化层和relu激活函数;所述网络在训练过程中采用反向传播算法进行训练。

4.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,所述深度特征提取网络其结构为:5个卷积层、5个反卷积层;所述深度特征提取网络在训练过程中通过双目图像互相重建进行训练。

5.根据权利要求2所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,所述深度特征提取网络在提取深度特征的过程中,若t等于1,其提取方法为:

基于深度特征提取网络获取第一帧图像的深度特征;

基于所述第一帧图像的深度特征、所述预设的目标位置,获取所述目标区域、所述搜索区域的深度特征。

6.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,所述相关滤波器其在对所述目标区域进行滤波时,通过尺度变换方法得到不同的尺度,根据不同的尺度对所述目标区域进行放大或者缩小,然后进行滤波。所述尺度变换方法为:

其中,a为尺度系数,s为尺度池,s为预设的尺度数,as为尺度。

7.根据权利要求1-6任一项所述的基于表观特征和深度特征的目标跟踪方法,其特征在于,在步骤s40之后还包括相关滤波器状态值的更新,其方法为:

获取相关滤波器在t-1帧的状态值;

基于所述状态值、所述第t帧的目标位置、预设的学习率,更新相关滤波器t帧的状态值。

8.一种基于表观特征和深度特征的目标跟踪系统,其特征在于,该系统包括获取区域模块、提取特征模块、特征融合模块、输出位置模块;

所述获取区域模块,配置为根据t-1帧的目标位置和预设的目标尺寸,获取待追踪的目标在第t帧图像的区域,将该区域作为目标区域;并基于所述t-1帧的目标位置的中心点获取n倍于所述目标区域大小的区域,将其作为搜索区域;

所述提取特征模块,配置为通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征;

所述特征融合模块,配置为基于预设权重,分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均,得到目标区域的融合特征、搜索区域的融合特征;

所述输出位置模块,配置为根据所述目标区域的融合特征、所述搜索区域的融合特征,通过相关滤波器得到所述待追踪目标的响应图;将所述响应图的峰值对应的位置作为第t帧的目标位置;

其中,

所述表观特征提取网络基于卷积神经网络构建,用于根据输入的图像获取其对应的表观特征;

所述深度特征提取网络基于resnet网络构建,用于根据输入的图像获取其对应的深度特征。

9.一种存储装置,其中存储有多条程序,其特征在于,所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的基于表观特征和深度特征的目标跟踪方法。

10.一种处理装置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;其特征在于,所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于表观特征和深度特征的目标跟踪方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1