一种面向航拍影像的目标跟踪方法与流程

文档序号:19933223发布日期:2020-02-14 22:15阅读:来源:国知局

技术特征:

1.一种面向航拍影像的目标跟踪方法,其特征在于,包括如下步骤:

s100在上一帧的目标位置周围,执行增量式的搜索策略;

s200采样的样本经过孪生网络和区域推荐网络,得到预测位置的目标;

s300通过计算预测位置的目标与目标模板的相似度判断预测是否成功;

若预测成功,则保存目标位置并用于下一次预测;

若系统在连续的n帧内有n帧预测失败,则判断为目标丢失,进入步骤s400;其中,1≤n≤n;

s400将检测框初始化,并置于当前帧图像的中心点,执行增量式的搜索策略,重新检测和跟踪,直到重新定位到目标。

2.根据权利要求1所述的一种面向航拍影像的目标跟踪方法,其特征在于,所述步骤s100,包括:

目标在上一帧中的位置记为pt-1,当前帧以上一帧目标位置pt-1为初始点在周围进行采样,设置一个模板尺寸大小的初始采样框,增量式地增长采样框的大小,扩大检测的覆盖区域,直至确定出目标的位置;

其中,base_w、base_h分别表示采样框的初始宽高,α1、α2表示增长系数,取值范围为[0.1,1],w、h分别表示当前采样框的宽高。

3.根据权利要求2所述的一种面向航拍影像的目标跟踪方法,其特征在于,所述步骤s200,包括:

采样框当前的宽高记为w×h,采样的样本经过孪生网络ns和区域推荐网络nr,得到预测位置的目标。

4.根据权利要求3所述的一种面向航拍影像的目标跟踪方法,其特征在于,所述步骤s300,包括:

计算预测位置的目标与目标模板的相似度s,计算目标的具体位置pt,相似度s的取值范围为[0,1],s为阈值;s∈[0,s)为预测失败,s∈[s,1]为预测成功;

当系统在连续的n帧内有n帧预测失败时,则判断为目标丢失,启动检测功能,重新寻找目标并设置为模板帧ft;

其中,t表示阈值,flag表示重新检测开始的标志位。

5.根据权利要求4所述的一种面向航拍影像的目标跟踪方法,其特征在于,所述步骤s400,包括:

当系统判断检测框连续n帧预测失败后,启动检测框初始化,将检测框置于当前帧图像的中心点pt,执行增量式的搜索策略,重新检测和跟踪;

当系统从目标丢失状态重新定位到目标时,从步骤s100继续顺序执行,完成持续跟踪,否则继续执行步骤s400,直到重新定位出目标。

6.根据权利要求1所述的一种面向航拍影像的目标跟踪方法,其特征在于,所述的孪生网络和区域推荐网络的训练方法:

对目标跟踪数据集和目标检测数据集进行数据增强;

从视频序列中设定模板帧ft和待跟踪帧fc并进行预处理;模板帧ft的宽高设为wt、ht,待跟踪帧fc的宽高设为wc、hc;

孪生网络ns由两个并行的resnet网络分支n1、n2,通过权值共享构成;模板帧ft和待跟踪帧fc分别输入n1、n2,依次经过卷积、池化和relu进行特征提取,conv(ft)和conv(fc)表示特征提取后输出的特征图;

区域推荐网络nr,网络内部存在两个分支bcls、breg,一个用于前景和背景的分类分支bcls,另一个用于推荐框的回归分支breg;每个分支中各包含一个特征图互相关操作用于生成相应结果;

将特征图conv(ft)和conv(fc)送入区域推荐网络nr,通过并行的两个卷积层将conv(ft)增加为含有不同通道数目的两个分支[conv(ft)]cls和[conv(ft)]reg;通过并行的两个卷积层将conv(fc)增加为含有相同特征图尺寸的两个分支[conv(fc)]cls和[conv(fc)]reg;k为特征图上设置的参考框数,k的取值范围为[1,10];

分类分支bcls和回归分支breg分别计算互相关,互相关的定义是令模板帧的特征图conv(ft)和待跟踪帧的特征图conv(fc)进行卷积运算,得到目标的响应特征图acls和areg,网络输出2k个通道用于目标分类,4k个通道用于目标框回归;表示卷积符号;

训练网络时的分类损失lcls使用交叉熵损失,回归损失lreg使用具有标准化坐标的平滑l1损失;

归一化后的误差为:

其中,y为标签值,为实际分类值;ax,ay表示参考框的中心点,aw,ah表示参考框的宽高,tx,ty,tw,th表示groundtruth框,σ表示方差值;

λ是一个超参数,用于平衡两类损失,优化损失函数为:

loss=lcls+λlreg

孪生网络ns和区域推荐网络nr联合训练,利用随机梯度下降对误差求偏导,共训练m个周期,初始学习率为ε1,参考框的比率设置为[r1,r2,r3,…,rp]。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1