基于生物视觉机理的旋翼无人机红外视频跟踪方法

1.本发明属于计算机视觉和目标跟踪领域，特别涉及一种旋翼无人机在红外视频中的单目标跟踪技术。


背景技术：

2.近年来，旋翼无人机在国内外发展日益蓬勃，被广泛应用于航拍、表演、遥测、巡防、勘探、救援等诸多领域，但也随之产生了一系列严重的安全管控问题：未经许可闯入公共及敏感区域、意外坠落、影响客机正常起降、碰撞高层建筑等事件不断发生。因此，开展针对复杂环境下无人机的智能感知研究，有助于对无人机进行有效探测和监管，具有重要意义。相对可见光信号，红外信号在恶劣天气下鲁棒性强，对光照不敏感，因此更适合用以在复杂环境中监控具有低慢小特征的旋翼无人机目标。
3.目前，解决对移动目标的跟踪问题有两个主流途径：基于目标运动特征的方法和基于目标外观特征的方法。典型的基于目标运动特征的方法有航迹法，光流法等。航迹法主要利用飞行物的飞行轨迹进行跟踪，在飞行轨迹容易预测的固定翼飞机上应用效果较好，但不适用于具有多个飞行自由度的旋翼无人机。光流法通过利用视频序列在相邻帧之间的像素关系,寻找像素的位移变化来判断目标的运动状态,实现对运动目标的跟踪。应用该类方法需要满足的前提假设是：图像的光照强度保持不变，背景相对目标保持稳定。在红外监控视频中，由于成像器件的限制，往往难以满足该假设。典型的基于目标外观特征的方法有特征匹配法，相关滤波法等。特征匹配法首先提取目标特征,然后根据最相似的特征在后续视频帧中进行目标定位。由于需要处理整张视频帧，因此该类方法通常难以满足实时性的要求。相关滤波法将通信领域衡量两个信号相似程度的思路引入目标跟踪中，根据跟踪过程中的当前帧以及之前帧的信息训练一个分类器，计算新输入帧的相关性，最大输出响应的位置即为当前帧的目标位置。该类方法要求被跟踪物体在形状和尺寸上保持一定的稳定性。然而旋翼无人机由于其飞行原理，机动时在加速方向上存在较大的倾斜角，难以满足应用相关滤波跟踪的前提要求。近年来，基于深度学习的目标跟踪方法正快速发展，但该类方法对训练数据集和计算资源的需要限制了其在实际场景中的大规模应用。


技术实现要素：

4.为解决上述技术问题，本发明提出一种基于生物视觉机理的旋翼无人机红外视频跟踪方法。
5.本发明采用的技术方案为：基于生物视觉机理的旋翼无人机红外视频跟踪方法，包括：
6.s1.根据输入的视频帧，提取当前运动信息的粗估计；
7.s2.根据输入的视频帧提取朝向特征和边缘特征，以朝向特征作为实部，与该朝向特征具有相同尺度的边缘特征作为虚部，获得实数域的目标特征图；
8.s3.根据当前帧的目标特征图，结合前一帧信息，计算特征加权图的粗估计；
9.s4.加权融合当前运动信息的粗估计、前一帧的运动预测信息、前一帧的检测窗、当前特征加权图，获得对目标当前位置的粗估计。
10.s5.对目标当前位置的粗估计以其中像素点的最大值减去三倍标准差为门限进行二值化，得到对目标的精细估计；以对目标精细估计中非零像素点的质心位置为中心，检测框容忍系数与目标尺寸值乘积为半径，得到当前帧的检测窗w
t
(x,y)。
11.还包括步骤s6.根据当前帧目标特征图中对应检测窗位置的信息块，更新目标特征信息；根据当前帧的目标位置和前一帧的目标位置，更新速度相关信息；根据当前速度和目标位置，估计下一帧目标位置，计算当前运动预测信息。
12.步骤s1的计算式为：
[0013][0014]
其中，表示当前运动信息的粗估计，avg_filter为均值滤波器，f
t
(x,y)为当前时刻t的视频帧，f
t-1
(x,y)为缓存的t-1时刻的视频帧，object_size表示目标尺寸值。
[0015]
步骤s2所述的目标特征图表示为：
[0016]
fmap(x,y；θ,s)＝ori(x,y；θ,s)+i
×
edge(x,y；s)
[0017]
其中，ori(x,y；θ,s)表示朝向特征，θ表示朝向，s表示尺度，edge(x,y；s)表示边缘特征。
[0018]
包括十二个朝向和五个尺度；具体的：s∈{0.5,0.8,1,1.2,1.5}
×
object_size。
[0019]
所述edge(x,y；s)由局部亚区去抑制的双高斯差滤波提取，具体计算方式如下：
[0020][0021]
其中，是卷积操作符，是尺度为的二维高斯核函数，是尺度为的二维高斯核函数，gauss(s)是尺度为s的二维高斯核函数。
[0022]
步骤s3所述的特征加权图的粗估计计算式为：
[0023][0024]
其中，表示特征加权图的粗估计，
⊙
是点积操作符，是卷积操作符，of(θ,s)是目标特征信息，vw
t-1
是前一帧计算的速度权重，e
t-1
(x,y)是前一帧计算的运动预测信息。of(θ,s)在第一帧根据用户设定检测窗初始化，vw
t-1
和e
t-1
(x,y)在第一帧初始化为0，随后均由步骤s6逐帧更新。
[0025]
步骤s4所述加权融合计算式为：
[0026][0027]
其中，是融合权重系数。前一帧检测窗w
t-1
(x,y)在第一帧由用户设置，其
后由步骤s6逐帧计算。gauss(object_size)是尺度为目标尺寸的二维gauss核函数。
[0028]
步骤s4所述的当前特征加权图fweight(x,y)根据步骤s3的特征加权图的粗估计得到，具体过程为：以步骤s3的特征加权图的粗估计响应最强的点为中心，将该点距离五倍目标尺寸外的点置0，将该点距离五倍目标尺寸内的点平滑滤波后进行归一化，得到当前特征加权图。
[0029]
步骤s6所述的目标特征信息更新方式为：
[0030]
截取出当前帧目标特征图fmap(x,y；θ,s)中对应当前检测窗w
t
(x,y)位置的信息块update(θ,s)，更新目标特征信息of(θ,s)：
[0031]
update(θ,s)＝fmap(x,y；θ,s),(x,y)∈w
t
(x,y)＝1
[0032]
of(θ,s)＝(1-ρ)
×
of(θ,s)+ρ
×
update(θ,s)
[0033]
其中，ρ为学习率。
[0034]
步骤s6所述的速度相关信息更新方式为：
[0035]
根据当前帧的目标位置(即检测窗中心点)(p
t
,q
t
)和前一帧的目标位置(p
t-1
,q
t-1
)，更新速度相关信息vw
t
：
[0036][0037][0038][0039][0040]
步骤s6所述的当前运动预测信息计算方式为：
[0041]
根据当前速度(vx
t
,vy
t
)和目标位置(p
t
,q
t
)，估计下一帧目标位置(ex
t
,ey
t
)：
[0042][0043]
以下一帧目标位置估计(ex
t
,ey
t
)为中心，将其距离object_size内的像素置1，距离外的像素置0，得到运动信息的粗估计
[0044][0045]
再根据得到当前时刻的运动预测信息e
t
(x,y)：
[0046][0047]
其中，gauss(ξ)是尺度为目标机动力参数ξ的二维gauss核函数。
[0048]
本发明的有益效果：本发明整合跟踪目标的运动特征和外观特征对目标进行跟踪，良好适应了旋翼无人机在红外视频中信号不稳定、运动自由度多等特点，具有跟踪准确
度高、计算实时性强等特点，非常适合于红外视频中旋翼无人机的单目标跟踪。
附图说明
[0049]
图1是本发明的流程示意图。
[0050]
图2是本发明的跟踪结果图。
具体实施方式
[0051]
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
[0052]
在下述计算过程中均采用浮点数进行计算。
[0053]
本发明方法的计算过程从视频第二帧开始，在视频第一帧需由用户初始化设定跟踪窗口并根据该窗口初始化目标特征信息，同时指定目标尺寸值object_size、学习率ρ、检测框容忍系数n、目标机动力ξ、融合权重系数等参数：如图1所示，包括以下实现过程：
[0054]
s1.根据输入的视频帧，由下式提取当前运动信息的粗估计
[0055][0056]
其中，||表示求绝对值，f
t
(x,y)为当前时刻t的视频帧，(x,y)表示该帧像素点的位置坐标，f
t-1
(x,y)为缓存的前一时刻的视频帧，avg_filter为均值滤波器，其大小r等于使用者在初始化时根据无人机大小设置目标尺寸值object_size。
[0057]
s2.根据输入的视频帧提取朝向特征和边缘特征，以朝向特征ori(x,y；θ,s)作为实部，与该朝向特征具有相同尺度s的边缘特征edge(x,y；s)作为虚部，获得实数域的目标特征图fmap(x,y；θ,s)：
[0058]
fmap(x,y；θ,s)＝ori(x,y；θ,s)+i
×
edge(x,y；s)
[0059]
i2＝-1。
[0060]
朝向特征ori(x,y；θ,s)包含十二个朝向五个尺度s∈{0.5,0.8,1,1.2,1.5}
×
object_size，由下式计算：
[0061][0062]
其中，是卷积操作符，gabor(θ,s)是朝向为θ尺度为s的二维gabor核函数。本领域的技术人员应注意f
t
(x,y)在卷积计算中，通常将表示像素坐标点的(x,y)写在括号外。
[0063]
边缘特征edge(x,y；s)包含五个尺度s∈{0.5,0.8,1,1.2,1.5}
×
object_size，由局部去抑制的双高斯差滤波提取，计算式如下：
[0064][0065]
其中，是卷积操作符，gauss(s)分别是尺度为s的二
维高斯核函数。
[0066]
s3.根据当前帧的目标特征图fmap(x,y；θ,s)，结合之前帧信息，计算特征加权图的粗估计
[0067][0068]
其中，
⊙
是点积操作符，是卷积操作符，of(θ,s)是目标特征信息，在第一帧根据用户设定检测窗初始化，其后根据s5所述计算方式逐帧计算。vw
t-1
是前一帧计算的速度权重，在第一帧初始化为0，其后根据s5所述计算方式逐帧计算。e
t-1
(x,y)是前一帧计算的运动预测信息，在第一帧初始化为0，其后根据s5所述计算方式逐帧计算。
[0069]
以响应最强的点为中心，将该点距离外的点置0，并进行归一化，得到特征加权图fweight(x,y)
[0070][0071][0072]
其中，max是取最大值操作符，gauss(object_size)是尺度为s的二维gauss核函数。
[0073]
s4.加权融合当前运动信息的粗估计前一帧的运动预测信息e
t-1
(x,y)、前一帧的检测窗w
t-1
(x,y)、特征加权图fweight(x,y)，获得对目标的粗估计(x,y)、特征加权图fweight(x,y)，获得对目标的粗估计
[0074]
其中，是融合权重系数，由用户在初始化时设置。第一帧检测窗w
t-1
(x,y)在第一帧由用户设置，其他帧检测窗根据s5所述方式逐帧计算。gauss(object_size)是尺度为object_size的二维gauss核函数。
[0075]
s5.对目标的粗估计以最大值减三倍标准差为门限进行二值化，得到对目标的精细估计o
t
(x,y)：
[0076][0077]
其中，std是取标准差操作符。
[0078]
取o
t
(x,y)中非零点的质心位置，得到当前帧的目标位置(p
t
,q
t
)：
[0079][0080]
其中，[]是取整操作符。
[0081]
以(p
t
,q
t
)为中心，n
×
object_size半径做八边形，得到当前帧的检测框。其中n为检测框容忍系数，由用户在初始化时设置。将该检测框中的像素置1，该检测框中外的像素置0，得到当前帧的检测窗w
t
(x,y)。
[0082]
s6.截取出当前帧目标特征图fmap(x,y；θ,s)中对应检测窗w
t
(x,y)位置的信息块update(θ,s)，更新目标特征信息of(θ,s)：
[0083]
update(θ,s)＝fmap(x,y；θ,s),(x,y)∈w
t
(x,y)＝1
[0084]
of(θ,s)＝(1-ρ)
×
of(θ,s)+ρ
×
update(θ,s)
[0085]
其中，ρ为学习率，由用户在初始化时设置。在第一帧由用户初始化跟踪窗口w1(x,y)时，目标特征信息of(θ,s)初始化为update(θ,s)。
[0086]
根据当前帧的目标位置(p
t
,q
t
)和前一帧的目标位置(p
t-1
,q
t-1
)，更新速度相关信息：
[0087][0088][0089][0090][0091]
根据当前速度(vx
t
,vy
t
)和目标位置(p
t
,q
t
)，估计下一帧目标位置(ex
t
,ey
t
)：
[0092][0093]
以下一帧目标位置估计(ex
t
,ey
t
)为中心，将其距离object_size内的像素置1，距离外的像素置0，得到运动信息的粗估计
[0094][0095]
再根据得到当前时刻的运动预测信息e
t
(x,y)：
[0096]
[0097]
其中，gauss(ξ)是尺度为ξ的二维gauss核函数，目标机动力参数ξ由用户根据无人机加速能力在初始化时设置。本领域的技术人员应注意在卷积计算中，通常将表示像素坐标点的(x,y)写在括号外。
[0098]
图2中白色八边形框是利用本发明生成旋翼无人机目标跟踪框。如图2所示，本发明能够有效排除复杂背景对不稳定小目标的干扰，在红外视频中跟踪以多个自由度移动的旋翼无人机。
[0099]
本发明整合跟踪目标的运动特征和外观特征对目标进行跟踪，良好适应了旋翼无人机在红外视频中信号不稳定、运动自由度多等特点，具有跟踪准确度高、计算实时性强等特点，非常适合于红外视频中旋翼无人机的单目标跟踪。
[0100]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。