基于轻量型孪生网络的降落跟踪控制方法和系统及无人机

1.本发明涉及无人机控制领域，特别是基于轻量型孪生网络的降落跟踪控制方法和系统及无人机。


背景技术：

2.传统跟踪算法主要基于均值漂移、光流法与粒子滤波等，跟踪速度快，但无法利用图像的深层特征，跟踪精度较差。目前主流的跟踪算法主要基于深度学习、相关滤波以及这二者的结合。基于深度学习的跟踪算法利用卷积网络以更好地提取图像特征，跟踪精度高，但网络的计算量大，十分耗时，难以满足实时性要求。而基于相关滤波的跟踪算法速度远超前者，可以满足实时性要求，但由于相关滤波跟踪器需要实时在线更新滤波模板，会累加误差，使跟踪效果越来越差，无法保持较长时间的跟踪。将深度学习与相关滤波相结合，可以在一定程度上进行优势互补，虽然在精度与速度上有一个较好的均衡，但跟踪效果仍然有待提高。后来基于孪生网络的算法开始应用在跟踪领域，如siamrpn++，从相似匹配的角度来定位跟踪物体，其性能赶超了以往基于深度学习与相关滤波相结合的算法。siamrpn++的主干网络为resnet
‑
50，网络较深，需要的计算资源多，时间长，不利于在无人机等嵌入式平台上应用；且不同的跟踪目标在特征图的不同通道对应的响应有所不同，不加区分均等地利用各通道的信息不利于跟踪任务；当特征提取网络较浅时，为更好地利用特征信息，应采用一种合适的特征增强方式，将浅层特征与深层特征融合起来；传统的局部区域搜索策略过于简单，当目标因为遮挡或其它因素而短暂消失时，难以重新定位到目标，因为目标再次出现时很有可能已经跑出搜索的区域外；另外，其分类网络与回归网络的训练是独立进行的，对应训练的损失函数缺少一种相关联系。


技术实现要素：

3.针对上述缺陷，本发明的目的在于提出基于轻量型孪生网络的降落跟踪控制方法和系统及无人机，所述降落跟踪控制方法使得目标跟踪丢失后的重定位，保证目标重新出现时仍然处于当前搜索的区域，从而可以提高无人机降落过程的跟踪的精准度和控制响应速度。
4.为达此目的，本发明采用以下技术方案：
5.基于轻量型孪生网络的降落跟踪控制方法，其包括如下内容：
6.跟踪模型训练阶段：a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型snet特征提取模块，利用轻量型snet特征提取模块中轻量型网络snet提取搜索特征和目标特征；a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；a4.将增强搜索特征和增强目标特征输入至同一个rpn网络中，确定目标的种类和位置；a5.利用ciou衡量目标框回归的精度，当ciou值比较大时，即目标框定位精
确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；a6.按照步骤a5
‑
a2
‑
a5进行多次循环训练最终得到跟踪模型；
7.无人机实时跟踪阶段：b1.对机载摄像头视频进行识别帧操作；b2.将识别帧信息导入跟踪模型并识别目标；b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作。
8.更优的，所述步骤a1中经过轻量型网络snet的深度分离卷积操作后，得到三条搜索特征和三条目标特征。
9.具体的，所述步骤a2中权重调整操作包括如下内容：搜索特征和目标特征先利用全局最大池化，对特征图进行压缩；再经过全卷积与非线性激活操作，通过训练一个制定参数来代表各通道特征图的权重，最后将原有各通道的特征乘以经过全卷积与非线性激活操作所得权重值，得到调整过后的调整搜索特征图和调整目标特征图。
10.更优的，所述步骤a3和a4中还包括如下内容：基于特征金字塔对提取到的调整搜索特征和调整目标特征加以增强，并进行特征融合，将融合后的特征输入rpn网络中，从三个尺度上确定目标的种类和位置。
11.更优的，所述步骤a5中还包括如下内容：
12.针对损失函数的优化问题；目标框回归的准确度采用ciou来衡量，当ciou值比较大时，说明目标框定位比较精确；对于边框精度高的样本，增加其分类损失值与边框损失值，反之则减小。
13.具体的，所述ciou中iou具体如下：
[0014][0015][0016][0017][0018]
loss
b
＝1
‑
c
iou
ꢀꢀ
(5)
[0019]
loss
c
＝
‑
[g*lnp+(1
‑
g)*ln(1
‑
p)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0020]
p＝pr
eobject
+c
iou
*(1
‑
pre
object
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0021]
a表示真实框，b表示预测框，w、h、b、w
gt
、h
gt
、b
gt
分别表示真实框与预测框的宽、高和中心，ρ2(b，b
gt
)表示真实框与预测框中心点之间的欧式距离，c表示同时包含真实框与预测框最小矩形的对角线长度，loss
b
表示边框损失函数，loss
c
则表示分类损失函数，g表示是否为目标，是则为1，否为0；pre
object
表示rpn网络预测得出的分类概率，当预测框的回归精度高时，认为分类较为可靠，增大其分类预测概率。
[0022]
更优的，所述步骤b3中还包括如下内容：针对目标消失后的重定位问题；利用卡尔曼算法对目标的下一帧位置进行预测，以预测的结果为中心进行目标的局部检测；若在某些连续帧中目标跟踪丢失，则以卡尔曼滤波的预测位置结果为中心，搜索区域的长与宽额外增加一项，在搜索区域的长与宽超出视频帧本身大小前，该项随着时间的增大而增大，若
长时间未能检测到目标，最终的检测区域扩大为整个图像。
[0023]
具体的，所述步骤b3中还包括如下内容：
[0024][0025][0026]
w
search
、h
search
为搜索区域的宽与高，w
pre
、h
pre
为卡尔曼预测区域的宽与高，w
frame
、h
frame
为视频帧的宽与高，v
w
、v
h
为先前n帧图像中目标在横向与纵向的帧间平均移动速度，α为控制区域扩大速度的常数，t为跟踪丢失开始计起的视频帧数。
[0027]
降落跟踪控制系统，其包括：跟踪模型和实时跟踪装置。
[0028]
所述跟踪模型包括：轻量型snet特征模块，用于利于轻量型网络snet搜索特征图和目标特征图；特征权重调整模块，用于对搜索特征图和目标特征图进行权重调整操作，并得到调整搜索特征图和调整目标特征图；增强特征模块，用于对调整搜索特征图和调整目标特征图经过特征增强操作，得到增强搜索特征图和增强目标特征图；rpn模块，其配置有rpn网络，用于确定目标的种类和位置；ciou损失模块，其用于横梁目标框回归的精度。
[0029]
实时跟踪装置包括：机载摄像头，其用于拍摄机载摄像头视频；视频识别模块，其用于从机载摄像头视频中完成识别帧操作；跟踪识别模块，其配置有如上所述的无人机降落跟踪控制方法的控制软件；判定模块，其用于判定目标是否定位成功；预测搜索模块，其用于当判定模块判定目标定位成功时，利用卡尔曼算法对目标进行预测搜索；扩大搜索模块，其用于当判定模块判定目标定位不成功时，调整扩大搜索范围。
[0030]
无人机，其应用如上所述的降落跟踪控制系统。
[0031]
本发明的一个实施例的有益效果：
[0032]
根据上述内容，本发明提出一种基于轻量型孪生网络的无人机降落跟踪控制方法，所述机降落跟踪控制方法采用轻量型特征提取网络snet并加以修改，提升特征的提取速度以更好地满足实时性要求。针对无人机的定点降落，起降平台一般是固定的，即追踪任务可划分为单类目标的跟踪。而同一类目标一般由特定的特征通道来表征，为此设计一个模块来进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度。为提升网络的训练效果，本发明对rpn(region proposal network)网络的损失函数计算进行优化，采用ciou(complete
‑
iou)来衡量目标框回归的精度，同时根据ciou来调整分类损失函数的计算，加强回归网络与分类网络的关系。在跟踪过程中，当目标因为某种原因跟丢时，算法能根据目标先前的运动规律，随着时间流逝逐步扩大搜索区域，进而保证目标重新出现时仍然处于当前搜索的区域内。
附图说明
[0033]
图1是本发明的一个实施例中所述降落跟踪控制系统的工作流程示意图；
[0034]
图2是本发明的一个实施例中所述跟踪模型训练阶段的部分算法的框架结构示意图；
[0035]
图3是本发明的一个实施例中所述特征权重调整模块的权重调整操作流程示意图；
[0036]
图4是本发明的一个实施例中所述增强特征模块的特征增强操作流程示意图。
具体实施方式
[0037]
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
[0038]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0039]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0040]
基于轻量型孪生网络的降落跟踪控制方法，其包括如下内容：
[0041]
跟踪模型训练阶段：a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型snet特征提取模块，利用轻量型snet特征提取模块中轻量型网络snet提取搜索特征和目标特征；a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；a4.将增强搜索特征和增强目标特征输入至同一个rpn网络中，确定目标的种类和位置；a5.利用ciou衡量目标框回归的精度，当ciou值比较大时，即目标框定位精确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；a6.按照步骤a5
‑
a2
‑
a5进行多次循环训练最终得到跟踪模型。
[0042]
无人机实时跟踪阶段：b1.对机载摄像头视频进行识别帧操作；b2.将识别帧信息导入跟踪模型并识别目标；b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作。
[0043]
针对无人机跟踪的实时性要求，本实施例采用修改后的轻量型网络snet进行图像的特征提取，为更好地针对特定目标，即起降平台的跟踪，现对原有网络进行修改，修改后的网络如图2所示。
[0044]
具体的，所述步骤a1中经过轻量型网络snet的深度分离卷积操作后，得到三条搜索特征和三条目标特征。
[0045]
以其中一支特征提取网络为例，假设输入图像大小为448
×
448；轻量型网络snet的特征提取网络如下表所示：
[0046][0047]
经过深度可分离卷积后，可以得到多个通道，每个通道各自携带的信息几乎已解耦，进行相关操作时，同一类物体只在对应的通道有高响应。对于单类跟踪，精准利用这些对应通道，能更好地完成目标地检测，可提高检测精度。
[0048]
所述步骤a2中权重调整操作包括如下内容：搜索特征和目标特征先利用全局最大池化，对特征图进行压缩；再经过全卷积与非线性激活操作，通过训练一个制定参数来代表各通道特征图的权重，最后将原有各通道的特征乘以经过全卷积与非线性激活操作所得权重值，得到调整过后的调整搜索特征图和调整目标特征图；具体如图3所示，f1表示利用全局最大池化，对特征图进行压缩，f2表示全卷积与非线性激活等操作，通过训练一个w参数来代表各通道特征图的权重，f3则表示将原有各通道的特征乘以f2所得权重值，得到调整过后的特征图。
[0049]
图像卷积后的后的浅层特征更多反映形状、颜色、边缘等，有助于目标的定位，而深层特征通常拥有更高层次的语义信息，有助于目标的分类，融合浅层特征与深层特征，能更加有效地同时利用二者所表示的信息。
[0050]
具体的，所述步骤a3和a4中还包括如下内容：基于特征金字塔对提取到的调整搜索特征和调整目标特征加以增强，并进行特征融合，将融合后的特征输入rpn网络中，从三个尺度上确定目标的种类和位置；所述特征增强模块的工作流程如图4所示。
[0051]
更优的，所述步骤a5中还包括如下内容：针对损失函数的优化问题；训练之后的网络性能好坏与损失函数的设置有着很大的关系；目标框回归的准确度采用ciou来衡量，当ciou值比较大时，说明目标框定位比较精确；对于边框精度高的样本，增加其分类损失值与边框损失值，反之则减小。
[0052]
具体的，所述ciou中iou具体如下：
[0053][0054][0055][0056][0057]
loss
b
＝1
‑
c
iou
ꢀꢀ
(5)
[0058]
loss
c
＝
‑
[g*lnp+(1
‑
g)*ln(i
‑
p)]
ꢀꢀ
(6)
[0059]
p＝pre
object
+c
iou
*(1
‑
pre
object
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0060]
a表示真实框，b表示预测框，w、h、b、w
gt
、h
gt
、b
gt
分别表示真实框与预测框的宽、高和中心，ρ2(b，b
gt
)表示真实框与预测框中心点之间的欧式距离，c表示同时包含真实框与预测框最小矩形的对角线长度，loss
b
表示边框损失函数，loss
c
则表示分类损失函数，g表示是否为目标，是则为1，否为0；pre
objec
t表示rpn网络预测得出的分类概率，当预测框的回归精度高时，认为分类较为可靠，增大其分类预测概率。
[0061]
更优的，所述步骤b3中还包括如下内容：针对目标消失后的重定位问题；利用卡尔曼算法对目标的下一帧位置进行预测，以预测的结果为中心进行目标的局部检测；若在某些连续帧中目标跟踪丢失，则以卡尔曼滤波的预测位置结果为中心，搜索区域的长与宽额外增加一项，在搜索区域的长与宽超出视频帧本身大小前，该项随着时间的增大而增大，若长时间未能检测到目标，最终的检测区域扩大为整个图像。
[0062]
具体的：
[0063][0064][0065]
w
search
、h
search
为搜索区域的宽与高，w
pre
、h
pre
为卡尔曼预测区域的宽与高，w
frame
、h
frame
为视频帧的宽与高，v
w
、v
h
为先前n帧图像中目标在横向与纵向的帧间平均移动速度，α为控制区域扩大速度的常数，t为跟踪丢失开始计起的视频帧数。
[0066]
应用上述降落跟踪控制方法的降落跟踪控制系统，其包括：跟踪模型和实时跟踪装置。
[0067]
具体的，所述跟踪模型包括：轻量型snet特征模块，用于利于轻量型网络snet搜索特征图和目标特征图；特征权重调整模块，用于对搜索特征图和目标特征图进行权重调整操作，并得到调整搜索特征图和调整目标特征图；增强特征模块，用于对调整搜索特征图和调整目标特征图经过特征增强操作，得到增强搜索特征图和增强目标特征图；rpn模块，其配置有rpn网络，用于确定目标的种类和位置；ciou损失模块，其用于横梁目标框回归的精度。
[0068]
实时跟踪装置包括：机载摄像头，其用于拍摄机载摄像头视频；视频识别模块，其
用于从机载摄像头视频中完成识别帧操作；跟踪识别模块，其配置有如上所述的降落跟踪控制方法的控制软件；判定模块，其用于判定目标是否定位成功；预测搜索模块，其用于当判定模块判定目标定位成功时，利用卡尔曼算法对目标进行预测搜索；扩大搜索模块，其用于当判定模块判定目标定位不成功时，调整扩大搜索范围。
[0069]
无人机，其应用如上所述的降落跟踪控制系统。
[0070]
考虑到无人机追踪的实时性要求，所述无人机用另一种更加轻量型的网络来作为特征提取网络；针对单类物体的跟踪任务，设计一个特征权重调整模块，通过网络训练找出相关响应较大的特征通道，并给予分配更大的权值，以便更有效地利用特征信息；基于特征金字塔对提取到的特征进行增强，进而输入rpn网络中进行多尺度的目标检测；优化分类与边框回归的损失函数，加强二者之间的联系；设计一种基于目标运动规律来调整搜索区域的策略，帮助目标跟踪丢失后的重定位。
[0071]
根据上述具体实施方式，本发明提出一种基于轻量型孪生网络的降落跟踪控制方法和系统及无人机，所述降落跟踪控制方法采用轻量型特征提取网络snet并加以修改，提升特征的提取速度以更好地满足实时性要求。针对无人机的定点降落，起降平台一般是固定的，即追踪任务可划分为单类目标的跟踪。而同一类目标一般由特定的特征通道来表征，为此设计一个模块来进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度。为提升网络的训练效果，本发明对rpn(region proposal network)网络的损失函数计算进行优化，采用ciou(complete
‑
iou)来衡量目标框回归的精度，同时根据ciou来调整分类损失函数的计算，加强回归网络与分类网络的关系。在跟踪过程中，当目标因为某种原因跟丢时，算法能根据目标先前的运动规律，随着时间流逝逐步扩大搜索区域，进而保证目标重新出现时仍然处于当前搜索的区域内。
[0072]
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。