一种机载多模态学习的目标检测算法的制作方法

本申请涉及数字图像处理领域，具体地说是涉及一种机载多模态学习的目标检测算法。

背景技术：

1、人类在检测与识别物体时会充分利用当前所处状态的先验信息，如城市还是郊区，仰视还是俯视等。目前基于机载图像目标检测算法仅对当前输入图像进行处理，而不考虑无人机在拍摄图像时的状态信息，导致出现一些不合理的误检测，如出现在空中的建筑物，陆地上行驶的货轮等。然而，如何将机载状态信息与深度学习检测网络充分融合，让深度网络能够理解自身状态与目标语义信息是解决上述问题的难点。

技术实现思路

1、针对现有技术之不足，本申请提供了一种机载多模态学习的目标检测算法，有效的利用了无人机系统的平台信息，为机载平台当前观测数据与实时捕获图像之间的关系进行建模，进而可以在线改善机载目标检测算法在实际使用场景的运行效果，有效的避免了不合理的误检测情况的出现。

2、一种机载多模态学习的目标检测算法，包括模型训练阶段与模型测试阶段；

3、模型训练阶段包括：

4、(a1)输入图像x、辅助数据ym以及标注信息yd；

5、(a2)将图像输入到x主干网络resnet中，并经过特征金字塔网络获得特征图fb；

6、(a3)使用卷积运算edi来解耦fb中的领域不变特征fdi；

7、(a4)利用分类网络cds来得到学习领域特定特征的和学习领域不变特征的

8、(a5)根据标注信息yd与经典的目标检测损失计算方式得到正交损失似物性损失分类损失和定位损失

9、(a6)计算总体损失函数

10、(a7)利用总体损失函数与梯度下降算法训练网络参数模型，直到模型收敛，得到模型m；

11、模型测试阶段包括：

12、(b1)实时采集图像数据xr和与之对应的机载传感器的辅助数据ymr；

13、(b2)应用模型m推理得到目标检测结果。

14、步骤(a1)中所述辅助数据ym为机载传感器所反馈的数据信息，该数据信息为当前飞行高度、机载吊舱的拍摄角度、经度以及纬度中的任意一项或多项；

15、所述标注信息yd为人工标注的图像中的物体信息，该物体信息为中心坐标、宽度以及高度中的任意一项或多项。

16、步骤(a2)中将输入图像x输入到x主干网络resnet中，得到p3、p4、p5层的特征图，在经过特征金字塔网络，得到尺度融合特征图和并令其中任意一层特征图为fb。

17、步骤(a3)中fb同时包含领域不变特征fdi和领域特定特征fds，即fb＝fdi+fds，故而领域特定特征fds是fb和fdi之差，即fdi＝edi(fb)fds＝fb-fdi。

18、步骤(a4)中分类网络cds为逐像素分类网络，其作用是对混合图像的成像条件标签进行分类，且cds由3×3内核卷积层和像素级交叉熵损失层组成，卷积层的输出通道与成像条件标签的数量一致，且0表示当前像素所属图像的成像条件标签为假，1表示相反；

19、学习领域特定特征的为fds的损失函数，具体公式为：

20、

21、其中，故而用来学习领域特定特征；

22、学习领域不变特征的的具体公式为：

23、

24、其中，grl即gradient reversal layer，指的是梯度反转层，故而用来学习抑制分类效果的领域不变性特征。

25、步骤(a5)中正交损失是利用正交性原则提升特征解耦性能，在fdi和fds上增加一个正交损失其数学表达如下：

26、

27、其中，表示特征图fb中领域不变特征fdi对应的锚框可以覆盖物体的空间位置，b和c分别表示领域不变特征fdi对应锚框的空间位置的索引和特征通道的索引，⊙表示逐元素乘积，·、分别表示绝对值运算和l2归一化，通过最小化正交损失，增加了fdi和fds的独立性；

28、似物性损失的数学表达为：

29、

30、分类损失的数学表达为：

31、

32、定位损失的数学表达为：

33、

34、其中，wi为真实目标宽，hi为真实目标高，为预测目标宽，为预测目标高，pi(c)为c类别的预测概率，c表示类别，b表示每个空间位置的预测目标数量，x，y分别表示目标框中心的水平坐标和垂直坐标，

35、且的定义为：1，如果网网格单元i中存在目标，则第j个边界框预测值对该预测有效；如果网网格单元i中不存在目标，则为0。

36、步骤(a6)中总体损失函数的公式为：

37、

38、步骤(b2)中的目标检测结果为yr，且yr＝m(xr，ymr)。

39、与现有技术相比，本申请实施例具有如下有益效果：

40、本发明有效的利用了无人机系统的平台信息，为机载平台当前观测数据与实时捕获图像之间的关系进行建模，进而可以在线改善机载目标检测算法在实际使用场景的运行效果，有效的避免了不合理的误检测情况的出现。

41、本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请披露的特性可以通过对以下描述的具体实施例的各种方法、手段和组合的实践或使用得以实现和达到。

技术特征：

1.一种机载多模态学习的目标检测算法，其特征在于，包括模型训练阶段与模型测试阶段；

2.根据权利要求1所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a1)中所述辅助数据ym为机载传感器所反馈的数据信息，该数据信息为当前飞行高度、机载吊舱的拍摄角度、经度以及纬度中的任意一项或多项；

3.根据权利要求2所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a2)中将输入图像x输入到x主干网络resnet中，得到p3、p4、p5层的特征图，在经过特征金字塔网络，得到尺度融合特征图和并令其中任意一层特征图为fb。

4.根据权利要求3所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a3)中fb同时包含领域不变特征fdi和领域特定特征fds，即fb＝fdi+fds，故而领域特定特征fds是fb和fdi之差，即fdi＝edi(fb)，fds＝fb-fdi。

5.根据权利要求4所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a4)中分类网络cds为逐像素分类网络，其作用是对混合图像的成像条件标签进行分类，且cds由3×3内核卷积层和像素级交叉熵损失层组成，卷积层的输出通道与成像条件标签的数量一致，且0表示当前像素所属图像的成像条件标签为假，1表示相反；

6.根据权利要求5所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a5)中正交损失是利用正交性原则提升特征解耦性能，在fdi和fds上增加一个正交损失其数学表达如下：

7.根据权利要求6所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(a6)中总体损失函数的公式为：

8.根据权利要求7所述的一种机载多模态学习的目标检测算法，其特征在于，步骤(b2)中的目标检测结果为yr，且yr＝m(xr，ymr)。

技术总结
本发明公开了一种机载多模态学习的目标检测算法，包括模型训练阶段与模型测试阶段；模型训练阶段包括(A1)输入图像X、辅助数据γ<supgt;M</supgt;以及标注信息Y<supgt;D</supgt;；(A2)将图像输入到X主干网络ResNet中，并经过特征金字塔网络获得特征图F<subgt;b</subgt;；(A3)使用卷积运算E<subgt;DI</subgt;来解耦F<subgt;b</subgt;中的领域不变特征F<subgt;di</subgt;等步骤；模型测试阶段包括步骤(B1)实时采集图像数据X<supgt;R</supgt;和与之对应的机载传感器的辅助数据Y<supgt;MR</supgt;；(B2)应用模型M推理得到目标检测结果。本申请提供了一种机载多模态学习的目标检测算法，有效的利用了无人机系统的平台信息，为机载平台当前观测数据与实时捕获图像之间的关系进行建模，进而可以在线改善机载目标检测算法在实际使用场景的运行效果，有效的避免了不合理的误检测情况的出现。

技术研发人员：莫双齐,焦淑梅,李新明,肖坤洋
受保护的技术使用者：成都铂贝科技有限公司
技术研发日：
技术公布日：2024/2/19