一种序列图像3D检测引导的战场目标行为推理方法

本发明属于3d目标检测和行为推理，尤其涉及一种序列图像3d检测引导的战场目标行为推理方法。

背景技术：

1、基于图像实现环境中目标精确的3d检测和行为推理是环境感知领域的难点和重点。序列图像可以更全面、真实地反映环境中目标的属性和状态。基于序列图像的3d检测能够较大的减小深度估计的误差，提高3d目标检测的精度，为智能决策提供信息支撑。

2、随着智能化时代的到来，3d目标检测技术显示出重要的应用价值。知识蒸馏技术能够通过教师网络指导学生网络的训练，减少神经网络模型的参数，得到轻量化的学生网络模型。基于深度学习方法构建的3d目标检测网络模型，一般先在通用数据集上进行训练，然后使用迁移学习方法在特定情境下训练网络模型，提高网络模型对特定情境的适应性和泛化能力。

3、战场环境会出现大量的作战目标，依靠人力识别和推理具有很大的难度。而现有基于图像的3d目标检测方法深度估计误差较大，复杂的网络模型难以在移动设备上部署，由此为利用深度学习解决战场环境中的感知难题，提出了一种序列图像3d目标检测的战场目标行为推理方法。

技术实现思路

1、本发明提出了一种序列图像3d目标检测的战场目标行为推理方法，通过应用知识蒸馏方法训练轻量化的网络模型，然后通过迁移学习将网络模型应用到实际的战场目标检测任务中，根据3d检测的结果进行目标的行为推理，以解决上述现有技术中存在的技术问题。

2、为实现上述目的，本发明提供了一种序列图像3d检测引导的战场目标行为推理方法，包括以下步骤：

3、采集战场序列图像数据并进行预处理；

4、基于多示例学习算法对预处理后的战场序列图像数据进行情景分类，获得不同战场情景的图像数据集；

5、构建3d目标检测模型，并基于知识蒸馏方法对所述3d目标检测模型进行轻量化处理，获得轻量化3d目标检测模型；

6、基于迁移学习对所述轻量化3d目标检测模型进行实际战场情景的训练；

7、基于训练后的轻量化3d目标检测模型对所述不同战场情景的图像数据集进行检测，获得3d检测结果；

8、构建目标模型，基于所述目标模型对所述3d检测结果进行目标行为推理，获得战场情景中目标的速度和运动方向。

9、可选地，采集战场序列图像数据的过程包括：在无人车和无人机上分别搭载相机传感器，基于特征点匹配对无人车和无人机上搭载的相机传感器进行参数标定，并使用时间同步协议，在相同的时间戳上基于无人车和无人机上搭载的相机传感器采集战场序列图像数据，并将所述战场序列图像数据转换为统一的经纬度坐标系。

10、可选地，对所述战场序列图像数据进行预处理的过程包括：对所述战场序列图像数据进行滤波处理、均衡化处理和动态范围调整的处理，获得预处理后的战场序列图像数据。

11、可选地，基于多示例学习算法对预处理后的战场序列图像数据进行场景分类的过程包括：构建多示例学习算法神经网络并进行训练，基于训练后的多示例学习算法神经网络将预处理后的战场序列图像数据分割成若干子区域，以采样后不同子区域的相关系数作为相似性度量，对不同子区域采用不同的权重因子，基于加权欧几里得距离获得由子区域的加权相似性度量定义的距离，生成每个子区域的特征向量，将不同子区域的特征向量组织为袋，并为袋设置标签，对袋的标签进行分类，获得不同战场场景的图像数据集。

12、可选地，构建多示例学习算法神经网络并进行训练的过程包括：基于包括一个池化层、三个全连接层和一个隐藏层的卷积神经网络构建多示例学习算法神经网络，将交叉熵作为损失函数衡量多示例学习算法神经网络的预测损失，通过反向传播计算多示例学习算法神经网络的梯度，完成对所述多示例学习算法神经网络的训练。

13、可选地，获得轻量化3d目标检测模型的过程包括：将所述轻量化3d目标检测模型作为学生网络，基于知识蒸馏方法获得教师网络和学生网络之间的fag特征相似度图，将注意力模块引入到所述fag特征相似度图中，获得最终的特征关系图，然后将所述最终的特征关系图输入到知识蒸馏方法的骨干网中进行特征提取，获得注意力引导的特征图，进而对所述特征图进行归一化和加权处理并输出，最后基于输出的特征图采用模拟损失对所述知识蒸馏方法进行优化，直至获得轻量化3d目标检测模型。

14、可选地，对所述轻量化3d目标检测模型进行实际战场情景训练的过程包括：将nuscenes数据集的标准数据作为辅助域，将实战情景中的战场目标作为目标域，对所述辅助域和目标域进行迁移学习，获得进行目标检测的强分类器，然后基于迁移学习中的训练效率对迁移的特征空间进行选择，直至获得适用于实际战场情景的轻量化3d目标检测模型。

15、可选地，获得3d检测结果的过程包括：所述训练后的轻量化3d目标检测模型的鸟瞰图骨干网包括图像特征提取网络、深度估计网络和视图转换器，所述图像特征提取网络采用残差卷积神经网络从输入的图像数据集中提取透视图特征，所述深度估计网络基于所述透视图特征估计每个图像的深度信息，所述视图转换器基于所述深度信息将透视图特征提升到三维空间中进行特征合并，获得bev特征；鸟瞰图骨干网的预测头基于所述bev特征预测图像中的目标信息，基于可变形交叉注意力在所述目标信息上生成时空特征，然后基于所述bev特征和时空特征生成最终的3d检测结果；其中，所述3d检测结果至少包括目标的类别、3d边界框的长宽高信息、轴向旋转角度和目标在鸟瞰图中的位置坐标。

16、可选地，目标模型的构建过程包括：基于战场情景中真实存在的物体，构建目标模型，并为不同的目标设置不同的行为属性。

17、与现有技术相比，本发明具有如下优点和技术效果：

18、本发明通过使用多示例学习算法，成功将无人车和无人机采集的序列图像划分为多个不同的战场场景；通过建立基于序列图像的三维目标检测模型，实现战场环境下车辆、坦克、人员等重要目标的检测，检测的精度达到80％以上；通过使用知识蒸馏方法，将三维目标检测网络模型进行了轻量化，在保持模型精度的前提下，减少了模型参数，成功部署在无人车的工控机中；通过使用迁移学习方法，将预选训练的三维目标检测网络模型迁移到实际采集的战场情境下训练，提高了模型适应战场环境变化的能力；通过建立战场环境下常见目标的行为属性，依据序列图像的三维目标检测结果，成功推理出目标的行为状态，主要包括运动方向和速度。

技术特征：

1.一种序列图像3d检测引导的战场目标行为推理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

3.根据权利要求2所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

4.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

5.根据权利要求4所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

6.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

7.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

8.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

9.根据权利要求1所述的序列图像3d检测引导的战场目标行为推理方法，其特征在于，

技术总结
本发明公开了一种序列图像3D检测引导的战场目标行为推理方法，包括以下步骤：采集战场序列图像数据并进行预处理；基于多示例学习算法对预处理后的战场序列图像数据进行情景分类，获得不同战场情景的图像数据集；构建3D目标检测模型，并基于知识蒸馏方法对所述3D目标检测模型进行轻量化处理，获得轻量化3D目标检测模型；基于迁移学习对所述轻量化3D目标检测模型进行实际战场情景的训练；基于训练后的轻量化3D目标检测模型对所述不同战场情景的图像数据集进行检测，获得3D检测结果；构建目标模型，基于所述目标模型对所述3D检测结果进行目标行为推理，获得战场情景中目标的速度和运动方向。

技术研发人员：史彦军,马龙飞,杨雨,王一全,崔星,赵熙俊,李兆冬,陈佳琪,郑家杰,曹炳全
受保护的技术使用者：大连理工大学
技术研发日：
技术公布日：2024/4/17