一种基于多模态融合的船舶目标识别方法与流程

本发明属于目标识别，具体涉及一种基于多模态融合的船舶目标识别方法的设计。

背景技术：

1、目标识别是指将一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中区分出来的过程，其既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。目标识别的基本原理是利用雷达回波或图像数据中的目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。

2、目前，针对船舶的目标识别方法基本上是基于单模态数据的，例如采用机器学习算法或深度学习模型直接对包含船舶的卫星图像数据或雷达回波数据进行分类识别，但基于单模态数据的船舶目标识别方法受数据源影响较大，当采集的单模态数据精度较低或者出现误差时，会造成目标识别精度较低的问题。

技术实现思路

1、本发明的目的是为了解决现有基于单模态数据的船舶目标识别方法识别精度较低的问题，提出了一种基于多模态融合的船舶目标识别方法。

2、本发明的技术方案为：一种基于多模态融合的船舶目标识别方法，包括以下步骤：

3、s1、采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理。

4、s2、根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量。

5、s3、将雷达特征向量和卫星特征向量分别输入基于ssd算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果。

6、s4、采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果。

7、进一步地，步骤s1中雷达回波数据的预处理包括滤波处理、辐射定标、地理编码和几何校正。

8、进一步地，步骤s1中卫星图像数据的预处理包括辐射定标、大气校正、波段融合、几何校正和图像裁剪。

9、进一步地，步骤s2中雷达特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和雷达反射特性。

10、进一步地，步骤s2中卫星特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和卫星图像分辨率。

11、进一步地，步骤s3包括以下分步骤：

12、s31、将雷达特征向量和卫星特征向量分别输入vgg16网络，并进行正则化处理，得到第一雷达特征图和第一卫星特征图。

13、s32、将第一雷达特征图和第一卫星特征图分别输入第一卷积层进行卷积操作，得到第二雷达特征图和第二卫星特征图。

14、s33、将第二雷达特征图和第二卫星特征图分别输入第二卷积层进行卷积操作，得到第三雷达特征图和第三卫星特征图。

15、s34、将第三雷达特征图和第三卫星特征图分别输入第三卷积层进行卷积操作，得到第四雷达特征图和第四卫星特征图。

16、s35、将第四雷达特征图和第四卫星特征图分别输入第四卷积层进行卷积操作，得到第五雷达特征图和第五卫星特征图。

17、s36、将第五雷达特征图和第五卫星特征图分别输入第五卷积层进行卷积操作，得到第六雷达特征图和第六卫星特征图。

18、s37、分别对第六雷达特征图和第六卫星特征图进行非极大值抑制，得到雷达目标检测结果和卫星目标检测结果。

19、进一步地，步骤s4包括以下分步骤：

20、s41、对雷达目标检测结果和卫星目标检测结果进行特征双线性融合，得到融合矩阵：

21、

22、其中表示融合矩阵，表示在图像 p的位置 l处的雷达目标检测结果，表示在图像 p的位置 l处的卫星目标检测结果。

23、s42、对融合矩阵进行总和池化操作，得到和矩阵：

24、

25、s43、对和矩阵进行标量转换，得到标量转换结果 q：

26、

27、其中表示向量-标量转换函数。

28、s44、对标量转换结果进行矩归一化操作，得到矩归一化结果 n：

29、

30、其中表示符号函数。

31、s45、对矩归一化结果进行l2归一化操作，得到船舶目标识别结果 z：

32、

33、其中表示l2范数。

34、本发明的有益效果是：

35、（1）本发明通过对卫星图像数据和雷达回波数据分别进行目标检测，然后对两者的检测结果进行多模态融合，两个模态的数据可以相互印证，有效避免了单模态数据精度较低或者出现误差时对最终目标识别精度的影响，具有较高的目标识别精度。

36、（2）本发明采用ssd算法对卫星图像数据和雷达回波数据进行目标检测，在保证检测速度的前提下（与yolo检测速度相当），有效提高了检测精度（与faster rcnn检测精度相当）。

37、（3）本发明采用双线性池化方法进行多模态融合，通过建模特征的高阶统计信息来捕获多模态特征之间的关系，进而生成具有表达力的全局表示，即精确的船舶目标识别结果。

技术特征：

1.一种基于多模态融合的船舶目标识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s1中雷达回波数据的预处理包括滤波处理、辐射定标、地理编码和几何校正。

3.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s1中卫星图像数据的预处理包括辐射定标、大气校正、波段融合、几何校正和图像裁剪。

4.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s2中雷达特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和雷达反射特性。

5.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s2中卫星特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和卫星图像分辨率。

6.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s3包括以下分步骤：

7.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤s4包括以下分步骤：

技术总结
本发明公开了一种基于多模态融合的船舶目标识别方法，首先采集待识别水体区域的雷达回波数据和卫星图像数据并进行预处理，接着根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量，然后将雷达特征向量和卫星特征向量分别输入基于SSD算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果，最后采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果。本发明中两个模态的数据可以相互印证，有效避免了单模态数据精度较低或者出现误差时对最终目标识别精度的影响，具有较高的目标识别精度。

技术研发人员：魏强,刘广志,易明权
受保护的技术使用者：四川观想科技股份有限公司
技术研发日：
技术公布日：2024/1/15