基于空间光学图像的船舶检测方法和装置与流程

本发明属于光学图像检测领域，具体涉及一种基于空间光学图像的船舶检测方法和装置。

背景技术：

1、光学传感器是靠获取场景的各种反射信息成像的，其有较高的时空分辨率，所获图像能够很好地反映景物表面的纹理细节信息，有利于观察者对场景的整体认知，其边缘、纹理等细节信息丰富，在充足的光照条件下图像清晰，光敏感度高，适合人眼观察。在物体信息获取中，光学传感器作为最常见的图像源，被广泛应用于船舶检测识别跟踪等领域。通过图像源提取有用信息，可以提高对船舶的探测能力，降低预警中的虚警率和漏警率，对各类实际应用场景下的判决和决策提供有力支持。

2、近年来，随着空间光学传感技术的飞速发展，高分辨率、大尺度空间光学图像数据不断丰富。对于空间光学图像而言，光学数据成像质量易受光照和天气的影响，在采光条件差、光线较弱时，光学图像的质量会急剧下降，变得模糊，且空间光学图像具有幅面大、多尺度等特点，相比通用图像来说检测难度更大。光学物体检测是在光学图像中找到感兴趣物体的具体位置并识别其类别。然而，由于空间光学图像背景非常复杂，并且大多数光学地物都是密集小物体，因此传统的基于机器学习的光学检测方法的结果往往不能令人满意。对于大规模的空间光学图像，小型船舶仅占据了几个像素，这些小型船舶容易在训练过程中丢失，导致错过一些关键信息。而在空间光学图像中，要检测的船舶通常是在更复杂的场景中，这使得检测小型船舶更加困难，且这一场景下卷积神经网络的复杂度高及运算量大。因此，如何实现对空间光学图像中船舶的高精度且快速的检测，并且满足平台的资源约束条件，是当前急需解决的问题。

技术实现思路

1、本发明的目的在于提供了一种基于空间光学图像的船舶检测方法和装置，以实现高时效、高精度的光学船舶检测，能够在数据量较大、场景复杂的空间光学图像数据中，以及空间平台资源约束的条件下完成光学船舶检测。

2、本发明公开了一种基于空间光学图像的船舶检测方法，包括：

3、s1，获取待检测空间光学图像信息；所述待检测空间光学图像信息中的待检测空间光学图像为同一地区、不同时间的船舶空间光学图像；

4、s2，对所述待检测空间光学图像信息进行预处理，得到标准空间光学图像信息；

5、s3，建立和训练船舶图像检测模型；

6、s4，利用所述船舶图像检测模型，对所述标准空间光学图像信息进行处理，得到船舶检测结果；所述船舶检测结果，表征所述待检测空间光学图像信息在同一地区、不同时间的船舶存在信息。

7、所述对所述待检测空间光学图像信息进行预处理，得到标准空间光学图像信息，包括：

8、s21，对所述待检测空间光学图像信息进行线性量化处理，得到量化图像数据信息；

9、s22，对所述量化图像数据信息的灰度值信息进行线性拉伸处理，得到灰度拉伸图像信息；

10、s23，对所述灰度拉伸图像信息进行船舶标注和归一化处理，得到标注图片信息；所述标注图片信息，包括光学图像和对应的标签信息；

11、s24，对所述灰度拉伸图像信息和标注图片信息进行合并处理，得到源图片集合；

12、s25，对所述源图片集合进行比例划分处理，得到第一标准图像集合和第二标准图像集合；

13、s26，对所述第一标准图像集合进行重叠剪裁操作，得到第二子光学图像集；

14、s27，对所述第二子光学图像集进行船舶筛选处理，得到所有含有船舶的子图像，作为第三标准图像集合；

15、s28，对所述第三标准图像集合进行数据增强处理，得到第四标准图像集合；

16、s29，对所述第二标准图像集合和第四标准图像集合进行融合处理，得到标准空间光学图像信息；所述标准空间光学图像信息包括空间光学图像和对应的船舶标签信息；所述船舶标签信息，包括船舶的类别信息和位置信息。

17、所述对所述第一标准图像集合进行重叠剪裁操作，得到第二子光学图像集，包括：

18、s261，对所述第一标准图像集合中的每一张空间光学图像，从设定方向用滑动窗口进行部分重叠切割，得到第一子光学图像集；所述第一子光学图像集，包括有若干个第一子光学图像；所述第一子光学图像集中的相邻的两个子光学图像，含有预设比例的重叠区域；

19、s262，对所述第一子光学图像集中的每个子光学图像，计算其被切割船舶区域的交并比，判断所述交并比是否大于设定阈值，得到阈值判断结果；所述被切割船舶区域的交并比，是被切割船舶区域在所述子光学图像中的剩余面积与被切割船舶区域的完整面积之比；

20、若所述阈值判断结果为大于设定阈值，将所述子光学图像保留在所述第一子光学图像集中，对所有保留的子光学图像进行汇总处理，得到第二子光学图像集；

21、若所述阈值判断结果为小于设定阈值，将所述子光学图像从所述第一子光学图像集中删除。

22、所述对所述第三标准图像集合进行数据增强处理，得到第四标准图像集合，包括：

23、s281，对所述第三标准图像集合中的每个空间光学图像，计算其所含有的船舶数量；

24、s282，对所有空间光学图像的船舶数量进行统计处理，得到所述船舶数量的取值分布范围；

25、s283，利用所设定的第一分界值和第二分界值为边界值，按照其取值由低至高顺序，对所述取值分布范围进行划分，将所述取值分布范围依次划分为第一取值区间、第二取值区间和第三取值区间；

26、s284，对所述第三标准图像集合中的每个空间光学图像，判断其所含有的船舶数量所属的取值区间；

27、s285，若所述所属的取值区间为第一取值区间，对相应的空间光学图像进行随机排布处理，得到第一增强空间光学图像；

28、若所述所属的取值区间为第二取值区间，对相应的空间光学图像进行随机缩放处理，得到第二增强空间光学图像；

29、若所述所属的取值区间为第三取值区间，对相应的空间光学图像进行随机裁剪处理，得到第三增强空间光学图像；

30、s286，对所述第一增强空间光学图像、第二增强空间光学图像和第三增强空间光学图像进行汇总处理，得到第四标准图像集合。

31、所述船舶图像检测模型，包括特征编码模块、特征融合模块、预测模块和反馈模块；

32、所述特征编码模块包括三个不同维度的特征提取层、一个注意力机制层、一个相关性提取模块和两个上采样模块；

33、所述特征编码模块，用于对所述标准空间光学图像信息进行特征编码，得到特征图像；所述特征编码模块的第一输出端，连接所述特征融合模块的第一输入端；所述特征编码模块的第二输出端，连接所述预测模块的第一输入端；

34、所述特征融合模块，用于对所述特征图像进行融合处理，得到融合特征；所述特征融合模块的第一输出端，连接所述预测模块的第二输入端；

35、所述预测模块，用于对所述融合特征和特征图像进行回归和分类处理，得到船舶的类别信息和位置信息；所述预测模块的第一输出端，连接所述反馈模块的第一输入端；

36、所述反馈模块，用于对所述船舶的类别信息和位置信息与所述船舶标签信息进行距离差异计算处理，得到差异信息；所述反馈模块的第一输出端，连接所述预测模块的第三输入端。

37、所述利用所述船舶图像检测模型，对所述标准空间光学图像信息进行处理，得到船舶检测结果，包括：

38、s401,利用所述三个不同维度的特征提取层，分别对所述标准空间光学图像信息进行卷积池化和编码处理，分别得到第一特征图、第二特征图和第三特征图；

39、s402,利用所述注意力机制层，对所述标准空间光学图像信息进行通道注意力提取，得到通道注意力特征；

40、s403,利用所述相关性提取模块，对所述通道注意力特征、第一特征图、第二特征图和第三特征图进行相关性提取，得到相关性特征图像；将所述相关性特征图像输出至预测模块；

41、所述相关性提取的计算表达式为：

42、

43、其中，f表示特征图集合，包括第一特征图、第二特征图和第三特征图，mc()表示通道注意力提取函数，f′表示通道注意力特征，ms()表示空间注意力映射函数，f″表示相关性特征图像；

44、s404,将上采样后的第一特征图和上采样后的第二特征图进行融合，得到第一融合特征图像；将上采样后的第二特征图和上采样后的第三特征图进行融合，得到第二融合特征图像；将所述第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像，输入至特征融合模块；

45、s405,利用所述特征融合模块，对特征图像进行融合处理，得到融合特征；所述特征图像包括第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像；

46、s406,利用预测模块，对所述融合特征和相关性特征图像进行分类和回归处理，得到船舶的类别信息和位置信息；所述船舶的类别信息和位置信息，构成船舶检测结果。

47、所述预测模块，包括第一回归子模块、第二回归子模块、残差分析子模块、回归融合子模块和分类子模块；

48、所述第一回归子模块，用于对融合特征和相关性特征图像与对应的标签信息进行线性拟合，得到线性拟合模型，并利用权重调整值对线性预测模型的权重值进行调整；

49、所述第二回归子模块，用于对融合特征和相关性特征图像与对应的标签信息进行多项式拟合，得到多项式拟合模型，并利用权重调整值对多项式拟合模型的权重值进行调整；

50、所述残差分析子模块，用于分别对线性拟合模型和多项式拟合模型的残差进行计算，根据残差计算结果，生成融合权重；

51、所述回归融合子模块，用于利用融合权重，对线性拟合模型和多项式拟合模型进行加权融合处理，生成第一预测模型；

52、所述分类子模块，用于实现对第一预测模型的预测结果进行特征分类操作，得到船舶的类别信息和位置信息。

53、所述训练船舶图像检测模型，包括：

54、从所述第二标准图像集合中选取出样本图像信息；

55、对训练次数值进行初始化；

56、将所述样本图像信息输入船舶图像检测模型，将得到的船舶的类别信息和位置信息，作为训练检测结果；

57、利用损失函数对所述样本图像信息和训练检测结果进行计算，得到差异值；

58、对所述训练次数值进行累加操作；

59、判断所述训练次数值是否超过训练次数阈值，得到第一判断结果；当所述第一判断结果为是时，触发执行模型校验操作；

60、当所述第一判断结果为否时，判断所述差异值是否满足收敛条件，得到第二判断结果；

61、当所述第二判断结果为是时，触发执行模型校验操作；当所述第二判断结果为否时，利用所述差异值对预测模块的权重值进行更新，并触发执行将所述样本图像信息输入船舶图像检测模型；

62、利用所述第四标准图像集合，对所述船舶图像检测模型进行校验；将第四标准图像集合输入船舶图像检测模型，得到检测结果；统计所述检测结果的正确率，若所述检测结果正确率超过设定阈值，判断船舶图像检测模型通过校验；若所述检测结果正确率未超过设定阈值，触发执行从所述第二标准图像集合中选取出样本图像信息。

63、本发明还公开了一种基于空间光学图像的船舶检测装置，所述装置包括：

64、存储有可执行程序代码的存储器；

65、与所述存储器耦合的处理器；

66、所述处理器调用所述存储器中存储的所述可执行程序代码，执行所述的基于空间光学图像的船舶检测方法。

67、本发明还公开了一种计算机可存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行所述的基于空间光学图像的船舶检测方法。

68、本发明的有益效果为：

69、1.本发明可有效解决进行小型船舶检测时，由于在图像有限的像素区域内船舶尺寸小，在神经网络中进行多次下采样操作之后，特征的表达能力下降后，不容易被网络所学习的问题，从而提高船舶的检测率。

70、2.对于目前的基于人工智能的图像检测方法，所需要的网络规模和计算量都较大，在受平台本身质量和功耗的限制时，其携带的计算单元的内存、算力有限，无法得到有效应用。本发明对所述船舶图像检测模型对于检测功能的实现，采用预测模块来实现，预测模块通过拟合加权方法来实现，可以在在平台内存和算力都受限的情况下完成对船舶的实时检测，实现高时效、高精度的光学小型船舶检测。