一种基于语义边缘监督的定向遥感目标检测系统

本发明涉及遥感定向目标检测领域，尤其是涉及一种基于语义边缘监督的定向遥感目标检测系统。

背景技术：

1、遥感定向目标检测技术不断发展，在地形测量、应急救援等许多军事和民用领域被广泛应用。但是区别于自然图像，遥感目标检测存在特有的问题和挑战。当前已提出遥感领域特征增强和注意力的代表性方法可以划分为以下三个方面：

2、1、利用注意力机制使网络关注目标的显著性特征，解决噪声和边界模糊问题；

3、2、利用任务感知的特征激活方法，以解耦的方式解决分类和回归任务的特征不兼容的问题；

4、3、改进卷积提取旋转敏感特征的方法，解决遥感目标方向任意的问题。

5、不过现有的遥感领域定向目标检测方法普遍存在以下问题：

6、问题一、缺乏对遥感目标上下文特征的关注；

7、问题二、注意力是不充分监督的，无法直接指导网络；

8、问题三、通过池化旋转敏感特征来间接提取旋转不变特征，无法更准确提取得到旋转不变特征。

技术实现思路

1、本发明的目的就是为了提供一种基于语义边缘监督的定向遥感目标检测系统，将语义边缘检测与定向目标检测相结合，通过一种基于语义边缘监督ses的特征增强网络，实现空间、通道、层级三个维度下的类注意力机制，用来辅助网络关注多个尺度下目标的边缘特征，从而获取更多的回归线索；另外，通过旋转不变空间金字塔rispp从多个方向来提取目标的旋转不变特征，解决遥感图像中目标密集且方向各异的问题，提高目标检测精度。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于语义边缘监督的定向遥感目标检测系统，包括依次连接的主干网络模块、语义边缘监督ses模块、旋转不变空间池化金字塔rispp模块和输出网络模块，其中，所述主干网络模块用于提取输入的rgb遥感图像的通用特征；所述语义边缘监督ses模块基于主干网络模块提取得到的特征提取上下文边缘特征；所述旋转不变空间池化金字塔rispp模块用于提取旋转不变特征；所述输出网络模块处理语义边缘监督ses模块与旋转不变空间池化金字塔rispp模块两个模块融合得到的的特征，输出带有旋转预测框的rgb遥感图像。

4、所述主干网络模块采用基于resnet的特征金字塔网络作为特征提取网络，提取rgb遥感图像的多尺度特征。

5、所述语义边缘监督ses模块包括膨胀卷积组件、自适应上采样模块、共享连接模块和深度监督模块。

6、所述膨胀卷积组件为主干网络模块输出的特征图扩大感受野。

7、所述自适应上采样模块处理由膨胀卷积组件扩大感受野后的特征图，输出得到语义边缘激活图，其中，对于输入特征自适应上采样模块依次进行如下处理：

8、使用一个1×1卷积和relu激活函数降低通道维度；

9、基于转置卷积进行上采样，并重复多次直到边缘图大小与原图一致；

10、使用一个通道数等同于类别数的1×1卷积提取得到类别感知特征，从而得到多个尺度的边缘激活图

11、对于边缘激活图由于其感受野受限难以得到足够的语义信息，因此该旁路仅输出单通道激活图来提供边缘细节；而和的通道数与数据集中的类别数相等。

12、所述共享连接模块在不同特征尺度和不同类别通道融合自适应上采样模块得到的边缘激活图，得到融合后的类别感知边缘激活图，具体的，

13、将的单通道边缘图复制n份；

14、将复制的分别和另外两路的每一类进行拼接，得到通道数为3n的激活图afuesd；

15、将afuesd通过一个组数为n，卷积核大小为1的深度卷积得到融合后的类别感知边缘激活图。

16、所述深度监督模块基于粗标注构建，运用边缘激活图来指导网络学习边缘特征，具体的，

17、通过在二维图像上顺序连接原始数据集标注中的四点坐标，转换得到的每个目标实例的粗边缘标注；

18、根据每个实例的类别指定不同的边缘颜色得到最终的语义边缘标注；

19、将语义边缘监督ses模块中各个层级的激活图分别与生成的粗边缘语义标注以深度监督的方式计算多标签损失，达到在空间维度上指导网络关注各个类内的不同实例的作用。

20、所述旋转不变空间池化金字塔rispp模块在没有额外增加方向通道的前提下，通过融合多个旋转角度的特征图提取旋转不变特征，具体的，对于语义边缘监督ses模块中提取到的单一尺度特征执行以下步骤：

21、使用n个卷积核为1，通道数为的卷积将原始特征划分为n个分支f1,f2,…,fn；

22、对每一分支进行旋转90，180或者270度操作，根据角度计算缩放比例并对特征图进行缩放，避免旋转之后的特征图部分偏移丢失；

23、基于可变形卷积dcn提取在所述角度下目标的特征；

24、将特征图旋转并缩放还原至原始状态，并在通道方向将这n条分支进行拼接融合；

25、通过一个1×1的卷积还原并压缩通道数，得到旋转不变特征。

26、所述输出网络模块包含分类检测头和回归检测头，其中，所述分类检测头用来预测每个预设锚框的类别，所述回归检测头用来预测每个正样本锚框与实际标注的偏移量。

27、与现有技术相比，本发明具有以下有益效果：

28、(1)本发明开创性地将语义边缘检测技术引入到旋转目标检测中，创新性地指导网络去关注目标的边缘特征来进一步提取回归所需的特征，从而提高了目标检测精度。

29、(2)本发明的语义边缘监督ses模块能够凭借较小的参数量和计算量以一种强监督的形式，在通道、空间、层级三个维度有针对性地指导网络，有效地解决了遥感目标检测中背景复杂和上下文回归线索缺失的问题。

30、(3)本发明考虑到遥感目标方向任意的特点，利用旋转不变空间池化金字塔rispp模块更有效更全面地提取到针对于任意方向遥感目标的旋转不变特征。

技术特征：

1.一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，包括依次连接的主干网络模块、语义边缘监督ses模块、旋转不变空间池化金字塔rispp模块和输出网络模块，其中，所述主干网络模块用于提取输入的rgb遥感图像的通用特征；所述语义边缘监督ses模块基于主干网络模块提取得到的特征提取上下文边缘特征；所述旋转不变空间池化金字塔rispp模块用于提取旋转不变特征；所述输出网络模块处理语义边缘监督ses模块与旋转不变空间池化金字塔rispp模块两个模块融合得到的的特征，输出带有旋转预测框的rgb遥感图像。

2.根据权利要求1所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述主干网络模块采用基于resnet的特征金字塔网络作为特征提取网络，提取rgb遥感图像的多尺度特征。

3.根据权利要求1所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述语义边缘监督ses模块包括膨胀卷积组件、自适应上采样模块、共享连接模块和深度监督模块。

4.根据权利要求3所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述膨胀卷积组件为主干网络模块输出的特征图扩大感受野。

5.根据权利要求3所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述自适应上采样模块处理由膨胀卷积组件扩大感受野后的特征图，输出得到语义边缘激活图，其中，对于输入特征自适应上采样模块依次进行如下处理：

6.根据权利要求5所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，对于边缘激活图由于其感受野受限难以得到足够的语义信息，因此该旁路仅输出单通道激活图来提供边缘细节；而和的通道数与数据集中的类别数相等。

7.根据权利要求6所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述共享连接模块在不同特征尺度和不同类别通道融合自适应上采样模块得到的边缘激活图，得到融合后的类别感知边缘激活图，具体的，

8.根据权利要求3所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述深度监督模块基于粗标注构建，运用边缘激活图来指导网络学习边缘特征，具体的，

9.根据权利要求1所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述旋转不变空间池化金字塔rispp模块在没有额外增加方向通道的前提下，通过融合多个旋转角度的特征图提取旋转不变特征，具体的，对于语义边缘监督ses模块中提取到的单一尺度特征执行以下步骤：

10.根据权利要求1所述的一种基于语义边缘监督的定向遥感目标检测系统，其特征在于，所述输出网络模块包含分类检测头和回归检测头，其中，所述分类检测头用来预测每个预设锚框的类别，所述回归检测头用来预测每个正样本锚框与实际标注的偏移量。

技术总结
本发明涉及一种基于语义边缘监督的定向遥感目标检测系统，包括依次连接的主干网络模块、语义边缘监督SES模块、旋转不变空间池化金字塔RISPP模块和输出网络模块，其中，所述主干网络模块用于提取输入的RGB遥感图像的通用特征；所述语义边缘监督SES模块基于主干网络模块提取得到的特征提取上下文边缘特征；所述旋转不变空间池化金字塔RISPP模块用于提取旋转不变特征；所述输出网络模块处理语义边缘监督SES模块与旋转不变空间池化金字塔RISPP模块两个模块融合得到的的特征，输出带有旋转预测框的RGB遥感图像。与现有技术相比，本发明具有特征提取精确且全面、检测精度高等优点。

技术研发人员：胡鑫鑫,曹杜鹃,朱昌明,丁佳谦
受保护的技术使用者：上海海事大学
技术研发日：
技术公布日：2024/1/11