面向遥感图像弱小目标的目标检测方法及系统

本发明涉及计算机视觉、深度学习以及遥感图像智能解译，具体提供一种面向遥感图像弱小目标的感知纹理与边界目标检测方法及系统。

背景技术：

1、近年来，凭借对民用和商业卫星的大量投资以及成像技术的快速发展等原因，遥感图像的质量得到提升且降低了图像的获取成本，这为遥感图像目标检测创造了有利条件。然而，遥感图像中的弱小目标始终是目标检测任务的难题。这些弱小目标广泛的分布在遥感图像中，且具有如下属性：(1)这些目标在遥感图像中只有很小的像素占比；(2)目标的高频细节(例如纹理细节、边界线索，颜色等)不显著，特征变化广泛，并且容易受到当时成像条件与复杂上下文所干扰。然而，弱小目标往往携带更重要的信息，有效检测这些目标对于现实场景具有重要意义。此外，在目标检测中，分类与回归是两个高度相关又相互矛盾的任务，大多数检测器共用相同的特征执行分类与回归，但两任务有各自的信息侧重点。分类任务倾于与目标内部中最具语义的那部分特征，然而回归任务则对目标边界更加敏感。采用耦合的特征并不能产生最佳的性能，模型需要针对特定任务提取适合的特征。

技术实现思路

1、本发明为解决上述问题，提供了一种面向遥感图像弱小目标的感知纹理及边界特征目标检测方法，该方法通过探索目标关键的纹理、边界等高频细节信息提升弱小目标的信息表达，增强弱小目标的特征，以此提升弱小目标的检测精度。同时，本发明提出一种解耦的检测头部结构，将分类与定位任务分离，解耦的网络能根据特定任务进行针对性的训练。

2、本发明提供的面向遥感图像弱小目标的感知纹理与边界目标检测方法包括步骤：

3、步骤1：将遥感图像输入特征提取网络中提取基础特征，将所述基础特征输入纹理感知增强模块，提取纹理感知特征；

4、步骤2：将遥感图像输入边界图提取模块中提取二进制的边界图，将所述边界图输入边界特征提取模块中，提取边界感知特征；通过边界指导特征模块将所述边界感知特征与所述基础特征进行融合，获取边界指导特征；

5、步骤3：将所述纹理感知特征与所述边界指导特征解耦输出，并输入到任务解耦的rcnn网络中进行双分支的解耦预测，得到分类与定位的结果，完成感知纹理与边界目标检测。

6、优选的，所述步骤1中将所述基础特征输入纹理感知增强模块，提取纹理感知特征包括：将所述基础特征输入特征金字塔中获得融合特征，再将所述融合特征输入纹理感知增强模块，提取纹理感知特征。

7、优选的，所述步骤1包括：

8、将遥感图像输入特征提取网络中提取基础特征ci，将所述基础特征输入特征金字塔中，获得融合特征

9、其中，c代表所述融合特征的通道维度；h和w分别代表所述融合特征的长与宽。

10、优选的，所述将所述融合特征输入纹理感知增强模块，提取纹理感知特征包括：

11、将融合后的特征图经历三个并行分支的1×1卷积整合特征并减少维度至c1，得到特征fθ,fg，并将特征fθ,降维至

12、计算fθ与转置的特征之间的协方差矩阵∑，在特征维度空间捕获不同位置像素间的相关性，计算公式为：

13、

14、其中，fθ,fg代表经过卷积处理的中间特征，(x,y)代表像素点的位置，代表元素相乘；

15、引入空间注意力机制加强所述遥感图像中目标所在的位置，突出所述目标内在的像素关系；

16、对输入的所述融合特征fi进行通道维度的全局平均池化，并采用3×3以去除多余的噪声；

17、sigmoid激活函数用以特征归一化，生成注意力权重；

18、将权重维度转换至生成注意力权重图m(x,y)，并与所述协方差矩阵∑的通道维度对齐，表示为：

19、

20、m(x,y)＝reshape(σ(conv3×3(fgap(x,y))))

21、其中，gap代表全局平均池化操作，σ代表sigmoid激活；

22、将注意力权重图m(x,y)与协方差矩阵∑(x,y)相乘，得到目标增强的协方差矩阵

23、计算出的目标增强的协方差矩阵的维度为

24、对所述目标增强的协方差矩阵进行正则化，并将所述目标增强的协方差矩阵的维度转换至

25、其中，第一个维数wh表示所述目标增强的协方差矩阵的个数，等于特征大小；第二个维数w表示所述目标增强的协方差矩阵的长度；第三个维数h表示所述目标增强的协方差矩阵的宽度；

26、

27、其中，⊙代表矩阵点积；

28、采用1×1卷积操作整合不同通道间像素的关系矩阵，并将通道转换至

29、通过将和fg相乘，并使用1×1卷积将特征通道恢复到c，获得纹理特征；

30、通过将捕获的纹理特征添加到所述融合特征fi中，获得纹理感知特征。

31、优选的，所述通过将捕获的纹理特征添加到所述融合特征fi中，获得纹理感知特征通过如下公式实现：

32、

33、其中，代表矩阵元素相加。

34、优选的，所述将遥感图像输入边界图提取模块中提取二进制的边界图包括：利用边缘提取算子对输入的所述遥感图像进行滑动提取，产生所述遥感图像的梯度图。

35、优选的，对所述梯度图进行门控滤波处理，设定一个阈值，将小于所述阈值的像素值设置为零，以剔除噪声及无用的纹理信息。

36、优选的，所述将所述边界图输入边界特征提取模块中，提取边界感知特征包括：

37、采用3×3卷积、bn、relu、3×3卷积提取底层特征；

38、采用1×1卷积、bn、relu操作降低所述底层特征的维度，利用包含1×3卷积、3×1卷积、3×3卷积的三个并行支路提取所述底层特征中的边缘信息，并将所述边缘信息汇总融合，获取潜在的边缘特征；

39、采用1×1卷积、bn、relu操作恢复特征通道；

40、通过跳跃连接传递所述底层特征与所述潜在的边缘特征融合，并经过1×1卷积与sigmoid激活生成边界感知特征。

41、优选的，所述通过边界指导特征模块将所述边界感知特征与所述基础特征进行融合，获取边界指导特征包括：

42、采用下采样后的边界感知特征与所述基础特征相加融合特征，采用跳跃连接结构与3×3卷积放大边缘结构，并整合融合的信息；

43、采用通道注意力机制突出所述融合特征中重要的特征通道，并与特征金字塔输出的融合特征相加，获得边界指导特征。

44、优选的，所述步骤3将所述纹理感知特征与所述边界指导特征解耦输出，并输入到任务解耦的rcnn网络中进行双分支的解耦预测，得到分类与定位的结果，完成感知纹理与边界目标检测包括：

45、将所述步骤1生成的纹理感知特征输入至所述任务解耦rcnn中的分类分支，将所述步骤2生成的边界指导特征输入所述任务解耦rcnn中的定位分支；

46、设置不同的阈值，对所述分类分支和所述定位分支进行解耦的非极大抑制nms，产生不同密度的建议区域；

47、对所述建议区域进行解耦采样，获取解耦的感兴趣区域；对所述分类分支，采用固定比例以采样定量的正样本与负样本；对所述定位分支，采样定量的正样本；

48、扩大分类分支的感兴趣区域范围，对所述定位分支利用weiszfeld算法合成高质量的感兴趣区域协助定位预测。

49、优选的，对每个目标所分配的所有建议区域与真实标注区域的左上角点与右下角点进行合成，通过迭代重新加权最小二乘的形式寻找离散样本点的几何中心；

50、假定待拟合的参考点为xi，算法通过不断迭代试图找到一个中心点y使得该点到参考点之间的距离最小,用公式表示为：

51、

52、其中，‖‖2代表l2范数，j代表参考点的个数，d代表合成的中心点y与参考点x之间的距离和，argmin表示参数值y这使得总和最小化；

53、在连续空间内求解，根据最优化理论，上式将在极值处取得最小值。因此，对y求偏导：

54、

55、对上式求解，求出中心点为：

56、

57、其中，k代表迭代数。通过连续迭代，求得的中心点使得d小于一规定值，该点即为拟合出的几何中心，且该中心点不与任何参考点重合；

58、通过拟合框的左上与右下角点，合成贴近真实标注框的建议区域，训练定位分支网络，加速模型的收敛以及提升模型的稳定性。

59、本发明还提供一种面向遥感图像弱小目标的感知纹理与边界目标检测系统，所述面向遥感图像弱小目标的感知纹理与边界目标检测系统包括：

60、特征提取网络，用于提取遥感图像的基础特征；

61、纹理感知增强模块，用于通过所述基础特征提取纹理感知特征；

62、边界图提取模块，用于提取所述遥感图像的二进制的边界图；

63、边界特征提取模块，用于提取所述边界图的边界感知特征；

64、边界指导特征模块，用于将所述边界感知特征与所述基础特征进行融合，获取边界指导特征；

65、解耦传输模块，用于将所述纹理感知特征与所述边界指导特征解耦输出，并输入到任务解耦的rcnn网络中进行双分支的解耦预测，得到分类与定位的结果，完成感知纹理与边界目标检测。

66、与现有技术相比，本发明能够取得如下有益效果：

67、本发明提供一种面向遥感图像弱小目标的感知纹理及边界特征目标检测方法，具体提供了一种独特的纹理及边界感知网络以解决遥感图像中的弱小目标问题；为了挖掘深层次的信息，提出了纹理感知增强模块与边界感知融合模块，前者能够充分探索目标内部的纹理细节，其通过计算的协方差矩阵构建特征间的联系，同时突出目标与背景之间的纹理差异；后者引入额外的边界线索以突显目标的空间位置，通过探索目标关键的纹理、边界等高频细节信息，弱小目标的关键特征得以补充；两模块相结合增强了网络对弱小目标的感知能力。同时，为了解除分类与回归之间的缠绕导致的任务不聚焦现象，提出任务解耦的rcnn来独立的训练两分支网络，从而实现对分类与定位的精细化预测。本发明提出的检测方法能够挖掘遥感弱小目标难以凸显的信息，进一步提升弱小目标的表达，以此来提升弱小目标的检测性能。