遥感图像目标检测方法

1.本发明涉及遥感图像处理及目标检测技术领域，尤其涉及一种遥感图像目标检测方法。


背景技术：

2.得益于卷积神经网络特征提取能力的提升，基于深度学习的检测技术在自然场景目标检测任务中表现优异。然而，遥感图像与自然场景图像存在显著差异：遥感图像中的目标具有更小的尺寸、更密集的分布、更多样的宽高比和不固定的方向，且图像中包含复杂的背景信息。另外，要想精确定位遥感图像中的目标，还需要预测方向信息，而自然场景目标检测中使用的水平矩形框无法满足要求。遥感图像存在的上述差异使得应用在自然场景图像的检测技术难以直接应用在遥感图像上。
3.现有的主流目标检测框架分为两类：一类是基于区域提案的方法，又称两阶段方法，另一类是基于回归的方法，又称单阶段方法。在两阶段方法的第一阶段，检测器生成一系列区域提案，这些区域提案被认为可能包含目标；在第二个阶段，检测器对区域提案进行进一步判断，将其分类为背景或特定类别的目标，同时回归目标的形状信息。两阶段方法通常具备较好的检测精度。单阶段方法不显示生成区域提案，而是将所有位置都看作潜在目标，直接对目标分类并回归目标的形状信息。单阶段方法在保证检测精度的同时具备较快的检测速度。
4.现有的主流区域提案生成方法分为两类：基于锚的方法和基于关键点的方法。基于锚的方法在特征图上各点处生成不同尺寸、比例、角度的先验框，随后通过分类和回归得到先验框是否包含目标的概率以及目标的形状信息。基于锚的方法中的先验框越复杂，检测器的检测能力越强，但是计算开销也越大。基于关键点的方法，又称为无锚方法，被部分单阶段方法采用。基于关键点的方法对目标的关键点(如中心点、顶点)进行建模，并使用关键点附近的特征计算目标的形状信息。基于关键点的方法计算开销小、设计灵活、可拓展性强。
5.针对对方向不固定的目标进行编码的常用方法有两种。一种方法是将目标近似为绕中心旋转的矩形框，并使用矩形框中心点坐标、矩形框宽高和矩形框绕水平轴的旋转角度来表示目标。该方法较为直观，但旋转角度的取值范围和几何意义与其他值不同，导致该方法在检测时存在回归不一致问题，使得检测效果不佳。另一种方法是将目标看作凸四边形，使用凸四边形最小外接矩形框中心点的坐标和凸四边形四个顶点相对于该点的偏移来表示目标。该方法能精确地描述目标形状，但形式复杂，检测难度较大。
6.针对遥感图像的目标检测，通常采用精度更高的基于区域提案的方法建立检测模型，并设计复杂的先验框来检测尺寸、比例、方向各异的目标。这些模型均取得了较好的检测精度，但在检测速度上还存在不足。此外，由于使用复杂的先验框，这类方法需要使用非极大值抑制等算法来删除冗余的检测结果，同时增加了计算开销，难以满足实际应用需求。如何快速检测大尺寸遥感图像中方向不固定的目标在遥感图像处理与目标检测领域中仍
是一个颇具挑战的难题。


技术实现要素：

7.为克服上述现有技术存在的缺陷，本发明的目的在于提供一种遥感图像目标检测方法，能快速、准确地检测大尺寸遥感图像中方向不固定的目标。
8.为实现上述发明目的，本发明采用的技术方案为：
9.本发明提供一种遥感图像目标检测方法，包括：
10.s1.利用预先训练的卷积神经网络提取输入待检测遥感图像的特征，并输出特征图；
11.s2.利用目标检测模块对所述特征图上的目标的关键点进行估计；
12.s3.根据估计的关键点，利用几何特征对所述目标进行编码；
13.s4.利用最大池化对所述关键点的坐标进行后处理，并对所述目标的位置进行修正；
14.s5.对所述目标的几何特征进行解码，得到最终的目标检测结果。
15.进一步地，所述步骤s2的所述目标检测模块包括中心点坐标预测模块、中心点偏移预测模块和几何特征预测模块。
16.进一步地，所述步骤s2包括：
17.s21.利用所述中心点坐标预测模块对所述目标的中心点进行建模，输出关键点热图和中心点坐标；
18.s22.利用所述中心点偏移预测模块和所述几何特征预测模块分别预测所述目标的中心点偏移和几何特征，输出中心点偏移向量集和几何特征集。
19.进一步地，利用多目标联合优化方法预先训练所述卷积神经网络、所述中心点坐标预测模块、所述中心点偏移预测模块和所述几何特征预测模块。
20.进一步地，在所述多目标联合优化方法中，所述中心点坐标预测模块的训练过程包括：首先计算图像下采样后所述目标的中心点对应的低分辨率等效点，再利用高斯模糊将所述等效点记录在所述关键点热图的真实值中，公式为：
[0021][0022]
其中，σ
p
表示根据目标大小自适应的标准差，使用目标最小外接矩形的宽度与高度计算；x、y分别表示目标中心的横坐标和纵坐标；分别表示横坐标x和纵坐标y的低分辨率等效点；
[0023]
将所述关键点热图的预测值与真实值的偏差记为lk，即该损失函数为：
[0024][0025]
其中，α和β表示超参数，n表示待检测遥感图像的目标数量。
[0026]
进一步地，在所述多目标联合优化方法中，所述中心点偏移预测模块的训练过程将所述中心点偏移向量集的预测值与真实值的偏差记为lo，即该损失函数为：
[0027][0028]
其中，表示smooth-l1损失函数，和分别表示中心点偏移向量集的真实值与预测值，表示目标的中心点的低分辨率等效点，n表示待检测遥感图像的目标数量。
[0029]
进一步地，在所述多目标联合优化方法中，所述几何特征预测模块的训练过程将所述几何特征集的预测值与真实值的偏差记为ls，即该损失函数为：
[0030][0031]
其中，表示smooth-l1损失函数，和分别表示几何特征集的真实值与预测值，表示目标的中心点的低分辨率等效点，n表示待检测遥感图像的目标数量。
[0032]
进一步地，所述多目标联合优化的全局目标函数为：
[0033][0034]
其中，分别表示关键点热图、中心点偏移向量集和几何特征集，λo、λs分别表示中心点偏移预测模块和几何特征预测模块的权值系数。
[0035]
进一步地，所述几何特征将目标看作绕中心旋转的平行四边形，利用所述中心点坐标、所述目标的外接水平矩形框的宽和高以及目标顶点相对矩形框顶点的偏移向量对所述目标的位置和形状进行编码。
[0036]
进一步地，通过解码获得所述目标的四个顶点的坐标，所述四个顶点的横坐标和纵坐标分别为：
[0037]
x0＝xc+0.5w-w0，y0＝y
c-0.5h
[0038]
x1＝xc+0.5w，y1＝y
c-0.5h+h0[0039]
x2＝x
c-0.5w+w0，y2＝yc+0.5h
[0040]
x3＝x
c-0.5w，y3＝yc+0.5h-h0[0041]
其中，(xc，yc)表示目标的中心点坐标，w、h分别表示目标外接水平矩形框的宽和高，w0、h0分别表示目标顶点相对矩形框顶点的宽度偏移和高度偏移。
[0042]
本发明的有益效果是：
[0043]
本发明提供的遥感图像目标检测方法，通过将基于回归的检测框架和基于关键点的区域提案生成方法融合，并使用特殊的几何特征对目标进行编码，不仅克服了现有的遥感图像目标检测方案计算开销大、检测速度慢的缺陷，而且能够快速、准确地检测大尺寸遥感图像中方向不固定的目标，使得遥感图像目标检测的检测速度满足实际应用需求。
[0044]
根据本发明的方案，使用基于回归的检测框架可以在单个阶段完成目标检测，获得了较快的检测速度。使用基于关键点的区域提案生成方法将目标检测任务转化为关键点估计任务，可以避免使用复杂的先验框，并使用最大池化代替非极大值抑制进行后处理，减少计算开销。使用特殊的几何特征对目标进行编码，本发明能够检测遥感图像中方向不固
定的目标。通过本发明，能够快速、准确地检测大尺寸遥感图像中方向不固定的目标。
附图说明
[0045]
图1表示本发明一种实施方式的遥感图像目标检测方法的流程示意图；
[0046]
图2表示本发明一种实施方式的遥感图像目标检测方法的具体实施步骤示意图；
[0047]
图3表示本发明一种实施方式的遥感图像目标检测方法的多目标联合优化方法的具体过程示意图；
[0048]
图4表示本发明一种实施方式的遥感图像目标检测方法中用于对方向不固定的目标进行编码的几何特征的示意图。
具体实施方式
[0049]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
[0051]
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
[0052]
本实施方式以待检测遥感图像上某一个方向不固定的目标为例，对遥感图像目标检测方法的流程和具体实施步骤进行详细描述。
[0053]
图1和图2分别表示本实施方式的遥感图像目标检测方法的流程示意图和具体实施步骤图。如图1所示，本实施方式的遥感图像目标检测方法，包括以下步骤：
[0054]
s1.利用预先训练的卷积神经网络提取输入待检测遥感图像的特征，并输出特征图；
[0055]
s2.利用目标检测模块对特征图上的目标的关键点进行估计；
[0056]
s3.根据估计的关键点，利用几何特征对目标进行编码；
[0057]
s4.利用最大池化对关键点的坐标进行后处理，并对目标的位置进行修正；
[0058]
s5.对目标的几何特征进行解码，得到最终的目标检测结果。
[0059]
针对本实施方式的遥感图像目标检测方法，具体实施步骤如图2所示。首先，使用基于回归的检测框架，利用预先训练的卷积神经网络提取输入待检测遥感图像的特征，输出的特征图直接用于后续步骤中的分类和回归。本实施方式将宽度为w、高度为h的待检测遥感图像i∈rw×h×3作为预先训练好的卷积神经网络的输入，并通过该卷积神经网络提取上述待检测遥感图像的特征，生成并输出特征图。上述卷积神经网络不依赖特定的神经网络结构，常用的残差卷积、可变形卷积等结构均可以用于提取图像特征。使用基于回归的检测框架可以在单个阶段完成目标检测，获得了较快的检测速度。
[0060]
其次，使用基于关键点的区域提案生成方法，利用目标检测模块对特征图上的目标的关键点进行估计的过程包括：先利用预先训练好的中心点坐标预测模块对上述特征图上目标的中心点进行建模，并输出一幅关键点热图和中心点坐标。其中，r表示步骤s1中卷积神经网络的下采样倍率，c表示关键点类别数量，即目标类别数量。该关键点热图上每个点处的值表示该点对应某类目标中心点的概率，例如表示点(x，y)是类别为c类的目标的中心点。然后，利用预先训练好的中心点偏移预测模块预测目标的中心点偏移，并输出中心点偏移向量集预测目标的中心点偏移，并输出中心点偏移向量集例如且表示点(x+δx，y+δy)是类别为c类的目标的中心点偏移。再利用预先训练好的几何特征预测模块预测目标的几何特征，并输出几何特征集例如当时，记录了以点(x，y)为中心点的目标的几何特征。上述步骤s2的目标检测模块包括中心点坐标预测模块、中心点偏移预测模块和几何特征预测模块。
[0061]
在本实施方式中，步骤s1中的卷积神经网络的参数由多目标联合优化方法预先训练得到。检测时使用基于回归的检测框架，不显示生成区域提案，以端到端的方式完成检测，具有较快的检测速度。步骤s2中的中心点坐标预测模块、中心点偏移预测模块和几何特征预测模块的参数相互独立，也由多目标联合优化方法预先训练得到。
[0062]
图3表示本实施方式的遥感图像目标检测方法的多目标联合优化方法的具体过程示意图。如图3所示，多目标联合优化方法的具体过程是通过最小化全局目标函数使中心点坐标预测模块输出的关键点热图、中心点偏移预测模块输出的中心点偏移向量集和几何特征预测模块输出的几何特征集与真实值尽可能接近，从而实现对卷积神经网络和上述预测模块的预先训练，使预测出的待检测遥感图像上各类别目标的中心点坐标、中心点偏移和几何特征更加精确。这就是多目标联合优化方法的作用。
[0063]
在多目标联合优化方法中，中心点坐标预测模块的训练过程包括：将关键点热图的真实值记为针对原始的待检测遥感图像中每个类别为c类的目标的中心点p∈r2，先计算待检测遥感图像下采样后目标的中心点对应的低分辨率等效点再利用高斯模糊将该等效点记录在关键点热图的真实值中，具体公式如下：
[0064][0065]
其中，σ
p
表示根据目标大小自适应的标准差，通过该目标的最小外接矩形的宽度与高度计算。x、y分别表示目标中心的横坐标和纵坐标；分别表示横坐标x和纵坐标y的低分辨率等效点。如果同一类别的多个目标对应的高斯模糊有重叠部分，则按像素保留最大值。
[0066]
将关键点热图的预测值与真实值的偏差记为lk，即损失函数为：
[0067][0068]
其中，α和β表示超参数，在本实施方式中，α＝2，β＝4，n表示输入的待检测遥感图像i中的目标数量。通过设置指数衰减，降低背景点信息在训练优化时的权重，可以使中心点坐标预测模块获得更好的训练优化效果。
[0069]
在本实施方式中，中心点偏移预测模块的训练过程为：将中心点偏移向量集的真实值记为根据定义，该中心点偏移的具体计算公式如下：
[0070][0071]
将中心点偏移向量集的预测值与真实值的偏差记为lo，即损失函数为：
[0072][0073]
其中，表示smooth-l1损失函数，和分别表示中心点偏移向量集的真实值与预测值，表示目标的中心点的低分辨率等效点，n表示待检测遥感图像的目标数量。
[0074]
在本实施方式中，几何特征预测模块的训练过程为：将几何特征集的真实值记为将几何特征集的预测值与真实值的偏差记为ls，损失函数为：
[0075][0076]
其中，表示smooth-l1损失函数，和分别表示几何特征集的真实值与预测值，表示目标的中心点的低分辨率等效点，n表示待检测遥感图像的目标数量。根据定义，中心点偏移向量和几何特征的值当且仅当点(x,y)是某类目标的中心时才有意义。故lo和ls只记录目标中心的低分辨率等效点处的损失值，其他位置的值将被忽略。
[0077]
由此，本发明所提出的多目标联合优化方法的全局目标函数为：
[0078][0079]
其中，分别表示预测出的图像上所有目标的关键点热图(包含中心点坐标集合)、中心点偏移向量集和几何特征集，λo、λs分别表示中心点偏移预测模块和几何特征预测模块的权值系数。
[0080]
上述多目标联合优化方法的目标是最小化函数l
ttl
。使用自适应矩估计优化器对目标函数l
ttl
进行随机梯度优化，通过多次迭代取最优解，即可获得最优的卷积神经网络参数和上述三个预测模块的参数。
[0081]
接着，根据估计或预测的关键点热图(中心点坐标)、中心点偏移和几何特征，使用上述几何特征对目标进行编码。图4表示本实施方式的遥感图像目标检测方法中用于对方向不固定的目标进行编码的几何特征的示意图。该几何特征的具体表示如图4所示。将某一个方向不固定的目标看作绕中心旋转的平行四边形，利用该目标的中心点坐标(xc，yc)、目标的外接水平矩形框的宽w和高h以及目标顶点相对矩形框顶点的偏移向量(w0，h0)对目标的位置和形状进行编码。
[0082]
然后，利用最大池化对目标的中心点坐标进行后处理，并根据上述中心点偏移对目标的位置进行修正。最大池化在本质上是提取关键点热图的峰值，删除冗余的检测结果，进而提高检测速度。与在最终检测结果上执行删除的非极大值抑制算法相比，最大池化直接在关键点热图上执行，使目标的检测速度和效率大大提升。另外，由于卷积神经网络的下采样过程会使目标的位置产生像素级的偏差，所以需要利用中心点偏移量来还原目标在待检测遥感图像中的位置。
[0083]
在本实施方式中，使用基于关键点的区域提案生成方法将目标检测任务转化为关键点估计任务，可以避免使用复杂的先验框，并使用最大池化代替非极大值抑制进行后处理，减少计算开销。
[0084]
最后对目标的几何特征进行解码，还原目标的形状信息，最终获得目标的检测结果。解码时，获得目标的四个顶点坐标，其横坐标和纵坐标分别为：
[0085]
x0＝xc+0.5w-w0，y0＝y
c-0.5h
[0086]
x1＝xc+0.5w，y1＝y
c-0.5h+h0[0087]
x2＝x
c-0.5w+w0，y2＝yc+0.5h
[0088]
x3＝x
c-0.5w，y3＝yc+0.5h-h0[0089]
其中，(xc，yc)表示目标的中心点坐标，w、h分别表示目标外接水平矩形框的宽和高，w0、h0分别表示目标顶点相对矩形框顶点的宽度偏移和高度偏移。
[0090]
根据本发明的构思，通过将基于回归的检测框架和基于关键点的区域提案生成方法融合，并使用特殊的几何特征对目标进行编码，能够快速、准确地检测大尺寸遥感图像中方向不固定的目标，使得遥感图像目标检测的检测速度满足实际应用需求。与现有的遥感图像方向不固定目标的检测方案相比，采用的几何特征不使用目标的旋转角度信息，不仅避免了回归不一致导致的检测效果不佳的问题，而且使几何特征形式简洁，预测模块易于训练优化。
[0091]
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。