遥感图像目标精细识别方法、电子设备及存储介质与流程

1.本发明涉及一种遥感图像目标精细识别方法、电子设备及存储介质。


背景技术：

2.遥感图像目标检测在农林牧渔、交通、国防等领域有着广泛的应用前景。受益于深度卷积神经网络和高性能计算技术的发展，深度学习方法相对于传统图像处理方法能够有效提升遥感图像目标检测与识别的精度，但其对于遥感图像中的目标精细识别，即目标的细粒度分类还存在较大困难。
3.现有的主流的目标检测器均利用深度学习网络作为其骨干和检测网络，分别从输入图像中提取特征，进行分类和定位。目标检测方法通常分为两类：一类是two-stage检测器，先由算法生成一系列作为样本的候选框，然后再在候选框层面上进一步做分类与位置回归，最具代表性的是faster r-cnn。另一种是one-stage检测器，其直接回归得到不同目标的类别与位置，如yolo、ssd。一般而言，two-stage检测器具有较高的定位和目标识别精度，而one-stage检测器具有较高的推理速度。
4.对细粒度识别模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两大类。前者为了提升模型对目标高辨识力区域的学习能力，在图像目标框和目标类别标签基础上，还使用了重要部位标注点等额外的人工标注信息，但由于重要部位标注点等信息的人工标注相当繁重，因此，目前细粒度识别模型多聚焦于仅基于图像层面的弱监督标注信息进行学习。
5.细粒度识别由于其数据集规模通常较小，并且具有类内差异大和类间差异细微等特点，与常规的目标检测任务相比，其更具有挑战性。进行细粒度识别的方法可粗略分为两类：基于图像重要区域定位的方法：该方法致力于利用弱监督信息寻找图像中有判别力的区域，较为典型的方法采用区域候选网络（rpn）来在目标上提取有识别力的区域并提取特征，然后利用它们与类别标签的一致性提高分类精度；基于图像精细化特征表达的方法：该方法提出使用高维度的图像特征对图像信息进行高阶编码，如借助层次化信息编码不同层级的类别之间的关联关系，通过层次语义嵌入框架以学习更细致的图像特征表达。
6.在上面所提及的两类主要方法中，基于图像重要区域定位的方法由于能直接捕捉不同子类的细微差异，一般而言结果更好，并且在可解释性方面有优势。但是基于rpn的方法在对局部特征进行筛选时，大多以基于特征的预测结果的置信度进行排序进而筛选，这种做法虽然合理，但是不可避免地鼓励了rpn去提取尽可能大的区域来包含较多的特征以提高置信度，而没有真正定位到重要的特征上。而基于图像精细化特征表达的方法通常是不可解释的，因为其难以寻找模型区分出具有细微差异的子类别的根据。
7.以遥感图像飞机目标精细识别为例，从人类观察分类的角度来看，对同一张图片上的多个实例进行对比分辨是十分必要的，尤其是在飞机翼展和长度等底层的尺寸信息上。


技术实现要素：

8.鉴于上述技术问题，本发明提出一种遥感图像目标精细识别方法、电子设备和存储介质，可以方便的结合在粗粒度的任意目标检测网络上进行端到端训练，而无需特别的额外设计，增强模型对实例之间的辨别区分能力，有效地提升模型在细粒度检测上的性能。
9.实现本发明目的的技术解决方案为：一种遥感图像目标精细识别方法，包括以下步骤：步骤s1、获取遥感图像，构建包含目标实例的数据集；步骤s2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；步骤s3、利用步骤s2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；步骤s4、构建总损失函数，训练得到遥感图像目标精细识别模型；步骤s5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
10.根据本发明的一个方面，在所述步骤s2中，获取目标实例的特征向量，具体包括：步骤s21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图；步骤s22、利用多层级的特征图，获得通道数对齐的多尺度输入；步骤s23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；步骤s24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的d维的目标特征向量。
11.根据本发明的一个方面，在步骤s2中，利用特征向量进行粗粒度检测，具体包括：步骤s25、将目标特征向量 输入具有relu激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测， 目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；步骤s26、将 通过线性层利用softmax函数，获得预测类别标签， ；步骤s27、采用匈牙利算法进行匹配，将queries的预测结果与真值匹配，使预测损失最小，同时进行背景与目标实例的分类，匈牙利算法的匹配公式为：其中， 为对匹配集合的所有枚举， 为使得总的预测损失最小的匹配， 为预测损失函数，计算公式为：为预测损失函数，计算公式为：
其中， , 用于权衡广义交并比损失和l1损失的权重。
12.根据本发明的一个方面，在步骤s2中，还包括：步骤s28、计算分类与回归损失，公式为：。
13.根据本发明的一个方面，在步骤s3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：步骤s31、将目标特征向量 进行两两枚举配对，得到2d维的目标特征组合向量 ；步骤s32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量 ；步骤s33、以全连接层回归计算目标特征向量两两之间的相似度；其中，所得到的相似度 ，其值越接近1则表示两个实例越相似。
14.根据本发明的一个方面，在步骤s3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：步骤s34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：其中， 为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则 为1，否则为0；步骤s35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：其中， 为超参数，用于约束不同细粒度类别的实例之间的相似度。
15.根据本发明的一个方面，在步骤s3中，还包括：步骤s36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：其中， 为超参数， 表示相似度计算网络的权重， 细粒度类别约束的权重。
16.根据本发明的一个方面，在训练好的遥感图像目标精细识别模型后，还包括：
步骤s41、获取遥感图像，构建包含目标实例的验证集；步骤s42、利用验证集验证遥感图像目标精细识别模型的精度。
17.根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种遥感图像目标精细识别方法。
18.根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种遥感图像目标精细识别方法。
19.根据本发明的构思，提出一种遥感图像目标精细识别方法、电子设备和计算机可读存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
20.并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
附图说明
21.图1示意性表示根据本发明一种实施方式的遥感图像目标精细识别方法的模型训练流程图；图2示意性表示根据本发明一种实施方式的遥感图像目标精细识别方法的流程图；图3示意性表示根据本发明一种实施方式的步骤s2的流程图；图4示意性表示根据本发明另一种实施方式的步骤s2的流程图；图5示意性表示根据本发明一种实施方式的步骤s3的流程图；图6示意性表示根据本发明另一种实施方式的步骤s3的流程图。
具体实施方式
22.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅为本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
24.如图1至图6所示，本发明的一种遥感图像目标精细识别方法，包括以下步骤：步骤s1、获取遥感图像，构建包含目标实例的数据集；
步骤s2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；步骤s3、利用步骤s2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；步骤s4、构建总损失函数，训练得到遥感图像目标精细识别模型；步骤s5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
25.在该实施例中，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
26.并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
27.例如，在fair1m遥感细粒度数据集上选取其中含有飞机实例的标注与对应图片，在获取遥感图像，构建包含飞机的数据集时，可同时构造训练集和验证集，以2/3的数据集作为训练集，1/3的数据作为验证集，在完成训练之后，以验证集用于验证遥感图像目标精细识别模型的精度。
28.如图1所示，在粗粒度检测之后，利用全连接层进行最后的分类和位置回归之前的特征向量，计算实例之间两两的相似度，可以省去通过实例的位置坐标回到原图提取patch，再重新对其抽取特征向量的重复计算，减少运算，提升效率。该特征向量对于rcnn结构的卷积检测模型，为建议框在roi 池化后的特征向量；对于detr结构的transformer检测模型，为解码器输出的查询向量对应的特征向量。
29.如图3所示，在本发明的一个实施例中，优选地，在所述步骤s2中，获取目标实例的特征向量，具体包括：步骤s21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图，具体地：将输入图片 通过resnet来提取特征，得到多层级的特征图；步骤s22、利用多层级的特征图，获得通道数对齐的多尺度输入，具体地：对 ~ 进行 卷积，并对 进行且步长为2的卷积，得到通道数对齐为256的多尺度特征图；步骤s23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；步骤s24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的d维的目标特征向量。
30.如图4所示，在本发明的一个实施例中，优选地，在步骤s2中，利用特征向量进行粗粒度检测，具体包括：步骤s25、将目标特征向量输入具有relu激活函数且具有隐藏层的3层感知器，
进行位置坐标回归预测， 目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；步骤s26、将 通过线性层利用softmax函数，获得预测类别标签 ， ，此处，事实上n=300；步骤s27、采用匈牙利算法进行匹配，将queries的预测结果 与真值匹配，它们总的预测损失最小，而匹配为非实例的就是负样本，分类为背景，匈牙利算法的匹配公式为：其中， 为对匹配集合的所有枚举， 为使得总的预测损失最小的匹配， 为预测损失函数，计算公式为：为预测损失函数，计算公式为：其中， , 用于权衡广义交并比损失和l1损失的权重。
31.在本发明的一个实施例中，优选地，在步骤s2中，还包括：步骤s28、计算分类与回归损失，公式为： 。
32.如图5所示，在本发明的一个实施例中，优选地，在步骤s3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：步骤s31、将目标特征向量 进行两两枚举配对，得到2d维的目标特征组合向量，即 ；步骤s32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量 即： ；步骤s33、以全连接层回归计算目标特征向量两两之间的相似度 即：；其中，所得到的相似度 ，其值越接近1则表示两个实例越相似。
33.如图6所示，在本发明的一个实施例中，优选地，在步骤s3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：步骤s34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：
其中， 为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则为1，否则为0；步骤s35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：其中， 为超参数，用于约束不同细粒度类别的实例之间的相似度。
34.在本发明的一个实施例中，优选地，在步骤s3中，还包括：步骤s36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：其中， 为超参数， 表示相似度计算网络的权重， 细粒度类别约束的权重。
35.在本发明的一个实施例中，优选地，在训练好的遥感图像目标精细识别模型后，还包括：步骤s41、获取遥感图像，构建包含目标实例的验证集；步骤s42、利用验证集验证遥感图像目标精细识别模型的精度。
36.根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种遥感图像目标精细识别方法。
37.根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种遥感图像目标精细识别方法。
38.综上所述，本发明提出了一种遥感图像目标精细识别方法、电子设备和计算机可读存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。
39.并且，通过对同一张图片上多个实例的相似度计算，利用该信息来约束模型，在增加少许计算量的前提下，有效提高模型在细粒度识别上的性能，尤其适用于典型场景内特定目标的精细识别与监测，比如机场内不同型号的飞机、港口内不同类型的船只等。
40.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
41.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
42.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
43.还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
44.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。