联合点集表示与图分类的目标细粒度识别方法与流程

本发明涉及遥感图像目标细粒度识别，尤其涉及一种联合点集表示与图分类的目标细粒度识别方法。

背景技术：

1、舰船作为海上交通的主要载体，在人类从事的海洋活动中发挥着重要作用。在民用领域，舰船目标监视可应用于渔业管理、海上交通安全等，在军事领域则可应用于情报侦察、海战场态势监控等任务中。

2、深度学习技术在目标检测和识别任务中取得了出色成绩，已成为舰船目标细粒度识别领域的主流方法。一类方法是针对舰船的检测和细粒度识别分别构建独立的卷积神网络模型，未能将主干网络的特征共享，降低了模型训练和在线检测的效率。另一类方法是将舰船的检测和细粒度识别任务融合，通过共享主干网络特征实现效率的提升，例如中国专利cn115272856a公开的一种舰船目标细粒度识别方法及设备，通过构建关键点粗检测网络提取大致的关键点位置信息，并在此基础上利用基于关键点注意力的分类子网络对舰船目标进行细粒度分类，但是，该方法需要同时标注遥感图像中的舰船目标的边界框和关键点，标注难度较大。

3、此外，上述两类方法均缺乏对舰船目标的几何信息、部件特征及部件关系的关注，而这些信息对于舰船目标的细粒度识别都至关重要。

技术实现思路

1、为解决上述现有技术存在的技术问题，本发明的目的在于提供一种联合点集表示与图分类的目标细粒度识别方法，通过综合利用目标的部件特征以及部件之间的关系，提高目标细粒度识别的精度。

2、为实现上述发明目的，本发明的技术方案是：

3、本发明实施例提供一种联合点集表示与图分类的目标细粒度识别方法，包括：

4、s110、构建并训练基于oriented reppoints的目标点集表示模型，检测生成代表目标的点集；

5、s120、将所述点集中的点作为节点，根据空间关系构建图结构；

6、s130、截取每个点周围的矩形区域，并将该矩形区域对应的卷积特征作为图节点的特征；

7、s140、构建图卷积神经网络模型，对所述图节点的特征进行聚合与更新，并整合所有图节点的特征进行图分类。

8、根据本发明实施例的一个方面，所述s110中构建的基于oriented reppoints的目标点集表示模型包括：

9、主干网络，用于提取目标的多尺度特征；

10、定位与分类头，用于在多尺度特征图上生成代表目标的点集，并实现目标的定位与分类。

11、根据本发明实施例的一个方面，所述主干网络采用resnet50-fpn。

12、根据本发明实施例的一个方面，所述定位与分类头包括定位分支和分类分支，

13、所述定位分支包含两个阶段，第一阶段用于生成候选点集，第二阶段用于精细化候选点集并生成最终的目标定位；

14、所述分类分支用于对第一阶段生成的候选点集所表示的目标进行分类。

15、根据本发明实施例的一个方面，所述s110中，基于oriented reppoints的目标点集表示模型的训练数据为包含目标的遥感图像，所述目标由最小外接矩形框标注，标注形式为最小外接矩形框四个角点的坐标值；

16、通过最小化所述第一阶段和第二阶段的定位损失和分类损失对所述基于oriented reppoints的目标点集表示模型进行训练优化。

17、根据本发明实施例的一个方面，所述s110中的检测生成代表目标的点集，包括：

18、将遥感图像输入训练好的基于oriented reppoints的目标点集表示模型进行检测，保存模型输出的所有目标的点集和对应的边界框，同时保存所述分类分支输出的特征。

19、根据本发明实施例的一个方面，所述s120包括：计算以点为中心，边长为1.5×边界框最小边的矩形与边界框的交集，并将交集作为该点对应的目标局部区域，获得点集中各点对应的目标局部区域，若目标局部区域间存在交集，则建立两节点之间的边。

20、根据本发明实施例的一个方面，所述s130包括：

21、将点集中各点对应的目标局部区域的最小外接矩形边界框映射到所述分类分支获得的特征图上，提取该目标局部区域对应的特征；

22、通过旋转目标局部区域的特征对齐生成固定尺寸的特征，并拉伸为一维特征向量作为图节点的特征。

23、根据本发明实施例的一个方面，所述图卷积神经网络模型包含三个图卷积层，每个图卷积层聚合一阶领域内图节点的特征。

24、根据本发明实施例的一个方面，所述s140中对所述图节点的特征进行聚合与更新，并整合所有图节点的特征进行图分类，包括：

25、利用线性变换将图节点的特征转化为更高层次的特征；

26、根据变换后的特征计算图上的卷积，对图节点的特征进行聚合与更新；

27、图卷积层之后，对于每个图节点，将每一次图卷积层之后的特征进行拼接，然后对整张图里所有图节点的特征进行全局最大值池化，得到整图的特征向量；

28、将整图的特征向量传给由多个全连接层组成的多层感知机以获得图分类结果，实现目标的细粒度识别。

29、与现有技术相比，本发明具有以下有益效果：

30、根据本发明实施例的方案，利用代表性点集提取舰船目标的部件特征和几何特征，通过综合利用舰船目标的形状特征和部件特征，构建表示舰船目标关键点的图结构数据来表达部件之间的关系，并通过图卷积神经网络模型和多特征融合提高特征表示能力，实现图分类，从而提高舰船目标细粒度识别的精度。

技术特征：

1.一种联合点集表示与图分类的目标细粒度识别方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述s110中构建的基于orientedreppoints的目标点集表示模型包括：

3.根据权利要求2所述的方法，其特征在于，所述主干网络采用resnet50-fpn。

4.根据权利要求2所述的方法，其特征在于，所述定位与分类头包括定位分支和分类分支，

5.根据权利要求4所述的方法，其特征在于，所述s110中，基于oriented reppoints的目标点集表示模型的训练数据为包含目标的遥感图像，所述目标由最小外接矩形框标注，标注形式为最小外接矩形框四个角点的坐标值；

6.根据权利要求5所述的方法，其特征在于，所述s110中的检测生成代表目标的点集，包括：

7.根据权利要求6所述的方法，其特征在于，所述s120包括：计算以点为中心，边长为1.5×边界框最小边的矩形与边界框的交集，并将交集作为该点对应的目标局部区域，获得点集中各点对应的目标局部区域，若目标局部区域间存在交集，则建立两节点之间的边。

8.根据权利要求7所述的方法，其特征在于，所述s130包括：

9.根据权利要求8所述的方法，其特征在于，所述图卷积神经网络模型包含三个图卷积层，每个图卷积层聚合一阶领域内图节点的特征。

10.根据权利要求9所述的方法，其特征在于，所述s140中对所述图节点的特征进行聚合与更新，并整合所有图节点的特征进行图分类，包括：

技术总结
本发明涉及一种联合点集表示与图分类的目标细粒度识别方法，包括：构建并训练基于Oriented RepPoints的目标点集表示模型，检测生成代表目标的点集；将所述点集中的点作为节点，根据空间关系构建图结构；截取每个点周围的矩形区域，并将该矩形区域对应的卷积特征作为图节点的特征；构建图卷积神经网络模型，对所述图节点的特征进行聚合与更新，并整合所有图节点的特征进行图分类。通过实施本发明的上述方案，通过综合利用目标的部件特征以及部件之间的关系，提高目标细粒度识别的精度。

技术研发人员：梁颖,贺广均,冯鹏铭,陈千千,上官博屹,金世超,常江,田路云
受保护的技术使用者：北京卫星信息工程研究所
技术研发日：
技术公布日：2024/1/13