基于融合网络的遥感图像目标检测方法与流程

本发明涉及遥感图像处理技术，具体涉及一种基于融合网络的遥感图像目标检测方法。

背景技术：

1、遥感技术是人类对自身生存环境开展科学调查的重要手段，遥感卫星搭载多源传感器可以主动或被动地获取植被、湖泊、海洋及大气等存在于地球圈中的各类目标的空间和物理信息，并以二维遥感图像的形式加以呈现。遥感图像中包含的地物信息可以用于军事侦察、土地资源调查、城市发展空间监测、灾害评估与预警等领域，这些领域都与国防安全和国民经济发展息息相关。

2、目标检测是计算机视觉识别任务中的基本问题之一，在多个领域有着广泛的应用。遥感图像中的目标检测在军事应用、城市规划和环境管理等方面具有广泛的应用前景。与自然图像上的目标检测不同，遥感图像上的目标比自然图像上的目标要小得多，目标的尺寸和方向具有多样性(比如操场，车，桥等)，且目标实例的视觉外观由于遮挡、阴影、照明、分辨率和视点变化而变化。因此，遥感图像上的目标检测比自然图像上的目标检测要困难得多。

3、最近几年，一些研究将深度卷积神经网络引入到目标检测中，可以从数据中自动学习到具有很好鲁棒性且具有强大表达能力的特征表示，该目标检测方法在速度和精度上都取得了很大的进步。其中，基于候选区域提取的目标检测算法与基于回归的目标检测算法是目前深度卷积神经网络目标检测算法中最为经典的算法，基于候选区域提取的算法先在给定图像中提取候选区域，然后对每个提取到的候选区域进行分类和回归定位，在目标检测的准确度上有一定优势；而基于回归的目标检测算法给出了一个单一、整体的卷积神经网络，将目标检测问题重新构造成一个回归问题来直接预测目标的类别和位置，在目标检测速度上面有一定优势。

4、虽然，目前的目标检测算法已经在自然图像目标检测中达到了很好的效果，但是在遥感图像的目标检测中还有待提升，其计算速度和资源浪费仍是急需解决的问题。

技术实现思路

1、基于上述技术问题，本发明通过将以知识图谱为基础构建的图神经网络引入faster-rcnn模型中，作为特征提取和推荐网络，减少了不必要的候选框的生成，提高计算速度，得到的目标检测结果精确。

2、本发明提供一种基于融合网络的遥感图像目标检测方法，该方法包括：

3、s1 构建遥感知识图谱，将遥感知识图谱作为图结构建立图神经网络，并对图神经网络进行训练；

4、s2构建引入图神经网络的faster-rcnn模型并进行训练，微调fast-rcnn模型参数；

5、s3获取遥感图像，将其输入faster-rcnn模型中，利用图神经网络进行特征提取，得到第一特征图，并对第一特征图进行位置预测和特征推荐，得到位置信息和推荐信息；

6、s4 将第一特征图、位置信息和推荐信息进行整合，得到第二特征图；

7、s5 对第二特征图进行目标检测分类，得到目标检测结果。

8、于本发明一具体实施例中，步骤s1包括：

9、获取遥感知识，包括文本知识和图像知识，分别对文本知识和图像知识进行知识抽取，识别实体和建立实体间的关系；

10、将实体和关系结构化，得到多个三元组；

11、将三元组进行连接，形成遥感知识图谱；

12、将遥感知识图谱作为图结构建立图神经网络，其中，图结构包括节点和边，实体为节点，关系为边；

13、获取第一训练样本，对图神经网络进行训练，以补全遥感知识图谱；

14、利用补全后的遥感知识图谱和第一训练样本，对图神经网络进行优化。

15、于本发明一具体实施例中，步骤s2包括：

16、搭建fast-rcnn模型，将图神经网络引入fast-rcnn模型作为特征提取单元；

17、获取第二训练样本，将第一训练样本和第二训练样本分别输入fast-rcnn模型，进行交叉比对训练，调整fast-rcnn模型参数。

18、于本发明一具体实施例中，步骤s3中“对第一特征图进行位置预测和特征推荐，得到位置信息和推荐信息”包括：

19、将第一特征图与遥感知识图谱进行节点匹配，根据遥感知识图谱的节点信息对第一特征图进行位置预测，得到位置信息；

20、基于遥感知识图谱的边信息对第一特征图进行特征推荐，得到推荐信息。

21、于本发明一具体实施例中，步骤s4包括：

22、将第一特征图、位置信息和推荐信息输入fast-rcnn模型中的池化层；

23、基于推荐信息对第一特征图进行筛选，得到候选特征图；

24、根据位置信息在候选特征图中生成候选框，得到第二特征图。

25、于本发明一具体实施例中，步骤s5包括：

26、根据fast-rcnn模型中的全连接层与逻辑回归算法计算每个候选框的类别，得到类别检测结果；

27、利用边框回归算法得到每个候选框的位置偏移量，得到候选框的精确位置；

28、将候选框的精确位置与类别检测结果作为最终的目标检测结果。

29、本发明的有益效果为：本发明提供一种基于融合网络的遥感图像目标检测方法，该方法包括：构建遥感知识图谱，将遥感知识图谱作为图结构建立图神经网络，并对图神经网络进行训练；构建引入图神经网络的faster-rcnn模型并进行训练，微调fast-rcnn模型参数；获取遥感图像，将其输入faster-rcnn模型中，利用图神经网络进行特征提取，得到第一特征图，并对第一特征图进行位置预测和特征推荐，得到位置信息和推荐信息；将第一特征图、位置信息和推荐信息进行整合，得到第二特征图；对第二特征图进行目标检测分类，得到目标检测结果。本发明通过将以知识图谱为基础构建的图神经网络引入faster-rcnn模型中，作为特征提取和推荐网络，减少了不必要的候选框的生成，提高计算速度，得到的目标检测结果精确，且该融合网络的模型能在检测遥感图像后，知识图谱能够自动学习新的知识，之后反馈至图神经网络以完善网络结构，自动的不断优化模型。

技术特征：

1.一种基于融合网络的遥感图像目标检测方法，其特征在于，该方法包括：

2.根据权利要求1所述的基于融合网络的遥感图像目标检测方法，其特征在于，步骤s1包括：

3.根据权利要求2所述的基于融合网络的遥感图像目标检测方法，其特征在于，步骤s2包括：

4.根据权利要求3所述的基于融合网络的遥感图像目标检测方法，其特征在于，步骤s3中“对第一特征图进行位置预测和特征推荐，得到位置信息和推荐信息”包括：

5.根据权利要求4所述的基于融合网络的遥感图像目标检测方法，其特征在于，步骤s4包括：

6.根据权利要求5所述的基于融合网络的遥感图像目标检测方法，其特征在于，步骤s5包括：

技术总结
本发明提供一种基于融合网络的遥感图像目标检测方法，该方法包括：构建遥感知识图谱，将遥感知识图谱作为图结构建立图神经网络，并对图神经网络进行训练；构建引入图神经网络的Faster‑RCNN模型并进行训练，微调Fast‑RCNN模型参数；获取遥感图像，将其输入Faster‑RCNN模型中，利用图神经网络进行特征提取，得到第一特征图，并对第一特征图进行位置预测和特征推荐，得到位置信息和推荐信息；将第一特征图、位置信息和推荐信息进行整合，得到第二特征图；对第二特征图进行目标检测分类，得到目标检测结果。本发明通过将以知识图谱为基础构建的图神经网络引入Faster‑RCNN模型中，作为特征提取和推荐网络，减少了不必要的候选框的生成，提高计算速度，得到的目标检测结果精确。

技术研发人员：鲁锦涛,陈宇,陈婷,李群,李洁,邹圣兵
受保护的技术使用者：北京数慧时空信息技术有限公司
技术研发日：
技术公布日：2024/1/13