一种天基遥感图像智能处理系统及方法

本发明涉及计算机视觉，特别是一种天基遥感图像智能处理系统及方法。

背景技术：

1、随着光电探测技术以及微波探测技术的发展，遥感技术经历了从地面遥感到航空遥感，再到航天遥感的发展历程。随着半导体技术的飞速发展，传感器性能得到了大幅度的提升，促进了卫星遥感技术的发展与成熟。近年来，国内外陆续升空了一系列对地观测卫星，例如美国的worldview系列和quickbird系列、法国的spot系列、以及我国的“高分”系列和“吉林一号”系列卫星，对地观测的空间分辨率达到了米级或亚米级，具有极高的观测精度和丰富的观测信息，已经达到了大幅宽、高空间分辨率、高时间分辨率、高光谱分辨率、多成像角度的探测水平。

2、随着观测效率和观测精度的提升，卫星遥感图像现已成为重要的空间信息来源之一，在民用领域和军事领域都发挥着越来越重要的作用。在民用领域，光学遥感图像被广泛应用在资源勘探、灾害评估、渔业管理、城市规划和交通监管等方面；在军事领域，基于光学遥感图像的对地观测具有精确、直观、抗电子干扰能力强的特点，对于国防预警、军事侦察、打击评估、精确制导等军事应用场景至关重要。因此，需要基于国产超大规模人工神经网络智能芯片与在轨数据处理平台开展星上数据人工智能快速处理技术研究。

3、现有的有关天基遥感图像智能处理系统设计的研究相对较少，专利cn115523921a公开了一种基于天地协同的星上目标高精度定位方法及系统，该方法利用星上系统与地面系统各自的优势，实现了对目标直接进行类别判断和高精度坐标解算，但该方法重点在于解决高精度定位的问题，忽略了图像识别的准确度。

技术实现思路

1、本发明的目的在于提供一种处理速度快、识别精度高、能够获取并下发准确的战场情报信息的天基遥感图像智能处理系统及方法。

2、实现本发明目的的技术解决方案为：一种天基遥感图像智能处理系统，包括地检上位机、预处理模块和图像处理模块；

3、所述地检上位机，用于生成所需检测的遥感图像，将图像打包为字节流数据包，传送至预处理模块，并接收图像处理模块生成的情报信息，实现可视化显示与打印；

4、所述预处理模块，实时解析地检上位机通过pcie接口传输的数据包，并对解析获取的图像数据进行预处理操作；

5、所述图像处理模块，对预处理的图像进行处理，生成情报信息。

6、一种天基遥感图像智能处理方法，该方法基于所述的天基遥感图像智能处理系统，包括以下步骤：

7、步骤1、地检上位机的图像生成模块通过卫星传感器采集原始遥感图像，并打包为字节流数据包，传递至预处理模块；

8、步骤2、预处理模块实时解析图像生成模块传送过来的数据包，对解析出的数据包进行图像进行预处理操作，包括切片、去云，预处理后重新打包传送至图像处理模块；

9、步骤3、图像处理模块实时解析预处理模块传送过来的数据包，针对不同任务在不同子模块分别进行处理，并将得到的情报信息传送至地检上位机的情报显示模块；

10、步骤4、情报显示模块通过接收图像处理模块生成的情报信息，实现可视化显示与打印。

11、本发明与现有技术相比，其显著优点在于：(1)该系统实现了全天候的遥感目标检测，通过高性能的传感器和智能处理模块，能够在各种天气条件下提供可靠的情报信息输出；(2)通过使用pcie×42.0接口和光纤接口进行图像数据传输，以及采用xilinxxc7vx690t fpga处理板和cambricon-mlu100智能芯片进行图像预处理和处理，系统采用并行架构设计实现了高效的数据传输和处理流程，提高了系统的整体性能；(3)图像处理模块由四块cambricon-mlu100智能芯片组成，分别负责精细化检测、重点区域提取、变化检测和目标检测，使得系统能够同时应对多种任务，提高了遥感图像处理的实时性、准确性和全面性；(4)各个模块搭载了轻量化深度神经网络，提高了处理遥感图像的性能和效率。

技术特征：

1.一种天基遥感图像智能处理系统，其特征在于，包括地检上位机、预处理模块和图像处理模块；

2.根据权利要求1所述的天基遥感图像智能处理系统，其特征在于，所述地检上位机包括图像生成模块和情报显示模块；

3.根据权利要求2所述的天基遥感图像智能处理系统，其特征在于，所述预处理模块实时解析图像生成模块传送的数据包，包括数据帧头、包记数、总包数、本包有效数据长度、有效数据区以及数据校验位，并对解析出的数据包进行图像预处理操作，包括切片、去云，预处理后重新打包传送至图像处理模块；

4.根据权利要求1所述的天基遥感图像智能处理系统，其特征在于，所述图像处理模块包括精细化检测模块、重点区域提取模块、变化检测模块和目标检测模块；

5.根据权利要求4所述的天基遥感图像智能处理系统，其特征在于，所述精细化检测模块采用基于深度学习的目标检测模型，该模型支持图像序列的连续输入，对图像中可能存在的典型目标进行精细化识别，将输出的目标类型、形状、位置、尾迹以及置信度信息结果回填至原数据包后，打包通过rs422串口外发至地检上位机的情报显示模块；

6.根据权利要求4所述的天基遥感图像智能处理系统，其特征在于，所述重点区域提取模块的功能为：在输入图像中，利用基于深度学习的重点区域提取网络，自动搜寻可能存在目标的重点区域，包括机场、港口和军事基地，最终输出重点区域的局部放大图像，用于情报信息的获取。

7.根据权利要求4所述的天基遥感图像智能处理系统，其特征在于，所述目标检测模块的功能为：基于深度神经网络，对输入图像中可能存在的舰船、飞机、地面车辆目标进行特征提取，结合候选框对图像中的目标进行捕捉、定位和识别，并解算出检测框中目标的类型信息、形状信息、位置信息和置信度信息。

8.根据权利要求7所述的天基遥感图像智能处理系统，其特征在于，所述变化检测模块基于目标检测模块所获取的情报信息，输出当前时间下当前图像相对于前一时刻所对应区域图像的变化情况，包括目标数量变化情况和目标类型变化情况，以获取指定区域的目标动态信息，并将结果回填至原数据包后，打包通过rs422串口发送至地检上位机的情报显示模块。

9.一种天基遥感图像智能处理方法，其特征在于，该方法基于权利要求1～8任一项所述的天基遥感图像智能处理系统，包括以下步骤：

10.根据权利要求9所述的天基遥感图像智能处理，其特征在于，步骤2中预处理模块实时解析图像生成模块传送过来的数据包，对解析出的数据包进行图像进行预处理操作，包括切片、去云，预处理后重新打包传送至图像处理模块，具体如下：

技术总结
本发明公开了一种天基遥感图像智能处理系统及方法。该系统包括地检上位机、预处理模块以及图像处理模块，其中地检上位机包括图像生成模块和情报显示模块。方法为：首先地检上位机的图像生成模块采集原始遥感图像，打包为字节流数据包传递至预处理模块；然后预处理模块解析字节流数据包，进行图像进行预处理并重新打包传送至图像处理模块；接着图像处理模块解析预处理模块传送的数据包，针对不同任务在不同子模块分别进行处理，并将得到的情报信息传送至地检上位机的情报显示模块；最后情报显示模块通过接收图像处理模块生成的情报信息，实现可视化显示与打印。本发明实现了全天候的遥感目标检测，提高了遥感图像处理的实时性、准确性和全面性。

技术研发人员：白宏阳,原瑜蔓,魏静怡,邓天宇,林佳俊
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/3/21