一种像素级的卫星遥感小目标识别方法及系统与流程

本发明涉及图像处理和航天视频目标识别，尤其涉及一种像素级的卫星遥感小目标识别方法及系统。

背景技术：

1、目标识别即找出图像中所有感兴趣的物体，同时确定物体的类别和位置。目前主流技术趋势是基于深度学习算法的目标识别。其主要着重于对目标图像的语义理解上，通过卷积积分网络对图像的边缘特征进行提取，随着网络加深，逐渐提取深层次目标特征，通过理解图像语义来检测目标位置。

2、已有星载目标识别算法的难点主要是目标小，一般来讲低轨道卫星距地面1000～5000km，由于卫星与地面距离极远，因此感兴趣的目标在卫星相机中呈像只有2×2像素～8×8像素，且目标较为模糊，信噪比低，这种目标的检测精度会非常低。

3、其次卫星每次成像均为推扫方式，成像尺寸极大，一般每秒可生成超过500张1k图像，因此如果想实时进行识别，需要的计算资源极大。由于卫星载荷有限，无法部署大规模的人工智能算法硬件环境，受硬件环境的制约，检测速度也会有影响。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种像素级的卫星遥感小目标识别方法及系统，用以解决现有解决了现有技术中卫星遥感图像成像尺寸大，实时识别需要的计算资源极大以及识别准确度的问题。

2、一方面，本发明实施例提供了一种像素级的卫星遥感小目标识别方法，包括：

3、获取卫星遥感图像，并将图像分割成若干区块；

4、对分割后的所述若干区块进行初筛，得到背景区块和目标区块；

5、对所述背景区块进行目标形态学检测，保留包含待识别的小目标的待精筛背景区块；

6、对所述目标区块进行区域性目标识别，得到区域性目标图像；

7、对所述区域性目标图像以及所述待精筛背景区块利用基于滑窗的小目标识别算法进行精筛，识别得到小目标。

8、进一步的，获得卫星遥感图像，并将图像分割成若干区块，包括：

9、通过cxp接口接收卫星相机以行扫方式获得的视频流；

10、根据cxp协议解码，提取视频流中的卫星遥感图像数据；

11、将图像数据存入内存，存入若干行后开始读取数据并切成若干行的图片流，将得到的图片流自适应分割成n×n个区块。

12、进一步的，对分割后的所述若干区块进行初筛，得到背景区块和目标区块，包括：

13、通过将分割后的所述若干区块送入resnet分类网络的识别算法进行初筛，输出0认为是背景，输出1认为是前景，得到背景区块和目标区块；其中，预先获取区域性目标的多张图片，并标注类别为1，获取包括背景的多张图片，并标注类别为0，训练得到所述resnet分类网络。

14、进一步的，对所述背景区块进行目标形态学检测，保留包含待识别的小目标的待精筛背景区块，包括：

15、将背景区块与固定存储的典型图像做像素匹配对比，排除相似度较低的背景区域；其中，固定存储的典型图像指通过将若干采集到的待识别小目标的图像存储到卫星上得到的图像；在对比时对真实目标与类目标不做区分，均作为待精筛背景区块；

16、通过低通滤波器滤除随机噪声干扰，将匹配成功并滤除随机噪声干扰后的背景区块作为所述待精筛背景区块。

17、进一步的，对所述目标区块进行区域性目标识别，得到区域性目标图像，包括：

18、将目标区块分辨率归一化到显示器标准长宽比，对归一化后的图像区块进行下采样；

19、对下采样后的目标区块利用训练好的区域性目标识别模块进行区域性目标识别；其中，首先使用公开数据集visdrone训练darknet模型；然后，将卫星相机传回的拍摄数据人工标注区域性目标的边框及类型，送入darknet模块继续训练，得到所述区域性目标识别模块；当训练好的darknet模块检测效果较差时，针对效果较差的测试用例再次进行针对性的学习，优化所述区域性目标识别模块；

20、若目标识别成功，输出类别和候选框；否则，对下采样后的目标区块进行图像增强处理并对下一个下采样后的目标区块进行目标识别；

21、根据输出的类别、候选框位置信息对原图进行裁切，得到区域性目标图像。

22、进一步的，对归一化后的图像区块进行下采样，包括：

23、下采样倍率由输入图像像素尺寸(w/n,h/n)与区域性目标的像素尺寸的比例确定下采样倍率；

24、dw＝{6+2e^[w/(n*warea)]}/{1+e^[w/(n*warea)]}

25、dh＝{6+2e^[h/(n*harea)]}/{1+e^[h/(n*harea)]}

26、d＝max(dw,dh)

27、其中，dw、dh分别为宽和高方向的下采样倍率的中间计算结果，取dw和dh中较大的作为实际宽和高方向的下采样倍率d，而w、h为原图像像素尺寸，n为上述自适应分割宽或高方向分割成的区域数量，warea，harea为区域性目标的像素尺寸均值。

28、进一步的，若目标识别成功，输出类别和候选框；否则，对下采样后的目标区块进行图像增强处理并对下一个下采样后的目标区块进行目标识别，包括：

29、若区域性目标识别模块中目标识别失败，是图像不清晰导致的，则申请导入图像增强模块，使用图像增强模块对不清晰图像进行亮度对比度调节后重新输入到区域性目标识别模块进行识别。

30、进一步的，对所述区域性目标图像以及所述待精筛背景区块利用基于滑窗的小目标识别算法进行精筛，识别得到小目标，包括：

31、将所述区域性目标图像以及所述待精筛背景区块通过滑动窗口法提取得到多个待检测图片；

32、将上述每一待检测图片经过残差结构；

33、残差结构为每一待检测图片依次经过(1×1,n/4)、(3×3，n/4)、(1×1，n)卷积核输出语义信息；其中，每次卷积后都需要进行激活操作使该次卷积的信息差异化；

34、将待检测图片与所述输出语义信息结果相加，得到第一层特征图；

35、重复上述过程m次，得到第m层特征图；

36、将所述第m层特征图送入rpn网络，rpn网络通过提取第m层特征图的抽象特征和若干个已知的、固定大小的锚框对比，生成焦点区域，输出第m+1层特征图，第m+1层特征图用于区分前景区域和背景区域，得到小目标的位置；

37、通过全连接层和softmax层对第m+1层特征图完成分类，实现对小目标类别的判定；

38、其中，(3×3，n/4)表示n/4个3×3的卷积核，每个3×3卷积都用来提取不同维度的图像的特征，1×1的卷积用来控制图像的维度数量。

39、进一步的，检测得到小目标的位置坐标后，将输出的带有目标框的识别结果和坐标信息融合到原图中作为最终检测结果。

40、另一方面，本发明实施例提供了一种像素级的卫星遥感小目标识别系统，包括：

41、图像分割模块，用于基于获取的卫星遥感图像分割得到若干区块；

42、初筛模块，用于对分割后的所述若干区块进行初筛，得到背景区块和目标区块；

43、目标形态学检测模块，用于对所述背景区块进行目标形态学检测，保留包含待识别的小目标的待精筛背景区块；

44、区域性目标识别模块，用于对所述目标区块进行区域性目标识别，得到区域性目标图像；

45、精筛模块，用于对所述区域性目标图像以及所述待精筛背景区块利用基于滑窗的小目标识别算法进行精筛，识别得到小目标。

46、与现有技术相比，本发明至少可实现如下有益效果之一：

47、1、本发明通过将卫星相机数据切成的图片流并将得到的图片流再自适应分割成n×n个区块处理，初筛舍弃没有目标的背景区块，对进入目标区块的数据进行下采样进一步降低数据量，对区域性目标区块识别后舍弃无目标区域等处理方式，提供了一种低算力占用的卫星遥感图像识别算法；

48、2、本发明通过利用包含初筛、区域性目标识别、精筛等一系列处理方式提供了一种高可靠性的卫星遥感图像识别算法。

49、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。