基于高斯过程回归的亚像素级模板匹配序列星图融合方法

本发明属于空间图像融合领域，尤其涉及一种基于高斯过程回归的亚像素级模板匹配序列星图融合方法。

背景技术：

1、随着航空航天技术的迅速发展，近地空间人造物体数量激增，庞大的太空网络在为民用、军用领域提供信息的同时，航天器自身也需进行态势感知和危险规避。在轨道空间领域，相较于激光雷达，光学相机具有整体造价较低，观测距离远，隐蔽性强等特点，更符合运载体在空间对抗模式下工作要求，因此基于光学观测设备的以卫星为目标物的空间目标检测是空间态势感知中重要一环。

2、光学相机采集的图像会受到来自外界的云层、光污染以及来自传感器自身的噪声干扰，且高精度图像的设备结构复杂、造价高昂，不适用于实际卫星导航任务，且卫星所携带的相机视场角较小，需通过批量空间图像拍摄实现信息获取，故需要通过图像处理的方式实现强噪声、低精度观测条件下的序列空间图像快速融合。

技术实现思路

1、为了解决现有技术存在的不足，本发明提供了一种基于高斯过程回归的亚像素级模板匹配序列星图融合方法，采用高斯过程回归的方法进行图像分割，并改进局部自适应阈值二值化的阈值计算规则，更好的适应不同光照条件下的图像二值化，结合空间图像成像特点与星图运动规律实现分步亚像素级序列图像高精度模板匹配，最后基于多分辨率融合算法实现序列图像融合于增强，消除拼接缝并提升了星点对比度，更好的满足复杂环境下序列空间图像的预处理与拼接任务要求。

2、为了实现上述目的，本发明的一个实施方式的一种基于高斯过程回归的亚像素级模板匹配序列星图融合方法，其包括：

3、s1、基于高斯过程回归进行序列图像分割，得到所有原始图像的前景掩码；

4、s2、结合空间图像成像规律，基于改进局部自适应二值化处理和亚像素级模板匹配实现星图配准，获取所有相邻两帧图像的匹配区域，包括：

5、s21、对所有原始图像进行滤波处理，仅保留恒星条纹，减少额外干扰对配准精度的影响；

6、s22、对经过滤波的图像进行改进局部自适应二值化处理，得到原始图像的二值化图像；

7、

8、其中，lthreshold为二值化图像，l为待处理图像，t(x,y)为(x,y)点像素阈值，(x,y)为点像素坐标；

9、s23、基于空间图像成像规律，采用亚像素级模板选取相邻两帧图像进行配准，获取所有相邻两帧图像的匹配区域，包括：

10、s231、计算二值化图像中的所有连通域的面积，将连通域面积小于10的连通区域灰度值置零，进一步去除匹配干扰噪声点；

11、s232、将相邻两帧图像的二值化图像分为待匹配图像和模板图像；

12、s233、基于空间图像成像规律，以在待匹配图像中生成的粗匹配模板，在模板图像中进行基于归一化系数的模板匹配，获取粗匹配模板匹配成功区域，计算获取粗匹配单应性变换矩阵hr：

13、s234、进行亚像素级别模板匹配，获取最终的相邻两帧图像的匹配区域，包括：

14、在步骤s1中得到的相邻两帧图像的前景掩码中，截取与待匹配图像中粗匹配模板位置相同、尺寸一致的区域作为前景掩码匹配模板图像，再截取与模板图像中匹配成功位置相同、尺寸一致的区域作为前景掩码目标图像；

15、以第一标准尺寸的窗口对前景掩码匹配模板图像进行搜索，找出其中灰度均值最大的区域，令中心点为center，坐标为(x,y)，截取以center点为中心的第一标准尺寸的区域作为新模板图像，根据粗匹配单应性变换矩阵hr和center点得到前景掩码目标图像中对应位置的center′点，对应坐标为(x′,y′)，以center′点为中心按大于第一标准尺寸的第二标准尺寸截取得到新目标图像，center与center′对应关系如下：

16、

17、对新模板图像和新目标图像分别进行双立方插值，扩展至原图像的10倍分辨率；对扩展后的两幅图像进行基于归一化系数的模板匹配，获取最终的相邻两帧图像的匹配区域；

18、s235、重复步骤s232-s234，获取序列中所有相邻两帧图像的最终匹配区域；

19、s3、采用多分辨率融合方法实现融合画板填充，完成序列图像的融合，包括：

20、s31、根据获取的所有相邻两帧图像的最终匹配区域，求取序列图像中所有图像到最后一帧图像的单应性变换矩阵h(m,n)：

21、h(m,n)＝h(m,m+1)h(m+1,m+2)…h(n-2,n-1)h(n-1,n)      (10)

22、其中，h(m,n)表示图像m到图像n坐标系的单应性变换矩阵，且m＜n，m、n为正整数；

23、s32、根据所有图像的尺寸以及求得的所有图像到最后一帧图像的单应性变换矩阵求得各图像的扩展图像lcanvas：

24、

25、其中，为第m帧图像的扩展图像，lm为第m帧待拼接图像，表示第m帧图像到最后一帧nlast图像的水平偏移量，表示第m帧图像到最后一帧nlast图像的竖直偏移量。；

26、s33、由序列图像中所有图像与最后一帧图像间的单应性变换矩阵对求得的各图像的扩展图像lcanvas进行单应性变换，变换至最后一帧图像的坐标系，构建与各帧原始待拼接图像大小一致的掩码图像；

27、s34、针对构建的各帧的掩码图像进行与待拼接图像转换坐标系的相同操作，构建处于相同坐标系下的待融合图像保留区域的掩码；

28、s35、进行相同坐标系下的待融合图像保留区域的掩码的多分辨率融合，实现多幅图像的同时融合。

29、进一步地，s1中的前景掩码为：

30、m＝yimg-ypre,bg      (5)

31、其中，m为前景掩码，yimg为原始图像，ypre,bg为原始图像的背景。

32、进一步地，s233中的粗匹配模板的选取规则如下：

33、将待匹配图像分割区域设置为图像原始尺寸向中心点内缩100pix，并将分割区域图像等分为9份等大矩形区域；

34、计算所有矩形区域127像素密度，选取其中非0数量最多且最密集的矩形区域；

35、将选定区域向外扩展30pix生成最终粗匹配模板。

36、进一步地，s234中第一标准尺寸为50pix×50pix，第二标准尺寸为52pix×52pix。

37、进一步地，所述基于归一化系数的模板匹配，具体为：

38、选定以匹配模板在模板图像中坐标为中心向外扩展第三标准尺寸的范围作为目标图像的匹配区域，用匹配模板在匹配区域上滑动，计算每个位置的匹配模板与对应匹配区域的归一化系数，令归一化系数最接近于1的位置的区域作为匹配模板匹配结果。

39、进一步地，第三标准尺寸为200pix。

40、进一步地，s35进行相同坐标系下的待融合图像保留区域的掩码的多分辨率融合，包括：

41、s351、构建整体融合画板，建立整体融合画板对应尺寸的全黑融合画板；

42、s352、建立所有原始图像的高斯金字塔及掩码的高斯金字塔；

43、gi(x,y)＝((g*gi-1)x·s,(g*gi-1)y·s)         (14)

44、maski(x,y)＝((g*maski-1)x·s,(g*maski-1)y·s)        (15)

45、其中，gi表示高斯金字塔第i层的原始图像，maski表示高斯金字塔第i层的掩码图像，s为下采样因子，设置为2，*为卷积操作，g表示高斯滤波核；

46、s353、建立所有图像的拉普拉斯金字塔及与拉普拉斯金字塔尺寸一致的整体融合画板金字塔；

47、s354、对整体融合画板金字塔进行图像和掩码填充；

48、s355、进行拉普拉斯金字塔重建最终融合图像。

49、进一步地，s354对整体融合画板金字塔进行图像和掩码填充，填充规则如下：

50、

51、其中，i表示图像金字塔的第i层，canvasi为融合画板金字塔第i层，为第q帧图像拉普拉斯金字塔的第i层，为第q帧图像掩码的高斯金字塔的第i层。

52、进一步地，所述方法还包括s36采用自适应直方图均衡化方法，提高空间图像中的星点对比度，合成最终的增强图像。

53、进一步地，s36中采用自适应直方图均衡化方法，提高空间图像中的星点对比度，合成最终的增强图像，包括：

54、s361、设定阈值j和子区域窗口大小b，将原始图像分成若干个子区域，每个子区域的大小为b*b，对每个子区域进行直方图均衡化；

55、s362、计算每个子区域的累积分步函数cdf；

56、s363、对每个子区域的cdf数值矩阵进行双线性插值得到增强后的子区域图像，将增强后的子区域按切分顺序拼接。

57、本发明的有益效果为：

58、1、本发明基于高斯过程回归方法生成的前景掩码可消除图像的云雾、光污染等干扰，这些干扰会导致相邻帧的空间图像之间存在较大差异，在空间图像配准以及后续可能的序列空间图像目标识别中均会导致误差上升，因此前景掩码的图像预处理方式可有效提升空间图像观测的精度；

59、2、本发明对经过滤波的图像进行改进局部自适应二值化处理，改进后的局部阈值计算公式可以有效结合像元与整体图像的联系得到当前像元的二值化阈值，通过二值化保留明亮恒星条纹能够有效提升相邻空间图像间配准的准确度；

60、3、本发明结合低精度ccd空间图像特点，采用基于空间图像成像规律的分步模板匹配的方法，有效提高了图像配准效率，并将匹配精度扩展至亚像素级，可有效的提高空间图像匹配的精度和效率；

61、4、本发明根据精匹配获取序列图像中所有图像到最后一帧图像的变换矩阵，把所有图像转到同一个坐标系下进行多分辨率融合，并采用自适应直方图均衡化方法提高空间图像中的星点对比度，得到对比度增强的融合图像，能够同时实现多帧统一坐标系图像的批量、快速、无缝融合与对比度增强。