雾霾天气条件下的光学遥感图像配准方法及系统与流程

本发明涉及图像处理技术领域，特别是涉及一种雾霾天气条件下的光学遥感图像配准方法及系统。

背景技术

光学遥感卫星具有高分辨率、大幅宽及多光谱等成像优势，其遥感产品已成为获取人民生活信息的重要手段之一。光学遥感卫星采取被动成像的方式，可获取高精度的对地遥感信息。现阶段，光学卫星大多采取多个光谱同时成像的技术方式，以获取地物不同光谱特性，再将不同谱段信息进行融合，而光谱图像配准是信息融合的前提，同时图像配准技术是光学遥感卫星产品开发的重要手段之一，可修正不同谱段图像的仿射或投影变换差异。为此，现阶段已开发了多种图像配准方法，如尺度不变特征变换(scale-invariantfeaturetransform，sift)算法、加速鲁棒特征(speededuprobustfeatures，surf)算法等。但在雾霾天气情况下，受到光学成像技术固有特点的制约，拍摄的遥感图像存在较大的细节模糊，难以提取有效的匹配线对，配准误差较大，甚至直接导致光谱间图像配准失败，十分不利于后续遥感产品的开发及应用。因此有必要开发一种适用于雾霾天气下的光学遥感图像配准方法。

技术实现要素：

基于此，有必要针对雾霾天气条件下光学遥感图像配准误差较大甚至配准失败的问题，提供一种雾霾天气条件下的光学遥感图像配准方法及系统，该方法及系统可实现快速、高精度的图像配准，能够满足遥感产品后续生产需求，同时，本发明设计的局部上拉二进制模式提取方法亦可应用于目标检测及识别领域。

为解决上述问题，本发明采取如下的技术方案：

一种雾霾天气条件下的光学遥感图像配准方法，该方法包括以下步骤：

获取参考图像和待配准的光学遥感图像；

根据局部上拉二进制模式分别提取所述参考图像和所述光学遥感图像的特征；

将邻域和局部上拉二进制模式的阈值进行比较，得到所述参考图像和所述光学遥感图像对应的局部上拉二进制模式图像；

根据加速鲁棒特征算法分别计算两幅所述局部上拉二进制模式图像的匹配线对；

根据随机样本一致性算法处理所述匹配线对，得到投影变换矩阵；

基于所述投影变换矩阵将所述光学遥感图像以所述参考图像为参考进行投影变换，得到配准后的图像。

相应地，本发明还提出一种雾霾天气条件下的光学遥感图像配准系统，该系统包括：

获取模块，用于获取参考图像和待配准的光学遥感图像；

特征提取模块，用于根据局部上拉二进制模式分别提取所述参考图像和所述光学遥感图像的特征；

局部上拉二进制模式图像计算模块，用于将邻域和局部上拉二进制模式的阈值进行比较，得到所述参考图像和所述光学遥感图像对应的局部上拉二进制模式图像；

匹配线对计算模块，用于根据加速鲁棒特征算法分别计算两幅所述局部上拉二进制模式图像的匹配线对；

投影变换矩阵计算模块，用于根据随机样本一致性算法处理所述匹配线对，得到投影变换矩阵；

配准模块，用于基于所述投影变换矩阵将所述光学遥感图像以所述参考图像为参考进行投影变换，得到配准后的图像。

与现有技术相比，本发明具有以下有益效果：本发明利用局部二进制模式(localbinarypatternss，lbp)光照不变性的有益特点，设计局部上拉二进制模式(pull-uplbp)，在抑制雾霾干扰的同时，提取图像的细节特征，提高关键目标的图像对比度，然后得到参考图像和待配准的光学遥感图像对应的局部上拉二进制模式图像，再利用surf算法和随机样本一致性(randomsampleconsensu，ransac)算法得到高精度的投影变换矩阵，最终实现遥感图像的高精度配准。本发明基本原理简单，函数库成熟，可实现雾霾天气条件下光学遥感图像的高精度配准，且本发明可直接应用于遥感卫星产品的处理，实用性强，同时本发明设计的pull-uplbp模式还可应用于目标检测及识别等领域。

附图说明

图1为本发明雾霾天气条件下的光学遥感图像配准方法的流程示意图；

图2为本发明所阐述的原始lbp的演示图；

图3为本发明采用的地面拍摄图像和计算的旋转不变lbp模式图像；

图4为本发明提出的pull-uplbp及现有ulbp模式图像；

图5为本发明提出的pull-uplbp对地面拍摄的远景图像配准效果图；

图6为本发明提出的pull-uplbp对实际卫星图像的配准效果图；

图7为本发明雾霾天气条件下的光学遥感图像配准系统的结构示意图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

在其中一个实施例中，如图1所示，本发明公开一种雾霾天气条件下的光学遥感图像配准方法，该方法包括以下步骤：

s100获取参考图像和待配准的光学遥感图像；

s200根据局部上拉二进制模式(pull-uplbp)分别提取参考图像和光学遥感图像的特征；

s300将邻域和pull-uplbp的阈值进行比较，得到参考图像和光学遥感图像对应的局部上拉二进制模式图像；

s400根据加速鲁棒特征(surf)算法分别计算两幅局部上拉二进制模式图像的匹配线对；

s500根据随机样本一致性(ransac)算法处理匹配线对，得到投影变换矩阵；

s600基于投影变换矩阵将光学遥感图像以参考图像为参考进行投影变换，得到配准后的图像。

本实施例为解决现阶段雾霾天气条件下，光学遥感图像难以配准的问题，提供的光学遥感图像配准方法主要由以下步骤实现。

步骤s100、首先获取参考图像和待配准的光学遥感图像。

步骤s200、设计了一种pull-uplbp，并根据pull-uplbp分别提取参考图像和光学遥感图像的特征。优选地，本步骤中的pull-uplbp的阈值为lbp的阈值与上拉值之和，亦即将原始lbp模式的阈值从邻域中心灰度值(即阈值)修改为邻域中心灰度值再加上拉值。

a、旋转不变lbp

原始的lbp算子如下所示：

其中，p为邻域像素数量，ip为邻域值，ic为邻域中心灰度值(即阈值)。lbp计算演示图如图2所示。通过计算，中心像素的二进制数为：01001110，对应的十进制由100修改为78。

为提高lbp算子的旋转不变性，研究人员在原始lbp算子的基础上，将固定的正方形邻域修改为半径可变的圆形邻域，该算子称为旋转不变lbp。

b、雾霾影响分析

在雾霾天气条件下，难以配准的主要原因是：图像特征不明显，如图3(a)地面拍摄图像所示，而雾霾的影响和光照变化相似，因此采取lbp算子原则上可实现特征的提取。如图3(b)计算的旋转不变lbp模式图像所示，天空背景很难对配准产生有利影响，但lbp算子却计算得到大量的特征信息，该信息在配准过程中将作为噪声计入，影响配准效果，图3(b)中圆域半径设置为4，邻域像素数为8。

从图3(b)中可以发现：需要在保证有效特征提取的同时，抑制无效信息。lbp模式中的无效信息可以认为是过度高频信息，虽然等价模式ulbp原则上可以抑制高频信息，如图4(b)现有ulbp模式图像所示，但受到雾霾的影响，很多无效区域被计算认为为有效特征，如天空，因此难以严格提取高价值的有效特征，配准面临失败的结果。

本发明认为：有效特征区域的方差远大于干扰区域的方差。如表1及表2所示，表1中的子图主要选择图3(a)中的天空区域，表2中的子图主要选择图3(a)中的铁塔、电线、房屋边缘等高价值特征区域，计算各个子图对应的方差，通过对比可以验证本发明分析的正确性，即有效特征区域的方差远大于干扰区域的方差。

c、pull-uplbp算子

在每个子图中，可以认为雾霾对图像的影响是加性的且不变，如下式所示：

si(i,j)＝sr(i,j)+sf(2)

其中sr(i,j)表示无雾霾条件下，真实地物在卫星相机探测器的灰度值；sf为雾霾引起相机探测器的灰度值变化；si(i,j)表示在雾霾条件下，卫星相机获得的灰度值；(i,j)为图像对应的行、列坐标。

根据方差不变性：

std_si＝std_sr(3)

其中std_si为获得的子图方差，std_sr为真实地物方差。因此，在雾霾条件下，小区域的子图方差完全由真实地物信息决定，可以用方差评价该区域的地物细节丰富程度。

为了抑制低方差区域对有效特征提取的影响，一种简单而有效的方法是，提高中心阈。本发明采取的pull-uplbp算子如下式所示：

其中pull_upvalue即为本发明添加的上拉值。

步骤s300、将邻域和pull-uplbp的阈值进行比较，得到参考图像和光学遥感图像对应的局部上拉二进制模式图像。由于本发明采用的是旋转不变lbp，因此需要确定圆域半径，针对光学遥感图像光谱成像特点——光谱间图像分辨率比值基本不变，本发明中参考图像和光学遥感图像的lbp半径比值依从图像的分辨率比值，即参考图像和光学遥感图像对应的局部二进制模式的半径之比为参考图像和光学遥感图像的分辨率之比。

光学遥感卫星在设计时，各谱段的地面分辨率比值几乎是固定不变的，因此，针对不同分辨率光谱图像配准时，需要结合其谱段的分辨率合理选择lbp圆域半径比值，圆域半径比值的计算方法如下式所示。

r2＝round(r1×pr2/pr1)(5)

其中，r1和r2分别为图像1和图像2对应的圆域半径，pr1和pr2分别为图像1和图像2的分辨率，round[·]表示四舍五入。

虽然lbp特征随着半径的增加提取的特征数量减少，但可避免提取大量无效信息，因此半径值不易过小。

针对如图3(a)所示的地面拍摄图像，当pull_upvalue＝2，邻域半径为4，领域像素数为8时，得到的pull-uplbp模式图像如图4(a)所示。很明显，本发明所提出的pull-uplbp算子可以很好地提取电线、烟囱、铁塔等高价值特征信息，并能抑制雾霾的引入的过度高频噪声。

本发明还采取“吉林一号视频03星”作为验证输入，为提高配准难度同时也为验证方法对两幅不同分辨率图像的配准效果，将待配准图像进行人为旋转、缩放4倍、平移等，此时圆域半径选择分别为16和4，领域像素数为8，上拉值设置为2，实验结果表明，本发明的方法能够实现高精度的光学遥感图像配准，配准效果较佳。

步骤s400、根据加速鲁棒特征(surf)算法分别计算两幅局部上拉二进制模式图像的匹配线对。本发明采用surf特征匹配方法，计算两幅pull-uplbp图像的匹配线对。优选地，在根据surf算法分别计算两幅局部上拉二进制模式图像的匹配线对之后，对匹配线对进行最优排序，并选取最优排序中的前预设值个最优匹配线对作为计算投影变换矩阵的输入，例如，采取surf算法提取匹配线对时，仅选取前200个最优匹配线对作为计算投影变换矩阵的输入。

步骤s500、根据随机样本一致性(ransac)算法处理匹配线对，得到投影变换矩阵。本发明采取ransac算法处理采用surf算法所提取到的匹配线对，得到投影变换矩阵，其中内点估计阈值可以设置为5。当采取surf算法提取匹配线对时，仅选取前200个最优匹配线对作为计算投影变换矩阵的输入时，本步骤根据ransac算法处理这200个最优匹配线对，从而得到投影变换矩阵。

步骤s600、基于投影变换矩阵将待配准的光学遥感图像以参考图像为参考进行投影变换，得到配准后的图像。基于投影变换矩阵，将待配准的光学遥感图像以标准图像(即参考图像)为参考，进行投影变换，实现两幅图像配准。下面分两种情况来分别说明本发明的配准效果：

a、远景图像配准

在雾霾天气条件下，地面拍摄远景图像如图5所示，两幅图像的分辨率基本相同，主要存在平移差异，其中图5(a)为参考图像，图5(b)为待配准图像，图5(c)为配准后的图像。

b、实际卫星图像配准

在雾霾天气条件下，实际卫星拍摄图像如图6所示，其中图6(a)为参考图像，像素数为5016*6016，图6(b)为待配准图像，图6(c)为参考图像对应的pull-uplbp模式图像，图6(d)为待配准图像对应的pull-uplbp模式图像，图6(e)为配准后的图像。

最后，为定量评价利用本发明配准后的图像差异，可以采用envi中cosi-corr插件进行评价。经过实际计算，地面拍摄的远景图像的东西方向和南北方向中值误差修正为0.129966和0.050745，实际卫星拍摄的图像东西方向和南北方向中值误差则由配准前的3.54496和3.548489分别修正为0.602577和0.936603，表明经过本发明的配准方法配准后，图像配准误差小，进一步提高了图像的配准精度。

本发明利用lbp光照不变性的有益特点，提出pull-uplbp和基于surf算法实现光学遥感图像的高精度配准。首先，设计了pull-uplbp算子，在抑制雾霾干扰的同时，提取图像的细节特征，提高关键目标的图像对比度。然后，基于光学卫星在设计时不同谱段分辨率比值的固定不变性，将两幅图像之间的lbp半径比设定为图像分辨率的比值，完成不同图像的pull-uplbp模式图像提取。最后，利用surf算法和ransac算法，得到投影变换矩阵，最终完成图像配准。该方法基本原理简单，函数库成熟，可用于雾霾天气条件下光学遥感图像的高精度配准，且本发明可直接应用于遥感卫星产品的处理，实用性强，同时本发明设计的pull-uplbp模式还可应用于目标检测及识别等领域。

同时，本发明还提出一种雾霾天气条件下的光学遥感图像配准系统，该系统包括：

获取模块100，用于获取参考图像和待配准的光学遥感图像；

特征提取模块200，用于根据局部上拉二进制模式分别提取参考图像和光学遥感图像的特征；

局部上拉二进制模式图像计算模块300，用于将邻域和局部上拉二进制模式的阈值进行比较，得到参考图像和光学遥感图像对应的局部上拉二进制模式图像；

匹配线对计算模块400，用于根据加速鲁棒特征算法分别计算两幅局部上拉二进制模式图像的匹配线对；

投影变换矩阵计算模块500，用于根据随机样本一致性算法处理匹配线对，得到投影变换矩阵；

配准模块600，用于基于投影变换矩阵将光学遥感图像以参考图像为参考进行投影变换，得到配准后的图像。

具体地，如果7所示，获取模块100获取参考图像和待配准的光学遥感图像，并将参考图像和待配准的光学遥感图像发送至特征提取模块200。

特征提取模块200根据设计的pull-uplbp分别提取参考图像和光学遥感图像的特征。优选地，本实施例中的pull-uplbp的阈值为lbp的阈值与上拉值之和，亦即将原始lbp模式的阈值从邻域中心灰度值(即阈值)修改为邻域中心灰度值再加上拉值。

局部上拉二进制模式图像计算模块300将邻域和pull-uplbp的阈值进行比较，得到参考图像和光学遥感图像对应的局部上拉二进制模式图像。由于本发明采用的是旋转不变lbp，因此需要确定圆域半径，针对光学遥感图像光谱成像特点——光谱间图像分辨率比值基本不变，本发明中参考图像和光学遥感图像的lbp半径比值依从图像的分辨率比值，即参考图像和光学遥感图像对应的局部二进制模式的半径之比为参考图像和光学遥感图像的分辨率之比。

匹配线对计算模块400根据加速鲁棒特征(surf)算法分别计算两幅局部上拉二进制模式图像的匹配线对。本发明采用surf特征匹配方法，计算两幅pull-uplbp图像的匹配线对。

优选地，雾霾天气条件下的光学遥感图像配准系统还包括最优排序模块，最优排序模块用于在匹配线对计算模块400根据加速鲁棒特征算法分别计算两幅局部上拉二进制模式图像的匹配线对之后，对匹配线对进行最优排序，并将最优排序中的前预设值个匹配线对输送给投影变换矩阵计算模块500，投影变换矩阵计算模块500根据随机样本一致性算法处理接收到的预设值个匹配线对，得到投影变换矩阵。其中，预设值可以选择为200。

投影变换矩阵计算模块500根据ransac算法处理匹配线对，得到投影变换矩阵。本发明投影变换矩阵计算模块500采取ransac算法处理匹配线对计算模块400所提取到的匹配线对，得到投影变换矩阵，其中内点估计阈值可以设置为5。当匹配线对计算模块400提取匹配线对，并由最优排序模块选取前200个最优匹配线对作为投影变换矩阵计算模块500计算投影变换矩阵的输入时，投影变换矩阵计算模块500根据ransac算法处理这200个最优匹配线对，从而得到投影变换矩阵。

配准模块600基于投影变换矩阵将待配准的光学遥感图像以参考图像为参考进行投影变换，得到配准后的图像。

本发明雾霾天气条件下的光学遥感图像配准系统中各个模块其具体功能的实现方法，可以参照上述的雾霾天气条件下的光学遥感图像配准方法实施例中描述的实现方法，此处不再赘述。

本实施例所提出的雾霾天气条件下的光学遥感图像配准系统基于获取模块、特征提取模块、局部上拉二进制模式图像计算模块、匹配线对计算模块、投影变换矩阵计算模块和配准模块之间的相互配合，通过利用lbp光照不变性的有益特点，设计pull-uplbp，在抑制雾霾干扰的同时，提取图像的细节特征，提高关键目标的图像对比度，然后得到参考图像和待配准的光学遥感图像对应的局部上拉二进制模式图像，再利用surf算法和ransac算法得到高精度的投影变换矩阵，最终实现遥感图像的高精度配准。该系统基本原理简单，函数库成熟，可实现雾霾天气条件下光学遥感图像的高精度配准，且可直接应用于遥感卫星产品的处理，实用性强，同时本发明设计的pull-uplbp模式还可应用于目标检测及识别等领域。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。