基于多特征约束的异源配准方法与流程
本发明涉及图像处理技术领域，尤其涉及基于多特征约束的异源配准方法，用于sar图像和光学图像的特征点提取及特征匹配，可以有效解决在异源配准同名点提取困难的情况下实现对变换矩阵的精确估计，从而有效提高配准精度。
背景技术：
异源配准是将时空错位、粒度不一致的异源数据映射为时空一致性的数据，这些时空一致性数据是后续多源关联检测、联合识别和信息融合的基础。由于sar图像通常信噪比比较低且存在散焦，造成sar图像与光学图像异源配准极其困难，因此研究sar图像与光学图像的异源配准具有十分重要的意义。
目前，现有技术中一种主要的异源配准方法为基于图像特征的异源配准方法。该方法的主要优势表现在：一方面，该方法能够减少噪声对特征点提取过程的影响，因此对图像的灰度变化具有较好的适应能力；另一方面，由于图像的特征点要远少于图像的像素点，因此该方法能够在很大程度上减少匹配过程中的计算量。此外，由于特征点的提取对图像的几何形变具有较好的适应力，因此该方法适用性较广。然而，现有的此种方法在异源配准过程中难以对特征进行精确匹配，进而难以估计出精细的变换矩阵，这使得现有的此种方法配准精度较低。
技术实现要素：
有鉴于此，本发明提供了基于多特征约束的异源配准方法，能够实现变换矩阵的精确估计，从而有效提高配准精度。
为达到上述目的，本发明采用如下技术方案：
提供一种基于多特征约束的异源配准方法，包括以下步骤：
步骤1，获取待配准sar图像及对应的参考图像，参考图像为光学图像，待配准sar图像和参考图像为同一场景的两幅图像；
步骤2，对待配准sar图像进行降噪处理，得到降噪后的待配准sar图像；
利用harris算法对降噪后的待配准sar图像进行角点检测，得到降噪后的待配准sar图像的多个第一角点；以及，利用harris算法对参考图像进行角点检测，得到参考图像的多个第二角点；
步骤3，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对；
步骤4，采用ransac策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；
步骤5，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准sar图像向参考图像配准，得到配准后的sar图像。
基于本发明上述方案，首先获取待配准sar图像及对应的参考图像，对待配准sar图像进行降噪处理得到降噪后的待配准sar图像；然后，利用harris算法对降噪后的待配准sar图像和参考图像分别进行角点检测，得到多个第一角点和多个第二角点；接着，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对，进而采用ransac策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；最后，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准sar图像向参考图像配准，得到配准后的sar图像。相比现有技术，本发明具有以下优点：
第一，本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略，因此能够解决异源配准中特征点匹配策略单一、不够精细的问题，从而有效剔除误匹配的角点对，获得更为精确的控制点对；
第二，本发明中采用ransac策略对匹配焦点对进行迭代拟合，确定经过精确匹配的多对角点对中的正向控制点对，进而能够利用正向控制点对建立精确仿射变换模型，在该精确仿射变换模型的基础上来匹配控制点对，因此本发明方法能够提升数据拟合的鲁棒性，抑制积累的误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升异源配准精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多特征的异源配准方法的流程示意图；
图2(a)为某地实测sar图像；
图2(b)为某地实测光学图像；
图3为对图2(a)所示的实测sar图像进行滤波后的图像；
图4(a)为降噪处理后的sar图像的角点检测结果图；
图4(b)为光学图像的角点检测结果图；
图5(a)为对降噪处理后sar图像进行联合约束后得到的角点示意图；
图5(b)为对光学图像进行联合约束后得到的角点示意图
图6(a)为sar图像中的正向控制角点示意图；
图6(b)为光学图像中的正向控制角点示意图；
图7为配准后的sar图像；
图8为将配准后sar图像与光学图像叠加后的图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明实施例提供的一种基于多特征约束的异源配准方法的流程示意图。
如图1所示，本发明实施例提供的一种基于多特征约束的异源配准方法包括以下步骤：
步骤1，获取待配准sar图像及对应的参考图像。
其中，参考图像为光学图像，待配准sar图像和参考图像为同一场景的两幅图像。
步骤2，对待配准sar图像进行降噪处理，得到降噪后的待配准sar图像；利用harris算法对降噪后的待配准sar图像进行角点检测，得到降噪后的待配准sar图像的多个第一角点；以及，利用harris算法对参考图像进行角点检测，得到参考图像的多个第二角点。
其中，具体可按照下式对待配准sar图像进行平滑滤波处理以对其进行降噪：
mij＝exp(-aij×tij)，
式中，g′ij表示像素点(i，j)经平滑处理后的灰度值，gij表示像素点的原始灰度值，
优选的，步骤2中，利用harris算法对降噪后的待配准sar图像进行角点检测，得到所述降噪后的待配准sar图像的多个第一角点，具体可以包括：
计算得到降噪后的待配准sar图像中各像素点对应的角点响应函数；
将降噪后的待配准sar图像中角点响应函数的取值大于零的像素点确定为所述降噪后的待配准sar图像的第一角点。
类似的，步骤2中，利用harris算法对参考图像进行角点检测，得到参考图像的多个第二角点，具体可以包括：
计算得到所参考图像中各像素点对应的角点响应函数；
将参考图像中角点响应函数的取值大于零的像素点确定为参考图像的第二角点。
其中，需要说明的是，某一像素点(x，y)对应的角点响应函数可以表示为：
r＝det(m)-ktr(m)2，
式中，m表示像素点(x，y)的自相关矩阵，
步骤3，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对。
本发明实施例的一种优选的实现方式中，步骤3具体可以包括以下子步骤：
(3a)获取初始匹配角点对，并根据初始匹配角点对构造初始仿射变换模型，进而利用初始仿射变换模型剔除多个第一角点中的部分第一角点，并确定其余第一角点对应的候补特征点。
其中，需要说明的是，可通过人工选取的方式从降噪后的待配准sar图像和参考图像中选取相同区域的像素点作为初始匹配角点对。由于后续会根据迭代结果不断对降噪后的待配准sar图像和参考图像中的角点进行匹配，因此本发明方法不要求初始匹配角点对中的两个角点精确匹配，只要两个角点能够表征图像的相应特征且所处位置大致一致即可。
其中，步骤(3a)具体又可以包括以下子步骤：
(3a1)获取初始匹配角点对，利用初始匹配角点对，计算得到初始映射参数，利用初始映射参数构造初始仿射变换模型。
其中，本领域技术人员可以理解，所述的初始映射参数具体包括：沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。需要说明的是，本领域技术人员容易理解，具体可以利用数学工具matlab软件中的角点选择函数——cpselect函数，计算得到初始映射参数，本发明实施例对此不再赘述。
具体的，初始仿射变换模型可表示为：
式中，b11表示沿水平方向的比例系数，b12表示沿垂直方向的比例系数，b13表示沿水平方向的错切系数，b21表示沿垂直方向的错切系数，b22表示沿水平方向的位移，b23表示沿垂直方向的位移；x表示变换前像素点在水平方向上的坐标，y表示变换前像素点在垂直方向上的坐标；x′表示变换后像素点在水平方向上的坐标，y′表示变换后像素点在垂直方向上的坐标。
(3a2)对于多个第一角点中的任一第一角点，利用初始仿射变换模型将该第一角点映射至参考图像中，得到该第一角点对应的第一映射角点；若第一映射角点落在参考图像的边缘区域内，则剔除该第一角点；若第一映射角点未落在参考图像的边缘区域内，则在参考图像中以第一映射角点为中心建立搜索窗口，将落在搜索窗口内的第二角点确定为该第一角点对应的候补特征点。
即，对于全部第一角点中的每个第一角点，均按照步骤(3a2)判断是否将其剔除，并且在不剔除的情况下，确定其对应的候补特征点。
(3b)对于其余第一角点中的任一第一角点，分别在降噪后的待配准sar图像中建立以该第一角点为中心的第一估计窗口，以及在参考图像中建立以该第一角点的各候补特征点分别为中心的多个第二估计窗口，第一估计窗口和第二估计窗口的尺寸相同；利用第一估计窗口和多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点。
即，对于步骤(3a)中得到的余下的全部第一角点中的每个第一角点，均按照步骤(3b)确定其对应的控制角点。
具体的，步骤(3b)中，利用第一估计窗口和多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点，具体可以包括：
对于多个第二估计窗口中的任一第二估计窗口，计算该第二估计窗口和第一估计窗口的互信息，并对互信息进行归一化，得到归一化互信息；若归一化互信息大于预设的互信息阈值，则将该第二估计窗口对应的候补特征点确定为该第一角点的一个控制角点；若归一化互信息小于或等于预设的互信息阈值，则剔除第二估计窗口对应的候补特征点。
其中，需要说明的是，所述的第二估计窗口对应的候补特征点指的是第二估计窗口的中心点，也即步骤(3b)中建立第二估计窗口时用到的候补特征点。
此外，还需说明的是，本领域技术人员可以理解，所述的归一化互信息是度量两张图片相似度的一种表达方式，其值越大代表两张图片的相似性越高。具体的，归一化互信息可表示为：
式中，nmi表示归一化互信息，h(a)表示a图像的信息熵，h(b)表示b图像的信息熵，h(a，b)表示a图像和b图像的联合信息熵。
此外，本领域技术人员可以理解，步骤(3b)中所建立的第一估计窗口和第二估计窗口的尺寸也可不同。当第一估计窗口和第二估计窗口的尺寸不同时，则需要利用插值算法将二者尺寸调整至相同后，再计算二者的互信息。
(3c)对于其余第一角点中的任一第一角点，确定该第一角点的控制角点中是否存在对应的精确匹配角点：若存在，则将该第一角点和其对应的精确匹配角点确定为一对精确匹配角点对；若不存在，则删除该第一角点。
其中，第一角点对应的精确匹配角点为与第一角点在参考图像中的映射角点之间距离最小并且距离小于第一预设距离的控制角点。
步骤4，采用ransac策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对。
其中，步骤4具体可以包括以下子步骤：
(4a)从多对精确匹配角点对中随机选取至少3组角点对作为正向控制点对，并将其余精确匹配角点对作为反向控制点对。
(4b)利用正向控制点对计算得到中间映射参数，进而利用中间映射参数计算得到中间仿射变换模型。
其中，所述的中间映射参数具体包括：沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。中间仿射变换模型的具体形式可参考步骤(3a1)中的初始仿射变换模型，二者相类似，区别仅在于映射参数取值不同。
(4c)对每个反向控制点对执行以下步骤：
通过中间仿射变换模型将反向控制点对中的第一角点映射至参考图像中，得到对应的第二映射角点，计算反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离；
若反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离均小于第二预设距离，则将反向控制点对更改为正向控制点对。
(4d)当步骤(4c)执行结束后，确定当前正向控制点对的个数：若当前正向控制点对的个数大于预设数量，则转至步骤5；若当前正向控制点对的个数小于或等于预设数量，则重复执行步骤(4a)-(4c)，直至正向控制点对的个数大于预设数量。
步骤5，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准sar图像向参考图像配准，得到配准后的sar图像。
其中，所述的精确仿射变换模型具体可表示为：
其中，a11、a12、a22、a21、a13和a13为精确映射参数，a11表示沿水平方向的比例系数，a22表示沿垂直方向的比例系数，a12表示沿水平方向的错切系数，a21表示沿垂直方向的错切系数，a13表示沿水平方向的位移，a23表示沿垂直方向的位移；x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标；x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标。
其中，步骤5中，利用精确仿射变换模型将降噪后的待配准sar图像向参考图像配准，得到配准后的sar图像的具体实现过程为：从配准后图像的像素出发，映射到原始图像上，而该位置的坐标往往不是整数，则需要将原始图像中该位置附近的像素点灰度值利用插值的方法来求出作为此点的灰度值，之后返回给配准后图像上的对应点，得到异源配准结果。
基于本发明上述方案，首先获取待配准sar图像及对应的参考图像，对待配准sar图像进行降噪处理得到降噪后的待配准sar图像；然后，利用harris算法对降噪后的待配准sar图像和参考图像分别进行角点检测，得到多个第一角点和多个第二角点；接着，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对，进而采用ransac策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；最后，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准sar图像向参考图像配准，得到配准后的sar图像。相比现有技术，本发明具有以下优点：
第一，本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略，因此能够解决异源配准中特征点匹配策略单一、不够精细的问题，从而有效剔除误匹配的角点对，获得更为精确的控制点对；
第二，本发明中采用ransac策略对匹配焦点对进行迭代拟合，确定经过精确匹配的多对角点对中的正向控制点对，进而能够利用正向控制点对建立精确仿射变换模型，在该精确仿射变换模型的基础上来匹配控制点对，因此本发明方法能够提升数据拟合的鲁棒性，抑制积累的误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升异源配准精度。
进一步的，为验证本发明上述方法的正确性，采用本发明上述方法对图2(a)所示的某地实测sar图像和图2(b)所示的该地的光学图像进行了配准，具体过程如下：
(1)对图2(a)所示的实测sar图像进行滤波，抑制斑点噪声。
图3所示即为对图2(a)所示的实测sar图像进行滤波后的图像。对比图2(a)和图3，可以发现，sar图像中的斑点噪声得到了一定的抑制，这为后续提取sar图像的特征点提供了有利条件。
(2)利用harris算法分别检测上一步得到的经过降噪处理后的sar图像和光学图像中的角点。
其中，检测结果如图4(a)和4(b)所示，图中的“+”即表示所检测出的角点，其中图4(a)为降噪处理后的sar图像的角点检测结果图，图4(b)为光学图像的角点检测结果图。观察图4(a)和图4(b)，可以看出，sar图像和光学图像中大部分区域的角点都很好地被提取出来了，并且sar图像中提取的角点数量明显多于光学图像中的角点。
(3)对上一步得到的图像中的角点进行位置、距离和互信息的联合约束，得到多对精确匹配角点对。
其中，执行结果如图5(a)和5(b)所示，其中图5(a)为对降噪处理后sar图像进行联合约束后得到的角点示意图，图5(b)为对光学图像进行联合约束后得到的角点示意图，图中的“*”即表示得到的精确匹配角点对中的角点。
观察图4(a)-图5(b)，可以看出，原本大量杂乱且无对应关系的sar图像和光学图像的角点，经过联合优化处理后已经变得有序且一一对应，实现了控制点对的精确估计。
(4)对上一步得到的多对精确匹配角点对进行迭代拟合，得到其中的正向控制点对。
其中，执行结果如图6(a)和6(b)所示，其中图6(a)为sar图像中的正向控制角点示意图，图6(b)为光学图像中的正向控制角点示意图，图中的“*”即表示得到的正向控制点对中的角点，图中的数字“1”、“2”…“7”表示图6(a)中的角点和图6(b)中的角点的对应关系，图6(a)和图6(b)中标有相同数字的角点即构成一对正向控制角点对。
对比图6与图5可知，经过迭代拟合，能够进一步剔除存在偏差的角点控制对，所获得的角点对更加精细。
(5)利用上一步得到的正向控制点对进行配准，得到配准后的sar图像。
图7所示即为配准后的sar图像，观察图7和图2，可以发现，利用本发明方法成功实现了异源图像的配准。为了进一步估计配准的粗细程度，可将配准后的图像和光学图像叠加显示，如图8所示，可以看出图中没有虚影和错位，取得了良好的配准效果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！