基于邻域熵和一致性检测的SAR图像配准方法与流程

本发明属于图像处理
技术领域：
，涉及一种SAR图像配准方法，具体涉及一种基于邻域熵和一致性检测的SAR图像配准方法，可用于SAR图像融合、变化检测、计算机视觉等领域。
背景技术：
：图像配准是图像处理领域的关键技术，是指将不同时间、不同传感器或不同条件下(天气、照度、摄像位置和角度等)的两幅或多幅图像进行匹配、叠加的过程。图像配准被广泛应用于SAR图像融合、变化检测、计算机视觉等领域。合成孔径雷达(SyntheticApertureRadar，SAR)的主要工作原理是：信号发射设备向目标地区辐射微波频段的电磁波信号，再由天线接收反射和散射回来的电磁波信号，最后在成像系统中对收集到的信号进行相应分析和处理并生成代表目标地区信息的高分辨率图像。SAR成像系统不受气候、时间影响，穿透力强，可以实时动态检测感兴趣目标，但由于其独特的工作原理和成像模式，SAR图像往往存在严重的几何畸变和很强的斑点噪声，不利于图像特征的提取，所以研究有效适用于SAR图像的配准方法在图像融合、变化检测中具有重要的现实意义。现有的图像配准方法主要分为三类：基于灰度信息法、基于变换域法和基于特征法。基于灰度信息的图像配准方法主要是利用图像本身具有灰度的一些统计信息来度量图像的相似程度进而完成图像配准的。这种方法实现简单，对尺寸较小、灰度变化不大的图像配准精度高，可以达到亚像素级。该方法存在的不足之处是：应用范围窄，在最优变换搜索过程中需要很大的运算量，对于视角、灰度、结构变化较大的遥感图像配准精度较差，因而不适于SAR图像配准。基于变换域的图像配准方法是利用傅里叶变换将图像从空域变换到频域进而完成图像配准的，这种方法实现原理简单，且傅氏变换有成熟的快速算法并易于硬件实现，因而计算效率较高，该方法的不足之处是：要求参考图和待配准图的重叠区域较大，且无法处理非线性形变，对噪声也不具有鲁棒性。基于特征的图像配准方法包括基于点特征的图像配准方法、基于线特征的图像配准方法和基于区域特征的图像配准方法。基于特征的图像配准方法首先提取参考图和待配准图的特征，然后对提取到的参考图特征和待配准图特征进行描述形成参考图特征描述子和待配准图特征描述子，对参考图特征描述子和待配准图特征描述子通过距离匹配得到匹配点对，通常利用RANSAC算法去除误匹配点对，利用去除误匹配点对后的匹配点对计算参考图和待配准图的变换模型，将待配准图通过变换模型变换后与参考图叠加显示，完成图像配准。基于特征的配准方法提取出的特征具有良好的尺度和旋转不变性。该方法的不足之处是：对含有大量噪声的SAR图像，很难提取到有效的点特征、线特征和区域特征，导致图像配准失效。例如，StefanLeutenegger，MargaritaChli，RolandSiegwart于2011年在IEEEInternationalConferenceonComputerVision(vol.58,no.11,pp.2548-2555)上发表了名称为“BRISK:BinaryRobustInvariantScalableKeypoints”的文章，该文章公开了一种基于二进制鲁棒尺度不变关键点提取特征的图像配准方法，该方法首先对输入图像构造尺度空间，然后利用FAST9-16算法检测尺度空间特征点，最后对特征点周围邻域的采样点对进行二进制编码，形成二进制特征描述子，通过特征描述子匹配完成参考图和待配准图的配准。该方法有效提高了图像特征提取的效率，并且提取到的特征具有良好的旋转不变性和尺度不变性。该方法存在的不足之处是，提取到的图像特征点数目较少且存在大量的误匹配点对，导致图像配准精度不是很高。技术实现要素：本发明的目的是针对上述现有技术存在的不足，提出了一种基于邻域熵和一致性检测的SAR图像配准方法，用于解决现有基于特征的SAR图像配准方法中存在的配准准确率低的技术问题。为实现上述目的，本发明采取的技术方案包括如下步骤：(1)利用双边滤波算法，对SAR图像参考图和待配准图分别进行滤波，得到滤波参考图和滤波待配准图；(2)利用BRISK算法，分别提取滤波参考图和滤波待配准图的特征，得到滤波参考图特征描述子集合P＝{u1,u2,u3,…,ui,…,um}和滤波待配准图特征描述子集合Q＝{v1,v2,v3,…,vj,…,vn}；其中，i和j分别表示滤波参考图特征描述子的下标和滤波待配准图特征描述子的下标，ui和vj分别表示滤波参考图的第i个特征描述子和滤波待配准图的第j个特征描述子，m和n分别表示滤波参考图和滤波待配准图的描述子数目；(3)计算滤波参考图特征描述子集合P中的每一个描述子ui，分别与滤波待配准图特征描述子集合Q中所有描述子间的汉明距离，得到m个汉明距离集合，并选取每个集合中最小距离对应的描述子作为与ui匹配的描述子，得到初始匹配点对集合A＝{(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(pm,p′m)}，其中，(pi,p′i),pi∈P且p′i∈Q表示初始匹配点对集中的一对匹配点对，m表示初始匹配点对集合A的匹配点对数目；(4)利用特征点的邻域熵，去除初始匹配点对集合A中的误匹配点对，实现步骤为：(4a)分别计算初始匹配点对集合A中每一对匹配点对(pi,p′i)中pi和p′i的邻域熵，并求取两个邻域熵的差值，得到m个邻域熵差；(4b)设定阈值Te，并判断m个邻域熵差是否小于阈值Te，若是，保留该匹配点对(pi,p′i)，否则，从初始匹配点对集合A中删除该匹配点对，得到粗匹配点对集合B，B＝{(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(ps,p′s)}；其中，s表示粗匹配点对集合B中匹配点对数目；(5)利用一致性检测算法，去除粗匹配点对集合B中的误匹配点对，实现步骤为：(5a)利用粗匹配点对集合B中匹配点对的下标，构造下标集I＝{1,2…s}，并从该下标集I中随机选择N个元素构造子下标集：Ison＝{id1,id2,…,idk,…idN},idk∈I；(5b)将子下标集Ison中的元素作为粗匹配点对集合B中匹配点对的下标，取出集合B中对应该下标的匹配点对，构成匹配点对集合：(5c)计算匹配点对集合B对应滤波参考图中每个特征点pi与匹配点对集合C对应滤波参考图中所有特征点之间的欧式距离，得到s个距离集合D1,D2,…,Di,…Ds；计算匹配点对集合B对应滤波待配准图中每个特征点pi′与匹配点对集合C对应滤波待配准图中所有特征点之间的欧式距离，得到s个距离集合D′1,D′2,…,D′i,…D′s；(5d)设定阈值Td，计算距离集合Di与距离集合D′i相同下标对应元素的比值，得到s个距离比值集合，并判断该s个距离比值集合中小于阈值Td的元素个数是否大于0.5N，若是，保留匹配点对(pi,p′i)，否则，从粗匹配点对集合B中删除该匹配点对，得到精确匹配点对集合；(6)利用cp2tform(·)函数，计算精确匹配点对集合中滤波参考图特征点pi与滤波待配准图特征点p′i的映射关系，得到大小为3×3的仿射变换矩阵H；(7)利用仿射变换矩阵H对滤波待配准图进行仿射变换，得到变换滤波待配准图；(8)利用遗传算法，对仿射变换矩阵H进行优化，实现步骤为：(8a)计算步骤(5d)中精确匹配点对集合的归一化均方根误差函数f1，同时计算变换滤波待配准图与滤波参考图之间的互信息函数f2，并计算该两个函数的差，得到目标函数f＝f1-f2；(8b)从仿射变换矩阵H中提取前两行元素，构造仿射变换参数向量μ0，并将该仿射变换参数向量μ0作为目标函数f的初始解，根据该初始解采用遗传算法求目标函数f的最小值，得到f的最小值对应的仿射变换参数向量μ*，将μ*表示成最优仿射变换矩阵，利用该最优仿射变换矩阵对滤波待配准图进行仿射变换，并将变换后的滤波待配准图与滤波参考图叠加显示，得到SAR图像参考图和待配准图的配准图像。本发明与现有技术相比，具有以下优点：1.本发明由于在图像特征匹配的过程中，采用了特征点的邻域熵和一致性检测算法结合的方法，既考虑了匹配点对的邻域信息，又考虑了匹配点对的空间一致性，两次去除了初始匹配点对集合中的误匹配点对，减少了误匹配点对数目，与现有的基于特征的SAR图像配准技术相比，有效的提高了图像配准准确率。2.本发明由于在图像特征提取之前采用了双边滤波算法对SAR参考图和待配准图进行了滤波处理，对SAR参考图和待配准图平滑噪声的同时有效保留了图像细节信息，增加了提取到的图像特征数量；并在图像配准之后采用遗传算法优化仿射变换矩阵，得到了更准确的仿射变换矩阵，与现有的基于特征的SAR图像配准技术相比，进一步提高了图像配准准确率；附图说明图1是本发明的实现流程框图；图2是本发明的滤波参考图和滤波待配准图；图3是本发明的匹配点对图和两次经过误匹配点对去除的匹配点对图；图4是本发明的SAR图形参考图和待配准图的配准结果图。具体实施方式下面结合附图和实施例，对本发明作进一步详细说明：参照图1，本发明包括如下步骤：步骤1.利用双边滤波算法，对SAR图像参考图和待配准图分别进行滤波，得到滤波参考图和滤波待配准图；双边滤波算法的计算公式为：其中，a表示待滤波像素空间位置，b表示待滤波像素邻域S内的任意像素的空间位置，Ia和Ib分别表示待滤波像素a和其邻域内任意像素b对应的像素值，Gσs和Gσr分别是标准差为σs和σr的高斯空间核和高斯强度核，取σs＝2，σr＝0.1，分别反映了邻域像素与待滤波像素的空间关系和强度关系，W是归一化因子，bfa是待滤波像素a处的滤波值；常用的滤波方法有维纳滤波、高斯滤波、双边滤波等，其中维纳滤波、高斯滤波在滤波过程中都会较明显地模糊图像边缘，对于细节的保护效果并不明显。本实施例采用的双边滤波是基于特征点空间分布的，所以离边缘的较远的像素不会太影响边缘上的像素值，这样就有效保留了图像边缘。步骤2.利用BRISK算法，分别提取滤波参考图和滤波待配准图的特征，得到滤波参考图特征描述子集合P＝{u1,u2,u3,…,ui,…,um}和滤波待配准图特征描述子集合Q＝{v1,v2,v3,…,vj,…,vn}；其中，i和j分别表示滤波参考图特征描述子的下标和滤波待配准图特征描述子的下标，ui和vj分别表示滤波参考图的第i个特征描述子和滤波待配准图的第j个特征描述子，m和n分别表示滤波参考图和滤波待配准图的描述子数目；利用BRISK算法，分别提取滤波参考图和滤波待配准图的特征，实现步骤为：(2a)构建SAR图像滤波参考图的尺度空间S1,同时构建滤波待配准图的尺度空间S2；(2b)采用FAST9-16算法，对SAR图像滤波参考图的尺度空间S1进行特征点检测和非极大值抑制，得到SAR图像滤波参考图的尺度空间S1的多个特征点；(2c)采用FAST9-16算法，对SAR图像滤波待配准图的尺度空间S2进行特征点检测和非极大值抑制，得到SAR图像滤波待配准图的尺度空间S2的多个特征点；本实施例采用的FAST9-16算法是一种基于模板和机器学习的特征点检测算法，与已有的特征点检测算法如Harris角点检测算法，Moravec角点检测算法相比具有计算速度快，精度高的优点，因此可以有效提高特征提取的速度；(2d)利用直方图统计法，计算SAR图像滤波参考图的尺度空间S1的多个特征点的梯度方向，得到SAR图像滤波参考图的尺度空间S1的多个特征点的主方向；(2e)利用直方图统计法，计算SAR图像滤波待配准图的尺度空间S2的多个特征点的梯度方向，得到SAR图像滤波待配准图的尺度空间S2的多个特征点的主方向；(2f)将SAR图像滤波参考图的尺度空间S1的多个特征点旋转到该多个特征点的主方向上，并在每个特征点周围取若干个采样点对，形成SAR图像滤波参考图的特征描述子集合；(2g)将SAR图像滤波待配准图的尺度空间S2的多个特征点旋转到该多个特征点的主方向上，并在每个特征点周围取若干个采样点对，形成SAR图像滤波待配准图的特征描述子集合；本实施例采用二进制编码的方法形成特征描述子，与传统的SIFT算法形成的特征描述子相比，具有特征描述子结构简单，维数低，特征描述子匹配计算量小的优点。步骤3.计算滤波参考图特征描述子集合P中的每一个描述子ui，分别与滤波待配准图特征描述子集合Q中所有描述子间的汉明距离，得到m个汉明距离集合，并选取每个集合中最小距离对应的描述子作为与ui匹配的描述子，得到初始匹配点对集合A＝{(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(pm,p′m)}，其中，(pi,p′i),pi∈P且p′i∈Q表示初始匹配点对集中的一对匹配点对，m表示初始匹配点对集合A的匹配点对数目；步骤4.特征点的邻域熵可以反映特征点位置上的灰度值与周围像素灰度值分布的综合特性，因此可以作为匹配点对中两个特征点相似度的度量准则，利用特征点的邻域熵，去除初始匹配点对集合A中的误匹配点对，其实现步骤为：(4a)按照下式，分别计算初始匹配点对集合A中每一对匹配点对(pi,p′i)中pi和p′i的邻域熵，并求取两个邻域熵的差值，得到m个邻域熵差：其中，E为邻域熵，R表示像素的邻域范围，hij表示位置(i,j)处像素的灰度概率分布，表达式为：g(i,j)表示位置(i,j)处像素的灰度值。(4b)设定阈值Te，并判断m个邻域熵差是否小于阈值Te，若是，保留该匹配点对(pi,p′i)，否则，从初始匹配点对集合A中删除该匹配点对，得到粗匹配点对集合B，B＝{(p1,p′1),(p2,p′2),(p3,p′3),…,(pi,p′i),…,(ps,p′s)}；其中，s表示粗匹配点对集合B中匹配点对数目，本实施例中阈值Te是通过计算所有匹配点对的邻域熵之差进行直方图，取直方图中最大值的80％得到的，特征点的邻域取以该特征点为中心的大小为10×10的圆形邻域；步骤5.利用一致性检测算法，去除粗匹配点对集合B中的误匹配点对，实现步骤为：(5a)利用粗匹配点对集合B中匹配点对的下标，构造下标集I＝{1,2…s}，并从该下标集I中随机选择N个元素构造子下标集：Ison＝{id1,id2,…,idk,…idN},idk∈I；(5b)将子下标集Ison中的元素作为粗匹配点对集合B中匹配点对的下标，取出集合B中对应该下标的匹配点对，构成匹配点对集合：(5c)计算匹配点对集合B对应滤波参考图中每个特征点pi与匹配点对集合C对应滤波参考图中所有特征点之间的欧式距离，得到s个距离集合D1,D2,…,Di,…Ds；计算匹配点对集合B对应滤波待配准图中每个特征点pi′与匹配点对集合C对应滤波待配准图中所有特征点之间的欧式距离，得到s个距离集合D′1,D′2,…,D′i,…D′s；(5d)设定阈值Td，计算距离集合Di与距离集合D′i相同下标对应元素的比值，得到s个距离比值集合，并判断该s个距离比值集合中小于阈值Td的元素个数是否大于0.5N，若是，保留匹配点对(pi,p′i)，否则，从粗匹配点对集合B中删除该匹配点对，得到精确匹配点对集合，本实施例中取阈值Td＝0.1；步骤6.利用cp2tform(·)函数，计算精确匹配点对集合中滤波参考图特征点pi与滤波待配准图特征点p′i的映射关系，得到大小为3×3的仿射变换矩阵H；仿射变换矩阵H的表示形式如下：其中，参数a11,a12,a21,a22,tx,ty反映了滤波参考图与滤波待配准图之间的平移变换、旋转变换及尺度变换；步骤7.利用仿射变换矩阵H对滤波待配准图进行仿射变换，得到变换滤波待配准图；步骤8.利用遗传算法，对仿射变换矩阵H进行优化，实现步骤为：(8a)按照下式计算步骤(5d)中精确匹配点对集合的归一化均方根误差函数f1：其中，pi表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波参考图的特征点，p′i表示精确匹配点对集合中匹配点对(pi,p′i)对应滤波待配准图的特征点，r是步骤(5d)得到的精确匹配点对集合中的点对数目；按照下式，计算变换滤波待配准图与滤波参考图之间的互信息函数f2，并计算该两个函数的差，得到目标函数f＝f1-f2：其中，X表示滤波参考图，Y表示步骤(7)得到的变换滤波待配准图，x,y分别表示图像X,Y对应位置上像素的灰度值，表示图像X的边缘分布，表示图像Y的边缘分布，pXY(x,y)表示图像X,Y的联合概率分布,可通过统计图像的灰度直方图得到；(8b)从仿射变换矩阵H中提取前两行元素，构造仿射变换参数向量μ0，并将该仿射变换参数向量μ0作为目标函数f的初始解，根据该初始解采用遗传算法求目标函数f的最小值，得到f的最小值对应的仿射变换参数向量μ*，将μ*表示成最优仿射变换矩阵，利用该最优仿射变换矩阵对滤波待配准图进行仿射变换，并将变换后的滤波待配准图与滤波参考图叠加显示，得到SAR图像参考图和待配准图的配准图像。下面结合仿真实验对本发明的效果作进一步的描述。1.仿真实验条件：本实施例所用的SAR图像参考图为2008年由Radarsat-2拍摄的黄河水域图像中截取的子图像，待配准图是2009年由Radarsat-2拍摄的黄河水域图像中截取的子图像。硬件平台为：PentiumDual-CoreCPUT4500@2.30GHZ、3GBRAM，软件平台：VS2010，MATLABR2015a。2.实验内容与结果：仿真1，对SAR图像参考图和待配准图的双边滤波过程进行仿真，如图2所示：参照图2，图2(a)是利用双边滤波对SAR图像参考图进行滤波后的滤波参考图，图2(b)是利用双边滤波对SAR图像待配准图进行滤波后的滤波待配准图。可以看出本发明中采用的双边滤波算法对SAR参考图和待配准图进行滤波时，不仅可以有效平滑斑点噪声，而且能够很好的保持边缘细节信息；仿真2，对匹配点对的生成和误匹配点对的去除过程进行仿真，如图3所示：参照图3，图3(a)是本发明利用BRISK算法提取特征进行匹配后得到的初始特征匹配点对图，虽然匹配点对数目很多，但其中包含大量错误匹配点对，图3(b)是本发明利用特征点的邻域熵去除误匹配点对后的匹配点对图，去除了部分明显的误匹配点对，图3(c)是本发明利用一致性检测算法去除误匹配点对后的匹配点对图，有效的去除了剩下点对中的大量误匹配点对，有效的保留了正确匹配点对，匹配点对图的横纵坐标分别表示将SAR图像参考图和待配准图拼在一起后图像的宽度和高度；仿真3，对遗传算法优化仿射变换参数的过程进行仿真，如图4所示：参照图4，图4(a)是利用遗传算法优化仿射变换参数前得到的图像配准结果图，图像配准结果图中存在一定的重影，图4(b)是遗传算法优化仿射变换参数后得到的图像配准结果图，消除了遗传算法优化仿射变换参数前得到的图像配准结果图中的重影。对比利用RANSAC去除误匹配点对后的匹配点对正确率和利用特征点的邻域熵和一致性检测算法去除误匹配点对后的匹配点对正确率，如表1所示：参照表1，可以看出本发明采用的基于邻域熵的粗匹配和基于一致性检测算法的精确匹配方法能有效去除图像中的误匹配点对，而且特征描述子匹配正确率比RANSAC算法高出3倍多。对比遗传算法优化仿射变换矩阵前后SAR图像参考图和待配准图的互信息值及归一化均方根误差值，如表2所示：参照表2，可以看出本发明采用遗传算法可以有效优化SAR参考图和待配准图之间的仿射变换矩阵，使得特征匹配点对的均方根误差更小，变换滤波待配准图与滤波参考图之间的互信息值更大，SAR参考图与待配准图的配准效果更好。综上所述，本发明方法能够快速提取图像特征，更具有实时性，并能有效去除图像误匹配点对，通过参数优化能够进一步提高配准精度，所以更适用于SAR图像的图像配准，具有重要的现实意义。表1RANSAC本发明方法初始匹配点对数目4848去除误匹配后点对数目929匹配正确率18.75％60.42％表2遗传算法优化前遗传算法优化后归一化均方根误差RMSE15.33114.462互信息值0.4680.525当前第1页1 2 3