专利名称：一种基于显著区域分析的红外与可见光遥感图像配准方法
技术领域：
本发明涉及图像处理技术领域，尤其是ー种基于显著区域分析的红外与可见光遥感图像配准方法，可用于航天、航空传感器平台获取的红外与可见光遥感图像的配准。
背景技术：
近年来，我国的对地观测卫星快速发展，卫星的数量和应用领域不断扩大，大量的观测数据广泛应用于社会经济发展的各个领域，发挥了不可替代的作用。采用多源传感器是对地观测系统的ー个重要特点，红外和可见光传感器是多源传感器中重要的两种传感器。由于这两种传感器具有不同的成像机理，因此获取的图像体现了观测对象的不同特性，具有良好的互补性，因此，将二者进行融合具有巨大的应用前景，而红外与可见光图像的配准则是融合的重要基础。·红外与可见光传感器由于成像机理不同带来的成像上的差异，加上红外图像自身分辨率较低的影响，给配准造成了巨大的困难。虽然近年来有研究人员针对红外与可见光的配准问题开展了研究，也取得了一定的成果，但是其距离实用化还有很大的距离。因此，如何高效和准确的实现红外与可见光图像的配准，充分发挥遥感图像尤其是红外图像的使用效能，仍是ー个极具挑战性的难点课题，尚存许多问题亟待解決，因此，很有必要对其进行深入的研究和探讨。
发明内容
红外与可见光图像配准技术是两种图像进行融合的基础，对于红外与可见光图像的综合应用具有重要意义，同时也是使用高精度可见光图像提高红外图像定位精度的重要技术途径。红外与可见光图像由于成像机理不同，具有各自不同的特点和良好的互补性，也正是由于成像机理的不同，给配准带来了巨大的难度，目前的技术还无法实现高效、准确和自动化的配准。本发明的目的是综合显著性分析和遥感图像中的先验信息的约束，提供一种自动高效的红外和可见光图像配准方法，该方法包括以下步骤步骤SI，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归ー化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像，所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像；步骤S2，基于归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像；步骤S3，分别提取归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像中的尺度不变特征变换SIFT特征点，并计算相应特征点的特征描述子；步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对；步骤S5，根据所述步骤S4得到的特征点对在所述显著性图像中相应位置的像素点的值对特征点对之间的相似度进行加权，并根据加权后的各个特征点对之间的相似度对各个特征点对进行排序；步骤S6，根据加权排序后的特征点对集合计算变换矩阵；步骤S7，根据所述变换矩阵，将所述红外遥感图像变换到与所述可见光遥感图像相同的坐标系中，得到与所述可见光遥感图像配准的红外遥感图像。本发明的有益效果是，本发明通过基于显著性分析的方法对特征点对进行了选择，抑制了错误的匹配结果对结果的影响，从而解决了红外与可见光图像由于传感器类型不同所造成的配准难点。本发明提出的红外与可见光图像配准方法使用范围广，计算效率闻。
图I是本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法的流程图。图2是本发明基于特征一致性的显著区域分析流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并參照附图，对本发明进ー步详细说明。本发明使用的方法既可以在个人计算机、エ控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。图I是本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法的流程图，如图I所示，本发明提出的基于显著区域分析的红外与可见光遥感图像配准方法，包括以下几个步骤步骤SI，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归ー化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像；所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像，即2级遥感图像，该图像的上方对应正北方向。所述步骤SI中对所述红外与可见光遥感图像中的重叠区域进行尺度归ー化的步骤进一歩包括步骤S11，根据各自的图像分辨率计算所述红外与可见光遥感图像的相对像元尺寸；设输入的红外遥感图像的分辨率Fl为10米，可见光遥感图像的分辨率F2为2米，则红外遥感图像与可见光遥感图像的相对像元尺寸为Fl F2 = 5。步骤S12，截取所述红外与可见光遥感图像的重叠区域，得到红外与可见光遥感图像的重叠图像；步骤S13，根据所述相对像元尺寸将截取得到的两幅重叠图像调整到同样的尺度；
根据所述步骤Sll计算得到的相对像元尺寸，将所述可见光遥感图像的重叠图像的尺寸调整为原来的五分之一，即可使得红外遥感图像与可见光遥感图像的重叠图像具有相同的尺度，实现所述红外与可见光遥感图像的重叠区域的尺度归ー化。步骤S2，基于归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像；所述有利于进行特征匹配的显著区域指的是具有良好特征一致性的区域，即两幅重叠图像的该区域中均具有明显的纹理和结构特征，并且特征具有一定相似度。图2是本发明基于特征一致性的显著区域分析的流程图，如图2所示，所述步骤S2进ー步包括以下几个步骤步骤S21，分别对红外遥感重叠图像和可见光遥感重叠图像进行降采样处理；由于步骤SI中已经将红外遥感重叠图像和可见光遥感重叠图像调整到了同样的尺度，因此只需要对两幅重叠图像进行相同比例的降采样处理即可；本发明的实施例中，将红外遥感重叠图像和可见光遥感重叠图像的分辨率均降为原来的1/5。所述步骤S21的降采样操作一方面可以有效抑制图像中的噪声，另ー方面还可以縮小步骤SI中利用经纬度信息对红外与可见光遥感图像进行粗匹配的结果中像素之间的距离，有利于接下来的特征匹配，同时还能够减小计算量。步骤S22，在经过降采样处理的红外遥感重叠图像上提取显著边缘特征点，即其梯度值大于指定阈值的边缘点，得到所述红外遥感重叠图像的边缘图像；在本发明的实施例中，采用Canny算子来计算某边缘点的梯度值,Canny算法中包含两个阈值，本发明实施例将第一个阈值设定为60，将第二个阈值设定为第一个阈值的三倍即180。步骤S23，根据所述步骤S22检测到的红外遥感重叠图像的边缘图像提取红外遥感重叠图像的轮廓曲线，并仅保留其中长度均大于指定阈值的轮廓曲线；所述步骤S23中，使用本领域通用的边缘跟踪方法来提取红外遥感重叠图像的轮廓曲线，轮廓曲线上像素的数目即为轮廓曲线的长度，该步骤在提取轮廓曲线时，只提取长度满足要求的显著轮廓曲线，以保证轮廓特征的稳定性，在本发明的实施例中，轮廓长度的阈值设定为100。步骤S24，对于所述步骤S23得到的红外遥感重叠图像中的每ー个轮廓曲线，通过在降采样处理后的可见光遥感重叠图像中寻找其对应匹配结果来计算每一个轮廓曲线的匹配度；所述步骤S24中寻找对应匹配结果的步骤进一歩包括如下步骤步骤S241，在可见光遥感重叠图像上提取边缘点，且只保留梯度值大于指定阈值的边缘点；在本发明的实施例中，使用Sobel算子来计算该梯度值，且阈值设定为80。步骤S242，对于红外遥感重叠图像中的某个轮廓曲线C，将其与可见光遥感重叠图像进行匹配，并计算该轮廓曲线C的匹配度。将该轮廓曲线C上面的每ー个点记为pi，设其坐标为(xi，yi)，如果在可见光遥感重叠图像中以坐标(xi，yi)为中心，以r为半径的范围内存在与点pi的梯度方向相同的点，则认为点Pi在可见光遥感重叠图像中存在匹配点，同时在可见光遥感重叠图像中去除该匹配点，以避免重复匹配。按照上述方法对轮廓曲线C上的每ー个点进行匹配，得到可见光遥感重叠图像中的多个匹配点。若轮廓曲线C的长度为N，在可见光遥感图像的重叠图像中匹配得到的匹配点的数目为NR，则该轮廓曲线C的匹配度为P = NR/N。步骤S25，根据所述每ー个轮廓曲线的匹配度对所述轮廓曲线附近区域的所有像素点进行赋值，即将所述轮廓曲线附近区域的所有像素点赋值为该轮廓曲线的匹配度，具有高匹配度的区域即为显著区域。所述轮廓曲线的附近区域指的是以轮廓曲线上的点为中心，以Rl为半径的区域，在本发明的实施例中，Rl取值为10。所述匹配度越高，就认为相应的附近区域的特征一致性越好，该区域的显著性值 就越大。通过上述显著区域的分析步骤不仅得到了具有良好特征一致性的区域，并且这些区域也是在两幅图像中均存在明显的纹理特征的区域，因此，在这些区域提取的特征点更有利于实现特征的匹配。最終的显著性图像反映了在大尺度上红外与可见光遥感图像的重叠图像是否一致，大尺度上特征一致的区域将在图像精配准时对应更多地特征。步骤S3，分别提取归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像中的SIFT (尺度不变特征变换)特征点，并计算相应特征点的特征描述子；在计算特征点的特征描述子时，考虑到红外遥感图像反映的是地物的温度特性，其与可见光遥感图像中的灰度值并没有严格的对应关系，因此本发明使用0-180度的范围，即认为相差180度的两个梯度方向是相同的。该步骤中，特征点的提取和特征描述子的计算均采用本领域通用的标准SIFT方法，只是标准SIFT方法在计算梯度方向的时候，计算出的梯度方向Dir为0-360度，而本发明实施例中，根据上述考虑对其进行修改Dir = Dir% 180。步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对；设红外遥感重叠图像中的特征点记为featl,其尺度为si,位置为(xl, yl),特征描述子为descrl ;可见光遥感重叠图像中的特征点记为feat2,其尺度为s2,位置为(x2,y2)，特征描述子为descrf，其中，各特征点的尺度和位置信息均是在所述步骤S3提取特征点时得到的。如果上述两个特征点满足如下式所示的特征相似度、尺度和距离约束，则认为特征点featl和feat2为ー个匹配成功的特征点对DescrDist (descrl, descr2) < descrThres,sl/s2 > O. 5&sl/s2 < 2，
权利要求
1.ー种基于显著区域分析的红外与可见光遥感图像配准方法，其特征在于，该方法包括以下步骤 步骤Si，根据经纬度信息计算红外与可见光遥感图像的重叠区域，并对所述红外与可见光遥感图像中的重叠区域进行尺度归ー化，得到具有相同尺度和相同方向的红外遥感重叠图像与可见光遥感重叠图像，所述红外与可见光遥感图像为带有地理定位信息也就是经纬度信息的、经过了方向校正的红外与可见光遥感图像； 步骤S2，基于归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像，根据特征一致性原则提取所述红外遥感重叠图像中有利于进行特征匹配的显著区域，相应地得到用于图像配准的显著性图像； 步骤S3，分别提取归ー化后的所述红外遥感重叠图像与可见光遥感重叠图像中的尺度不变特征变换SIFT特征点，并计算相应特征点的特征描述子； 步骤S4，利用所述步骤S3得到的两幅重叠图像的SIFT特征点的特征相似度、尺度和距离约束进行特征点匹配，得到匹配成功的特征点对； 步骤S5，根据所述步骤S4得到的特征点对在所述显著性图像中相应位置的像素点的值对特征点对之间的相似度进行加权，并根据加权后的各个特征点对之间的相似度对各个特征点对进行排序； 步骤S6，根据加权排序后的特征点对集合计算变换矩阵； 步骤S7，根据所述变换矩阵，将所述红外遥感图像变换到与所述可见光遥感图像相同的坐标系中，得到与所述可见光遥感图像配准的红外遥感图像。
2.根据权利要求I所述的方法，其特征在于，所述步骤SI中对所述红外与可见光遥感图像中的重叠区域进行尺度归ー化的步骤进一歩包括 步骤S11，根据各自的图像分辨率计算所述红外与可见光遥感图像的相对像元尺寸；步骤S12，截取所述红外与可见光遥感图像的重叠区域，得到红外与可见光遥感图像的重置图像； 步骤S13，根据所述相对像元尺寸将截取得到的两幅重叠图像调整到同样的尺度。
3.根据权利要求I所述的方法，其特征在于，所述步骤S2中，所述有利于进行特征匹配的显著区域指的是具有良好特征一致性的区域，即两幅重叠图像的该区域中均具有明显的纹理和结构特征，并且特征具有一定相似度。
4.根据权利要求I所述的方法，其特征在于，所述步骤S2进ー步包括以下几个步骤 步骤S21，分别对红外遥感重叠图像和可见光遥感重叠图像进行降采样处理； 步骤S22，在经过降采样处理的红外遥感重叠图像上提取显著边缘特征点，即其梯度值大于指定阈值的边缘点，得到所述红外遥感重叠图像的边缘图像； 步骤S23，根据所述步骤S22检测到的红外遥感重叠图像的边缘图像提取红外遥感重叠图像的轮廓曲线，并仅保留其中长度均大于指定阈值的轮廓曲线； 步骤S24，对于所述步骤S23得到的红外遥感重叠图像中的每ー个轮廓曲线，通过在降采样处理后的可见光遥感重叠图像中寻找其对应匹配结果来计算每一个轮廓曲线的匹配度； 步骤S25，根据所述每ー个轮廓曲线的匹配度对所述轮廓曲线附近区域的所有像素点进行赋值，即将所述轮廓曲线附近区域的所有像素点赋值为该轮廓曲线的匹配度，具有高匹配度的区域即为显著区域。
5.根据权利要求4所述的方法，其特征在于，所述步骤S24中寻找对应匹配结果的步骤进ー步包括如下步骤 步骤S241，在可见光遥感重叠图像上提取边缘点，且只保留梯度值大于指定阈值的边缘点； 步骤S242，对于红外遥感重叠图像中的某个轮廓曲线C，将其与可见光遥感重叠图像进行匹配，并计算该轮廓曲线C的匹配度。
6.根据权利要求5所述的方法，其特征在于，所述步骤S242中，将该轮廓曲线C上面的姆ー个点记为pi，设其坐标为(xi，yi)，如果在可见光遥感重叠图像中以坐标(xi，yi)为中心，以r为半径的范围内存在与点pi的梯度方向相同的点，则认为点pi在可见光遥感重叠图像中存在匹配点，同时在可见光遥感重叠图像中去除该匹配点，以避免重复匹配。
7.根据权利要求5所述的方法，其特征在于，若轮廓曲线C的长度为N，在可见光遥感图像的重叠图像中匹配得到的匹配点的数目为NR，则该轮廓曲线C的匹配度为P = NR/N。
8.根据权利要求I所述的方法，其特征在于，所述步骤S4中，设红外遥感重叠图像中的特征点记为featl,其尺度为si,位置为(xl,yl),特征描述子为descrl ;可见光遥感重叠图像中的特征点记为feat2,其尺度为s2,位置为(x2, y2),特征描述子为descr2 ； 若两个特征点满足如下式所示的特征相似度、尺度和距离约束，则认为特征点featl和feat2为ー个匹配成功的特征点对
9.根据权利要求I所述的方法，其特征在于，所述步骤S5中，所述对特征点对之间的相似度进行加权表示为(I-DescrDist)*MAX(salI, sal2)， 其中，I-DescrDist表示特征点对之间的相似度，sail, sal2分别为显著性图像中，与该特征点对中的两个特征点在各自图像中的位置相应的位置的像素点的值，DescrDist为该特征点对中特征点描述子之间的距离。
10.根据权利要求I所述的方法，其特征在于，设排序后的特征点对集合为PAIR={pair-1, pair-2, .··, pair-i, .··, pair-n},其中，pair-i 表示特征点对，η 为特征点对的个数； 所述步骤S6中 首先获取所述集合中与pair-i具有平移一致性的所有特征点对组成特征点对子集合； 然后，在所述特征点对子集合上使用随机抽样一致性RANSAC方法来计算变换矩阵，并得到内点数目Mi ； 最后，遍历特征点对子集合中所有的特征点对，取遍历过程中产生最大内点数M的变换矩阵作为要求得的变换矩阵。
11.根据权利要求10所述的方法，其特征在于，设pair-i的两个特征点的位置为(xli，yli)，(x2i, y2i)，则所述平移一致性的要求可以表示为，对于特征点对集合PAIR中除第i个特征点对外的其他特征点对pair-j (j i),如果满足如下要求,则认为其与pair-i具有平移一致性dxi = xli_x2i,dyi = yli-y2i,dxj = xlj-x2j,dyj = ylj-y2j,
全文摘要
本发明公开了一种基于显著区域分析的红外与可见光遥感图像配准方法，可用于航天、航空红外与可见光遥感图像的配准，该方法包括以下步骤根据经纬度信息获取相同尺度和方向的红外与可见光图像；根据特征一致性原则提取红外图像中有利于进行特征匹配的显著区域；提取两幅图像中的SIFT特征点并计算特征描述子；根据特征的相似度、尺度和距离约束进行特征匹配；根据显著图像对特征匹配结果进行加权并排序；选取具有平移一致性的匹配结果子集合；根据选取的特征点对子集合计算内点数最大的变换矩阵；将红外图像变换到与可见光图像相同的坐标系中。本发明抑制了错误的匹配结果对结果的影响，解决了红外与可见光图像由于传感器类型不同所造成的配准问题。
文档编号G06T7/00GK102855621SQ20121024855
公开日2013年1月2日 申请日期2012年7月18日 优先权日2012年7月18日
发明者张吉祥, 张秀玲, 田原, 王彦情, 杜鹃 申请人:中国科学院自动化研究所, 北京市遥感信息研究所