一种线阵遥感影像密集匹配方法与流程

本发明涉及遥感影像处理
技术领域：
，特别涉及一种线阵遥感影像密集匹配方法。
背景技术：
：在传统的遥感影像数字产品生产过程中，无论面阵影像(航空)，还是线阵影像(卫星)，都是基于稀疏特征点的处理流程。这种稀疏点的方式，假设地表是连续变化的。这种假设在小比例尺测图是可以近似的，但是在城市地区或者大比例测图存在误差，特别是在对数字城市三维重构的需求，导致稀疏点的方式不能满足要求。密集匹配相比稀疏匹配具有巨大的优势，但是值得注意的是其在技术上也有很多难点亟待解决。早期的匹配技术集中利用局部窗口对单点进行窗口相关操作，直接得到代价值，然后使用winnertakeall(wta)策略取代价最小的点为匹配点。但是该方法对特征稀缺区域和纹理重复区域会失效。从1999年开始，利用密集匹配技术生成视差图的工作得到迅猛发展，特别是boykov和kolmogorov在2001年在引入了图论中的图割算法(graphcuts)进行能量最小值(max-flow/min-cut)求解。此外类似求解能量最小化的方法的还有置信度传播算法(briefpropagation)，其效率更高。它们的思想都是将匹配问题由局部算法转到全局算法中去，每个像素与某一视差之间，像素邻域之间都用一定代价进行权值连接构成图后，采用马尔科夫随机场最优化算法求全局能量最小值将所有像素视差一次性求出。但是由于实际图像的复杂性，全局算法的最优值有时并不一定与现实的场景相匹配，同时在实时性和效率上，全局算法也受到限制。到2011年左右，大量有edge-awarefiltering的算法应用于密集匹配中，使得局部算法取得了长足的发展。其在代价聚合阶段，使用影像作为形成视差聚合的支撑域，将原始代价值在支撑域内聚合(滤波)，这样能使得像素的视差具有稳健性，同时保留了视差不连续的特征。常见的局部方法有双通道滤波(bilateralfiltering),指导滤波算法(guidedfiltering)，基于最小生成树(mst)算法等。这些局部方法的提出，大大改进了原始代价计算的稳健性，可以直接采用wta即可得到最终的视差值。这样比全局法效率得到大幅度提高，同时精度并没有太大损失。此外由于局部算法往往需要开窗处理，求积分图像等技术，非常容易改进算法到并行化处理从而能大大提高算法的效率，某些算法甚至在较小的图幅情况下能做到实时或近实时处理。除了常用的全局法密集匹配和局部法密集匹配外，近年来一些新的算法成功运用在密集匹配上，比较著名的是有patch-match算法和偏微分方程pde算法。其中patch-match算法，相当于e-m算法，具有较强的搜索能力。在e步中通过传播特性，将周围的视差传播到待处理的像素视差。在m步中进一步搜索最适宜的视差值。而偏微分方程算法相当于将视差值看为连续的值，而不是像马尔科夫随机场(mrf)一样将视差当成离散值处理。通过求凸集最优化的方法进行迭代处理原始问题和对偶问题，最后汇集收敛到最优解，即为图像的最终的视差值。但现有的方法没有考虑到遥感影像密集匹配中，参考影像与匹配影像之间空间分辨率相差过大的问题，当空间分辨率相差过大，会造成影像间特征点难以匹配的问题。同时目前方法都是针对有核线约束的面阵影像密集匹配，但对于缺少核线约束的线阵图像，即使是同一卫星同轨成像，也无法完全通过旋转对齐影像内所有扫描行的姿态，所以参考影像的像素和匹配影像像素之间不存在类似面阵影像视差这样简单一维连接关系，需要考虑更多的关系，如方向尺度等。而daisy特征正好具有如下特质，同时产生密集特征的效率也较高。技术实现要素：本发明的目的是解决现有线阵遥感影像密集匹配存在的匹配效率低、匹配与参考影像之间空间分辨率相差过大而匹配效果差的技术问题，本发明提供一种线阵遥感影像密集匹配方法。本发明解决技术问题采用如下技术方案：一种线阵遥感影像密集匹配方法，包括以下步骤：步骤1)基于金字塔的多尺度匹配框架,包括：先在最粗分辨率层上进行密集匹配，匹配完成后，参考影像的最粗分辨率影像上的每个点，都能在匹配影像上最粗分辨率影像上找到一一对应的点，设金字塔第一层影像的区域为n×n区域；对第一层影像的每个像素及邻域进行牵引，确定第2层即次粗分辨率层里参考影像和匹配影像的大概范围，设第二层影像的区域为ns×ns区域，s为金字塔层之间的尺度因子，对牵引下来块进行密集匹配完成一一对应关系，只保存中心的s×s块；重复牵引匹配，直到完成原始分辨率所有像素点的一一对应关系，从而完成密集匹配任务。本步骤的方法通过在金字塔每一层进行匹配，既可以减少搜索空间，又能保证过程的收敛性，具有较高稳健性和精度。步骤2)进行基于daisy算子的代价计算,包括：设参考影像上某一点p匹配到匹配影像上一点p′发生了平移、旋转和尺度的变化，将这一变化的标签设为四维向量l＝(u,v,s,θ)，所述的(u,v)是x轴和y轴的平移量，s表示旋转量，θ表示尺度的变化；则参考影像上p点匹配到待匹配图像上p′点的代价为：所述的为参考影像上点p的原始daisy特征，为匹配影像上点p′经过旋转、缩放后的daisy特征。本步骤采用的daisy算子产生密集特征的效率也较高。步骤3)进行基于基于超像素块的代价聚合,包括：先计算每个超像素块的外接矩形区域向外延伸r个像素的区域内的所有标签空间内的代价，构成一个半径为r的窗口，然后对每个超像素块的外接矩形内的所有像素进行导向滤波代价聚合操作，当完成聚合后，只留下每个超像素块区域内的聚合结果，并记录每个超像素块内，聚合后代价最小值和对应的标签，为了后续避免重复标签的计算，每次标签可以先记录在该超像素块的访问空间里，如果后续有区别不大的标签，则不考虑进行代价聚合操作。步骤4)进行基于patch-match算法的标签改进策略,包括：输入同一尺度层下的两张同一区域的线阵遥感影像，分别为参考影像和匹配影像，先对参考影像采用超像素分割，分割成相互邻接但是没有重叠的超像素块结构，接着对由超像素分割结果生成图结构；构成图后，进行基于patch-match算法传播过程，即与当前块有邻接边的每一个超像素块中，随机采样一些像素点的最佳标签组成标签集，加入当前的超像素块作为候选标签进行代价的计算和聚合，检查这些标签是否在之前已经计算过，如果计算过则重新采样选择标签组成标签集，如果聚合后的某一个标签的代价比该像素当前的最小代价更小，则更新当前最佳像素标签，同时记录这个新的最小代价值；在当前最佳标签位置处迭代随机产生若干标签，并和已访问标签集比较是否是新的标签，如果是，计算代价值和聚合代价值，更新最佳标签和最佳标准对应的代价值，最后更新已访问标签集；将搜索的空间区域行、列各缩小一半，重新随机生成标签，迭代搜索更新直到空间搜索范围不足一个像素为止；重复直到匹配像素变化个数小于阈值为止；所述阈值根据实际情况来定；算法结束后，得到参考影像上每个像素对应在匹配影像上的位置，即参考影像上一像素点p坐标(x,y)的标签lp＝(up,vp,sp,θp)，计算匹配影像上对应像素p′坐标(x′,y′)：本发明与现有的技术方案相比具有如下有益效果：本发明大幅提高了参考影像的适用性，由于本发明加入了金字塔多尺度匹配框架，匹配影像与参考影像之间的空间分辨率倍比不再限定在2倍以内，而能够扩大到8倍以内；同时本发明引入了daisy算子，该算子具备角度不变性、光照不变性，计算效率较高的特点，解决了线阵图像因无核线约束而匹配效果差的问题，同时大幅提高了线阵图像的匹配效率；本发明改进了原始patch-match算法框架，利用超像素分割将影像由栅格结构转化形成图结构，简化了后续处理，提高了patch-match算法进行标签传播和搜索的效率；在线阵遥感影像的密集特征生成过程中采用daisy算子进行描述子生成，该算子对尺度和旋转具有鲁棒性，同时生成密集描述子相比sift，surf等特征描述子具有较快生成的效率，能较好的满足不同分辨率遥感影像处理能力。附图说明图1是本发明实施例的参考影像；图2是本发明实施例的匹配影像；图3是本发明实施例的参考影像匹配位移距离图；图4是本发明实施例的模板图；图5是本发明实施例的参考影像原始分辨率开窗后图像；图6是本发明实施例的匹配影像对应开窗后图像；图7是由本发明实施例的图6匹配影像重构图5的结果；图8是本发明实施例的图5参考影像上密集匹配点；图9是本发明实施例的图6匹配影像上计算的密集匹配点；图10是本发明实施例的参考影像匹配位移距离图；图11是本发明实施例的体育场馆密集匹配效果图；图12是本发明实施例的植被林地覆盖区域密集匹配效果图。具体实施方式下面结合实施方式和实施例对本发明的技术方案作进一步阐述。具体实施方式：本实施方式是一种线阵遥感影像密集匹配方法，包括以下步骤：步骤1)基于金字塔的多尺度匹配框架,包括：先在最粗分辨率层上进行密集匹配，匹配完成后，参考影像的最粗分辨率影像上的每个点，都能在匹配影像上最粗分辨率影像上找到一一对应的点，设金字塔第一层影像的区域为n×n区域；对第一层影像的每个像素及邻域进行牵引，确定第2层即次粗分辨率层里参考影像和匹配影像的大概范围，设第二层影像的区域为ns×ns区域，s为金字塔层之间的尺度因子，对牵引下来块进行密集匹配完成一一对应关系，只保存中心的s×s块；重复牵引匹配，直到完成原始分辨率所有像素点的一一对应关系，从而完成密集匹配任务。步骤2)进行基于daisy算子的代价计算,包括：设参考影像上某一点p匹配到匹配影像上一点p′发生了平移、旋转和尺度的变化，将这一变化的标签设为四维向量l＝(u,v,s,θ)，所述的(u,v)是x轴和y轴的平移量，s表示旋转量，θ表示尺度的变化；则参考影像上p点匹配到待匹配图像上p′点的代价为：所述的为参考影像上点p的原始daisy特征，为匹配影像上点p′经过旋转、缩放后的daisy特征。步骤3)进行基于基于超像素块的代价聚合，包括：先计算每个超像素块的外接矩形区域向外延伸r个像素的区域内的所有标签空间内的代价，构成一个半径为r的窗口，然后对每个超像素块的外接矩形内的所有像素进行导向滤波代价聚合操作，当完成聚合后，只留下每个超像素块区域内的聚合结果，并记录每个超像素块内，聚合后代价最小值和对应的标签，为了后续避免重复标签的计算，每次标签可以先记录在该超像素块的访问空间里，如果后续有区别不大的标签，则不考虑进行代价聚合操作。步骤4)进行基于patch-match算法的标签改进策略，包括：输入同一尺度层下的两张同一区域的线阵遥感影像，分别为参考影像和匹配影像，先对参考影像采用超像素分割，分割成相互邻接但是没有重叠的超像素块结构，接着对由超像素分割结果生成图结构；构成图后，进行基于patch-match算法传播过程，即与当前块有邻接边的每一个超像素块中，随机采样一些像素点的最佳标签组成标签集，加入当前的超像素块作为候选标签进行代价的计算和聚合，检查这些标签是否在之前已经计算过，如果计算过则重新采样选择标签组成标签集，如果聚合后的某一个标签的代价比该像素当前的最小代价更小，则更新当前最佳像素标签，同时记录这个新的最小代价值；在当前最佳标签位置处迭代随机产生若干标签，并和已访问标签集比较是否是新的标签，如果是，计算代价值和聚合代价值，更新最佳标签和最佳标准对应的代价值，最后更新已访问标签集；将搜索的空间区域行、列各缩小一半，重新随机生成标签，迭代搜索更新直到空间搜索范围不足一个像素为止；重复直到匹配像素变化个数小于阈值为止；所述阈值根据实际情况来定；算法结束后，得到参考影像上每个像素对应在匹配影像上的位置，即参考影像上一像素点p坐标(x,y)的标签lp＝(up,vp,sp,θp)，计算匹配影像上对应像素p′本实施例采用2张pleiades线阵卫星影像进行匹配，研究区域为澳大利亚墨尔本地区的影像(约43000×23000像素)，图1是参考影像，图2是匹配影像。数据都采用全色波段，理论地面分辨率为0.7米，影像面积约为480平方公里，为同轨成像的影像。由于数据分辨率较高，影像尺寸较大，整张影像进行处理必然会导致较高的内存消耗，例如墨尔本地区数据前视影像大小为43172×23641个像素，全色波段采用16位存贮亮度值，光读入影像就需要消耗1.9g内存，所以必须建立金字塔进行多尺度匹配，根据实践经验，本实施例采用2级金字塔的方式进行，顶层金子塔影像对于墨尔本数据行列每64×64个像素重采样成一个像素，底层为原始分辨率影像，数据对顶层牵引下来每间隔1个像素进行9×9的开窗，即在底层576×576区域进行密集匹配，然后用匹配结果填充中心192×192像素区域，直到填充完所有像素为止。为证明本发明的效果，首先在参考影像上随机生成100个点，然后根据匹配影像对应的匹配关系找到对应的100个同名像点，经人工检查统计匹配的正确率，若匹配错误则统计误差像素，计算匹配的中误差。首先对墨尔本影像的最低分辨率层上进行本发明提出的密集匹配算法进行匹配，匹配采用前视影像作为参考影像，下视作为匹配影像。通过人工检查统计发现正确点的数量有89个，同时中误差为47.45像素，错误的像素集中两种类型的区域，一是在纹理重复、纹理缺失的区域如水域，建筑物密集区域；一是图像边界区域，这些区域可能由于裁剪关系没有像素，也可能基准图像的边界像素超出了匹配影像的范围，找不到同名点。通过观察错误点分布，进一步统计参考影像所有像素与匹配影像上相对位移像素之间的分布，如图3所示，大部分点的匹配位移在150像素以内，那些超过150像素的(仅占总数的4.96％)点，往往是错误点存在的区域。因此本实施例对最高分辨率影像上建立模板(mask)，去掉参考影像边界(采用15个像素)和匹配位移大于150像素区域，如图4所示。因为这些区域很可能是错误匹配，故不做后续的金子塔迁移处理，在下一层进行匹配，这样也能提高匹配效率。由顶层最低(粗)分辨率牵引下来的像素在原始分辨率上存在位移，故需要进行开窗处理，进行精匹配。在以上澳大利亚墨尔本数据中参考影像在最低分辨层像素(229，154)对应匹配像素为(229，159)。牵引到原始分辨率上对应为(14368，9568)和(14368，9888)。然后分别在原始分辨率上分别以牵引下来的像素为中心开576×576的窗口(顶层分辨率上9×9窗口)，图5为参考影像原始分辨率开窗后图像，图6为匹配影像对应开窗后图像。在该窗口下进行密集匹配。但是他们并没有真正的中心对齐，所以还需要在原始分辨率上进行精匹配。精匹配同样采用基于daisy算子和patch-match的线阵影像密集匹配算法进行，匹配后用匹配影像重构参考影像的结果图见图7所示。从图7所示的结果，可以看出，图像中心区域的匹配结果最好，左下其次，右下角较差，因为右下角有水域这种纹理信息较低的区域，而右上角和左上角很差，是因为参考影像上没有对应的区域。所以一般匹配的结果只保存中心3×3像素(即顶层分辨率3×3)的匹配结果。对于参考影像保存如图8所示的区域，匹配影像为图9所示的区域。其中对应的密集匹配点用红色十字标出，从图8和图9可以看出，它们之间对应的区域范围正确。为了表明算法对影像高分辨率层也具有良好的匹配效能，我们在中心区域人工采集了20个特征点。从结果来看，中心区域的特征点都能较好的匹配成功，正确率达到100％。同时我们也统计了参考影像上匹配位移距离图像如图10所示，从图10也可以看出匹配的效果较好的位置处于区域的中心和左下角，进一步证明了我们取中心区域方法的有效性。为了证明本章提出匹配算法的有效性，我们选择了体育场馆和植被林地覆盖区域进行匹配，结果见图11和图12所示，每张图随机产生一些100个检查点，进行匹配人工检查。表1记录了这2个区域的检查点正确率和精度。每个区域匹配效果图(图11和图12)都从左到右，从上至下依次包含了参考影像、匹配影像、参考影像匹配位移距离图、重构参考影像。位移小于75像素的像素的匹配为信任度较高的区域，表1还记录了信任度较高区域点占总面积的百分比。从表1和图11和图12可以看出本算法对影像中间区域的匹配效果较好，中间区域准确率在96％以上。表1实施例在pleiades影像上匹配准确率和精度可信任区域百分比正确率精度(像素)体育场馆99.87％99％2.10植被林地96.21％98％2.72最后应说明的是：以上实施方式和实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式或实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施方式和实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式或实施例技术方案的精神和范围。当前第1页12