快速半全局密集匹配方法和装置的制造方法
【技术领域】
[0001 ]本发明涉及数字摄影测量领域，具体而言，涉及快速半全局密集匹配方法和装置。
【背景技术】
[0002] 基于影像密集匹配算法生成影像视差图的过程，是数字摄影测量中的一个重要步 骤，其同样是后续摄影测量产品的基础。在生成影像视差图之后，借助每个像素的视差值和 两张影像的外方位，通过空间前方交汇可以获得密集3D点云，进而能够根据获得的密集3D 点云进行物体三维建模、数字表面模型生成以及正射影像纠正等。
[0003] 具体的，进行影像密集匹配的每个影像(包括基准影像和匹配影像，分别对应为左 影像和右影像）中均包括很多像素，因为需要为上述影像中的每一个像素找到对应的同名 点，所以影像密集匹配在整个生产流程中是占据计算资源最多，消耗时间最长的步骤。具体 的，在实际生产中，除了考虑时间因素，匹配质量也必须得到保证，而下述的多种原因均能 够引起错误的匹配，包括:第一，左右影像因为拍摄角度差异，会出现不同程度的物体遮挡 现象，因此会造成匹配时被物体遮挡到的边界不清晰;第二，左右图像中拍摄的影像中，如 果出现不同区域但是该不同区域对应类似或者重复的纹理的现象，会使左右图像的匹配具 有歧义性;第三，某些区域(如草地、沙漠)没有显著的纹理，将使局部区域无法进行匹配。
[0004] 目前，解决上述问题的方法是使用半全局匹配算法，基于上述算法，相关技术提供 了一种半全局密集匹配方法包括:通过上述半全局匹配算法先从左影像（即基准影像)匹配 到右影像（即匹配影像)进行独立的第一次匹配，得到左影像视差图；但是，该方法会使拍摄 的物体边缘的匹配出现较多错误;为了解决该问题，相关技术还提供了另一种半全局密集 匹配方法，包括:通过上述半全局匹配算法先从左影像（即基准影像)匹配到右影像（即匹配 影像)进行独立的第一次匹配，再反过来从右影像匹配到左影像进行独立的第二次匹配，然 后比较两次匹配结果，去除左影像中的错误匹配点，得到精确的左影像视差图；但是，进行 两次独立的影像匹配需要占用较多的计算机内存且会使得匹配时间的翻倍。
[0005] 发明人在研究中发现，现有技术中提供的半全局密集匹配方法中，在兼顾了速度 和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存，针对该问题，目前 尚未提出有效的解决方式。
【发明内容】
[0006] 本发明的目的在于提供快速半全局密集匹配方法和装置，能够快速实现了左右一 致性检测，无需进行两次单独的左右影像匹配，在兼顾匹配质量和匹配速度的前提下，缩短 了匹配时间。
[0007] 第一方面，本发明实施例提供了一种快速半全局密集匹配方法，包括：
[0008] 获取待匹配的基准影像和匹配影像;其中，基准影像和匹配影像具有核线关系；
[0009] 根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算，得到基准 影像视差图和匹配影像视差图；
[0010]分别对基准影像视差图和匹配影像视差图进行去噪精化处理;其中，去噪精化处 理用于过滤视差图中的噪音且保持视差图中物体的边界与原始影像中物体的边界一致； [0011] 对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到 匹配基准影像视差图。
[0012] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根 据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算，得到基准影像视差图 和匹配影像视差图包括：
[0013] 通过以下公式计算从基准影像到匹配影像的基准影像视差图mindStp，^];其中，S 表示聚集的(平滑的）匹配代价;P表示基准影像上的任意像素;cU表示P像素所对应的视差；
[0014] 通过以下公式计算从匹配影像到基准影像的匹配影像视差图mindS[emb(q，d 2)， d2];其中，S表示聚集的(平滑的）匹配代价;q表示匹配影像的任意像素;d2表示q像素所对应 的视差;e mb表示匹配影像中的任意像素 q到基准影像中的任意像素 P的核线关系。
[0015] 结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种 可能的实施方式，其中，方法还包括：
[0016] 构建待匹配影像对应的影像金字塔;其中，待匹配影像包括:基准影像和/或匹配 影像;影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
[0017] 根据构建的影像金字塔，确定待匹配影像的原始分辨率；
[0018] 根据构建的影像金字塔，确定待匹配影像用于搜索像素视差的当前分辨率；
[0019] 在当前分辨率的待匹配影像对应的最大视差范围中搜索像素视差，得到像素的当 前视差；
[0020] 根据影像金字塔中的当前分辨率与原始分辨率的预设关联关系以及当前视差，计 算像素在原始分辨率的待匹配影像中的原始视差搜索范围；
[0021]在原始视差搜索范围中，搜索视差di和视差cb。
[0022] 结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，获 取待匹配的基准影像和匹配影像包括：
[0023] 接收采集装置发送的原始基准影像和原始匹配影像;其中，采集装置采集原始基 准影像和原始匹配影像时对应有预设采集高度；
[0024] 根据采集装置的预设采集高度以及采集装置的外方位元素，分别计算原始基准影 像和原始匹配影像的拍摄区域;其中，外方位元素包括:x，y、z、ω、φ和K;x，y、z分别表示三 维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
[0025] 根据原始基准影像的拍摄区域和原始匹配影像的拍摄区域，计算原始基准影像和 原始匹配影像的重叠区域；
[0026] 对重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系 的基准影像和匹配影像。
[0027] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对 去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影 像视差图包括：
[0028] 对去噪精化处理得到的基准影像视差图和匹配影像视差图进行对比处理，得到基 准影像视差图中与匹配影像视差图匹配不一致的像素；
[0029] 对基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差 图。
[0030] 第二方面，本发明实施例还提供了一种快速半全局密集匹配装置，包括：
[0031] 获取模块，用于获取待匹配的基准影像和匹配影像;其中，基准影像和匹配影像具 有核线关系；
[0032] 匹配计算模块，用于根据密集匹配算法以及核线关系对基准影像和匹配影像进行 匹配计算，得到基准影像视差图和匹配影像视差图；
[0033] 去噪精化处理模块，用于分别对基准影像视差图和匹配影像视差图进行去噪精化 处理；其中，去噪精化处理用于过滤视差图中的噪音且保持视差图中物体的边界与原始影 像中物体的边界一致；
[0034] 一致性检测模块，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图 进行一致性检测，得到匹配基准影像视差图。
[0035] 结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，匹 配计算模块包括：
[0036] 第一视差图计算单元，用于通过以下公式计算从基准影像到匹配影像的基准影像 视差图mindStp，^];其中，S表示聚集的（平滑的）匹配代价;p表示基准影像上的任意像素； cU表示p像素所对应的视差；
[0037] 第二视差图计算单元，用于通过以下公式计算从匹配影像到基准影像的匹配影像 视差图11^11 (13[^^((1，(12)，(12];其中，5表示聚集的（平滑的）匹配代价;(1表示匹配影像的任意 像素;d 2表示q像素所对应的视差;emb表示匹配影像中的任意像素 q到基准影像中的任意像 素 P的核线关系。
[0038]结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种 可能的实施方式，其中，装置还包括：
[0039] 构建模块，用于构建待匹配影像对应的影像金字塔;其中，待匹配影像包括:基准 影像和/或匹配影像;影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联 关系；
[0040] 原始分辨率确定模块，用于根据构建的影像金字塔，确定待匹配影像的原始分辨 率；
[0041] 当前分辨率确定模块，用于根据构建的影像金字塔，确定待匹配影像用于搜索像 素视差的当前分辨率；
[0042] 第一搜索模块，用于在当前分辨率的待匹配影像对应的最大视差范围中搜索像素 视差，得到像素的当前视差；
[0043] 计算模块，用于根据影像金字塔中的当前分辨率与原始分辨率的预设关联关系以 及当前视差，计算像素在原始分辨率的待匹配影像中的原始视差搜索范围；
[0044]第二搜索模块，用于在原始视差搜索范围中，搜索视差cb和视差d2。
[0045] 结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，获 取模块包括：
[0046] 接收单元，用于接收采集装置发送的原始基准影像和原始匹配影像;其中，采集装 置采集原始基准影像和原始匹配影像时对应有预设采集高度；
[0047] 拍摄区域计算单元，用于根据采集装置的预设采集高度以及采集装置的外方位元 素，分别计算原始基准影像和原始匹配影像的拍摄区域;其中，外方位元素包括:x，y、z、《、 Φ和K;x，y、Z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个 旋转角度；
[0048] 重叠区域计算单元，用于根据原始基准影像的拍摄区域和原始匹配影像的拍摄区 域，计算原始基准影像和原始匹配影像的重叠区域；
[0049] 切除处理单元，用于对重叠区域外的原始基准影像和原始匹配影像进行切除处 理，得到具有核线关系的基准影像和匹配影像。
[0050] 结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，一 致性检测模块包括：
[0051] 对比单元，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图进行对 比处理，得到基准影像视差图中与匹配影像视差图匹配不一致的像素；
[0052] 剔除处理单元，对基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配 基准影像视差图。
[0053] 本发明实施例提供的快速半全局密集匹配方法和装置，包括:获取待匹配的具有 核线关系的基准影像和匹配影像;根据密集匹配算法以及核线关系对基准影像和匹配影像 进行匹配计算;分别对得到基准影像视差图和匹配影像视差图进行去噪精化处理;对去噪 精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视 差图，与现有技术中的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较多 的计算时间以及占用较多的计算机内存相比