基于LiDAR点云辅助的立体影像密集匹配方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种立体像对密集匹配技术领域，尤其是涉及一种控制信息引导的立 体像对密集匹配技术方案。
【背景技术】
[0002] 在摄影测量和计算机视觉领域，密集匹配是指根据两张或者多张光学影像，逐像 素地匹配同名点，生成稠密的三维点云的过程。密集匹配技术能够快速获取测区地表的三 维测绘信息，在道路和水体提取、建筑物三维建模、变化检测、DEM/DSM和真正射影像制作、 车辆自动驾驶等智慧城市、地理国情监测领域有着非常广泛的应用前景。
[0003] 激光扫描和立体影像密集匹配技术是两种主流的地形地物三维信息获取手段。 LiDAR系统以主动方式快速获取地面模型及空间点云信息，具有速度快、时效性强、作业范 围大等优点。但是LiDAR系统成本昂贵，且点云密度较低（与对应的影像分辨率比较而 言），无法很好地描述建筑物等线状地物的精确边缘，不能完全满足智慧城市等高精度应用 的需求；并且由于POS(尤其是精度较低的国产P0S)系统误差及其他误差的存在，导致机 载LiDAR点云存在复杂的系统误差。影像密集匹配是一种被动获取空间点云的手段。与 LiDAR激光点云相比，立体影像具有密集匹配点云密度大、平面精度高、粗差剔除技术完善、 影像上的地物几何特征更明显、影像数据获取成本低等突出优势。但是影像密集匹配技术 在纹理贫乏区域、重复纹理区域表现较弱。
[0004] 由于上述两种技术各自的不足，单纯地采用激光扫描，或者单纯地采用影像密集 匹配，均无法很好地描述测区地表的三维信息。目前国内外尚未有结合两种截然不同的技 术的相应研究。
【发明内容】
[0005] 本发明主要是解决LiDAR点云三维重建技术和密集匹配三维重建技术相互孤立 的现状，以及密集匹配视差范围参数需要人工设定阈值等的技术问题；提供了一种LiDAR 点云辅助的立体影像半全局密集匹配技术，能够自动确定密集匹配的视差范围，通过LiDAR 点云指导密集匹配，从而得到更为精确可靠的密集匹配产品。
[0006] 本发明技术方案提供一种基于LiDAR点云辅助的立体影像密集匹配方法，在 LiDAR点云的引导下，逐像素地匹配立体像对同名点，生成稠密的三维点云，实现过程包括 以下步骤，
[0007] 步骤1，将整个测区的LiDAR点云投影到原始的立体像对上，获取立体像对重叠范 围内的LiDAR点云，并对LiDAR点云进行滤波处理；
[0008] 步骤2,将步骤1所得滤波后的点云投影到核线立体像对上，计算同名点对的视 差，找出最大视差和最小视差，确定后续密集匹配的视差范围；分别建立左右核线影像和左 右影像的LiDAR点云控制图的金字塔；
[0009] 步骤3,从金字塔顶层开始，令顶层为当前层，首先以当前层的左核线影像为基准 影像，将顶层左核线影像LiDAR点云控制图作为初始视差图，采用三角网约束改造代价矩 阵，进行SGM密集匹配，得到左核线影像的视差图，依次对右核线影像进行类似的处理，得 到右核线影像的视差图，根据两张视差图，进行左右一致性检测，得到顶层最终的视差图；
[0010] 步骤4,将金字塔当前层的视差图传递到下一层作为初始视差图，根据当前层的视 差图相应确定下一层的视差范围，将下一层作为新的当前层；基于新的当前层，仍然以当前 层的左核线影像为基准影像，采用三角网约束改造代价矩阵，进行SGM密集匹配，得到左核 线影像的视差图，依次对右核线影像进行类似的处理，得到右核线影像的视差图，根据两张 视差图，进行左右一致性检测，得到当前层最终的视差图；
[0011] 步骤5,判断当前层是否为金字塔的底层，若是则执行步骤6,否则返回执行步骤4 继续传递；
[0012] 步骤6,输出原始影像的视差图，根据视差图，得到立体像对的同名点，生成密集匹 配的点云。
[0013] 而且，步骤1中，对LiDAR点云进行滤波处理的实现方式为，生成左右影像的LiDAR 点云控制图，在LiDAR点云控制图中，以每个有效点为中心建立局部窗口，计算局部窗口内 中心点在窗口内各有效点视差下的可见性度量，比较最大度量相应的视差d_与窗口 中心点像素视差d。的差值，如果差值在T个像素以内，则认为中心点是正确点，否则认为中 心点是错误点，予以剔除；T为预设的相应阈值。
[0014] 而且，步骤3和步骤4中，所述计算并改造代价矩阵的实现方式为，遍历核线影像， 在视差范围内依次计算每个像素的候选同名点，根据候选同名点对计算出对应的互信息， 作为匹配代价，得到匹配代价矩阵；所述的三角网约束的实现方式为，采用Delaunay三角 剖分算法，构建TIN三角网，三角网的顶点是有效视差点，用顶点的有效视差，约束三角形 内部点的视差；所述半全局密集匹配的实现方式为，将一条直线上的每个像素作为一个阶 段，像素的匹配代价作为节点，将匹配问题转化为动态规划问题求解。
[0015] 而且，步骤4中，将金字塔当前层的视差图传递到下一层的实现方式为，将上一层 像素的视差值，乘以缩放比例Size，再赋值给下一层金字塔对应区域内的所有像素；由当 前层的视差图相应确定的下一层视差范围如下，
[0016] sd = Size · d，-Tol
[0017] ed = Size · d' +Tol
[0018] 其中，sd表示视差范围的起点；ed表示视差范围的终点；Size表示金字塔影像缩 放比例；d'表示上一级金字塔的视差；Tol表示阈值。
[0019] -种基于LiDAR点云辅助的立体影像密集匹配系统，用于在LiDAR点云的引导下， 逐像素地匹配立体像对同名点，生成稠密的三维点云，包括以下模块，
[0020]点云滤波模块，用于将整个测区的LiDAR点云投影到原始的立体像对上，获取立 体像对重叠范围内的LiDAR点云，并对LiDAR点云进行滤波处理；
[0021] 金字塔构建模块，用于将点云初始化模块所得滤波后的点云投影到核线立体像对 上，计算同名点对的视差，找出最大视差和最小视差，确定后续密集匹配的视差范围；分别 建立左右核线影像和左右影像的LiDAR点云控制图的金字塔；
[0022] 金字塔顶层视差图生成模块，用于从金字塔顶层开始，令顶层为当前层，首先以当 前层的左核线影像为基准影像，将顶层左核线影像LiDAR点云控制图作为初始视差图，采 用三角网约束改造代价矩阵，进行SGM密集匹配，得到左核线影像的视差图，依次对右核线 影像进行类似的处理，得到右核线影像的视差图，根据两张视差图，进行左右一致性检测， 得到顶层最终的视差图；
[0023] 视差图传递生成模块，用于将金字塔当前层的视差图传递到下一层作为初始视差 图，根据当前层的视差图相应确定下一层的视差范围，将下一层作为新的当前层；基于新的 当前层，仍然以当前层的左核线影像为基准影像，采用三角网约束改造代价矩阵，进行SGM 密集匹配，得到左核线影像的视差图，依次对右核线影像进行类似的处理，得到右核线影像 的视差图，根据两张视差图，进行左右一致性检测，得到当前层最终的视差图；
[0024] 判断模块，用于判断当前层是否为金字塔的底层，若是则命令输出模块执行工作， 否则命令视差图传递生成模块继续传递；
[0025] 输出模块，用于输出原始影像的视差图，根据视差图，得到立体像对的同名点，生 成密集匹配的点云。
[0026] 而且，点云初始化模块中，对LiDAR点云进行滤波处理的实现方式为，生成左右影 像的LiDAR点云控制图，在LiDAR点云控制图中，以每个有效点为中心建立局部窗口，计算 局部窗口内中心点在窗口内各有效点视差下的可见性度量，比较最大度量相应的视差 d_与窗口中心点像素视差d。的差值，如果差值在T个像素以内，则认为中心点是正确点， 否则认为中心点是错误点，予以剔除；T为预设的相应阈值。
[0027] 而且，金字塔顶层视差图生成模块和视差图传递生成模块中，所述计算并改造代 价矩阵的实现方式为，遍历核线影像，在视差范围内依次计算每个像素的候选同名点，根据 候选同名点对计算出对应的互信息，作为匹配代价，得到匹配代价矩阵；所述的三角网约束 的实现方式为，采用Delaunay三角剖分算法，构建TIN三角网，三角网的顶点是有效视差 点，用顶点的有效视差，约束三角形内部点的视差；所述半全局密集匹配的实现方式为，将 一条直线上的每个像素作为一个阶段，像素的匹配代价作为节点，将匹配问题转化为动态 规划问题求解。
[0028] 而且，视差图传递生成模块中，将金字塔当前层的视差图传递到下一层的实现方 式为，将上一层像素的视差值，乘以缩放比例Size，再赋值给下一层金字塔对应区域内的所 有像素；由当前层的视差图相应确定的下一层视差范围如下，
[0029] sd = Size · d' -Tol
[0030] ed = Size · d' +Tol
[0031] 其中，sd表示视差范围的起点；ed表示视差范围的终点；Size表示金字塔影像缩 放比例；d'表示上一级金字塔的视差；Tol表示阈值。
[0032] 因此，本发明具有如下优点：在密集匹配过程中无需人工设定视差搜索范围，通过 LiDAR点云信息引导密集匹配过程，通过密集匹配加密、精化LiDAR点云，匹配结果优于原 始密集匹配点云或者LiDAR点云，在航空摄影测量、低空摄影测量和近景摄影测量领域均 有较好的应用前景。
【附图说明】