[0033] 图1为本发明实施例的互信息计算流程图；
[0034] 图2为本发明实施例的局部统计窗口示意图；
[0035] 图3为本发明实施例的基于动态规划的匹配流程图；
[0036] 图4为本发明实施例的匹配路径方向示意图；
[0037] 图5为本发明实施例的流程图。
【具体实施方式】
[0038] 下面结合实施例及附图对本发明作进一步详细的描述。
[0039] 针对现有技术中激光扫描和采用影像密集匹配的不足，本发明考虑到如果将两种 技术相结合，通过密集匹配来加密LiDAR点云，通过LiDAR点云来引导密集匹配过程，充分 发挥各自的优势，理论上，可以得到更加精确、密集的三维点云。从该思路出发，本发明设计 提供的技术方案是，一种利用LiDAR点云的三维信息，自动确定密集匹配的视差范围，指引 密集匹配过程，得到更精确可靠的密集匹配点云的方法。
[0040] 具体实施时，本发明技术方案可由本领域技术人员采用计算机软件技术实现自动 运行流程，在LiDAR点云的引导下，逐像素地匹配立体像对同名点，生成稠密的三维点云。 参见图5,实施例的流程包括以下步骤：
[0041] 步骤1.获取立体像对重叠范围内的LiDAR点云，并对LiDAR点云进行滤波处理。
[0042] 本发明提出，根据立体像对的内外方位元素，将整个测区的LiDAR点云投影到原 始立体像对上，如式（1)所示。如果某投影点的像方坐标同时位于左右两张原始影像上，则 说明该点是影像重叠范围内的点；否则不是。保存影像重叠范围内的LiDAR点云。
[0044] 式中，x、y表示投影点的像点坐标；X、Y、Z表示LiDAR点云的物方坐标；表 示相机的内方位元素；Xs、Ys、Zs表示相机的外方位线元素；ai~a 3、!^~b 3、Ci~c 3表示 旋转矩阵的9个元素。
[0045] 确定影像重叠范围内的LiDAR点云后，需要进一步的点云滤波，以剔除点云中的 粗差点和被遮挡点。通常情况下，可见点的视差大于被遮挡点的视差，且可见点的相关系数 要大于被遮挡点的相关系数。考虑到一般同名点的视差与高程成正比，高程越高，该点在物 方的可见性越大；此外，正确匹配点在像方的相关系数一般也较大，可以作为一个像方的约 束。联合视差和相关系数信息，可以从物方和像方两个方面，对点云进行滤波。本发明按此 进一步提出结合视差和相关系数准则进行点云滤波。
[0046] 实施例的步骤1具体分为如下3个操作步骤：
[0047] 1)核线影像生成。为了避免多次重复核线采样，造成匹配时间较长，在匹配前，先 根据相机的内外方位元素，生成核线影像，左核线影像和右核线影像构成核线立体像对。核 线影像生成为现有技术，在此不做赘述。核线影像上，同名点的y坐标相同，X方向的坐标 差即为视差，如式（2)所示。
[0048] xr= X fd yr= y j (2)
[0049] 式中，Xp Y1为左核线影像的像点坐标；x p ^为右核线影像的同名点坐标；d表示 视差。
[0050] 2)视差计算。按照式（1)，将LiDAR点云投影到原始立体像对，得到原始影像上的 同名点坐标。按照核线影像和原始影像之间的几何关系，将原始影像上同名点坐标换算到 核线影像上，并根据式（2)，计算相应点的视差d。可以新建与核线影像同样大小的内存，将 视差d作为灰度值，保存到对应的投影点位上，分别生成左右核线影像的LiDAR点云控制 图。
[0051] 将LiDAR点云同时投影到左右核线影像上，以每个LiDAR点的视差作为灰度值，生 成左右核线影像的LiDAR点云控制图时，由于LiDAR点云分辨率远远小于影像分辨率，所以 不是所有的影像点都有对应的LiDAR点，投影点为有效点；非投影点为无效点。
[0052] 3)滤波。对2)所得左右影像的LiDAR点云控制图中的各点分别执行是否保留的 判断，操作如下：
[0053] 首先进行相关系数计算。对核线影像进行图像分割，将灰度相似的像素归于一类。 在LiDAR点云控制图中，以每个有效点为中心，开辟一个WX W大小的局部窗口，如图2所 不。
[0054] 图2中提供了对核线影像进行影像分割分为两类的结果；网状背景的格子代表有 效点。根据影像分割的结果，统计局部窗口内所有与中心像素隶属同一类的有效点并记录 每个有效点的视差。
[0055] 如果以左核线影像为基准，首先在左核线影像LiDAR点云控制图上，开辟一个 WX W大小的窗口，窗口的中心点是有效点，窗口内也存在其它有效点。设窗口中心点有个视 差值dc，窗口内的其余有效点，也存在视差值di(i = 1...N)。在密集匹配理论中，假设场 景的视差是平滑的，因此在局部WXW窗口内，所有有效点的视差应该是基本一致的。如果 存在不一致的视差，说明很有可能有错误点。由于未知哪个视差值是错的，因此借用相关系 数的方法来判断。统计窗口内的所有有效点的视差值，根据式（2)，计算得到窗口中心点在 右影像上的同名点，然后计算对应的相关系数。一个视差值会对应一个相关系数，窗口内多 个视差值会对应多个相关系数。
[0056] 具体实现为，根据统计得到的有效点所对应的视差，按照式（2)，计算窗口中心点 在另一张核线影像（如果是左影像的LiDAR点云控制图，则另一张核线影像指右核线影像； 反之，则为左核线影像）上的"同名点"。由于会统计得到多个视差，因此，会对应多个"同 名点"。计算窗口中心点与这些"同名点"之间的相关系数，如式（3)所示：
[0058] 式中，r表示相关系数；\表示左影像相关系数窗口内的某像素灰度；y廣示右影 像相关系数窗口内的某像素灰度；?表示左影像的LiDAR点云控制图窗口像素灰度均值；$ 表示右影像的LiDAR点云控制图窗口像素灰度均值；η表示窗口内像素总数。
[0059] 然后进行局部窗口中心点的可见性度量计算。将局部窗口内的所有有效点视差和 对应的相关系数，按照式（4)的方式进行计算，得到窗口中心点在某视差下的可见性度量：
[0060] Vi= (Ii · Ti (4)
[0061] 式中，\表示可见性度量，值越大，表示该点为正确点的可能性越大；d廣示统计 的有效点所对应的视差，值越大，代表该点在影像上的可见性越大，值越小，则表示被遮挡 的可能性越大表示对应的相关系数。在所有的可见性度量Vl(i = 1~N，N表示窗口内 有效点的数目）中，找出一个值最大的度量v_，比较最大度量v_相应的视差d _与窗口 中心点像素视差d。的差值。如果差值在T个像素以内（本领域技术人员可自行设定T的 取值，一般取1)，则认为中心点是正确点；否则认为中心点是错误点，予以剔除，如式（5)所 示：
[0062]
:(5)
[0063] 当一个点在左右LiDAR控制图的计算结果均为"保留"时，则保留该点；否则，剔除 该点。然后根据以上方式，依次处理其余点。当所有点均处理完毕，即结束点云滤波操作。
[0064] 步骤2.确定密集匹配的视差范围，分别建立左右核线影像和左右影像的LiDAR点 云控制图的影像金字塔。
[0065] 将步骤1所得滤波后的点云投影到核线立体像对上，采用与步骤1同样的方式按 照式（2)计算同名点对的视差，找出其中的最大视差和最小视差，作为后续密集匹配的视 差范围。
[0066] 建立某核线影像（左核线影像或右核线影像）或某LiDAR点云控制图（左影像的 LiDAR点云控制图或右影像的LiDAR点云控制图）的影像金字塔的实现方式为，将核线影像 (或者LiDAR控制图）作为金字塔的底层，按照一定的规则，将相邻SX S窗口内的像素，重 采样生成一个新的像素，传到上一级金字塔，如此重复，直至计算到金字塔的顶层。
[0067] 如果以核线影像为重采样的底图，则采用平均值规则，生成一个新的像素，如式 (6)所示：
[0069] 其中，G'表示新像素灰度；G1表示下一级金字塔窗口内的像素灰度；S表示金字塔 的缩放因子。
[0070] 如果以LiDAR控制图为重采样的底图，则采用最大视差原则，生成一个新的像素 ：
[0071] D' = max (Di)/S I = L--Nr (7)
[0072] 其中，D'表示新像素视差A表示下一级金字塔窗口内的某有效点像素视差；Ν' 表示金字塔窗口内的有效点数目。
[0073] 在每一级金字塔，匹配视差范围也要按照比例因子S进行相应的缩放，如式（8)所 示：
[0074] IiiinDi= MinD/S 11 Ri= DispRange/S 1 1 (8)
[0075] 式中，HiinD1表示第i层金字塔对应的最小视差；MinD表示金字塔底层的最小视 差；R 1表示第i层金字塔对应的视差范围；DispRange表示金字塔底层的视差范围。
[0076] 步骤3.从金字塔顶层开始，采用三角网约束改造代价矩阵，进行半全局密集匹 配，然后进行左右一致性检测，得到顶层的视差图。流程可设置为，从金字塔顶层开始，令顶 层为当前层，首先以当前层的左核线影像为基准影像，将顶层左核线影像LiDAR点云控制 图作为初始视差图，采用三角网约束改造代价矩阵，进行SGM密集匹配，得到左核线影像的 视差图，依次对右核线影像进行类似的处理，得到右核线影像的视差图，根据两张视差图， 进行左右一致性检测，得到顶层最终的视差图。
[0077] 立体像对对应两张核线