一种地面三维激光扫描点云与影像融合及配准的方法
【专利摘要】本发明提供一种地面三维激光扫描点云与影像融合及配准的方法，克服地面三维激光扫描技术扫描的局限性。地面三维激光扫描获取的点云数据常常包含有各种无法测量到的区域，产生点云空洞，导致扫描对象局部区域信息丢失。这些空洞不仅使得模型无法正确实现可视化，也会影响模型后续处理。针对以上所述的问题，本发明的目的通过以下技术方案实现：利用SIFT图像凭借算法将采集的影像相片进行拼接处理得到一幅全景图片，通过全景图片进行密集重建得到影像相片生成的3D点云数据，利用迭代就近点算法(ICP)实现激光扫描点云与影像数据生成点云的配准工作。
【专利说明】
一种地面三维激光扫描点云与影像融合及配准的方法
技术领域
[0001] 本发明涉及一种地面三维激光扫描点云与影像三维重建生成点云进行配准的方 法。
【背景技术】
[0002] 随着地球空间信息技术发展进入一个新的时期，获取、分析用以准确描述三维空 间信息的空间数据成为研究地球空间信息的基础。传统的获取三维数据的方式不仅耗时， 而且采样密度低，造成采集到的数据无法对空间对象进行精确完整描述。另外，空间对象及 其周围环境纷繁复杂，如何准确、全方位获取相应的空间数据也成为当前空间信息科学研 究的主要困难之一。地面三维激光扫描技术的出现为我们提供了一种非破坏性的高分辨率 三维测量手段，可以弥补传统测量手段的不足。
[0003] 三维激光扫描也被称为激光雷达(Light Detection and Ranging，LIDAR)，其作 为一种测绘新技术在近十多年来得到了快速的发展，由于其扫描速度快，扫描得到的坐标 点密度较大等优点，在包括地形测量，逆向工程，历史遗迹保护等方面均具有广阔的应用前 景，并逐渐成为城市三维数据模型获取的一种重要手段和方法，该技术也被称为继GPS技术 以来测绘领域的又一次技术革新。根据载体的不同，三维激光扫描分为机载激光扫描、车载 激光扫描及地面三维激光扫描。本论文数据采集主要利用地面三维激光扫描仪完成，该数 据与其它方式获取的点云数据相比有其自身的特点。在地面扫描激光扫描过程中，由于受 到测量设备和环境的限制，每次测量得到的点云数据往往只覆盖扫描对象的大部分表面， 完整的点云数据则需要通过多站测量完成，因此需要对这些局部点云数据进行拼接和配 准，有效而精确的配准可以为后续的点云三维建模提供良好的基础数据。
[0004] 由于受到扫描环境之间的遮挡，地面三维激光扫描获取的点云数据常常包含有各 种无法测量到的区域，产生点云空洞，导致局部区域信息丢失。这些空洞不仅使得扫描对象 的三维模型无法完整地实现可视化，也会影响建模后参数提取。由于近景影像获取相对方 便，灵活性较高，而且成本较低。因此，扫描人员可以从不同角度利用数码相机进行补拍。这 样，充分利用两种传感器的优点，获取对象全貌。然而，多源数据融合一直是数据处理领域 的难点，需要克服在两种数据之间寻找同名特征的问题，利用重叠部分的信息，通过配准操 作将两种类型的数据纳入到统一的坐标系统中，并使得各个元素在几何上对准。目前已有 的融合方法主要专注于点云与图像上共同几何特征的提取，基于中心投影原理利用共线方 程进行，实际上仍是二维与三维之间的配准，精度较低，并且限制条件较多。
[0005] 综上所述，开发一种克服三维激光扫描技术扫描的局限性，保证实体对象的完整 性显得尤为重要。
【发明内容】
[0006] 针对以上所述的问题，本发明提供一种地面三维激光扫描点云与影像三维重建生 成点云进行配准的方法。为了达到上述目的，本发明的目的通过以下技术方案实现：
[0007] 一种地面三维激光扫描点云与影像融合及配准的装置，其特征在于:包括点云与 图像数据采集模块、点云数据配准模块、影像数据拼接模块和密集重建模块，其中：
[0008] 点云与图像数据采集模块，采集点云数据和影像数据；
[0009] 点云数据配准模块，将三维激光扫描点云与影像三维重建生成点云利用迭代就近 点算法（ICP)进行配准；
[0010] 影像数据拼接模块，利用SIFT图像拼接算法将采集的影像相片进行拼接处理得到 一幅全景图片；
[0011] 密集重建模块，运用场景信息与原始图片，得到照片中物体的3D点云；
[0012] 所述的地面三维激光扫描点云与影像融合及配准的装置，其特征在于:所述的点 云与图像数据采集模块包括点云数据采集模块、图像数据采集模块，其中所述的点云数据 采集模块由布设站点、布设标靶、扫描组成。
[0013] 布设站点是根据扫描实施方案，在需要的地方作好测站点标记，记录控制点坐标。 如果需要控制测量成果参与平差的，则要在确定扫描测站点时一并考虑全站仪导线测量的 可行性和质量。同时确定现场电源的位置和供电方案。
[0014] 布设标靶是利用"公共控制点（标靶)"的配准方式时，选择在适宜的位置布设标 靶。由于两个测站的点云配准至少需要2个点或3个点，标靶的位置应保证两测站扫描的通 视或点不要太集中。
[0015] 扫描首先在相应的测站点上架设仪器，对中整平，利用数据线建立扫描仪与笔记 本电脑的连接，按照建立测站、选定扫描区域、设置扫描参数的步骤进行扫描了。
[0016] 所述的地面三维激光扫描点云与影像融合及配准的装置，其特征在于:所述的图 像数据采集模块，通过数码相机拍摄目标物，提供高分辨率的影像数据，这些影像数据能够 用于生成点云数据。
[0017] 一种地面三维激光扫描点云与影像融合及配准的方法，其特征在于，包含以下顺 序的步骤：
[0018] S1.采集点云数据和影像数据；
[0019] S2.利用SIFT图像凭借算法将采集的影像相片进行拼接处理得到一幅全景图片； [0020] S3.利用全景图片进行密集重建得到影像相片生成的3D点云数据；
[0021] S4.利用迭代就近点算法实现激光扫描点云与影像数据生成点云的配准工作；
[0022]所述的一种地面三维激光扫描点云与影像融合及配准的方法，其特征在于，步骤 S2中，所述的SIFT图像拼接算法包含以下步骤：
[0023] a)检测尺度空间极值点：图像在不同尺度下的尺度空间可以用高斯核卷积公式L (1，7,〇)=6(1，7,〇)*1(1，7)来表示，利用0〇6算子对两幅图像在灰度和尺度两个空间进行 布局极值检测;算子定义为两个不同尺度的高斯核的差分，然后通过具体的模型精确关键 点的位置和尺度，去除低对比和边缘响应不稳定的关键点；
[0024] b)分配关键点方向：点邻域像素的梯度方向分布特征为每个关键点指定方向参 数，保证SIFT算子的旋转不变性;梯度表示如下：
以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素 的梯度方向；直方图的峰值代表了该关键点处邻域梯度的主方向，即作为该关键点的方向；
[0026] c)生成关键点描述:首先将坐标轴旋转为关键点的方向，以确保旋转不变性;对每 个关键点使用4X4共16个种子点来描述;这样对于一个关键点就可以产生128个数据，形成 128维的SIFT特征向量;将特征向量的长度归一化，则可以进一步去除光照变化的影响，增 强算法抗噪声的能力，同时对含有定位误差的特征匹配也提供了较好的容错性；
[0027] d)特征向量匹配:生成两幅图像的SITF特征向量后，采用关键点特征向量的欧氏 距离作为两幅图像中关键点的相似性判定准则，得到满足准则的SITF匹配点对;取图像中 的某个关键点，并找出其与另一张图像中欧氏距离最近的前两个关键点，如果最近的距离 除以次近的距离小于某个阈值，则接受这一对匹配点；降低这个比例阈值，SITF匹配点数目 会减少，但更加稳定;根据得到的SIFT匹配点对计算出图像的变换参数，进行拼接融合得到 拼接图像。
[0028]所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在于，所述的步 骤S3,利用全景图片进行密集重建得到影像相片生成的3D点云数据，运用多视立体重建算 法(PMVS)，得到3D点云。点云质量受到处理图像精度的执行效率、重建精度和完整性影响。 [0029]所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在于，所述的步 骤S4，所述的迭代就近点算法实现包含以下步骤：
[0030] 参考点集P包含NP个点：P = P2…,PNpV目标点集Q包含Nq个点：Q =(祖,％ qNfJ)， 求解刚体变换参数(R，T)配准P、Q两个点集，这里初始化迭代参数:k = 0，Po = P (点集初始位 置八办二^二⑴…此^为循环迭代次数。
[0031] a)搜索最近点：计算P中每个点Pk={Pl，k}与Q的距离，可以由欧式平方距离d(p，q) =l |p-q| I2代替，找出最近的一点Yk={yi，k}，如式：
[0032] yi，k=F(pi,k,q) =mind(pi,k，q)
[0033] b)参数计算：定义Rk和Tk的函数为点对(P^y^)配准的均方误差e(Rk，T k)，求解 刚体变换参数(Rk，Tk)使e (Rk，Tk)达到最小：
[0036] c )配准：由前一步计算得到的刚体变换参数，计算参考点集的新位置，P k+1 = {Pi, k+1} ： Pi, k+1 - RkPi,0+Tk
[0037] d)迭代终止:设定终止迭代的条件，迭代次数k达到设置的最大次数或误差收敛于 给定阈值t，即为ek-i-ekfh此时旋转矩阵R = Rk，平移矩阵T = Tk，否则继续进行下一次迭 代。
【附图说明】
[0038]图1是本发明的地面三维激光扫描点云与影像融合及配准的方法的流程图；
[0039]图2是本发明的点云配置结果示意图；
[0040]图3是本发明的点云融合最终结果图。
【具体实施方式】
[0041] 以下结合实例对本发明作进一步详细描述。
[0042] 本发明提供的一种地面三维激光扫描点云与影像融合及配准的方法包括点云与 图像数据采集模块、点云数据配准模块、影像数据拼接模块和密集重建模块;所述的点云与 图像数据采集模块主要是采集点云数据和影像数据;所述的迭代就近点算法模块主要是将 三维激光扫描点云与影像三维重建生成点云进行配准;所述的影像数据拼接模块，主要是 利用SIFT图像拼接算法将采集的影像相片进行拼接处理得到一幅全景图片;所述的密集重 建模块，主要是运用场景信息与原始图片，得到照片中物体3D点云；
[0043]本发明的地面三维激光扫描点云与影像融合及配准的方法的流程图如图1所示。 [0044]本发明的点云数据采集模块由三维激光扫描仪进行获取，具体步骤如下：
[0045] a)测站的设计:根据标准地样木的位置、大小形态和需要获取的重点测树因子，设 计各扫描站和辅助扫描设备的位置。由于三维激光扫描系统扫描的真实场景一般较大且比 较复杂，受激光扫描仪视角的限制，以及物体间遮蔽的影响，为获取树木360°全景，FAR0 Laser Scanner Focus3D X 330三维激光扫描仪在理想状态下应在油松周围架设3站构建 等边三角形对油松进行扫描。辅助扫描设备包括参考球和标靶纸，使用参考球能提供数据 配准中的参考点，标靶纸能确定扫描物体的位置方便数据处理。并要求每站之间至少有三 个控制标靶重合，通过控制点的强制符合，以确定两个测站点云数据符合的7个自由度，使 点云数据最终能够统一到一个仪器坐标系统下。
[0046] b)扫描:在选定的测站上架设FARO Laser Scanner Focus3D X 330三维激光扫描 仪，调整好仪器的姿态。打开扫描仪的电源，根据环境设置扫描仪参数，如行、列数、扫描分 辨率等，对目标物进行自动扫描。在每次架站扫描过程中参考球都需要被扫描到，并且不能 被遮挡、不能摆成直线;标靶纸应贴在树干位置处达到标示树木的作用。
[0047] c)控制标靶中心的获取:每测站完成扫描后，均需要对控制标靶进行精细扫描。该 扫描过程通过选取控制标靶区域内的点，为每个标靶设置唯一的标识，然后通过精细扫描 该区域确定控制标靶的中心点。相同的控制标靶在不同的测站中的标识必须相同，否则无 法将各扫描站的点云数据统一到一个坐标系统下。
[0048] 本发明的影像数据拼接模块通过SIFT图像拼接算法实现，具体算法步骤如下：
[0049] a)检测尺度空间极值点：图像在不同尺度下的尺度空间可以用高斯核卷积公式L (1，7,〇)=6(1，7,〇)*1(1，7)来表示，利用0〇6算子对两幅图像在灰度和尺度两个空间进行 布局极值检测;算子定义为两个不同尺度的高斯核的差分，然后通过具体的模型精确关键 点的位置和尺度，去除低对比和边缘响应不稳定的关键点；
[0050] b)分配关键点方向：点邻域像素的梯度方向分布特征为每个关键点指定方向参 数，保证SIFT算子的旋转不变性;梯度表示如下：
[0051] = 以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素 的梯度方向；直方图的峰值代表了该关键点处邻域梯度的主方向，即作为该关键点的方向；
[0052] c)生成关键点描述:首先将坐标轴旋转为关键点的方向，以确保旋转不变性;对每 个关键点使用4X4共16个种子点来描述;这样对于一个关键点就可以产生128个数据，形成 128维的SIFT特征向量;将特征向量的长度归一化，则可以进一步去除光照变化的影响，增 强算法抗噪声的能力，同时对含有定位误差的特征匹配也提供了较好的容错性；
[0053] d)特征向量匹配:生成两幅图像的SITF特征向量后，采用关键点特征向量的欧氏 距离作为两幅图像中关键点的相似性判定准则，得到满足准则的SITF匹配点对;取图像中 的某个关键点，并找出其与另一张图像中欧氏距离最近的前两个关键点，如果最近的距离 除以次近的距离小于某个阈值，则接受这一对匹配点；降低这个比例阈值，SITF匹配点数目 会减少，但更加稳定;根据得到的SIFT匹配点对计算出图像的变换参数，进行拼接融合得到 拼接图像。
[0054]本发明的密集重建模块通过多视立体重建(PMVS)算法来实现，具体算法步骤如 下：
[0055] a)特征点匹配:首先通过特征检测算子检测每一幅图片中的角点特征，算法所采 用的特征检测算子是DoG算子。为了确保覆盖均匀，给每一幅图片覆盖一个每格大小为feX 此的网格，对于每个算子，返回每格中特征检测返回值较大的前y个点作为特征点（设此= 32，y = 4)。将每一幅图像中的特征点检测出来之后，接下来进行特征点匹配，再根据三角测 量原理恢复其深度信息，从而得到这些特征点对应的稀疏点云。给定一个特征f，设其对应 面片为P，用特征所在图片作为其参考图片R(P)，在其他可见图片集合V$(p)里找到满足极 线几何约束的所有同类型特征f，并组成集合F。然后用特征f和集合F中的每一特征f匹 配，得到对应的一组候选面片，即物体表面该特征点对应的空间位置，然后用共辄梯度法来 最小化每一个候选面片的灰度差异值，并从中选择最优的一个作为该特征点最终对应的面 片。
[0056] b)种子面片扩展:在扩展一步所要完成的工作是使重建出来的面片集合能够完全 覆盖物体可见表面，判断的标准是每一个图像块C(x，y)里至少有一个面片的投影，从而获 得物体表面的完整信息。对于一个面片P，在其相邻图像块集合C(p)里扩展得到一个新面片 P' 〇
[0057] c)过滤错误面片：因为扩展完后得到稠密点云包含错误点，所以需要进行以下三 步过滤。首先依靠可见一致性来过滤。用U(p)表示与当前面片p不是邻居，但在同一幅可见 图片的相同细胞里的面片V的集合。如果下面的不等式成立，P则被过滤掉：
[0058] |r(p)|(l -g*tp)) < Z 1 - rCPi) Pi：eu￡p)
[0059]本发明的点云数据配准模块通过迭代就近点（ICP)算法来实现，具体算法步骤如 下：
[0060] 参考点集P包含NP个点：P = |^為...,PNp)目标点集Q包含Nq个点：Q = 求解刚体变换参数(R，T)配准P、Q两个点集，这里初始化迭代参数:k = 0，Po = P (点集初始位 置八办二^二⑴……丨乂为循环迭代次数。
[0061] a)搜索最近点:计算P中每个点Pk={Pl,k}与Q的距离，可以由欧式平方距离d(p，q) =l |p-q| I2代替，找出最近的一点Yk={yi,k}，如式：
[0062] yi,k=F(Pi,k,q)=mind(pi,k，q)
[0063] b)参数计算：定义Rk和Tk的函数为点对配准的均方误差e(Rk，T k)，求解 刚体变换参数(Rk，Tk)使e (Rk，Tk)达到最小：
[0065] ek = min c(Rk, Tk) Tk
[0066] c )配准：由前一步计算得到的刚体变换参数，计算参考点集的新位置，P k+1 = {Pi, k+1} ： Pi, k+1 - RkPi,0+Tk
[0067] d)迭代终止:设定终止迭代的条件，迭代次数k达到设置的最大次数或误差收敛于 给定阈值T，即
[0068] 为此时旋转矩阵R=Rk，平移矩阵T = Tk，否则继续进行下一次迭代。
[0069] 如图2所示为实施例点云配准效果图，如图3所示为实施例的最终结果。
[0070] 上述实施例为本发明的实施方式，但本发明的实施方式不受上述实施例的限制， 其他的任何违背本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等 效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种地面三维激光扫描点云与影像融合及配准的方法，其特征在于：包括点云与图 像数据采集模块、迭代就近点算法模块、影像数据拼接模块和密集重建模块;其中： 点云与图像数据采集模块，采集点云数据和影像数据； 迭代就近点算法模块，将三维激光扫描点云与影像三维重建生成点云进行配准； 影像数据拼接模块，利用SIFT图像拼接算法将采集的影像相片进行拼接处理得到一幅 全景图片； 密集重建模块，运用场景信息与原始图片，得到照片中物体的3D点云。2. 根据权利要求1所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在 于:所述的点云与图像数据采集模块包括点云数据采集模块、图像数据采集模块，其中所述 的点云数据采集模块由布设站点、布设标靶、扫描组成； 布设站点是根据扫描实施方案，在需要的地方作好测站点标记，记录控制点坐标，如果 需要控制测量成果参与平差的，则要在确定扫描测站点时一并考虑全站仪导线测量的可行 性和质量，同时确定现场电源的位置和供电方案； 布设标靶是利用"公共控制点（标靶)"的配准方式时，选择在适宜的位置布设标靶，由 于两个测站的点云配准至少需要2个点或3个点，标靶的位置应保证两测站扫描的通视或点 不要太集中； 扫描首先在相应的测站点上架设仪器，对中整平，利用数据线建立扫描仪与笔记本电 脑的连接，按照建立测站、选定扫描区域、设置扫描参数的步骤进行扫描了。3. 根据权利要求2所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在 于:所述的图像数据采集模块，通过数码相机拍摄目标物，提供高分辨率的影像数据，这些 影像数据能够用于生成点云数据。4. 一种地面三维激光扫描点云与影像融合及配准的方法，其特征在于，包含以下顺序 的步骤：51. 采集点云数据和影像数据；52. 利用SIFT图像凭借算法将采集的影像相片进行拼接处理得到一幅全景图片；53. 利用全景图片进行密集重建得到影像相片生成的3D点云数据；54. 利用迭代就近点算法实现激光扫描点云与影像数据生成点云的配准工作。5. 根据权利要求4所述的一种基于特征的地面三维激光扫描点云与影像融合及配准的 方法，其特征在于，步骤S2中，所述的SIFT图像拼接算法包含以下步骤： a) 检测尺度空间极值点：图像在不同尺度下的尺度空间可以用高斯核卷积公式L(x，y， 〇)=G(X， y，〇)*I(x，y)来表示，利用DoG算子对两幅图像在灰度和尺度两个空间进行布局极 值检测；算子定义为两个不同尺度的高斯核的差分，然后通过具体的模型精确关键点的位 置和尺度，去除低对比和边缘响应不稳定的关键点； b) 分配关键点方向：点邻域像素的梯度方向分布特征为每个关键点指定方向参数，保 证SIFT算子的旋转不变性;梯度表示如下：;以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的 梯度方向；直方图的峰值代表了该关键点处邻域梯度的主方向，即作为该关键点的方向； c) 生成关键点描述:首先将坐标轴旋转为关键点的方向，以确保旋转不变性;对每个关 键点使用4 X 4共16个种子点来描述;这样对于一个关键点就可以产生128个数据，形成128 维的SIFT特征向量;将特征向量的长度归一化，则可以进一步去除光照变化的影响，增强算 法抗噪声的能力，同时对含有定位误差的特征匹配也提供了较好的容错性； d)特征向量匹配：生成两幅图像的SITF特征向量后，采用关键点特征向量的欧氏距离 作为两幅图像中关键点的相似性判定准则，得到满足准则的SITF匹配点对;取图像中的某 个关键点，并找出其与另一张图像中欧氏距离最近的前两个关键点，如果最近的距离除以 次近的距离小于某个阈值，则接受这一对匹配点；降低这个比例阈值，SITF匹配点数目会减 少，但更加稳定;根据得到的SIFT匹配点对计算出图像的变换参数，进行拼接融合得到拼接 图像。6. 根据权利要求5所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在 于，所述的步骤S3,利用全景图片进行密集重建得到影像相片生成的3D点云数据，运用多视 立体重建算法(PMVS)，得到3D点云；点云质量受到处理图像精度的执行效率、重建精度和完 整性影响。7. 根据权利要求6所述的地面三维激光扫描点云与影像融合及配准的方法，其特征在 于，所述的步骤S4，所述的迭代就近点算法实现包含以下步骤： 参考点集P包含Np个点：P = (P1.目标点集Q包含Nq个点：Q = 求解 刚体变换参数(R，T)配准P、Q两个点集，这里初始化迭代参数:k = O，Po = P(点集初始位置）， Ro=I，T〇=(0,0,0)T，k为循环迭代次数； a) 搜索最近点：计算P中每个点Pk= {Pl,k}与Q的距离，可以由欧式平方距离d(p，q)= I 口1||2代替，找出最近的一点丫1<={71,1<}，如式：b) 参数计算:定义Rk和Tk的函数为点对(PM，yi,k)配准的均方误差e(R k，Tk)，求解刚体变 换参数(Rk，Tk)使e(Rk，Tk)达到最小：c) 配准：由前一步计算得到的刚体变换参数，计算参考点集的新位置，Pk+i= {pi,k+i}: pi, k+1 = Rkpi，O+Tk d) 迭代终止:设定终止迭代的条件，迭代次数k达到设置的最大次数或误差收敛于给定 阈值τ，即为ek-i-eKT，此时旋转矩阵R=R k，平移矩阵T = Tk，否则继续进行下一次迭代。
【文档编号】G06T7/00GK105931234SQ201610243292
【公开日】2016年9月7日
【申请日】2016年4月19日
【发明人】林文树, 李洋, 吴金卓
【申请人】东北林业大学