一种三维场景中不同物体的分割方法

专利名称：一种三维场景中不同物体的分割方法
技术领域：
本发明属于模式识别与科学计算可视化相结合的交叉学科技术领域，涉及三维场 景中不同物体的分割方法。
背景技术：
随着三维激光扫描仪成本的降低和激光扫描测量技术在空间信息获取方面的迅 速发展，使得快速获取室外复杂场景的三维点云数据成为可能。在利用复杂场景的激光扫 描点云数据进行建模时，有效、快速地选择能够完整的表示一个场景目标的点云子集是一 个重要而基本的操作。但是激光扫描技术获取的三维点云数据具有海量的特点，需要对点 云数据进行形状特征选取与分割。由于点云数据固有的不完整性和噪声，由激光扫描所得 到的三维稀疏点云的、面向场景目标的分割却仍然是一个具有挑战性的问题。通常我们所获得的三维室外场景都包含不同类型的物体，诸如大型建筑物、树、地 面、自行车等，此外还会存在大量由于复杂物体的不规则反射所带来的噪声，因此如何从三 维场景中分割或提取出有意义的部分则成为重建过程中最为关键的一步。分割就是将具 有相同形状属性或者形状特征的点聚合在一起，或者是将点云数据分解成各个连通的小区 域，这些区域必须是有意义的，且每个区域都对应着完整的物体。对于室外场景而言，最具 有代表性的物体就是树木和建筑物，因此从三维场景中分割或提取出有意义的部分，基本 的问题是需要从复杂场景中分割出这两种具有不同形状特征的物体。贝斯尔 保罗(Paul J. Besl, 1988)提出一种变阶曲面拟合分区方法，利用低阶双 变量多项式逼近数据点，估算高斯曲率和平均曲率，首先找到核心区域，然后利用区域生长 方法找到所有边；江(Jiang，1996)等提出利用扫描线将数据分成曲线然后再聚类以表示 不同的面。前者对噪声敏感，且需要很多参数，即使是在深度图像(range image)上实现都 非常的费时。后者虽然在分割质量上和分割速度上都有一定的提高，但是并不适用于点云 数据的分割。沃尔夫冈 冯 汉森(Wolfgang von Hansen, 2006)等将点云数据划分为体素数 据，在此基础上基于随机抽样一致算法-RandomSample Consensus (RANSAC)将不规则点云 数据变换成局部限定的曲面片以降低数据量。进而通过估计平面特征，按照其不同属性对 平面信息进行提取。沙哈 巴尼亚(Barnea Shahar,2007)等结合深度信息和图像内容对 场景进行分割。将点云数据转换为深度图像，并利用图像处理中均值移动(mean-shift)方 法对场景进行分割。雷姆 兹巴克(Zeibak Reem,2009)等利用点云数据的极坐标表示，通 过法向量的不连续性分析可以快速提取场景中的物体。这三种方法都需要将点云数据转换 为深度图像或者用极坐标表示，即需要将输入的数据转换为2. 5维，由于数据量大，噪声多 所以该转换的过程非常费时。道尼戈 彼得(Peter Dorninger, 2008)等涉及了建筑物的分割，主要在4维特征 空间中利用层次聚类的方法对原始数据进行分割。该方法可以得到简单建筑物的粗糙轮 廓，但是细节部分的信息却不能获得。陈杰(Jie Chen, 2008)等关于建筑物重建的方法中涉及到建筑物的分割部分，它主要基于置信度(confidence rate)进行平面部分的聚类分割， 该方法在删除噪声点的同时也会误删一些关键点，而且此方法不能用于其它类型物体的分 割，也不能得到各个物体的细节部分。

发明内容
现有方法不能直接从散乱的、无结构的、复杂场景的点云数据中分割出不同类型 的物体，不能完整实现基于三维点云数据的不同类型物体的分割以及平面建筑物的细节信 息提取，本发明的目的是分类提取三维场景中不同的物体，主要是以场景中的建筑物和树 木为主。对于场景中的建筑物主要基于微分特性及平面一致性约束对平面建筑物区域进行 自动检测，将场景分为具有平面性的建筑物整体部分和其它物体，并对平面建筑物整体部 分通过不同种子点队列的确定和区域生长过程分割出平面建筑物区域的细节特征。对于单 个树木的分割是从获得的其它物体中分割出单个树木，主要利用初始聚类与加权控制策略 来实现。为此，本发明提出一种三维场景中不同物体的分割方法。为了实现本发明的目的，本发明提供的一种三维场景中不同物体的分割方法，该 方法包括如下步骤步骤S1 采用三维激光扫描仪获取的室外场景的原始三维点坐标称为三维空间 的点云数据，将点云数据作为输入模型，分别建立点云数据的邻接关系和空间搜索机制，估 计点云数据中每一点的法向量，并计算点云数据中每一点的残差量；步骤S2 根据局部平面的微分特性确定的点云数据中每一点的残差量，并根据残 差量的大小确定种子点，选择残差量最小的点作为种子点；从种子点出发，利用区域生长策 略和平面一致性约束条件，查找种子点的k近邻点，比较k近邻点的法向量与种子点的法向 量，获得具有相同或者相近法向量的点并进行平面区域的聚类；将k近邻点中残差量小于 给定残差阈值的点加入种子点队列，以更新种子点队列，保证种子点队列的完整性，进而得 到平面区域的平滑过渡；此过程迭代执行，直到点云数据中的所有点都已经标记为不同的 聚类号，这些平面聚类的关系形成了平面建筑物整体与其它物体的分割状态；步骤S3 利用获得的平面建筑物整体分割结果，选择不同于建筑物整体分割的种 子点策略，仅以残差量最小的点为种子点进行局部连通区域搜索；在此种子点的选择不具 备传递性，将与种子点距离在设定距离阈值范围内、法向量的夹角小于角度阈值的k近邻 点进行局部连通区域的聚类；在剩余点中选择下一个种子点，重复上述过程，直到所有点都 已经标记完为止；这样平面建筑物区域的墙面、窗户和门等细节信息被标记为不同类型，从 而实现建筑物的细节分割；步骤S4 基于场景中分割出的其它物体对单个树木进行分割，通过对其它物体部 分进行基于距离标记的聚类，构造三维空间的初始聚类分块；然后利用基于距离和法向量 加权控制约束的聚类合并，即为初始分块的各个聚类构造权函数以平衡类间距离与类间法 向量夹角的影响；进而为所有聚类两两之间建立加权值矩阵，用于寻找加权函数确定最小 值时两个聚类的标号；按照聚类的标号实现初始聚类的合并，构造具有完整性和连通性的 最优分割结果，获得场景中的单个树木；步骤S5 分别对分割出的平面建筑物整体、建筑物细节信息以及单个树木的结果 进行输出，得到三维场景中不同物体的最终分割结果。
其中，所述的邻接关系和空间搜索机制，是按照点云数据中每个点的坐标进行空 间划分，建立k-d树实现三维空间的快速查找与搜索。其中，所述的基于距离标记的聚类如下步骤首先在点云数据中选择一个点并建 立其空间搜索机制，用来搜索其k近邻点，将与该点距离在设定的距离阈值约束范围内的 点归为一类；选择点云数据中的另一个点，判断与该点距离在设定的距离阈值约束范围内 的近邻点是否标记，如果全部未标记则赋予这些近邻点一个新的标记，如果近邻点中部分 已经标记则需要以出现频率最高的点的标记作为这些近邻点的标记；重复上述过程，直到 点云数据中的所有点都标记完为止。其中，所述的基于距离和法向量加权控制的聚类合并步骤如下(1)计算点云数 据中每一点的法向量，并估算每个聚类中重心点的法向量；(2)计算任意两个聚类之间的 距离、，并得到任意两个聚类之间的法向量夹角e ij ； dij表示第i和第j聚类之间的距离， e u表示第i和第j聚类的法向量夹角，i < j ； (3)构造加权控制的公式，建立各个聚类之 间的权值存储矩阵，用于查找最小权值，以获取合并聚类所需要的类号；所述加权控制是为 了控制和平衡合并过程中类间距离和类间法向量的影响，采用加权控制进行约束，其加权 控制条件确定如下 式中权值w是属于W，l]区间的一个常数，根据不同数据进行主观确定；由于距离 &与法向量夹角e u的度量单位不同，需要统一标准化 o 0表示e ij的标准差，O d表示dij的标准差，e表示所有e的均值，d表示所 有d的均值；(4)在剩余未合并的类中查找最小加权值所在的类号，得到进一步的合并，此 过程重复执行直到获得最优的分割结果。其中，所述估计法向量的步骤如下假设&是点云数据的一点，搜索点&的k近邻
点如利用最小二乘法对1和Po拟合平面，构造相关性矩阵= 1>,-扔(A -欣式中p是重
/=1
心点，表示如下歹=，通过SVD分解得到矩阵M的特征值、，、，、 ，()<、<、
7=1
<入3，将最小特征值对应的特征向量Vi作为点&的法向量(nx，ny, nz)，i = 1，2，. . . k，N 表示数据中总的点数。其中，所述计算点云数据中每一点的残差量的步骤如下(1)对平面上任意 一点P查找其k近邻点qi = (Xi，Zi)，并为点p及其近邻点确定平面表示如下 nx (x-x0) +ny (y-y0) +nz (z_z0) = 0,式中(nx, ny, nz)表示任意一点 p 与其 k 近邻点 确定的平面的法向量，(x0, y0, z0)表示由任意一点p及其k近邻点qi所确定的重心点的坐 标；(2)所确定的平面一定通过重心点，但是任意一点p不一定在同一个平面上，那么将任 意一点P到平面的欧氏距离作为该点的残差量；所以每一点Pi的残差量￡ (Pi)用于确定局 部平面的平滑性，其可以表示为e (p^ = nx (x^Xq) +ny (yryo) +nz (Zi_z0)。
其中，所述的建筑物整体分割方法中种子点的确定步骤如下(1)初始的种子点 队列的确定标准为将每一点的残差量进行排序￡ (Pl) ^ e (p2) U乞(Pn)，残差量 越小的点说明该点的局部平面越光滑，在此将具有最小残差量￡ (Pl)的点Pl作为初始种子 点；(2)更新的种子点队列的确定标准为I.在初始种子点扩张或者生长的过程之后，将剩 余的未标记的点按照残差量由小到大进行排序，可以将具有最小残差量的点作为下一次生 长的种子点；II.与此同时，每次种子点生长过程中残差量小于残差阈值的k近邻点加入种 子点的队列，得到更新的种子点队列。其中，所述的区域生长策略与平面一致性条件分别是所述的区域生长策略，首先 以残差量最小点作为种子点，根据平面一致性条件对种子点的k近邻点进行约束，获得与 种子点具有相似性质的一系列点的聚类；其次从种子点出发沿着平面光滑方向进行扩张 直到出现方向突变的点；所述平面一致性条件是对平面上的任意两点P和q对应的法向量 np和法向量 之间的夹角进行约束，规定在平面上的点该夹角必须小于设定的角度阈值 9 th°其中，所述的建筑物细节分割方法中种子点的确定方法是将每个点按照残差量进 行排序￡ (Pl) ^ e (p2) U e (Pn)，将具有最小残差量e (Pl)的点Pl作为初始种子 点；种子点进行区域扩充之后，在剩余的没有标记的点中选择残差量最小的点作为下个种 子点队列，以此类推。其中，所述局部连通区域是在搜索近邻点时设定距离阈值，必须搜索在距离阈值 范围内的近邻点，通过比较其法向量的一致性来确定连通区域的局部大小，目的是区分墙 面与窗户框棱。本发明的有益效果本发明应用于真实室外场景中不同形状物体的分割，适用于 三维点云数据，且数据中的建筑物应具有一定的平面性。本发明中的分割方法对点云数据 中的噪声不敏感，分割速度和准确较高。本发明采用了基于距离标记的聚类与加权控制的 聚类合并来检测场景中的单个树木；利用局部平面一致性约束条件和不同种子点选择方案 与区域生长策略，消除了建筑物与树木之间的遮挡与连接所产生的问题，有效地将场景中 的不同物体分割开。本发明的分割方法可以有效地将噪声点去除，消除了大量噪声对分割 结果的影响。对多个数据集的测试说明本发明可以有效地进行三维场景中树木和建筑物的 分割。本发明可应用于树木重建、虚拟漫游、城市规划和文化遗产保护等领域。


图1示出本发明整体算法的流程图；图2示出本发明单个树木的分割流程图；图3a和图3b示出本发明点云数据的残差量表示；图4a和图4b示出本发明点云数据的法向量表示；图5a至图5f示出本发明三维场景中不同物体分割的各个过程结果图；图6a和图6b示出本发明中不同物体分割的结果图；图7a_7c示出本发明建筑物整体与细节信息的分割结果；图8a至图8e示出本发明单个树木的分割结果；图9a至图9f示出本发明不同类型物体的分割及平面细节分割结果；
图10a至图10d示出本发明与Chen的分割算法的比较。
具体实施例方式下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本发明的理解，而对其不起任何限定作用。1.本发明方法概述(overview of approach)针对三维空间点云数据，本发明提出了一种三维场景中不同物体的分割方法。该 方法在分析不同形状物体特征的基础上，对具有散乱点结构的树木进行分割，对具有平面 性的建筑物进行整体的提取与细节分割，并用不同的标记分别对不同的物体进行标识。本 发明获得的分割结果可以广泛应用于树木的骨架提取、重建，提取的建筑物可应用于城市 建模、城市规划、虚拟漫游、文化遗产保护等。本发明的核心在于基于微分特性和平面一致性约束进行建筑物平面区域提取、基 于局部平面连通性不同与种子点确定方案的建筑物细节提取、基于加权控制的单个树木分 割。具体算法包括以下五个步骤(1)首先，对输入的无规则的、散乱的三维空间点云数据进行空间搜索机制的确定 与邻接关系的建立；所述的室外场景的三维空间点云数据(Point Cloud Data)是采用三维 激光扫描仪(3D Laser scanning)获得的场景原始三维点的坐标，简称为点云数据；(2)其次，通过对点云数据中的每一点及其k(k = 30)近邻点进行平面拟合 (plane fitting)可以计算出每一点的残差量(residual)，用来衡量局部平面光滑性 (smoothness)。根据残差量确定初始种子点(seed point)，利用平面一致性约束和区域生 长策略，将与种子点具有相似性质的点聚类，重新更新种子点队列，通过种子点扩张确定与 种子点属于同一平面的点，从而得到平面建筑物整体分割，形成平面建筑物整体与其它物 体的分割状态；(3)再其次，在平面建筑物整体分割结果的基础上，利用局部连通性进行区域的搜 索，根据细节信息的特殊性确定种子点选择的准则与种子点扩张策略，将建筑物中的细节 信息_窗户、门、屋顶等不同类型用不同标记提取出来；(4)然后，对于分割出的其它物体部分主要包括场景中的树木、地面、人、汽车、自 行车等，本发明中仅需要从其它物体部分中提取出单个的树木，具体步骤是根据邻接关系 和距离阈值约束构造初始的基于距离标记的聚类分块，对每两个聚类分块分别计算由距离 和法向量确定的权值，构造权值存储矩阵，通过最小化权值获得每次合并聚类所需要的类 号，以此获得最优的单个树木分割；(5)最后，分别对分割的建筑物平面区域、建筑物细节信息以及单个树木的结果进 行输出，得到三维场景中不同物体的最终分割结果。请参阅图1示出本发明方法的流程图。2.建筑物整体与其它目标物体的分割建筑物整体与其它目标物体的分割涉及到残差量计算，种子点选择以及基于平面 一致性约束的区域生长。具体的描述如下2. 1. 1 残差量表不(residual representation)由于建筑物具有平面性(planarity)的特点，因此定义残差量作为一个标准，用来衡量某一点与周围点是否在同一平面上。见图4a和图4b所示的数据1和数据3的残差 量表示，越平坦的地方残差量越小，在图中的颜色值也越深。(1)对任意一点p查找其k近邻点qi(i = 1,2,“汁)，并为p及其近邻点确定平 面表示如下nx (x-x0) +ny (y-y0) +nz (z_z0) = 0式中(nx，ny, nz)表示平面的法向量，(x0, y0, z0)表示由点p及其k近邻点确定 的重心点的坐标。(2)由于所有这些点不一定在同一个平面上，将点到平面的欧氏距离作为该点的 残差量，该残差量用于确定局部平面的平滑性，其可以表示为e (p^ = nx (x^Xq) +ny (yryo) +nz (Zi_z0)2. 1. 2种子点选择种子点的选择分为两个过程(1)初始的种子点队列；(2)更新后的种子点队列。
(1)初始的种子点队列的确定标准为将每个点的残差量进行排序 e (Pl) ^ e (p2)^ e (Pn)，残差量越小的点说明该点的局部平面越光滑，在此将具 有最小残差量￡ (Pl)的点Pl作为初始种子点；(2)更新的种子点队列I.在初始种子点扩张或者生长的过程之后，将剩余的未标记的点按照残差量由小 到大进行排序，每次将具有最小残差量的点作为下一次生长的种子点；II.与此同时，每次种子点生长过程中将残差量小于残差阈值的k近邻点加入种 子点的队列，得到更新的种子点队列。2. 1. 3基于平面一致性约束的区域生长基于平面一致性约束的区域生长过程如下I.根据局部平面的微分特性确定点云数据中每一点的残差量￡ (Pi), 并根据残差量的大小确定种子点(选择残差量最小的点作为种子点)，即 e (Pl)彡e (p2)彡...彡￡ (pn)中，选择？1作为初始种子点，并加入种子点队列，这个队 列记为SL ；II.从种子点？1出发，搜索其k近邻点，比较k近邻点的法向量与种子点的法向量 ~之间的夹角，即判断是否满足平面一致性约束条件(ns*np> 0T)；如果满足则将该点与 种子点归于同一类，记为&，实现同一平面点的聚类；III.为实现平面区域的平滑过渡，保证种子点队列的完整性需要判断与种子点具 有相似特性的点加入种子点队列。即如果￡ (Pi) <rth，则将Pi点加入更新的种子点队列；IV.此过程迭代执行，直到所有的点都已经标记为不同的聚类号；V.判断所得到每个聚类&的大小来过滤噪声点，如果& < St，则需要对这些类进 行额外的处理，对这些类中的每个点通过搜索近邻点所在的类号，用出现频率高的类号替 代；VI.返回最终的分割结果，记为R。利用本发明中提出的建筑物整体与其它目标物体的分割方法，可以形成三维场景 中建筑物平面区域与其它物体的分割状态。3.建筑物的细节分割方案
在提取的建筑物平面区域的基础上，将同一平面具有相互连通性即邻接点距离在 一定范围内，法向量的夹角小于给定角度阈值的点构成一个聚类，这样的聚类相当于以初 始点为中心，平面一致性条件为约束得到的聚类，在此种子点的选择不具备传递性，这样平 面建筑物区域就被分割成以连通性强的点为基本元素的聚类。建筑物细节分割的具体步骤 包括I.利用建筑物平面的整体分割结果R，将属于同一平面且具有连通性的点进行聚 类；II.以残差量最小的点为种子点进行局部搜索，将符合平面一致性条件的点形成 一个新的聚类；III.在剩余点中选择下一个种子点，重复上述过程，直到所有点都已经标记为止。4.单个树木的分割单个树木的分割是从复杂三维室外场景的点云数据中提取出具有树状结构的单 个树木。在上述建筑物整体与其它目标物体的分割的基础上，对于非建筑物的其它物体区 域进行分割，进一步提取出场景中的树木部分。该方法分为两个步骤，其一是基于距离标记 的聚类，其二是权值约束的聚类合并。4. 1基于距离标记的初始聚类请参阅图2所示的本发明的单个树木分割方法中初始聚类的基本流程图。设V是所获得三维点云数据的集合，V= {Pi|i = l，2，...n}，Pi = {x^y^zj.对 所有点云数据建立k-d树，用于快速搜索其k近邻点(k nearestneighboring point-KNN), 即通过计算P点到其他点的欧氏距离并选择距离最近的k个点作为该点的最近邻点。假设原始所有数据的标记(label)都为0 (表示都未标记过)，基于距离标记的初 始聚类方法如下(1)选择初始点&，利用k-d树搜索其k近邻点，并利用距离阈值Dth控制近邻点 的个数，避免噪声点的影响；将这些点标记为Id”作为初始的第一个聚类分块；(2)选择下一个标记为0的点，并搜索其周围在Dth范围内的k近邻点，判断这些 的标记是否全部为0 ；(3)如果全部为0则赋予这些点一个新的标记Id，形成一个新类，记为Sg ；如果不 全为0则统计出现频率最高的标记M作为该类中所有点的标记；(4)重复⑵，(3)，直到所有的点都已经标记完。4. 2加权控制的聚类合并对经过初始聚类的数据计算每一类的法向量(normal vector)表示，利用主成分 分析(PCA，Principle Component Analysis)的方法计算每个聚类中各个点的法向量，将每 个聚类各个点的法向量进行平均可以得到每个聚类重心点的法向量，以此表示每个聚类的 法向量。如图5a和图5b所示，给出了局部放大的树木、建筑物墙面的法向量特征，可以看 出建筑物的法向量分布均勻，但是树木的法向量分布无规律，且比较散乱。计算任意两个聚类之间的距离du，并得到任意两个聚类之间的法向夹角e ；为 了控制和平衡合并过程中距离和法向量的影响，采用加权控制进行约束，构造加权控制的 公式，建立各个聚类之间的权值存储矩阵，用于查找最小权值，以获取合并聚类所需要的类 号；其加权控制的公式确定如下
式中权值w是属于W，l]区间的一个常数，根据不同的数据主观确定。du(i < j) 表示第i和第j聚类之间的距离，e < j)表示第i和第j聚类的法向量夹角。由于距 离与法向量夹角e 的度量单位不同，需要统一标准化 o 0表示e u的标准差，o d表示的标准差，e表示所有e的均值，d表示所 有d的均值。在剩余未合并的类中查找最小加权值所在的类号，得到进一步的合并，此过程重 复执行直到获得最优的分割结果。实验结果与结论用C++语言实现了本发明所描述的方法，并且在几个不同的数据集上做了实验。 所有的实验都是在一台P4 2. 4G、1G内存、操作系统为Windows xp的PC机上完成的，显示 部分使用了标准的OpenGL图形函数库。实验中，使用了四组不同的数据来测试算法，数据1和数据3是利用Optech扫描 仪获得的室外场景点云数据，数据2和数据4是利用Faro激光扫描仪LS 880 HE40获得的 室外场景点云数据。数据1包括401462个采样点，场景中不仅包括建筑物、树木，而且包括 地面、汽车、自行车等物体。数据2包括232794个采样点，场景中仅包括地面和建筑物。数 据3包括412730个采样点，扫描的场景中包含建筑物、地面一排整齐的灌木丛等。数据4 包括127286个点，扫描的场景中包含规则的建筑物部分与灌木丛以及部分小亭子的屋檐。算法实现过程中，k近邻点搜索中k = 30(如果所采用的数据密度比较稀疏可以 适当地增加搜索的个数)。距离阈值Dth主要是取与近邻点距离的最小值(MinDist)乘以 一个系数获得。平面一致性条件中涉及的角度阈值9 ,的范围为10° 15°，残差阈值rth 的确定是由该数据中所有点的残差量进行升序排序之后取第95%的残差量作为阈值。噪声 过滤时的阈值St是根据残差量分布设置的，将残差量比较大的点过滤掉。表1列出了实验数据的情况，包括原始数据包含的点数，并给出了经过分割后的 建筑部分点的个数，其他物体以及去除的噪声点数等。表2给出了分割后的数据3中出现 的7个灌木的体积测量结果，说明单个树木的提取在林业测量方面有广泛的应用。表1 实验数据 表2:树木的测量数据 附图3a和图3b分别给出了数据1和数据3的残差量的表示结果。建立残差量与 颜色值之间的映射关系，将残差量用不同的颜色表示出来。附图4a和图4b分别给出了数据3的法向量估计结果，用图中的黑色表示。图4a 是局部放大的树的法向量。图4b是局部建筑物部分的法向量。附图5a_图5f说明了本发明中的三维场景中不同物体分割过程中的各个不同结 果，图5a_图5f分别列出了原始数据1，分割出的建筑物平面区域以及其它物体，建筑物的 细节信息分割结果，其它物体部分，经过基于距离标记和加权控制的聚类合并结果以及最 终的单个树木分割结果。附图6a_图6d给出了数据2的建筑物分割结果，由于该数据中不包含树木所以不 需要对树木进行提取。图6a是初始数据3经过建筑物整体分割的结果，可以看出蓝色标识 的建筑物作为一个整体，绿色表示的草地分割为一个整体；图6b是单独的建筑物部分，图 6c是分割出的草地，图6d是建筑物区域的细节分割，将两个相交的墙面分别分割出来并且 每个墙面上的窗户玻璃或者空调都可以分割开。附图7a_图7c给出了数据3的建筑物分割结果，图7a是数据3的三维空间点云 数据，图7b是数据中平面区域的分割提取，图7c是对数据中平面区域的细节分割结果，可 以看出细节分割可以准确地将建筑的墙面，窗框以及部分玻璃、屋顶分开。附图8a_图8b分别表示原始数据3以及经过基于距离标记的初始聚类结果。附 图8c给出了图7b结果经过加权控制进行的聚类合并后的单个树木的分割结果，并在附图 8d-图8e中从三个不同角度对数据3中分割的单个树木进行显示。附图9a_图9f给出了数据4的分割结果，该图从不同的角度反映了本发明中所提 出方法的有效性。图9a是建筑物整体的粗分割结果，图9b是去掉噪声后的数据，图9c获 得场景中的树冠部分，图9d是去掉噪声后的建筑物平面区域，经过细节信息分割后的结果 如图9e，提取的窗户部分如图9f。可以看出使用本发明中的方法可以有效地将场景中的物 体分为建筑部分、树木部分以及其他部分，并可以去掉噪声点，在分割的同时保证了物体的 完整性。附图10a至图10d给出了 Chen算法(第二行)和该发明中所提出的方法(第一 列)的结果比较图，应用两个不同的数据进行算法的比较。从中可以看出Chen的算法去掉 了数据中的一部分点(算法中要去掉一些confidence rate很小的点)，但是也会将一些有 效的数据去掉；同时Chen的方法无法给出建筑物的细节分割信息；而我们的方法不仅给出 了建筑物中各个细节信息的分割，而且分割方法具有很强的鲁棒性，对噪声不敏感。本方法的特色和创新在于根据残差量特点、平面一致性约束条件、区域生长策略 和种子点队列的更新实现平面区域的平滑扩张与过渡获得具有平面特征的建筑物区域，并 利用局部连通区域搜索及种子点扩张标准实现建筑物部分细节特征的分割，利用基于距离 标记的初始聚类和加权控制的聚类合并方法提取出场景中的树木，最后将其统一则将整个
13场景分为符合视觉感知结果的、不同类型的、并具备各自独立形状特征的物体。在很多树木、建筑物建模和识别软件中，都需要对单个树木或者单个建筑物进行 操作，所以场景中单个树木的分割可以有效地将具有树木的结构和形状特征的数据点聚 类，为单个树木的骨架提取、重建以及树木测量等提供重要的数据，同时建筑物的分割与提 取也为后续进行建筑物的重建(包括细节信息的重建)与识别等提供数据支持。本发明的 方法可以通过不同物体的分割算法很方便地得到三维场景中单个树木与建筑物，并产生建 模软件所使用的数据。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
一种三维场景中不同物体的分割方法，其特征在于，该方法包括如下步骤步骤S1采用三维激光扫描仪获取的室外场景的原始三维点坐标称为三维空间的点云数据，将点云数据作为输入模型，分别建立点云数据的邻接关系和空间搜索机制，估计点云数据中每一点的法向量，并计算点云数据中每一点的残差量；步骤S2根据局部平面的微分特性确定的点云数据中每一点的残差量，并根据残差量的大小确定种子点，选择残差量最小的点作为种子点；从种子点出发，利用区域生长策略和平面一致性约束条件，查找种子点的k近邻点，比较k近邻点的法向量与种子点的法向量，获得具有相同或者相近法向量的点并进行平面区域的聚类；将k近邻点中残差量小于给定残差阈值的点加入种子点队列，以更新种子点队列，保证种子点队列的完整性，进而得到平面区域的平滑过渡；此过程迭代执行，直到点云数据中的所有点都已经标记为不同的聚类号，这些平面聚类的关系形成了平面建筑物整体与其它物体的分割状态；步骤S3利用获得的平面建筑物整体分割结果，选择不同于建筑物整体分割的种子点策略，仅以残差量最小的点为种子点进行局部连通区域搜索；在此种子点的选择不具备传递性，将与种子点距离在设定距离阈值范围内、法向量的夹角小于角度阈值的k近邻点进行局部连通区域的聚类；在剩余点中选择下一个种子点，重复上述过程，直到所有点都已经标记完为止；这样平面建筑物区域的墙面、窗户和门等细节信息被标记为不同类型，从而实现建筑物的细节分割；步骤S4基于场景中分割出的其它物体对单个树木进行分割，通过对其它物体部分进行基于距离标记的聚类，构造三维空间的初始聚类分块；然后利用基于距离和法向量加权控制约束的聚类合并，即为初始分块的各个聚类构造权函数以平衡类间距离与类间法向量夹角的影响；进而为所有聚类两两之间建立加权值矩阵，用于寻找加权函数确定最小值时两个聚类的标号；按照聚类的标号实现初始聚类的合并，构造具有完整性和连通性的最优分割结果，获得场景中的单个树木；步骤S5分别对分割出的平面建筑物整体、建筑物细节信息以及单个树木的结果进行输出，得到三维场景中不同物体的最终分割结果。
2.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述的邻接关 系和空间搜索机制，是按照点云数据中每个点的坐标进行空间划分，建立k-d树实现三维 空间的快速查找与搜索。
3.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述的基于距 离标记的聚类如下步骤首先在点云数据中选择一个点并建立其空间搜索机制，用来搜索其k近邻点，将与该 点距离在设定的距离阈值约束范围内的点归为一类；选择点云数据中的另一个点，判断与该点距离在设定的距离阈值约束范围内的近邻点 是否标记，如果全部未标记则赋予这些近邻点一个新的标记，如果近邻点中部分已经标记 则需要以出现频率最高的点的标记作为这些近邻点的标记； 重复上述过程，直到点云数据中的所有点都标记完为止。
4.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述的基于距 离和法向量加权控制的聚类合并步骤如下(1)计算点云数据中每一点的法向量，并估算每个聚类中重心点的法向量；(2)计算任意两个聚类之间的距离du，并得到任意两个聚类之间的法向量夹角eij; dij表示第i和第j聚类之间的距离，0 ij表示第i和第j聚类的法向量夹角，i < j ；(3)构造加权控制的公式，建立各个聚类之间的权值存储矩阵，用于查找最小权值，以 获取合并聚类所需要的类号；所述加权控制是为了控制和平衡合并过程中类间距离和类间法向量的影响，采用加权 控制进行约束，其加权控制条件确定如下式中权值w是属于W，i]区间的一个常数，根据不同数据进行主观确定； 由于距离与法向量夹角e 的度量单位不同，需要统一标准化 0 ij = (eiri)/0 e, dij = (dird)/odo 0表示e u的标准差，O d表示的标准差，T表示所有e的均值，H表示所有d 的均值；(4)在剩余未合并的类中查找最小加权值所在的类号，得到进一步的合并，此过程重复 执行直到获得最优的分割结果。
5.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述估计法向 量的步骤如下假设Po是点云数据的一点，搜索点Po的k近邻点qi，利用最小二乘法对qi和&拟合平面，构造相关性矩阵= t(Pl -刃(凡式中i是重心点，表示如下歹二 f ，通过SVD 分解得到矩阵M的特征值X^XyXyjSXiCXsCX 3，将最小特征值对应的特征向量力作为点Po的法向量(nx，ny，nz)，i = 1，2，. . . k，N表示数据中总的点数。
6.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述计算点云 数据中每一点的残差量的步骤如下(1)对平面上任意一点p查找其k近邻点qi(Xi，yi，Zi)，并为点p及其近邻点确定平面 表示如下 式中(nx，ny, nz)表示任意一点p与其k近邻点确定的平面的法向量，(x0, y0, z0)表 示由任意一点P及其k近邻点qi所确定的重心点的坐标；(2)所确定的平面一定通过重心点，但是任意一点p不一定在同一个平面上，那么将任 意一点P到平面的欧氏距离作为该点的残差量；所以每一点Pi的残差量￡ (Pi)用于确定局 部平面的平滑性，其可以表示为
7.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述的建筑物 整体分割方法中种子点的确定步骤如下(1)初始的种子点队列的确定标准为将每一点的残差量进行排序 e (Pl) ^ e (p2)^ e (Pn)，残差量越小的点说明该点的局部平面越光滑，在此将具有最小残差量￡ (Pl)的点Pl作为初始种子点；(2)更新的种子点队列的确定标准为I.在初始种子点扩张或者生长的过程之后，将剩余的未标记的点按照残差量由小到大 进行排序，可以将具有最小残差量的点作为下一次生长的种子点；II.与此同时，每次种子点生长过程中残差量小于残差阈值的k近邻点加入种子点的 队列，得到更新的种子点队列。
8.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述的区域生 长策略与平面一致性条件分别是所述的区域生长策略，首先以残差量最小点作为种子点，根据平面一致性条件对种子 点的k近邻点进行约束，获得与种子点具有相似性质的一系列点的聚类；其次从种子点出 发沿着平面光滑方向进行扩张直到出现方向突变的点；所述平面一致性条件是对平面上的任意两点P和q对应的法向量np和法向量nq之间 的夹角进行约束，规定在平面上的点该夹角必须小于设定的角度阈值9 th。
9.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述 的建筑物细节分割方法中种子点的确定方法是将每个点按照残差量进行排序 e (Pl)彡e (p2)彡…彡e (Pn)，将具有最小残差量e (Pl)的点Pl作为初始种子点；种 子点进行区域扩充之后，在剩余的没有标记的点中选择残差量最小的点作为下个种子点队 列，以此类推。
10.如权利要求1所述的三维场景中不同物体的分割方法，其特征在于，所述局部连通 区域是在搜索近邻点时设定距离阈值，必须搜索在距离阈值范围内的近邻点，通过比较其 法向量的一致性来确定连通区域的局部大小，目的是区分墙面与窗户框棱。
全文摘要
本发明公开一种三维场景中不同物体的分割方法，针对激光扫描获得的室外场景三维点云数据，建立点云数据的邻接关系和空间搜索机制，估计每一点的法向量和残差量；确定将残差量最小的点作为种子点，利用平面一致性约束条件和区域生长策略进行平面聚类，形成三维场景中平面建筑物整体与其它物体的分割状态；对分割出的建筑物整体部分，建立平面建筑物区域的局部连通搜索，利用不同的种子点准则，将同一平面具有连通性的点构成聚类，实现建筑物平面的细节分割；对分割出的其它物体构造基于距离标记的初始聚类分块，建立加权控制约束进行聚类合并，达到树木的最优分割结果；对多个数据集的测试说明本发明可以有效地进行三维场景中树木和建筑物的分割。
文档编号G06T7/00GK101877128SQ200910243730
公开日2010年11月3日 申请日期2009年12月23日 优先权日2009年12月23日
发明者宁小娟, 张义宽, 张晓鹏, 李红军, 王映辉 申请人:中国科学院自动化研究所;西安理工大学