基于车载激光扫描点云的路灯杆自动提取技术的制作方法
【专利摘要】本发明公开了基于车载激光扫描点云的路灯杆自动提取技术，包括以下步骤：进行过滤地面点以及把非地面点分割成超体素集的预处理；对场景中所有可能是路灯的杆状物体进行定位；进行位置导向分割得到杆状物体；通过提取的杆特征和全局特征用来描述分割得到的杆状物体；用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训练好的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类识别出路灯杆。本发明算法在路灯残缺或者被遮挡等复杂的环境下也有良好的鲁棒性，并且算法的时间复杂度很低，可以快速地应用到大规模场景的点云。
【专利说明】
基于车载激光扫描点云的路灯杆自动提取技术
技术领域
[0001] 本发明设及智能交通系统W及智慧城市的建设，尤其设及基于车载激光扫描点云 的路灯自动提取技术。
【背景技术】
[0002] 点云的路灯杆提取方法目前有分为=大类，分别是基于形状特征的算法、基于先 验知识的算法W及基于形状模板匹配的算法。Yokoyama等人在Internat ional Journal of CAD/CAM发表的论文《Detection and classification of pole-like objects from mobile laser scanning data of urban environments》中首先把输入点云的地面点进行 过滤，接着使用K近邻算法对点云进行分割，下面使用拉普拉斯算子对分割后的点云进行平 滑处理来除去噪点的影响，最后使用主成分分析对点云进行分类提取出杆状物体。Sherif 等人在会议Proceedin邑S of the 2011 IEEE International Workshop on Multi- Platform/Multi-Sensor Remote Sens ing and Mapping发表的论文《Detection of road poles from mobile terrestrial laser scanning point clouds》中首先对输入的点云 建立K的对便于邻域捜索，接着使用多个值来测试K近邻聚类的效果，从中选择一个最好的值 进行聚类。接着根据K近邻的分割和主成分分析分析计算出点的协方差矩阵的特征值进行 进一步的分割，最后拟合出圆柱形从而提取出路灯杆。W上的两种算法都用到了 K近邻聚类 算法来聚类点，运种算法对于路灯杆被遮挡的场景下分割性能会受到影响。从而影响到了 上述算法的提取路灯杆的性能。化等人在会议Proceedings of the 19th IE邸Internat ional Conference on Geoinformatics发表的论文《A novel approach to extracting street lamp from vehicle-borne laser data》中首先把点云投影到平面进行网格化，接 着计算出每一个网格内最大的高度值，即是点坐标的Z值。接下来设置一个高度的阔值来提 取路灯杆，如果网格内最大的高度值高于运个阔值，运个网格内的点就当做是路灯杆。但是 该算法有两个较大的弊端。第一，该算法很容易把高于路灯杆高度的其他物体也检测为路 灯杆，造成虚景率较高;第二，对于不同的输入点云数据，该算法的高度阔值需要重新进行 人工调整，算法自动化程度较低。Yu等人在IE趾Transactions on Geoscience and Remote Sens ing发表的论文《Semiautomated extraction of street light poles from mobi Ie I idar POint-cIouds》中首先过滤路面点，接着根据空间几何距离进行初步的聚 类，接下来人工判断路灯杆和其他物体是否连接在一起，若连接在一起则使用N-CUt (Normalized cut)算法进行分离。最后使用事先选定好的路灯杆的模板进行匹配，从而提 取出路灯杆。但是该算法需要人工判断是否进行分割，算法的自动化程度不够高。
【发明内容】
[0003] 本发明的目的在于克服上述现有技术的不足，提供一种路灯杆在被遮挡的情况下 也不受影响的基于车载激光扫描点云的路灯杆自动提取技术。
[0004] 为实现上述目的，本发明采用W下技术方案：
[0005] 基于车载激光扫描点云的路灯杆自动提取技术，包括W下步骤：
[0006] S1、进行过滤地面点W及把非地面点分割成超体素集的预处理；
[0007] S2、对场景中所有可能是路灯的杆状物体进行定位；
[0008] S3、进行位置导向分割得到杆状物体；
[0009] S4、通过提取的杆特征和全局特征用来描述分割得到的杆状物体；
[0010] S5、用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训 练好的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类，最终识别出 路灯杆。
[0011] 步骤Si具体包括W下步骤：
[0012] S11、根据车载激光扫描系统得到的行车轨迹数据对原始点云进行分割成段；
[0013] S12、使用基于随机抽样一致性算法对每段数据进行地面点的过滤；
[0014] S13、使用超体素的分割算法把非路面点分割成超体素集，计算每一个超体素包括 点的数目、最高的点、最低的点、点集重屯、、投影的凸包面积W及超体素的包围盒的特征。
[0015] 步骤S2具体包括W下步骤：
[0016] S21、获取初始定位图；
[0017] S22、若获取的点云道路两边密度差异较大，则使用球体下落算法获得最终定位 图，若密度差异不大则直接生成最终定位图；
[0018] S23、最终定位图生成。
[0019] 步骤S3具体包括W下步骤：
[0020] S31、提取杆状物体的竖杆部分，根据重屯、条件、比例条件和整体条件进行超体素 的分类，从而分割出杆状物体；
[0021] S32、提取杆状物体的灯泡部分。
[0022] 步骤S4具体包括W下步骤：
[0023] S41、计算路灯杆杆状特征；
[0024] S42、计算路灯杆全局特征。
[0025] 步骤S5具体为描述杆状物体的特征向量归一化，接着使用人工标记好的数据对分 类器支持向量机和随机森林进行训练，最后使用分类器对分割出的杆状物体进行分类。
[0026] 采用上述技术方案后，本发明与【背景技术】相比，具有如下优点：
[0027] 本发明算法在路灯残缺或者被遮挡等复杂的环境下也有良好的鲁棒性，并且算法 的时间复杂度很低，可W快速地应用到大规模场景的点云。对于智能交通系统和智慧城市 的建设有着很好的推动力，从而本发明有着重要的实际应用价值。
【附图说明】
[0028] 图1为本发明方法的流程图；
[0029] 图2为路灯杆提取每一阶段的效果图，其中图2(a)为原始S维点云场景；图2(b)为 地面点过滤效果图；图2(c)为超体素分割效果图；图2(d)为杆状物体的定位示意图；图2(e) 为获取的杆状物体的位置信息和超体素的特征；图2(f)为杆状物体的分割；图2(g)为特征 计算;图2化)训练分类器;图2(i)为提取的路灯杆。
[0030] 图3为点云定位图生成过程效果图，其中图3(a)为原始S维点云场景；图3(b)为点 云网格化；图3(c)为网格化点云中的一个网格;图3(d)为初始定位图，圈内表示图3(c)中的 特定网格对应的像素；图3(e)为最终定位图；图3(f)为杆状物体的位置，图上的点表示最后 检测到的杆状物体的位置；
[0031] 图4为采用球体下落算法的示意图，其中图4(a)初始化；图4(b)为捜寻符合条件的 超体素，并且计算从球屯、到超体素重屯、的平均距离；图4(c)为凸包面积的计算；图4(d)为球 体下落终止条件；
[0032] 图5为杆状物体竖杆的提取示意图，其中图5(a)为杆状物体的超体素；图5(b)为一 个超体素的重屯、到检测出的杆状物体位置的距离；图5(c)为超体素上的点到检测出的杆状 物体位置的距离;图5(d)为提取出的杆状物体的竖杆部分；
[0033] 图6为提取杆状物体的路灯部分的过程示意图，图6(a)为添加种子超体素集；图6 (b)为捜寻临近超体素集；图6(c)超体素高度的位置关系；图6(d)为高度上限；图6(e)为偏 移距离；
[0034] 图7为训练样本，其中图7(a)为正的训练样本;图7(b)为负的训练样本。
【具体实施方式】
[0035] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并 不用于限定本发明。
[0036] 实施例
[0037] 本发明提出的基于移动车载激光扫描点云路灯杆自动提取技术的实施步骤如下：
[0038] S1、进行过滤地面点W及把非地面点分割成超体素集的预处理
[0039] S11、根据车载激光扫描系统采集到的行车轨迹数据，将原始点云沿着道路的方向 进行分割成段；
[0040] S12、对于每一段的点云数据，使用基于RANSAC(随机抽样一致性算法)的方法来过 滤地面点。第一次平面拟合得到的内群点集的平均高度作为地面点的平均高度。接下来在 每次平面拟合迭代中，计算拟合得到的内群点集中未分类点到该次拟合平面的距离，若距 离小于事先设定的阔值，则该未分类点归类于地面点。每次平面拟合迭代的输入点集都是 未分类的点。平面拟合迭代一直到内群点集中存在一个点大于地面点的平均高度加1或者 内群点集中点的数目保持不变，原始S维点云场景见图2(a)，地面过滤效果见图2(b)。
[0041] S13、对非地面点进行超体素分割，使用超体素的分割算法把非地面点分割成超体 素集，超体素的分割结果见图2(c)，接着计算每一个超体素的特征，把超体素的点投影到平 面并计算其凸包，接着使用=角形有向面积来计算凸包的面积W及其他特征。超体素的特 征包括:点的数目、最高的点、最低的点、点集重屯、、投影的凸包面积、超体素的包围盒。
[0042] S2、对场景中所有可能是路灯的杆状物体进行定位;定位步骤包括：
[0043] S21、获取初始定位图；
[0044] (1)网格化过滤
[0045] 非地面点首先沿着X轴和y轴划分为网格，见图3(a)所示的原始=维点云场景图和 图3(b)所示的点云网格化的效果图，接下来沿着Z轴计算出每一个网格中最大的Z值，如果 运个最大的Z值在射线设定的范围化l?，hhigh)内，则保留运个网格内的点，否则删除网格内 的点。
[0046] (2)投影
[0047] 见图3(c)网格化点云中的一个网格，对于网格内的每一个点p(x，y，z)，公式（1)被 用于求出每一个网格内所有f (Z)的和，其中hlamp表示为路灯杆的高度，运个高度可W通过 在点云中手动测量出。每一个网格内所有f (Z)的和作为定位图的像素灰度值，由于图像灰 度值的范围在[0-25引之间，因此需要求出最大f (Z)的和进行归一化。所W接着求出所有网 格中最大的f(z)的和，运个值标记为f/。
[004引
（1)
[0049] (3)密度差异化处理
[0050] 若只用到了一个扫描头的数据，道路的两旁点云密度相差较大，运个时候需要降 低f/的值。用公式f/=曰? f/来完成(本例中曰值大小为0.67)。
[0051 ] (4)初始定位图生成
[0052]当f/获得后，公式(2)被用来进行归一化生成初始定位图Fnfk表示标记为k的网格 的f( Z)的巧。所有网格都经过公式(2)的处理。M为像素灰度值的最大值255。
[005；3] 城
[0054]巧h米新生成的图像再运用高斯差算法除去图像的低频信息，保留高频信息，见 W下的公式(3)，从而生成了初始定位图，见图3(d)所示的初始定位图，图中的圈内表示图3 (C)中的特定网格对应的像素。
[0化5] F=F-Gaussian(F) (3)
[0056] S22、若获取的点云道路两边密度差异较大，则使用球体下落算法获得最终定位 图，若密度差异不大则直接生成最终定位图；
[0057] (1)下落条件
[0058] 在每一个网格中，如果运个网格内有足够多的点大于一定的阔值。并且最大Z坐标 的值大于一定的阔值。那么一个半径为n的虚拟球体放置在运个网格上的最高点上准备下 落，见图4(a)，当球屯、到达地面的时候，球体停止下落，见图4(d)。
[0059] (2)捜寻符合条件的超体素
[0060] 在球体下落的过程中，如果有足够多的超体素的重屯、在球体的半径范围内（见图4 (b)所示捜寻符合条件的超体素，并且计算从球屯、至超体素重屯、的平均距离），并且运些超 体素的平面投影凸包面积小于一定的阔值St(见图4(c)凸包面积的计算），运个时候球体下 落的位置就可能是路灯杆的位置，需要加强运个位置的检测，即提高定位图中运个位置的 像素灰度值，让其更亮。
[0061] (3)添加相应的像素值
[0062] 检测出定位图上需要加强灰度值的位置后，需要计算灰度值增加量。灰度值增加 量与球体下落的过程遇到的符合条件的超体素的数目和超体素距球体中屯、的位置有关系。 最终定位图的反向图见图3(e)。
[0063] S23、最终定位图生成。
[0064] 当球体下落算法对于所有的网格都执行后，最终的定位图生成。运个时候设置一 个像素灰度值Pt,使用广度优先捜索算法获得连接区域（connected area)，当获得连接区 域W后，每一个区域的中屯、点就当作是杆状物体的位置，见图2(d)杆状物体的定位和图3 (f)(图中的点表示最后检测到的杆状物体的位置）。每一个检测到的位置被赋予一个唯一 的ID号，见图2(e)。
[0065] S3、进行位置导向分割得到杆状物体
[0066] 位置导向分割分为两个主要的步骤，第一步是杆状物体竖杆的提取;第二步是杆 状物体路灯泡部分的提取。位置导向分割主要是把未分类的超体素根据检测出的位置而进 行分类，从而分割出杆状物体。检测出的每一个杆状物体的位置都进行超体素的分类。运个 分类的顺序由杆状物体的位置所对应的最终生成定位图上像素灰度值大小所决定。灰度值 越大，运个杆状物体的位置越先进行超体素的分类。具体分析如下：
[0067] (1)提取杆状物体的竖杆部分
[0068] 位置导向分割首先提取杆状物体的竖杆部分，根据路灯杆的高度和横截面积运两 个特征，=个条件被设计出来用于超体素的分类。
[0069] 重屯、条件
[0070] 见图2(f)所示的杆状物体的分割，通常来说路灯杆是垂直于路面，并且在一个网 格内路面点的Z坐标几乎都是一样的。所W -个未分类的超体素的重屯、g到一个检测出的位 置Ik的距离dis(g，lk)可W由公式4计算获得。
[0071]
(4)
[0072] (Xg，yg)和(1?,:!?)分别是未分类的超体素的重必g和检测出的位置Ik的平面坐 标。dis(g，lk)的值应该小于dg，见图5(a)所示的杆状物体的超体素W及图5(b)所示的一个 超体素的重屯、到检测出的杆状物体位置的距离。
[0073] 比例条件
[0074] 一个未分类超体素上的点Ps到检测出的位置Ik的距离也可W由上述的公式4计算 获得。运个距离应该小于din，见图5(C)所示的超体素上的点到检测出的杆状物体位置的距 离。符合此条件的点占未分类超体素内全部点的比例应该高于M本例中A设置为0.5)。
[00巧]整体条件
[0076] 满足W上两个条件的未分类的超体素集Sk可W计算获得。如果运个超体素集Sk内 超体素的数目N(Sk)大于事先设定的阔值m，并且Sk上面所有超体素的点的数目Np(Sk)大于 事先设定的阔值np，那么检测出的位置Ik的ID号将被赋值给超体素集Sk内所有的超体素，见 图5 (d)所示提取出的杆状物体的竖杆部分。
[0077] (2)提取杆状物体的灯泡部分
[0078] 运一步主要是提取路灯杆的上部灯泡部分，从一个路灯杆的构造观察可W得出如 果一个未分类的超体素距分割得出的杆状物体的竖杆的顶端很近，并且在其上部，同时运 个超体素在检测位置一定范围内，那么就可W推断出运个未分类的超体素很有可能属于运 个检测出的位置的杆状物体。基于W上观察，本步骤的详细过程如下所示。
[0079] 添加种子超体素
[0080] 首先，在位置1止，上一步骤分割得到的杆状物体的顶点PpeUpe, ype，Zpe)可W计算 获得（即在位置Ik上分类得到的超体素集Sk的顶点）。超体素的重屯、在该顶点。长度范围内 的超体素集可W捜索得到，见图6(a)所示的添加种子超体素集的示意图。运样的超体素集 作为种子超体素集Sseed被添加进队列Q里。种子超体素集Sseed内的超体素被添加进队列的顺 序由超体素的重屯、到顶点Ppe的距离所决定，距离越小，越先被添加进队列Q中。接下来队列Q 里的首元素被作为种子超体素 U并且被移出队列Q。
[0081 ] 扩展
[0082] 获得种子超体素 U后，U的重屯、临近范围。长度内的未分类的超体素集可W获得， 见图6(b)所示的捜寻临近超体素集。接下来设置了=个添加超体素集中超体素 Sn到队列Q 的条件，W下是=个条件。
[0083] (I)U的最高点Z坐标的值要小于Sn内最低点的Z坐标加上Ig的值，见图6 (C)所示的 超体素高度的位置关系。
[0084] (2)Sn的最高点的Z坐标的值要小于已估算出的路面高度的值hg加上路灯杆高度 hlamp的值，见图6(d)所示的高度上限。
[0085] (3)Sn的包围盒的八个角点到检测位置Ik的距离的最大值要小于cU，见图6(e)所示 的偏移距离，此距离可W由公式4获得。
[0086] 超体素分类
[0087] 满足W上=个条件的未分类的超体素归类于已经属于位置Ik的超体素集Sk(即把 Ik的ID号赋值给满足W上=个条件的未分类的超体素集）。同时把运些超体素集中的超体 素按照超体素的重屯、到种子超体素的重屯、的距离长度，从小到大依次添加进入队列Q。
[0088] 扩展的终止条件
[0089] 接下来把队列Q中的首元素作为一个新的种子超体素。W上的运个过程一直重复 到队列Q为空为止。每一个检测出的位置都进行运种位置导向分割来分类未分类的超体素。 分割后的效果图见图2(f)。分割得到的物体的最高点PsuUsu, ysu，Zsu)可W计算获得。接下来 向量Vh可W由公式Vh = ( Xsu-Xpe，ysu-ype，Zsu-Zpe )。最后向量Vh与向量(0，0，1 )之间的夹角可 W计算得出用于后面的分类。
[0090] S4、通过提取的特征用来描述分割得到的杆状物体
[0091] 两大类特征(杆特征和全局特征)被设计出用来描述分割得到的杆状物体，见图2 (g)所示的特征计算示意图。
[0092] (1)计算杆特征
[0093] 完成提取杆状物体的竖杆部分的步骤后，W下九个特征被计算得出来描述杆状物 体的竖杆部分，分别是：（1)杆的高度；（2)杆上点的平均高度；（3)杆上点的高度的标准差； (4)杆上超体素二维投影凸包面积的平均值；（5)杆上超体素二维投影凸包面积的标准差； (6)杆的二维投影的凸包面积；（7)杆的体积；（8)杆上点的数目；（9)杆上超体素二维投影凸 包面积小于St的超体素的数目。
[0094] (2)计算全局特征
[0095] 完成提取杆状物体的灯泡部分的步骤后，W下十个特征被计算得出用来描述物体 的整体特征，分别是：（1)物体高度；（2)物体上所有点的平均高度；（3)物体上所有点的高度 标准差；（4)物体对应最终定位图的像素灰度值的大小(见图3(e)); (5)物体上所有点的二 维平面投影凸包面积；（6)物体体积；（7)物体的重屯、与几何重屯、的高度差；（8)物体上所有 点的数目；（9)在分割的第一个步骤后得到的竖杆上的顶点Im范围内的超体素的数目；（10) 向量Vh与向量(0,0，1)之间的夹角。
[0096] S5、分类
[0097] 通过事先训练好的分类器识别出路灯杆和非路灯杆。描述杆状物体的特征向量在 分类之前要进行归一化处理。使用人工标记好的数据集对分类器支持向量机(SVM)和随机 森林(random foreSt)进行训练，训练样本见图7 (a)正的训练样本和图7 (b)负的训练样本。 接着使用训练好的支持向量机和随机森林对分割出来的杆状物体进行分类，从而最终提取 出路灯杆。
[0098] W上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明掲露的技术范围内，可轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该W权利要求的保护范围 为准。
【主权项】
1. 基于车载激光扫描点云的路灯杆自动提取技术，其特征在于:包括以下步骤： 51、 进行过滤地面点以及把非地面点分割成超体素集的预处理； 52、 对场景中所有可能是路灯的杆状物体进行定位； 53、 进行位置导向分割得到杆状物体； 54、 通过提取的杆特征和全局特征用来描述分割得到的杆状物体； 55、 用人工标注好的训练样本对随机森林和分类器支持向量机进行训练，使用训练好 的随机森林和分类器支持向量机对步骤S3分割出来的杆状物体进行分类，最终识别出路灯 杆。2. 根据权利要求1所述的基于车载激光扫描点云的路灯杆自动提取技术，其特征在于： S1具体包括以下步骤： 511、 根据车载激光扫描系统得到的行车轨迹数据对原始点云进行分割成段； 512、 使用基于随机抽样一致性算法对每段数据进行地面点的过滤； 513、 使用超体素的分割算法把非路面点分割成超体素集，计算每一个超体素包括点的 数目、最高的点、最低的点、点集重心、投影的凸包面积以及超体素的包围盒的特征。3. 根据权利要求1所述的基于车载激光扫描点云的路灯杆自动提取技术，其特征在于： S2具体包括以下步骤： 521、 获取初始定位图； 522、 若获取的点云道路两边密度差异较大，则使用球体下落算法获得最终定位图，若 密度差异不大则直接生成最终定位图； 523、 最终定位图生成。4. 根据权利要求1所述的基于车载激光扫描点云的路灯杆自动提取技术，其特征在于： S3具体包括以下步骤： 531、 提取杆状物体的竖杆部分，根据重心条件、比例条件和整体条件进行超体素的分 类，从而分割出杆状物体； 532、 提取杆状物体的灯泡部分。5. 根据权利要求1所述的基于车载激光扫描点云的路灯杆自动提取技术，其特征在于： S4具体包括以下步骤： 541、 计算路灯杆杆状特征； 542、 计算路灯杆全局特征。6. 根据权利要求1所述的基于车载激光扫描点云的路灯杆自动提取技术，其特征在于： S5具体为描述杆状物体的特征向量归一化，接着使用人工标记好的数据对分类器支持向量 机和随机森林进行训练，最后使用分类器对分割出的杆状物体进行分类。
【文档编号】G06T7/00GK106022381SQ201610354980
【公开日】2016年10月12日
【申请日】2016年5月25日
【发明人】李军, 吴凡, 温程璐, 陈平, 陈一平, 贾宏, 王程
【申请人】厦门大学