激光雷达点云数据的静态点去除方法和装置与流程

1.本发明涉及激光雷达探测技术领域及无人车技术领域，尤其涉及一种基于点云地图的激光雷达点云数据的静态点去除的方法和装置。


背景技术：

2.激光雷达是无人车常用的感知传感器之一，通过其输出的激光雷达点云数据中的点云点的分布能够直观的表征环境中目标或障碍物的分布。在无人车自主行驶过程中，需要在线地、实时地分析周围环境，尤其是可能需要避让的动态目标，例如行驶的车辆、自行车和运动的行人等。可以基于激光雷达点云数据进行目标检测，获得空间中的动态目标，辅助无人车进行行驶规划。
3.目前在基于激光雷达点云数据进行目标检测中经常使用的点云目标检测算法通常会将环境中的所有目标都检测到，然后利用目标追踪模块对检测结果进行追踪，输出每个目标的动静态属性。
4.然而发明人发现现有技术中至少存在如下问题：在点云目标检测结果中，经常会将环境中本属于静态的目标赋予速度，错误地检测为运动的目标。一般通过提升点云目标检测算法、追踪算法的性能来避免这样的问题。
5.然而，发明人发现，在提升相关算法性能的同时，对点云进行一些有助于检测与追踪的处理也能显著提升激光雷达检测的性能。例如，如果能在原始的激光雷达点云数据中就将属于静态目标的点去除掉，则不会有静态目标的检测结果，进而减小了静态目标被检测为动态目标的可能性。


技术实现要素：

6.有鉴于此，本发明实施例提供一种基于点云地图的激光雷达点云数据的静态点去除的方法和装置，其能够去除激光雷达点云数据中的静态点，从而减少静态目标的检测结果，降低静态目标被错误检测为动态目标的概率。
7.为实现上述目的，根据本发明的实施例的一个方面，提供了一种激光雷达点云数据的静态点去除方法，其特征在于，包括：
8.激光雷达点云数据获取步骤，获取所述激光雷达扫描的激光雷达点云数据，所述激光雷达点云数据中包括表征被扫描物体的空间信息的多个点云点；
9.点云地图获取步骤，获取与所述激光雷达所在位置相对应的点云地图，其中，所述点云地图中的点云点指示了静态物体的空间信息；
10.邻近点搜索步骤，针对所述激光雷达点云数据中的多个点云点中的每个点云点，在所述点云地图中搜索该点云点的邻近范围内是否存在邻近点；
11.静态点去除步骤，将搜索到所述邻近点的所述点云点从所述激光雷达点云数据中去除。
12.可选地，根据本发明的实施例的一个方面的激光雷达点云数据的静态点去除方法
可以包括主线程的处理和点云地图处理线程的处理，在所述主线程的处理中进行所述激光雷达点云数据获取步骤和所述点云点匹配及静态点去除步骤，并且在所述点云地图处理线程的处理中进行所述点云地图获取步骤。
13.可选地，根据本发明的实施例的一个方面的激光雷达点云数据的静态点去除方法还可以包括：激光雷达点云数据分割步骤：在所述激光雷达点云数据获取步骤之后并且在所述邻近点搜索步骤之前，对激光雷达点云数据进行分割，使得仅保留要处理的区域的点云数据；点云地图分割步骤：在所述点云地图获取步骤之后，对点云地图进行分割，使得仅保留所述点云地图中的与所述激光雷达的扫描范围相对应的点云点；点云地图的降采样步骤：在所述点云地图分割步骤之后，对所述点云地图进行降采样处理，使得降低所述点云地图中的点云点的密度；以及点云地图的k-维树构建步骤：将所述点云地图构建为k-维树。其中，在所述邻近点搜索步骤中，针对所述激光雷达点云数据中的每个点云点，在k-维树中搜索该点云点的所述邻近范围内的所述邻近点。
14.上述发明中的一个实施例具有如下优点或有益效果：因为采用基于点云地图去除激光雷达点云数据中的静态点的技术手段，所以克服了将激光雷达检测结果中的静态目标错误地检测为动态目标的技术问题，进而达到提高激光雷达检测结果的准确性的技术效果。此外，通过上述可选的一系列优化处理，还能够达到保证输出数据时效性、降低计算复杂度进而加速处理效率的技术效果。
15.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
16.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
17.图1是根据本发明实施例的基于点云地图的激光雷达点云数据的静态点去除方法的总体流程的示意图。
18.图2示出了根据本发明实施例的基于点云地图的激光雷达点云数据的静态点去除方法的主线程和点云地图处理线程的处理的流程图。
19.图3是示出判定是否更新点云地图的方法的框图。
20.图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
21.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.图1是根据本发明实施例的基于点云地图的激光雷达点云数据的静态点去除方法的主要流程的示意图。通过激光雷达扫描获取的激光雷达点云数据中包括数量巨大的激光点即点云点，这些点云点分为静态点和动态点，静态点指示静态目标/物体的空间位置信息，动态点指示动态目标/物体的空间位置信息。如图1所示，根据本发明实施例的基于点云
地图的激光雷达点云数据的静态点去除方法主要包括激光雷达点云数据获取步骤、点云地图获取步骤、邻近点搜索步骤和静态点去除步骤。
23.在根据本发明的实施例的中，静态目标为环境设施、植被等长时间不会变动的目标，如建筑物、分道栏杆、路灯、标识牌、树木、灌木丛等类似目标。通常，点云地图中记录了这些静态目标。本技术中使用的点云地图可以为任意公知的点云地图。
24.点云地图是无人车行驶时判断自身位置的重要依据。点云地图是通过使用激光雷达对周围环境进行连续扫描及采集并通过高精度的组合导航设备拼接和修正所采集的点云数据而生成的表征三维空间的地图。点云地图由数千万个点云点组成。由于在制作点云地图的过程中已经去除了指示诸如车辆这样的动态目标的动态点，因此在最终的点云地图中，仅包含代表周围环境中的静态物体的空间信息的静态点。由于点云地图的这个特性，本实施例利用点云地图作为去除静态点时的参考，从激光雷达实时的激光点云数据中去除代表静态物体的点云点。
25.为了达到上述目的，本方法首先将无人车实时获取的激光点云数据进行感兴趣区域(resign of interest，后文简称为“roi”)分割。roi是机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域。roi可根据需要自由设定，通常是以车身为中心的周围的一定区域。其中，为了降低计算量，对输入的点云中的x、y、z各方向均进行了分割，仅保留需要处理的靠近无人车一定区域内的数据，即对无人车行驶的影响的重要性高的区域，对于远处、高处这样的对无人车行驶的影响重要性不高的数据不做处理，实践证明这样并不会影响本发明的方法的效果。之后，将无人车实时获取的点云数据的roi与点云地图进行匹配与对比，仅保留非静态的点云点。由于点云地图中点云点的数量巨大，本方法对点云地图也进行了roi分割，并且还进行降采样、优化搜索等措施，以保证运行速度。然而，每一帧点云都顺序处理会有很大的时间延迟，不利于无人车实时检测。因此，如图1所示，在本实施例中，主数据流的处理与点云地图的处理分别在上述主线程与点云地图处理线程中进行。主线程和与点云地图处理线程各自的具体处理过程如下。
26.<主线程>
27.步骤s101：输入由激光雷达获取的当前时刻的激光点云数据，进入步骤s102。
28.步骤s102：对点云数据进行roi分割，然后进入步骤s103。
29.步骤s103：判断是否需要更新点云地图。由于实际当中地图服务均为分段下发的，因此需要判断是否需要更新点云地图，如果判定为需要更新点云地图(步骤s103中为“y”)，则发送更新点云地图的请求，处理随后进入后文将描述的点云地图处理线程；如果判定为不需要更新点云地图(步骤s103中为“n”)，则处理进入后文将描述的步骤s104。
30.此外，如图3所示，在步骤s103中，是否更新点云地图的具体判定依据有以下三个：
31.a)当第一次进入程序时，需要更新点云地图；
32.b)当上次请求位置与当前位置的距离大于距离阈值时，需要更新点云地图；
33.c)其余所有时刻，包括当程序正在请求点云地图时，均不对地图进行更新。
34.由此可见，点云地图的更新是低频操作。
35.另外，步骤s102与步骤s103可以同时进行。
36.步骤s104：判断是否已经获取点云地图。如果判定为已经获取点云地图(步骤s104
中为“y”)，则处理进入步骤s105；如判定未获取点云地图(步骤s104中为“n”)，则处理进入步骤s107。
37.其中，在不需要更新点云地图的情况下判定为已经获取点云地图，并且在接收到点云地图处理线程更新的点云地图后也判定为已经获取点云地图。
38.步骤s105：结合点云地图进行搜索，即针对激光雷达点云数据中的每个点云点，搜索该点云点的邻近范围内是否存在点云地图中的邻近点，并且将具有点云地图中的邻近点的点云点进行标记，从而筛选出输入的激光雷达点云数据中的静态点并进行标记，并且将标记出的静态点去除，随后进入步骤s106。
39.其中邻近范围δd表示三维空间中的球体的半径，δd的取值可以根据实际应用场景调整。
40.步骤s106：将标记出的点云点作为静态点去除，进入步骤s107。
41.步骤s107：输出处理结果。
42.其中，在步骤s105中，由于激光点的稀疏性与不稳定性，对于同一目标，点云地图中的点云点与输入的激光雷达扫描的点云数据的点云点不会完全重合，而是在一定范围内彼此邻近。因此需要在点云地图中搜索输入激光雷达的点云数据中的点云点在一定范围内是否有点云地图中相应的邻近点。邻近点的搜索过程通常是耗时最长的阶段，传统地需要遍历输入的激光雷达点云数据中的每一个点云点与点云地图中的每一个点云点。而在本实施例中，为了加快搜索效率，将点云地图构建为k-维树(k-dimensional tree，后文称为“k-d树”)，使得k-d树的每个节点均为点云地图中的点云点，然后采用k-d树搜索该点附近邻近范围δd内是否存在点云地图的点：若存在，则该点标记为静态点，从实时点云数据中去除；若不存在，则在实时点云数据中保留该点。这样能够显著加快搜索的效率。
43.所述k-d树是每个节点都为k维点的二叉树，是一种分割k维数据空间的公知的数据结构。k-d树主要应用于多维空间关键数据的近邻查找(nearest neighbor)和近似最近邻查找(approximate nearest neighbor)。k-d树在维度较小时(比如20、30)，算法的查找效率很高，然而当数据维度增大(例如：k≥100)，查找效率会随着维度的增加而迅速下降。假设数据集的维数为d，一般来说要求数据的规模n满足n>>2
d
，才能达到高效的搜索。在本实施例中，k取3，即三维空间数据，构建出的k-d树能够有效的加快数据搜索的过程，避免步骤s105的每次操作都遍历点云地图中的所有点云点，引起冗余计算。因此，在本实施例中，仅通过遍历roi区域的激光雷达点云数据中的每一个点云点，就能够去除静态点并且保留下非静态点。
44.<点云地图处理线程>
45.步骤s201：判断点云地图服务是否可用。如判定为可用(步骤s201中为“y”)，则处理进入步骤s202；如判定为不可用(步骤s201中为“n”)，则重复步骤s201，直到地图服务可用。
46.步骤s202：判断点云地图获取是否成功。如判定为成功(步骤s202中为“y”)，则处理进入步骤s203；如判定为不成功(步骤s202中为“n”)，则处理进入稍后描述的步骤s207。
47.步骤s203：对点云地图进行降采样，随后进入步骤s204。
48.点云地图的点的量巨大，通常100米范围内的点能达到千万级别，因此通过步骤s203进行一定分辨率的降采样，即降低点的密度，同时能够保留点云的形态不变。例如，降
低分辨率/密度通常采用体素栅格进行，即假设空间中，车身附近某个0.2m
×
0.2m
×
0.2m的立方体范围内，存在20个点，那么通过提取质心或中心等手段，计算得到一个点，以这个点代表立方体中原本20个点，从而实现降低点的密度。
49.s204：对点云地图进行roi分割。此步骤是为了进一步降低点云地图中的点云点的数据量，提高算法计算效率。例如，将点云地图中高于激光雷达安装高度δh的点去掉，仅保留自车辆关心范围内的数据，即低于激光雷达δh的数据。例如，如果激光雷达装在2.0米的高度处，δh为0.3米，则高于2.3米的点对后续处理没有帮助，因此将高于2.3米的点去除。
50.s205：构建点云地图的k-d树，随后进入步骤s206。
51.s206：更新数据，将处理完的点云地图数据更新到主线程中，供步骤s104进行获取点云地图的判断并且供步骤s105进行点云点的搜索与对比。处理后的点云地图能供主线程使用到下次需要更新地图之前，实际使用情况根据获取到的点云地图的范围而定。
52.s207：若连续多次获取点云地图失败，清空缓存的点云地图数据，并重新判断是否更新点云地图。
53.以上完成了根据本实施例的激光雷达点云数据中静态点去除的方法的整体描述。
54.根据上述本发明的实施例的激光雷达点云数据的静态点去除方法，能够基于点云地图将激光雷达点云数据中的静态点去除。
55.如上所述，根据本实施例的激光雷达点云数据的静态点去除方法的处理流程分为主线程和点云地图处理线程，主线程与点云地图处理线程之间进行数据共享，其中主线程负责对输入输出数据进行及时、有效的处理，保证模块数据输出的时效性；点云地图更新和处理过程是低频操作，且操作过程耗时较长，因此作为单独的点云地图处理线程进行处理。因此，根据本实施例的激光雷达点云数据的静态点去除方法能够保证运行速度以避免处理的大的时间延迟，并且能在保证输出数据时效性的情况下，利用闲置的计算资源处理复杂的计算，并将数据共享保证算法效果。
56.此外，根据本实施例的激光雷达点云数据的静态点去除方法对点云数据进行了降低计算复杂度的处理。首先，通过降采样能将点云的数量进行稀疏和压缩，避免某个区域内点云密度过大引起的大量冗余计算；其次，通过roi分割能够去掉不关心区域内的点，避免在不关心区域造成的冗余计算；此外，k-d树的构建能够大大加速点云数据的搜索效率，相比于逐点遍历速度能提升80％以上，满足无人车实时检测的需求。因此，根据本实施例的激光雷达点云数据的静态点去除方法能够通过减少数据计算量而进一步确保运行速度。
57.下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
58.如图4所示，计算机系统400包括中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu 401、rom 402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
59.以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；
以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
60.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本发明的系统中限定的上述功能。
61.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
62.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
63.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定，模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
64.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
65.步骤s101：输入由激光雷达获取的当前时刻的激光点云数据，进入步骤s102；
66.步骤s102：对点云数据进行roi分割，然后进入步骤s103；
67.步骤s103：判断是否需要更新点云地图，如果判定为需要更新点云地图(步骤s103中为“y”)，则发送更新点云地图的请求，处理随后进入后文将描述的点云地图处理线程，如果判定为不需要更新点云地图(步骤s103中为“否n”)，则处理进入后文将描述的步骤s104；
68.步骤s104：判断是否已经获取点云地图，如果判定为已经获取点云地图(步骤s104中为“y”)，则处理进入步骤s105，如判定未获取点云地图(步骤s104中为“n”)，则处理进入步骤s107；
69.步骤s105：结合点云地图进行搜索，即针对激光雷达点云数据中的每个点云点，搜索该点云点附近的邻近范围内是否存在点云地图中的邻近点，并且将具有点云地图中的邻近点的点云点进行标记，从而能够在后续处理中筛选出输入的激光雷达点云数据中的静态点，进入步骤s106，并且将标记出的静态点去除，随后进入步骤s106；
70.步骤s106：将标记的点云点作为静态点去除；
71.步骤s107：输出处理结果。
72.其中，步骤s102与步骤s103可以同时进行。
73.并且包括：
74.步骤s201：判断点云地图服务是否可用，如判定为可用(步骤s201中为“y”)，则处理进入步骤s202；如判定为不可用(步骤s201中为“n”)，则重复步骤s201，直到地图服务可用；
75.步骤s202：判断点云地图获取是否成功，如判定为成功(步骤s202中为“y”)，则处理进入步骤s203；如判定为不成功(步骤s202中为“n”)，则处理进入稍后描述的步骤s207；
76.步骤s203：对点云地图进行降采样，随后进入步骤s204；
77.s204：对点云地图进行roi分割，随后进入步骤s205；
78.s205：构建点云地图的k-d树，随后进入步骤s206。
79.s206：更新数据，将处理完的点云地图数据更新到主线程中，供步骤s104进行获取点云地图的判断并且供步骤s105进行点云点的搜索与对比。
80.s207：若连续多次获取点云地图失败，清空缓存的点云地图数据，并重新判断是否更新点云地图。
81.根据本发明实施例的技术方案，能够基于点云地图将激光雷达点云数据中的静态点去除，能够保证运行速度以避免处理的大的时间延迟，并且能在保证输出数据时效性的情况下，利用闲置的计算资源处理复杂的计算，并将数据共享保证算法效果。此外，根据本发明实施例的技术方案，对点云数据进行了降低计算复杂度的处理。首先，通过降采样能将点云的数量进行稀疏和压缩，避免某个区域内点云密度过大引起的大量冗余计算；其次，通过roi分割能够去掉不关心区域内的点，避免在不关心区域造成的冗余计算；此外，k-d树的构建能够大大加速点云数据的搜索效率，相比于逐点遍历速度能提升80％以上，满足无人
车实时检测的需求。因此，根据本发明实施例的技术方案能够通过减少数据计算量而进一步确保运行速度。
82.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。