一种点云处理方法、装置、设备及存储介质与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种点云处理方法、装置、设备及存储介质。


背景技术：

2.在自动驾驶领域，激光雷达已经成为自动驾驶车辆不可或缺的传感器之一。其中，可以利用激光雷达获取车辆一定范围内的点云数据，将点云数据作为深度学习模型的输入，实现物体检测，达到辅助驾驶的目的。
3.目前，可以将点云数据投影到二维栅格图中，以投影后的点云数据作为深度学习模型的输入，其中，二维栅格图包括鸟瞰图和前视图。然而，在上述方式中，鸟瞰图和前视图都不能最大程度上呈现点云信息，导致深度学习模型的输入缺失了部分点云信息，这降低了物体检测的精度。


技术实现要素：

4.本发明的主要目的在于提供了一种点云处理方法、装置、设备和存储介质，旨在解决现有的点云处理方法不能最大程度上呈现点云信息，进而降低了物体检测精度的技术问题。
5.为实现上述目的，本发明提供了一种点云处理方法，应用于激光雷达，所述方法包括：
6.获取点云数据；所述点云数据包括至少一个点云；
7.对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云；
8.其中，所述第一坐标值为所述点云表征的所述激光雷达与目标对象在第一方向上的距离。
9.可选地，所述点云包括第二坐标值，所述第二坐标值为所述点云表征的所述激光雷达与目标对象在第二方向上的距离；
10.所述基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云包括：
11.基于所述第一坐标值和预设的第二系数，确定所述第一系数；
12.将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
13.将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
14.将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
15.可选地，所述基于所述第一坐标值和预设的第二系数，确定所述第一系数包括：
16.对所述第一坐标值进行次方运算，得到第二目标坐标值；
17.将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
18.可选地，所述目标点云包括第三坐标值、第四坐标值和第五坐标值，所述第三坐标值为所述目标点云表征的所述激光雷达与目标对象在第一方向上的距离，所述第四坐标值为所述目标点云表征的所述激光雷达与目标对象在第二方向上的距离，第五坐标值为所述目标点云表征的所述激光雷达与目标对象在第三方向上的距离；
19.所述得到目标点云之后，所述方法包括：
20.将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理；
21.其中，所述旋转矩阵基于预设的旋转角度确定。
22.此外，为实现上述目的，本发明还提供一种点云处理装置，所述点云处理装置应用于激光雷达，所述装置包括：
23.获取模块，用于获取点云数据；所述点云数据包括至少一个点云；
24.第一处理模块，用于对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云；
25.其中，所述第一坐标值为所述点云表征的所述激光雷达与目标对象在第一方向上的距离。
26.可选地，所述点云包括第二坐标值，所述第二坐标值为所述点云表征的所述激光雷达与所述目标对象在第二方向上的距离；
27.所述第一处理模块，具体用于：
28.基于所述第一坐标值和预设的第二系数，确定所述第一系数；
29.将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
30.将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
31.将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
32.可选地，所述第一处理模块，还具体用于：
33.对所述第一坐标值进行次方运算，得到第二目标坐标值；
34.将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
35.可选地，所述目标点云包括第三坐标值、第四坐标值和第五坐标值，所述第三坐标值为所述目标点云表征的所述激光雷达与目标对象在第一方向上的距离，所述第四坐标值为所述目标点云表征的所述激光雷达与目标对象在第二方向上的距离，第五坐标值为所述目标点云表征的所述激光雷达与目标对象在第三方向上的距离；
36.所述装置还包括：
37.第二处理模块，用于将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理；
38.其中，所述旋转矩阵基于预设的旋转角度确定。
39.此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令，所述处理器执行所述程序或指时实现如上所述点云处理方法的步骤。
40.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述点云处
理方法的步骤。
41.本发明提供了一种点云处理方法、装置、设备及存储介质。上述点云处理方法包括：获取点云数据；点云数据包括至少一个点云；对于点云数据中的任一点云，基于点云对应的第一系数调整点云的第一坐标值，对点云进行偏移处理，得到目标点云；其中，第一坐标值为点云表征的激光雷达与目标对象在第一方向上的距离。本发明中，基于点云对应的第一系数调整点云的第一坐标值，对点云进行偏移处理，偏移处理后的点云可以表征更多的点云信息，以此在最大程度上呈现点云信息，进而提高物体检测的精度。
附图说明
42.图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
43.图2是现有技术中对点云数据进行投影后的示意图；
44.图3是本发明实施例提供的点云处理方法的流程示意图；
45.图4是应用本发明实施例提供的点云处理方法对点云数据进行投影后的示意图之一；
46.图5是应用本发明实施例提供的点云处理方法对点云数据进行投影后的示意图之二；
47.图6是本发明实施例提供的点云处理装置的结构示意图；
48.图7是本发明实施例提供的电子设备的结构示意图。
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
51.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
52.本发明终端是一种可移动设备，该终端还可以其他具有存储功能的终端设备。
53.如图1所示，该终端可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选地用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选地可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选地还可以是独立于前述处理器1001的存储装置。
54.可选地，终端还可以包括摄像头、wi-fi模块等等，在此不再赘述。
55.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要包括输入单元比如键盘，键盘包括无线键盘和有线键盘，用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数
据处理程序，并执行以下操作：
57.获取点云数据；
58.对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云。
59.进一步的，处理器1001可以调用存储器1005中存储的数据处理程序，还执行以下操作：
60.基于所述第一坐标值和预设的第二系数，确定所述第一系数；
61.将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
62.将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
63.将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
64.进一步的，处理器1001可以调用存储器1005中存储的数据处理程序，还执行以下操作：
65.对所述第一坐标值进行次方运算，得到第二目标坐标值；
66.将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
67.进一步的，处理器1001可以调用存储器1005中存储的数据处理程序，还执行以下操作：
68.将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理。
69.本终端的具体实施例与下述点云处理方法各实施例基本相同，在此不作赘述。
70.本实施例提供的点云处理方法应用于激光雷达。可选地，上述激光雷达可以是车载激光雷达，该车载激光雷达用于采集点云数据，通常将车载激光雷达安装在车顶或车头。将采集到的点云数据作为深度学习模型的输入，实现点云物体检测、同步定位与建图、多传感器标定、可行使区域检测及轨迹预测等功能。
71.目前，通常使用以下三种方式，对点云数据进行处理，以将处理后的点云数据作为深度学习模型的输入。
72.第一种方式为，纯点云输入：
73.纯点云输入保留了点云完整的三维空间特征，没有信息损失，有利于物体检测，但是由于点云的点数较多，基于点的特征提取非常耗时，所以上述点云处理方式的使用场景受到限制。
74.第二种方式为，将点云转为体素输入：
75.将点云转为体素输入，可以保留点云的部分三维空间特征，但是上述方式的部署难度大，并且很难达到实时性的要求。
76.第三种方式为，将点云投影到二维栅格图中，以栅格图作为输入：
77.在上述方式中，二维栅格图包括鸟瞰图和前视图，但是二维栅格图不能最大程度上呈现点云信息，导致深度学习模型的输入缺失了部分点云信息，这降低了物体检测的精度。
78.为便于理解，请参阅图2，图2为现有技术中对点云数据进行投影后的示意图，从图2中可以得到点云数据对应的鸟瞰图会损失点云的高度信息。
79.也就是说，现有的使用点云处理方法不能最大程度上呈现点云信息，进而降低了物体检测精度的技术问题。
80.为了解决上述存在的技术问题，本发明提供了一种点云处理方法。请参阅图3，图3是本发明实施例提供的点云处理方法的流程示意图。本实施例提供的点云处理方法应用于激光雷达。
81.本发明实施例提供的点云处理方法包括如下步骤：
82.s110，获取点云数据。
83.本步骤中，可以通过数据传输的方式，获取点云数据；或者，从互联网上下载点云数据；或者，通过其他方式获取点云数据。在此不对点云数据的具体获取方式进行限定。
84.上述点云数据是激光雷达采集到的数据，其中，点云数据包括至少一个点云。
85.s120，对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云。
86.上述第一坐标值为点云表征的激光雷达与目标对象在第一方向上的距离。在一些可选地实施例中，上述目标对象可以是激光雷达检测到的物体或人体。为便于理解，可以以激光雷达为中心建立一个三维直角坐标系，其中，坐标系的y轴表征安装有激光雷达车辆的前进方向，即第一方向。
87.上述第一系数与第一坐标值相关，具体的如何确定第一系数的技术方案，请参阅后续实施例。
88.本步骤中，在得到任一点云的第一系数后，使用该第一系数调整该点云的第一坐标值，即调整该点云表征的激光雷达与目标对象在第一方向上的距离，实现对点云的偏移处理，得到目标点云，目标点云相比于偏移处理前的点云能够更好的表示出高度信息。
89.为便于理解，请参阅图4，图4是应用本发明实施例提供的点云处理方法对点云数据进行投影后的示意图之一。如图4示出的是在对点云数据中的所有点云进行偏移处理后的目标点云的示意图。
90.本发明提供的点云处理方法包括：获取点云数据；点云数据包括至少一个点云；对于点云数据中的任一点云，基于点云对应的第一系数调整点云的第一坐标值，对点云进行偏移处理，得到目标点云；其中，第一坐标值为点云表征的激光雷达与目标对象在第一方向上的距离。本发明中，基于点云对应的第一系数调整点云的第一坐标值，对点云进行偏移处理，偏移处理后的点云可以表征更多的点云信息，以此在最大程度上呈现点云信息，进而提高物体检测的精度。
91.可选地，所述点云包括第二坐标值，所述第二坐标值为所述点云表征的所述激光雷达与目标对象在第二方向上的距离；
92.所述基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云包括：
93.基于所述第一坐标值和预设的第二系数，确定所述第一系数；
94.将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
95.将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
96.将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
97.如上所述，可以以激光雷达为中心建立一个三维直角坐标系，其中，坐标系的z轴
表征安装有激光雷达车辆的高度方向，即第二方向。将点云表征的激光雷达与目标对象在第二方向上的距离称为第二坐标值。本实施例中，可以直接获取得到上述第二坐标值。
98.上述第二系数可以是雷达垂直角分辨率，应理解，上述雷达垂直角分辨率是激光雷达在设计时确定的雷达性能参数，是一个预设值。
99.本实施例中，可以基于第一坐标值和第二系数，确定第一系数。具体的如何确定第一系数的技术方案，请参阅后续实施例。
100.在得到第一系数后，将第一系数与第二坐标值相乘得到目标数值，并将目标数值与第一坐标值相加，得到第一目标坐标值。上述第一目标坐标值即偏移处理后的点云表征的激光雷达与目标对象在第一方向上的距离。
101.为便于理解，请参阅以下公式：
102.y2＝y1+αz1103.其中，y2为第一目标坐标值，y1为第一坐标值，α为第一系数，z1为第二坐标值。
104.可选地，所述基于所述第一坐标值和预设的第二系数，确定所述第一系数包括：
105.对所述第一坐标值进行次方运算，得到第二目标坐标值；
106.将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
107.第一系数可以通过以下公式计算得到：
[0108][0109]
其中，α为第一系数，y1为第一坐标值，β为第二系数。
[0110]
本实施例中，将第一坐标值的三分之一次方作为第二目标坐标值，并将第二目标坐标值与第二系数的平方相乘，得到第一系数。
[0111]
那么，基于上述实施例，可以通过以下公式，计算得到第一目标坐标值：
[0112][0113]
其中，y2为第一目标坐标值，y1为第一坐标值，β为第二系数，z1为第二坐标值。
[0114]
可选地，所述目标点云包括第三坐标值、第四坐标值和第五坐标值，所述第三坐标值为所述目标点云表征的所述激光雷达与目标对象在第一方向上的距离，所述第四坐标值为所述目标点云表征的所述激光雷达与目标对象在第二方向上的距离，第五坐标值为所述目标点云表征的所述激光雷达与目标对象在第三方向上的距离；
[0115]
所述得到目标点云之后，所述方法包括：
[0116]
将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理。
[0117]
应理解，在对点云进行偏移处理，得到目标点云之后，由于对点云进行偏移所带来的特征增强效果有限，在此基础上，我们可以对目标点云进行旋转处理，使得旋转处理后的点云包括更多的点云信息。
[0118]
本实施例中，可以以目标点云为中心建立一个直角三维坐标系，其中，坐标系的y轴表征安装有激光雷达车辆的前进方向，即第一方向，将目标点云表征的激光雷达与目标
对象在第一方向上的距离称为第三坐标值；坐标系的z轴表征安装有激光雷达车辆的高度方向，即第二方向，将目标点云表征的激光雷达与目标对象在第二方向上的距离称为第四坐标值；坐标系的x轴表征安装有激光雷达车辆的水平方向，即第三方向，将目标点云表征的激光雷达与目标对象在第三方向上的距离称为第五坐标值。
[0119]
本实施例中预先设置有旋转矩阵，该旋转矩阵表示如下：
[0120][0121]
其中，θ表示旋转角度，该旋转角度是一个预设值，且该旋转角度与激光雷达的安装高度、扫描方式相关。示例性的，当激光雷达与地面高度为40cm时，旋转角度可以设置在15度～45度之间。
[0122]
本实施例中，将第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，得到旋转处理后的目标点云的坐标，实现对目标点云的旋转处理。
[0123]
为便于理解，请参阅以下公式：
[0124]
p1(x1,y1,z1)＝r
x
(θ)*p(x,y,z)
[0125]
其中，p1(x1,y1,z1)表示旋转处理后的目标点云的坐标，r
x
(θ)表示旋转矩阵，p(x,y,z)表示目标点云的坐标。
[0126]
请参阅图5，图5是应用本发明实施例提供的点云处理方法对点云数据进行投影后的示意图之二。如图5示出的是在对目标点云进行旋转处理后的示意图。
[0127]
此外，本发明实施例还提出一种点云处理装置，请参阅图6，图6是本发明实施例提供的点云处理装置的结构示意图。
[0128]
如图6所示，点云处理装置200包括：
[0129]
获取模块210，用于获取点云数据；
[0130]
第一处理模块220，用于对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云。
[0131]
可选地，所述点云包括第二坐标值，所述第二坐标值为所述点云表征的所述激光雷达与所述目标对象在第二方向上的距离；
[0132]
所述第一处理模块220，具体用于：
[0133]
基于所述第一坐标值和预设的第二系数，确定所述第一系数；
[0134]
将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
[0135]
将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
[0136]
将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
[0137]
可选地，所述第一处理模块220，还具体用于：
[0138]
对所述第一坐标值进行次方运算，得到第二目标坐标值；
[0139]
将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
[0140]
可选地，所述目标点云包括第三坐标值、第四坐标值和第五坐标值，所述第三坐标
值为所述目标点云表征的所述激光雷达与目标对象在第一方向上的距离，所述第四坐标值为所述目标点云表征的所述激光雷达与目标对象在第二方向上的距离，第五坐标值为所述目标点云表征的所述激光雷达与目标对象在第三方向上的距离；
[0141]
所述点云处理装置200还包括：
[0142]
第二处理模块，用于将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理。
[0143]
点云处理装置200能够实现本发明实施例中图2方法实施例的各个过程，本实施例中，基于点云对应的第一系数调整点云的第一坐标值，对点云进行偏移处理，偏移处理后的点云可以表征更多的点云信息，以此在最大程度上呈现点云信息，进而提高物体检测的精度。
[0144]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现上述点云处理方法中的各个步骤，在此不作重复阐述。
[0145]
本发明计算机可读存储介质的具体实施例与上述点云处理方法各实施例基本相同，在此不作赘述。
[0146]
本发明实施例还提供了一种电子设备，如图7所示，包括处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。
[0147]
其中，存储器330，用于存放计算机程序；
[0148]
处理器310，用于执行存储器330上所存放的程序时，所述计算机程序被所述处理器310执行时，用于获取点云数据；
[0149]
对于所述点云数据中的任一点云，基于所述点云对应的第一系数调整所述点云的第一坐标值，对所述点云进行偏移处理，得到目标点云。
[0150]
所述计算机程序被所述处理器310执行时，用于基于所述第一坐标值和预设的第二系数，确定所述第一系数；
[0151]
将所述第一系数与所述第二坐标值之间的乘法结果，确定为目标数值；
[0152]
将所述目标数值与所述第一坐标值之间的和值，确定为第一目标坐标值；
[0153]
将所述点云的第一坐标值修改为所述第一目标坐标值，得到所述目标点云。
[0154]
所述计算机程序被所述处理器310执行时，用于对所述第一坐标值进行次方运算，得到第二目标坐标值；
[0155]
将所述第二目标坐标值与所述第二系数的平方的乘法结果，确定为所述第一系数。
[0156]
所述计算机程序被所述处理器310执行时，用于将所述目标点云对应的第三坐标值、第四坐标值和第五坐标值分别与旋转矩阵进行乘法运算，对所述目标点云进行旋转处理。
[0157]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0158]
通信接口用于上述终端与其他设备之间的通信。
[0159]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0160]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0161]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0162]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0163]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0164]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。