激光点云数据增广的方法、装置及存储介质与流程

1.本申请涉及激光点云数据增广的方法、装置及存储介质，属于计算机领域。


背景技术：

2.无人驾驶汽车通常采用激光雷达采集点云数据，从而进行目标检测，来识别车辆前方的目标物，对于目标检测，通常需要采用训练样本集来训练深度学习网络来实现，一般情况下，对于训练样本集中的点云数据，需要进行数据增广，来实现对点云数据的补充。
3.数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。目前的点云补充方法主要基于软件算法，在已采集的一帧数据上检测边缘点，之后匹配插值来补充原始点云缺失位置。
4.目前点云数据的补充方法不能从传感器采集的角度增加每一帧点云的数量，而是通过算法检测几何特征进行匹配插值。如果前方目标物未被扫描到，提取不到边缘信息，也就无法补充点云，不利于后续的目标检测。


技术实现要素：

5.本申请提供了一种激光点云数据增广的方法、装置及存储介质，可以解决目前点云数据的补充方法由于不能增加每一帧点云的数量，如果前方目标物未被扫描到，提取不到边缘信息，也就无法补充点云，不利于后续的目标检测的问题。
6.本申请提供如下技术方案：第一方面提供一种激光点云数据增广的方法，所述方法包括：按照预定时间间隔，依次获取预设帧数的连续帧激光点云数据，所述激光点云数据采用非重复式扫描获得；对获取的每一帧激光点云数据中每一个激光点的坐标进行运动补偿，得到每一帧点云数据中每个激光点在下一时刻的位置坐标；将运动补偿后的每一帧激光点云，依次叠加到下一时刻获取的激光点云中，得到增广后的当前帧激光点云。
7.第二方面提供一种激光点云数据增广的装置，所述装置包括：数据获取模块，被配置为用于按照预定时间间隔，依次获取预设帧数的连续帧激光点云数据，所述激光点云数据采用非重复式扫描获得；运动补偿模块，被配置为用于对获取的每一帧激光点云数据中每一个激光点的坐标进行运动补偿，得到每一帧点云数据中每个激光点在下一时刻的位置坐标；数据叠加模块，被配置为用于将运动补偿后的每一帧激光点云，依次叠加到下一时刻获取的激光点云中，得到增广后的当前帧激光点云。
8.第三方面提供一种激光点云数据增广的系统，所述系统包括：处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现本申请第一方面所述的网络重连的方法的步骤。
9.第四方面提供一种计算机存储介质，所述计算机存储介质上存储有程序，所述程序被处理器执行时用于实现本申请第一方面所述的网络重连的方法的步骤。
10.本申请的有益效果在于：本申请实施例将预定时间间隔的不同时刻下获取的连续激光点云叠加，将多帧激光点云数据压缩成一帧，在不降低激光雷达采样频率的情况下，大大增加输入到感知模块的每一帧激光点云的激光点数量，丰富了输入的每一帧激光点云数据。比如以4帧合并为一帧作为输入，原始每帧24000个激光点，合并后为96000个激光点，由于输入感知模块的激光点增加，有利于提高检测结果的准确性。
11.上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
12.图1是本申请一个实施例提供的数据增广的方法和装置的构架图；图2是本申请一个实施例提供的数据增广的方法的流程图；图3是本申请一个实施例提供的运动补偿的方法流程图；图4是本申请一个实施例提供的不同时刻运动补偿、叠加后的示意图；图5是本申请一个实施例提供的数据增广的装置的框图。
13.图6是本申请一个实施例提供的数据增广的系统的框图。
具体实施方式
14.下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
15.图1是本申请一个实施例提供的能够实现本申请方法及装置的构架示意图，如图1所示，该构架包括数据处理模块101和感知模块102，数据处理模块和感知模块建立通信连接。本实施例无人驾驶汽车上配置有非重复式扫描的激光雷达，该激光雷达安装于无人驾驶汽车上形成刚体结构，激光雷达内置惯性测量单元(inertial measurement unit，imu)，imu是测量物体三轴姿态角及加速度的装置，通过在无人驾驶汽车或者激光雷达内置imu，可以提供车辆自身运动信息（车辆位置及姿态）。
16.本申请通过激光雷达进行非重复式扫描，将获取的点云数据发送至数据处理模块，由数据处理装置进行数据的增广，增广后的激光点云数据作为感知模块的输入，构建模型，进行环境感知。
17.图2是本申请一个实施例提供的激光雷达点云的数据增广方法，本实施例以该方法应用于图 1 所示的数据处理模块中，且各个步骤的执行主体为数据处理模块为例进行说明。所述方法包括：步骤 201，按照预定时间间隔，依次获取预设帧数的连续帧激光点云数据。
18.本实施例的激光点云可以通过配置于自动驾驶汽车上的激光雷达，对环境中的物体进行非重复式扫描的方式采集获得，激光雷达旋转一周采集的所有激光点组合在一起，形成一帧激光点云。激光点云的激光点云数据包含每个激光点的坐标。在本实施例中，激光雷达的采样频率可以设置为10hz。非重复式扫描指的是多帧之间不按照固定的运动轨迹进行扫描；
激光雷达通过激光扫描，获取的激光点云数据，为障碍物识别、车辆精确定位等提供基础数据，从而进行车辆行驶环境的感知。利用一帧激光点云数据建立的三维模型可以描述某一时刻自动驾驶汽车在行驶过程中的车辆行驶环境。
19.激光雷达是安装于无人驾驶汽车上的，当无人驾驶汽车在环境中行驶时，该无人驾驶汽车承载的激光雷达也在环境中运动，根据激光雷达或者无人驾驶汽车内置的imu，可以获取激光雷达或车辆的运动信息，包括位置和姿态信息，从而获取对应的车辆运动方程。
20.本实施例将每帧激光点云数据的起始采集时刻作为该帧激光点云数据的获取时刻，预定时间间隔可以为但不限于100ms，例如，数据处理模块在t0时刻从激光雷达获取一帧激光点云数据，在间隔100ms后的t1时刻，再次从激光雷达获取一帧激光点云数据。
21.当然，根据实际需求，可以选择不同的采样频率以及预定时间间隔，本实施例在此不做限定。
22.步骤202，通过运动补偿算法，对获取的每一帧激光点云中每一个激光点的坐标进行运动补偿，得到每一帧点云数据中每个激光点在下一时刻的位置坐标。
23.具体地，图3给出了本申请实施例运动补偿的流程图，如图3所示，本实施例对获取的每一帧激光点云中每一个激光点的坐标进行运动补偿，包括：s301:获取车辆运动方程；s302:根据所述车辆运动方程，得到当前帧激光点云中各激光点在预设时间间隔内的位移；s303:根据所述位移，通过插值运算，得到当前帧激光点云中各激光点在下一时刻的位置坐标，实现所述当前帧激光点云的运动补偿。
24.步骤203，将运动补偿后的每一帧激光点云，依次叠加到下一时刻获取的激光点云中，得到增广后的当前帧激光点云数据。
25.图4示出了非重复式扫描激光雷达从t1时刻到t4时刻运动补偿后叠加得到的点云信息示意图，t1时刻运动补偿后的激光点云数据叠加到t2时刻的激光点云中，t2时刻运动补偿后的激光点云数据叠加到t3时刻的激光点云中，t3时刻运动补偿后的激光点云数据叠加到t4时刻的激光点云中，最终t4时刻得到的激光点云即为增广后的激光点云。
26.本实施例非重复式扫描的方式，由于每帧激光点云的采样位置不固定，前一时刻激光点云数据进行运动补偿后得到当前时刻的坐标位置，与当前时刻采集到的激光点云数据的坐标位置不同，因此叠加后可以增补当前帧的激光点云数据。
27.叠加后的当前帧激光点云数据可以作为无人驾驶车辆感知模块的输入，在叠加后的点云帧数据上进行滤波，分割，目标检测，跟踪等后续感知任务，实现车辆行驶环境的感知，输出感知结果，例如，可以获得障碍物检测结果，包括障碍物的位置、形状、类别、速度、朝向等信息，从而更好地辅助无人驾驶。
28.综上所述，本实施例将预定时间间隔的不同时刻下获取的连续激光点云叠加，将多帧激光点云数据压缩成一帧，在不降低激光雷达采样频率的情况下，大大增加输入到感知模块的每一帧激光点云的激光点数量，丰富了输入的每一帧激光点云数据。比如以4帧合并为一帧作为输入，原始每帧24000个激光点，合并后为96000个激光点，由于输入感知模块的激光点增加，有利于提高检测结果的准确性。
29.图5是本申请一个实施例提供的激光点云数据增广的装置的框图，本实施例以该装置应用于图1所示的构架的智能移动终端为例进行说明。该装置至少包括以下几个模块：数据获取模块，被配置为用于按照预定时间间隔，依次获取预设帧数的连续帧激光点云数据，所述激光点云数据采用非重复式扫描获得；运动补偿模块，被配置为用于对获取的每一帧激光点云数据中每一个激光点的坐标进行运动补偿，得到每一帧点云数据中每个激光点在下一时刻的位置坐标；数据叠加模块，被配置为用于将运动补偿后的每一帧激光点云，依次叠加到下一时刻获取的激光点云中，得到增广后的当前帧激光点云。
30.相关细节参考上述方法实施例。
31.需要说明的是：上述实施例中提供的激光点云数据增广的装置在进行数据增广时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子交易招投标系统的激光点云数据增广的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的激光点云数据增广的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
32.图6是本申请一个实施例提供的激光点云数据增广的系统的框图，该系统可以是：平板电脑、笔记本电脑、台式电脑或服务器。该系统还可能被称为用户设备、便携式终端、膝上型终端、台式终端、控制终端等，本实施例对此不作限定。该系统至少包括处理器和存储器。
33.处理器可以包括一个或多个处理核心，比如：4核心处理器、6核心处理器等。处理器可以采用dsp（digital signal processing，数字信号处理）、fpga（field－programmable gate array，现场可编程门阵列）、pla（programmable logic array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu（central processing unit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有gpu（graphics processing unit，图像处理器）， gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括ai（artificial intelligence，人工智能）处理器，该ai处理器用于处理有关机器学习的计算操作。
34.存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行以实现本申请中方法实施例提供的激光点云数据增广的方法。
35.在一些实施例中，可选地，激光点云数据增广的系统还包括有：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
36.当然，激光点云数据增广的系统还可以包括更少或更多的组件，本实施例对此不
作限定。
37.可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的激光点云数据增广的方法。
38.可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的激光点云数据增广的方法。
39.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
40.以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。