激光雷达点云数据仿真方法、系统、电子设备、存储介质与流程

1.本发明涉及点云仿真技术领域，尤其涉及一种激光雷达点云数据仿真方法、系统、电子设备、存储介质。


背景技术：

2.目前自动驾驶汽车正在飞速发展，安全的自动驾驶系统需要10亿公里海量的测试，现有自动驾驶的验证采用实车验证或者仿真环境验证两种方式，通过仿真系统测试及评估比较有现实意义。当前的仿真软件，多通过使用游戏引擎或高保真计算机图形(computer graphics)来模拟交通环境，仿真渲染的动态交通参加者形态及动态响应较为生硬，逼真度较低；同时常因复杂的场景对渲染资源消耗较大无法实现实时仿真，因而交通场景不够丰富，从而无法有效验证算法的泛化能力。
3.实车传感器数据作为数据源验证感知模块功能存在局限，只适用于感知单个场景的验证，当验证对象包括感知规划控制时，由于实车传感器数据的不能匹配变更后的系统动作引起的场景变化，不能用于快速的闭环验证。
4.仿真器模拟的传感器数据则完全按照理想的传感器物理原理建立，与真实数据存在偏差，直接作为传感器数据输入不能充分验证感知模块在真实环境时的表现，并且由于仿真系统的算力限制，现有技术中的仿真点云生成时效性不够，不能实现实时仿真。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种激光雷达点云数据仿真方法、系统、电子设备、存储介质。
6.本发明提供的一种激光雷达点云数据仿真方法，所述方法包括：
7.向生成网络提供第一输入集，所述生成网络至少包括中间特征层，所述中间特征层基于在先的第二输入集计算得到；
8.比较所述第一输入集中的各个第一输入与所述第二输入集中的对应第二输入的相似度；
9.对于相似度超过预定阈值的第一输入，获取所述中间特征层中与所述第二输入相对应的第二参数，作为所述中间特征层中与所述第一输入相对应的第一参数；对于相似度不超过所述预定阈值的第一输入，基于所述第一输入，计算所述中间特征层中与所述第一输入相对应的第三参数；
10.基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输出第一仿真点云。
11.根据本发明提供的一种激光雷达点云数据仿真方法，所述第一输入集和所述第二输入集分别用来生成相邻的两帧激光雷达点云数据。
12.根据本发明提供的一种激光雷达点云数据仿真方法，所述基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输出第一仿真点云，之后包括：
13.基于所述第一仿真点云，叠加真实激光雷达采集的噪声，生成第二仿真点云。
14.根据本发明提供的一种激光雷达点云数据仿真方法，所述噪声至少包括如下的一种：
15.天气噪声、光强噪声、动态交通参加者噪声。
16.根据本发明提供的一种激光雷达点云数据仿真方法，所述生成网络的训练方法包括：
17.获取真实激光雷达点云；
18.将所述真实激光雷达点云和所述第二仿真点云输入判别网络判断真假；
19.交替优化所述判别网络和所述生成网络。
20.根据本发明提供的一种激光雷达点云数据仿真方法，所述激光雷达点云数据是基于自动驾驶场景下的车载激光雷达对外部交通环境的探测而获取的点云数据。
21.本发明还提供的一种激光雷达点云数据仿真系统，所述系统包括：
22.提供模块，用来向生成网络提供第一输入集，所述生成网络至少包括中间特征层，所述中间特征层基于在先的第二输入集计算得到；
23.比较模块，用来比较所述第一输入集中的各个第一输入与所述第二输入集中的对应第二输入的相似度；
24.共享模块，用来对于相似度超过预定阈值的第一输入，获取所述中间特征层中与所述第二输入相对应的第二参数，作为所述中间特征层中与所述第一输入相对应的第一参数；对于相似度不超过所述预定阈值的第一输入，基于所述第一输入，计算所述中间特征层中与所述第一输入相对应的第三参数；
25.输出模块，用来基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输出第一仿真点云。
26.本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述激光雷达点云数据仿真方法的步骤。
27.本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述激光雷达点云数据仿真方法的步骤。
28.本发明还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述激光雷达点云数据仿真方法的步骤。
29.本发明提供的激光雷达点云数据仿真方法、系统、电子设备、存储介质，减少生成网络针对部分相似输入参数的计算量，提高生成网络合成效率，实现实时仿真，并运用到多模块的闭环仿真中。
附图说明
30.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明提供的一种激光雷达点云数据仿真方法的流程示意图；
32.图2为本发明实施例提供的一种判别网络和生成网络的结构示意图；
33.图3为本发明实施例提供的一种判别网络的结构示意图；
34.图4为本发明提供的一种激光雷达点云数据仿真系统结构示意图；
35.图5为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的激光雷达点云数据仿真方法进行详细地说明。
38.图1为本发明提供的一种激光雷达点云数据仿真方法的流程示意图，如图1所示，本发明提供的一种激光雷达点云数据仿真方法，方法可以包括如下步骤。
39.s100、向生成网络提供第一输入集，生成网络至少包括中间特征层，中间特征层基于在先的第二输入集计算得到。
40.s200、比较第一输入集中的各个第一输入与第二输入集中的对应第二输入的相似度。
41.s300、对于相似度超过预定阈值的第一输入，获取中间特征层中与第二输入相对应的第二参数，作为中间特征层中与第一输入相对应的第一参数；对于相似度不超过预定阈值的第一输入，基于第一输入，计算中间特征层中与第一输入相对应的第三参数。
42.s400、基于中间特征层的第一参数和中间特征层的第三参数，生成网络输出第一仿真点云。
43.可选地，生成网络采用深度卷积神经网络建模的方式，输出激光回波距离及光强信息。
44.可选地，隐变量作为生成网络的输入，生成晴朗、正常光强下的仿真激光点云光强及光斑分布。进一步地，隐变量是-1到1的随机n维数据。
45.可选地，生成网络包含噪声输入、转置卷积、上采样及特征点云的生成等过程。噪声输入指基于隐变量生成诸如16*16*1的随机噪声矩阵，采用转置卷积完成上采样，输出诸如32*32*1矩阵。在转置卷积的基础上进行二次转置卷积输出诸如128*128*1的仿真点云数据。需要说明的是，前述矩阵维度仅做示例性参考，而不作为限制。
46.本实施例减少生成网络针对部分相似输入的计算量，提高生成网络合成效率，实现实时仿真，并运用到多模块的闭环仿真中。
47.进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种激光雷达点云数据仿真方法，第一输入集和第二输入集分别用来生成相邻的两帧激光雷达点云数据。
48.可选地，在两帧相邻仿真点云中，交通环境变化有限，存在部分相似的输入和卷积的操作，因此中间的特征层也存在大量相似的值，在不影响生成网络性能的情况下共享部分中间特征层参数。
49.本实施例共享两帧相邻仿真点云中部分中间层参数，减少了输入参数，减少了计
算量，加快了激光点云的生成时间，激光点云的生成时间trecon小于激光点云的采样时间tsample(100ms，激光10hz采样)，从而实现了对激光雷达点云的实时仿真。
50.进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种激光雷达点云数据仿真方法，基于中间特征层的第一参数和中间特征层的第三参数，生成网络输出第一仿真点云，之后包括：
51.基于第一仿真点云，叠加真实激光雷达采集的噪声，生成第二仿真点云。
52.可选地，噪声至少包括如下的一种：
53.天气噪声、光强噪声、动态交通参加者噪声。
54.可选地，选取真实的道路场景，采集激光点云数据，即激光点云的距离与光强数据。
55.可选地，参考仿真激光雷达型号产品数据手册，获取激光点云探测范围及点云分布情况。
56.可选地，获取激光雷达在不同天气下的激光点云，如阴天、雨天、雾天、雪天等，通过计算与晴天天气的误差，来获取不同天气下的激光点云的噪声分布。
57.可选地，获取激光雷达在不同光照强度环境下，如白天、夜晚、强光、逆光环境，通过计算与正常光照情况下的误差，来获取不同光照情况下的激光点云的噪声分布。
58.可选地，获取激光雷达对不同交通参加者，如轿车、面包车、厢式货车、卡车、集卡、平板车等，在不同入射角度的激光点云反射分布，形成不同交通参加者的点云模型。
59.本实施例通过在第一仿真点云的基础上叠加噪声，使得第二仿真点云的逼真度大幅提升。
60.进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种激光雷达点云数据仿真方法，生成网络的训练方法包括：
61.获取真实激光雷达点云；
62.将真实激光雷达点云和第二仿真点云输入判别网络判断真假；
63.交替优化判别网络和生成网络。
64.可选地，图2为本发明实施例提供的一种判别网络和生成网络的结构示意图，如图2所示，判别网络和生成网络形成的对抗网络模型包含生成网络、判别网络及损失函数，生成网络输出的第一仿真点云叠加真实激光雷达采集的天气噪声、光强噪声、动态交通参加者噪声之后形成第二仿真点云，第二仿真点云作为对抗网络模型的输入。
65.可选地，动态交通参加者噪声的生成模型根据交通参加者实时位置及姿态，合成不同的激光光强及点云分布。
66.可选地，对真实激光雷达点云及第二仿真点云进行采样，输入到判别网络中。判别网络的目标是输出对第二仿真点云的判别结果：是真实的点云数据还是仿真点云数据。生成网络训练过程中尽可能的欺骗判别网络，而判别网络尽可能地对点云数据做出正确判别。如判别结果为假，则更新生成网络的权重优化生成网络，以增加判别网络的分类错误，直至其判别为真。如判别结果为真，则更新判别网络的权重优化判别网络，以减少判别网络的分类错误，直至其判别为假。交替优化判别网络与生成网络，使损失函数到达最优。进一步地，保持判别网络对任意样本的真实性判断概率在50％左右。
67.可选地，图3为本发明实施例提供的一种判别网络的结构示意图，如图3所示，判别
网络包含真实激光点云输入、卷积、池化的下采样及特征提取等过程。判别网络采用卷积神经网络构建，输入维度与生成网络输出维度一致，诸如128*128*1，输出对仿真点云真实性的判定结果，以0到1之间的概率表达。判别网络分别通过卷积、池化下采样、卷积，完成点云的降维，特征维度的融合，最后通过全连接层，完成分类结果的特征生成输出。
68.本实施例公布了依赖判别网络来优化生成网络，通过零和博弈的两个网络的对抗，最终实现生成网络高逼真度的仿真点云输出。
69.进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种激光雷达点云数据仿真方法，激光雷达点云数据是基于自动驾驶场景下的车载激光雷达对外部交通环境的探测而获取的点云数据。
70.本实施例可以使仿真传感器的数据接近于真实传感器数据，提升仿真验证的准确性；可以丰富激光点云测试场景，实现激光点云生成及编辑的功能，并且达到和真实数据一样的效果，可以极大的节省标注成本和提高模型训练效率；可以应用于实时的硬件在环仿真系统中，改善自动驾驶系统验证的效果，提升自动驾驶系统验证的效率。
71.下面对本发明提供的激光雷达点云数据仿真系统进行描述，下文描述的激光雷达点云数据仿真系统与上文描述的激光雷达点云数据仿真方法可相互对应参照。
72.图4为本发明提供的一种激光雷达点云数据仿真系统结构示意图，如图4所示，本发明还提供的一种激光雷达点云数据仿真系统，系统包括：
73.提供模块，用来向生成网络提供第一输入集，生成网络至少包括中间特征层，中间特征层基于在先的第二输入集计算得到；
74.比较模块，用来比较第一输入集中的各个第一输入与第二输入集中的对应第二输入的相似度；
75.共享模块，用来对于相似度超过预定阈值的第一输入，获取中间特征层中与第二输入相对应的第二参数，作为中间特征层中与第一输入相对应的第一参数；对于相似度不超过预定阈值的第一输入，基于第一输入，计算中间特征层中与第一输入相对应的第三参数；
76.输出模块，用来基于中间特征层的第一参数和中间特征层的第三参数，生成网络输出第一仿真点云。
77.本实施例减少生成网络针对部分相似输入参数的计算量，提高生成网络合成效率，实现实时仿真，并运用到多模块的闭环仿真中。
78.图5为本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行激光雷达点云数据仿真方法，所述方法包括：
79.向生成网络提供第一输入集，所述生成网络至少包括中间特征层，所述中间特征层基于在先的第二输入集计算得到；
80.比较所述第一输入集中的各个第一输入与所述第二输入集中的对应第二输入的相似度；
81.对于相似度超过预定阈值的第一输入，获取所述中间特征层中与所述第二输入相
对应的第二参数，作为所述中间特征层中与所述第一输入相对应的第一参数；对于相似度不超过所述预定阈值的第一输入，基于所述第一输入，计算所述中间特征层中与所述第一输入相对应的第三参数；
82.基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输出第一仿真点云。
83.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
84.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的激光雷达点云数据仿真方法，所述方法包括：
85.向生成网络提供第一输入集，所述生成网络至少包括中间特征层，所述中间特征层基于在先的第二输入集计算得到；
86.比较所述第一输入集中的各个第一输入与所述第二输入集中的对应第二输入的相似度；
87.对于相似度超过预定阈值的第一输入，获取所述中间特征层中与所述第二输入相对应的第二参数，作为所述中间特征层中与所述第一输入相对应的第一参数；对于相似度不超过所述预定阈值的第一输入，基于所述第一输入，计算所述中间特征层中与所述第一输入相对应的第三参数；
88.基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输出第一仿真点云。
89.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的激光雷达点云数据仿真方法，所述方法包括：
90.向生成网络提供第一输入集，所述生成网络至少包括中间特征层，所述中间特征层基于在先的第二输入集计算得到；
91.比较所述第一输入集中的各个第一输入与所述第二输入集中的对应第二输入的相似度；
92.对于相似度超过预定阈值的第一输入，获取所述中间特征层中与所述第二输入相对应的第二参数，作为所述中间特征层中与所述第一输入相对应的第一参数；对于相似度不超过所述预定阈值的第一输入，基于所述第一输入，计算所述中间特征层中与所述第一输入相对应的第三参数；
93.基于所述中间特征层的第一参数和所述中间特征层的第三参数，所述生成网络输
出第一仿真点云。
94.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
95.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
96.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。