基于摄像头图像生成点云数据的仿真方法及系统与流程

1.本发明涉及自动驾驶仿真领域，尤其涉及用于自动驾驶车辆的基于摄像头图像生成点云的仿真方法及仿真系统。


背景技术：

2.自动驾驶车辆已成为当今人工智能研究和汽车行业的热点之一。自动驾驶系统的安全要求需要在实验室和道路上进行大量测试，这既昂贵又费时。因此，良好的仿真器或测试系统是自动驾驶车辆从研发到生产环节中必不可少的部分。
3.用于自动驾驶的仿真通常涉及环境感知仿真。传统的自动驾驶技术对环境的感知主要依赖于摄像头和雷达传感器系统。获取这两种传感器的仿真和测试数据对自动驾驶车具有重要意义。
4.图1显示了现有的自动驾驶车辆的感知系统。如图1所示，在车辆的车身周围布置了包括多个传感器以及对由这些传感器采集的图像进行融合的融合ecu。多个传感器包括图像传感器、雷达传感器和激光雷达(lidar)传感器，这些不同类型的传感器在图1中以颜色深浅来示意性区分。与图像传感器和普通雷达传感器相比，激光雷达系统在感知车辆周围的环境时，具有不受光线强弱影响、探测距离远、探测精度高、可以描述物体形状等优势。特别是，从通过激光雷达扫描的点云图中，可以获得障碍物的位置、距离和高度信息，完美地获取了当前的环境信息，这使得利用激光雷达传感器系统进行环境感知比使用图像传感器和普通雷达传感器进行环境感知要更加可靠。但是，激光雷达传感器的很大的缺陷是成本太高。因此，许多制造商甚至不考虑在l3级自动驾驶车辆中使用激光雷达，而仅考虑在能够负担更高成本的l4级及以上级的自动驾驶车辆中使用激光雷达。
5.此外，由于激光雷达技术成熟得较晚，因此已经存在了在没有相应激光雷达数据的情况下为自动驾驶(ad)收集的大量摄像头图像。在已经收集了摄像头图像数据的现有方案中，很难通过现场收集或仿真来添加其他雷达和/或激光雷达数据。
6.因此，需要为自动驾驶系统的安全测试开发一种改进的方法和系统，以降低路试成本并提高测试效率。


技术实现要素：

7.本发明的一个或多个实施例提供了一种基于摄像头图像生成点云数据的方法。该方法包括采集数据以用于作为训练数据。所述训练数据包括摄像头图像以及点云图。该方法还包括基于生成对抗网络构建点云生成仿真模型。其中，所述点云生成仿真模型包括生成器和辨别器。该方法基于所述训练数据对点云生成仿真模型进行训练。并且在训练结束后，该方法可以使用经过训练的生成器基于摄像头图像来生成点云数据，以将生成的点云数据作为激光雷达传感器的仿真输出。
8.本发明的一个或多个实施例提供了一种基于摄像头图像生成点云数据的系统。该系统可以包括数据采集模块和处理器。数据采集模块用于采集数据以作为训练数据，所述
训练数据包括摄像头图像以及点云图。处理器与所述数据采集模块连接并且被配置成：基于生成对抗网络构建点云生成仿真模型。其中，所述点云生成仿真模型包括生成器和辨别器。处理器还被配置为基于所述训练数据对点云生成仿真模型进行训练；以及在训练结束后，由经过训练的生成器基于摄像头图像来生成点云数据，以将生成的点云数据作为激光雷达传感器的仿真输出。该系统还可以包括存储器，用于存储摄像头图像数据、激光雷达传感器采集的点云数据，以及通过基于生成对抗网络的点云生成仿真模型生成的作为模拟激光雷达器仿真输出的点云数据。
9.本发明的一个或多个实施例提供一种包括指令的计算机可读存储介质，所述指令被计算机执行以实现上述基于摄像头图像生成点云数据的方法。
附图说明
10.所述系统参照下列描述并结合附图可被更好地理解。图中的部件不是按比例的，而是将重点放在说明本发明的原理。此外，在图中，相似或相同参考数字代表相似或相同元件。
11.图1示意性示出了当前的自动驾驶车辆的感知系统。
12.图2示意性示出了根据本发明的一个或多个实施例的将摄像头图像与点云图部分融合之后的图。
13.图3示意性示出了根据本发明的一个或多个实施例的生成对抗网络(gan)的基本原理图。
14.图4示意性示出了根据本发明的一个或多个实施例的基于摄像头图像生成点云的系统框图。
15.图5示意性示出了车辆的雷达传感器的雷达信号与摄像头传感器的摄像头信号的覆盖范围比较图。
16.图6示例性示出了根据本发明的一个或多个实施例的将点云图转变以与摄像头图像融合的示意图。
17.图7示例性示出了根据本发明的一个或多个实施例的理想的辨别器的示意图。
18.图8示例性示出了根据本发明的一个或多个实施例的理想的生成器的示意图。
19.图9示例性示出了根据本发明的一个或多个实施例的生成器的一个网络示意图。
20.图10示例性示出了根据本发明的一个或多个实施例的生成器的另一个网络示意图。
21.图11示例性示出了根据本发明的一个或多个实施例的辨别器的一个网络示意图。
22.图12示例性示出了根据本发明的一个或多个实施例的辨别器的另一个网络示意图。
23.图13示出了根据本发明的一个或多个实施例的方法流程图。
具体实施方式
24.应当理解，给出实施例的以下描述仅仅是为了说明的目的，而不是限制性的。在附图中示出的功能块、模块或单元中的示例的划分不应被解释为表示这些功能块、模块或单元必须实现为物理上分离的单元。示出或描述的功能块、模块或单元可以实现为单独的单
元、电路、芯片、功能、模块或电路元件。一个或多个功能块或单元也可以在公共电路、芯片、电路元件或单元中实现。
25.随着深度学习技术的不断发展，已经出现了在深度学习基础上的各种新模型。在本公开中，将提供一种基于深度学习技术的新的仿真方法和系统。总体上，本公开的仿真方法和系统将基于生成对抗网络gan的点云生成仿真模型来生成点云数据，以实现模拟激光雷达传感器的输出。本公开的仿真方法和系统通过将摄像头传感器采集的摄像头图像，以及将摄像头图像与激光雷达传感器生成的点云图融合后的结果均作为网络的训练数据，从而最终获得了一个以摄像头图像为输入、点云图为输出的深度学习网络，从而获得用于模拟激光雷达器扫描的点云图的仿真测试数据。该基于深度学习网络的点云生成仿真模型的训练数据包括摄像头图像，以及包括经过转换处理(例如裁剪和变形)后的点云图与摄像头图像融合后形成的点云图。例如，图2示出的图片中示出了摄像头图像与点云图部分融合之后的图像。为了便于观察到差别，图2仅仅在局部(例如图右侧部分和图左侧一小部分)显示点云图和摄像头图像融合后的图。当基于深度学习网络的点云生成仿真模型完成训练后，该网络模型可以基于摄像头图像生成点云图，从而实现了无需实际使用激光雷达即可生成点云数据。利用本公开的基于摄像头图像通过训练好的网络模型来获得点云数据以模拟激光雷达传感器的输出，可以实现无需使用昂贵的激光雷达就可以得到点云数据，还可以针对已经采集的摄像头图像数据补充相应的激光雷达数据，甚至可以在已经采集的街景图片中添加虚拟目标(例如汽车或行人)，然后利用训练好的网络模型基于街景图片生成新的点云数据。
26.图3示意性示出了根据本发明的一个或多个实施例的生成对抗网络(gan)的基本原理图。
27.生成对抗网络具有两个网络，可以称为生成器g和辩别器d。生成器是一个生成数据的网络，它接收一个随机的噪声z，通过这个噪声生成假数据g(z)。辨别器是一个判别网络，用来判别数据是不是“真实的”。例如，假设它的输入参数是x，x代表数据(例如，一张图片)，则输出d(x)代表x为真实图片的概率。如果为d(x)的输出1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。
28.在训练过程中，生成网络(生成器)g的目标就是尽量生成真实的图片去欺骗判别网络(辨别器)d。而d的目标就是尽量把g生成的图片和真实的图片分别开来。这样，g和d构成了一个动态的“博弈过程”。在最理想的状态下，生成器g可以生成足以“以假乱真”的图片g(z)。此时，对于辨别器d来说，它难以判定g生成的图片究竟是不是真实的，这样就可以得到了一个生成器的理想模型g，它可以用来生成图片。
29.图4示意性示出了根据本发明的一个或多个实施例的基于摄像头图像生成点云的系统框图。
30.如图4所示，整个系统可以分为两部分。第一部分用于训练数据的收集与准备，第二部分用于网络模型的构建和训练。训练数据包括两部分数据，一部分数据来自于摄像头采集的图像数据库中的图像数据，另一部分数据是与摄像头图像融合的点云图数据。
31.需要指出的是，点云图由类似于x，y，z的信号和色彩数据组成，其中，x和y表示位置，z表示深度距离。例如，点云图是由激光雷达扫描一圈后生成的车辆周边环境的点云图，其包含了车辆周围360度的环境的位置和深度信息，而由摄像头采集的摄像头图像(或图
片)仅由位置数据(即x和y)以及色彩数据组成，缺少深度距离信息z。例如，从图5所示的车辆的雷达信号和摄像头信号覆盖的范围比较示意图中可以看出，摄像头只采集车辆前方一定视角的视觉图像/图片，而激光雷达扫描了车辆周围360度的环境从而获得对应周围环境的点云图。因为摄像头信号覆盖的范围仅仅是是激光雷达信号覆盖的范围的一小部分，因此，要想综合使用基于摄像头的图像/图片和由激光雷达扫描获得的点云图，必须先要对点云图进行处理。例如，需要裁剪点云图以使其覆盖区域与摄像头信号的区域基本重合。由于视角不同，裁剪后的点云图需要变形以使其可以与摄像头图像融合在一起。也就是说，将点云图经过一定的裁剪和变形处理后，再与摄像头图像进行融合。经过裁剪和变形后的点云图才能与摄像头图像中的像素和物体对应起来。
32.图6示例性示出了根据本发明的一个或多个实施例的将点云图进行转换处理以与摄像头图像融合的示意图。例如，如图6所示，从点云图中裁剪一块与摄像头图片基本对应的部分并进行基于视角进行变形处理。由此，经过裁剪和变形处理后的点云图与摄像头图像可以进行融合。
33.再回到图4的系统示意图，除了数据准备模块之外，系统还包括构建的基于摄像头图像的点云生成仿真模型。该模型可以是一个生成对抗网络gan的网络模型。其中，点云生成仿真模型包括生成器和辨别器。其中的生成器用来基于摄像头图像/图片来生成点云图，而辨别器则用于尽可能辨别生成器输出的真实性。构建的点云生成仿真模型需要进行训练。具体来说，来自于摄像头采集的图像数据库中的图像数据以及已经与摄像头图像融合的点云图数据被分别输入到该基于gan网络的点云生成仿真模型中，以对该点云生成仿真模型进行训练。其中，来自于摄像头采集的图像数据库中的基于摄像头的图像数据首先被输入到生成器中，以生成基于图像数据的点云图数据。而与摄像头图像经过融合的点云图数据作为真值输入到辨别器中。
34.以下结合图7-图8说明如何进行gan网络的训练。图7示例性示出了根据本发明的一个或多个实施例的理想的辨别器的示意图。图8示例性示出了根据本发明的一个或多个实施例的理想的生成器的示意图。
35.基于gan网络的点云生成仿真模型的训练包含了两部分训练，一部分是对生成网络g(即，生成器)的训练，另一部分是对判别网络d(即，辨别器)的训练，且两者在一次迭代中同时被训练。
36.在下文中，用x代表真值，即激光雷达生成的且与摄像头图像融合后的点云图，z代表输入生成器的摄像头图片/图像，g()代表生成器的输出结果，d()代表辨别器的输出结果。
37.正常情况下，如果辨别器的性能足够好，则d(x)应该尽量地接近于1，d(g(z))应尽量接近于0，例如，如图7所示的理想的辨别器。但是，对于一个好的生成器来说，其目的却恰恰相反，它需要使得生成的点云图足以欺骗辨别器。例如图8所示的理想的生成器是使得生成的点云足以欺骗辨别器，使得辨别器的输出d(g(z))应尽量接近于1。
38.结合以上两点，在每次迭代中，我们使用梯度下降法来最大化两个目标函数log(d(g(z)))和(log(d(x))+log(1-d(g(z))))，其目的分别是让生成网络g尽量地生成出与真实的点云图相似的图像以欺骗d，同时让判别网络d通过不断的学习防止被g欺骗，以尽量地判别出哪个是生成网络生成的点云图、哪个是激光雷达生成的点云图。通过不断的学习，如果
生成器生成的点云看起来像是真实的，辨别器d的输出值基本上等于0.5时，既可以认为此时基于gan网络模型的点云生成仿真模型的训练效果达到最优，则训练结束。也就是当生成器的目标函数log(d(g(z)))与辨别器的目标函数(log(d(x))+log(1-d(g(z))))均最大化时，则对点云生成仿真模型的训练结束。训练结束后，通过使用训练后的生成器，将摄像头图像作为生成器的输入，即可以将生成器生成的点云数据作为用来模拟激光雷达的输出数据。
39.图9示例性示出了根据本发明的一个或多个实施例的生成器的一个网络示意图。图9中的生成器采用编码器-解码器(encoder-decoder)网络的网络结构。整个网络框架包含了两部分。其中，前半部分的编码器是卷积网络，用以提取特征信息；后半部分的解码器是反卷积网络，用于将特征信息生成为点云图。
40.图10示例性示出了根据本发明的一个或多个实施例的生成器的另一个网络示意图。图10中的生成器采用u-net的网络结构。u-net采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。如图10所示，每个灰色框对应一个多通道特征图。通道数显示在灰色框的顶部。x-y尺寸位于框的左下边缘。白色框代表复制的特征图。不同颜色和朝向的箭头表示不同的操作。例如，黑色朝右的箭头代表以3x3的滑动窗口进行卷积的操作，深灰色朝右的箭头代表以1x1的滑动窗口进行卷积的操作，浅灰色朝右的箭头代表复制和裁剪。此外，朝下的箭头代表在2x2的窗口中的最大池化，朝上的箭头代表以2x2的滑动窗口进行上卷积。u-net体系结构的关键是添加跳转连接，该跳转连接将输入和输出图像之间共享的低级信息穿越网络传送出去。
41.图11示例性示出了根据本发明的一个或多个实施例的辨别器的一个网络示意图。在图11中示出了以深度卷积网络cnn网络为基础的辨别器的网络架构。例如，通过该以cnn网络为基础的辨别器，在经过多层的卷积之后，提取出特征向量。随后经过全连接网络系统获得判别结果。例如，输出结果为0则表示判断结果是由生成器生成的点云图，输出结果为1则表示是真实的点云图。
42.图12示例性示出了根据本发明的一个或多个实施例的辨别器的另一个网络示意图。图12示出的是称为patchgan的辨别器结构。这个辨别器结构与图11的辨别器结构不一样。它将输入图片拆分为多个n x n的块(patch)，然后分别辨别每一块的真实性。这种将图片拆分为多块再进行辨别的方式更有利于生成的图像逼近真实图。在图12中，我们假设输入的是尺寸为256x 256的生成的假的点云图和真实的点云图。经过连续的编码之后，输出30x 30的图像块。因为输入图像的大小是256x 256，因此这些输出的30x 30的图像块会有很多重叠。其中，这些图像块中的每一个像素都是0～1的数值，分别代表了该像素所对应的小块的相似程度。
43.图13示出了根据本发明的一个或多个实施例的方法的流程图。在s1301处，采集数据用于作为训练数据。带有摄像头传感器和激光雷达传感器的车辆在路试驾驶过程中，可以分别通过摄像头传感器采集图像并且通过激光雷达传感器采集点云图。也就是说，训练数据可以包括来自摄像头传感器采集的摄像头图像数据集中的摄像头图像以及通过激光雷达传感器采集的点云图这两部分数据。例如，还可以按时间对采集的摄像头图像和点云图进行分类。为了获得更多更高质量的训练数据，例如，对采集的点云图进行裁剪和变形并
将其与摄像头图像融合，融合后的点云图作为真值可以用于后续的训练。
44.在s1302处，构建基于gan网络的点云生成仿真模型。其中，点云生成仿真模型包括生成器和辨别器。在s1303处，基于训练数据对点云生成仿真模型进行训练。例如，将摄像头图像和与摄像头图像融合后的点云图分别输入到点云生成仿真模型中，在一次迭代中同时对点云生成仿真模型中的生成器和辨别器进行训练。例如，可以将采集的摄像头图像输入到生成器中生成点云图，并将生成的点云图输入到辨别器。同时将融合后的点云图作为真值输入辨别器。辨别器对两种点云图进行辨别。当生成器的目标函数与辨别器的目标函数均最大化时，则对点云生成仿真模型的训练结束。
45.在s1304处，在训练结束后，由经过训练的生成器基于摄像头图像来生成点云数据。生成的点云数据即可作为用来模拟激光雷达传感器的仿真输出。
46.本发明的一个或多个实施例还提供了一种用于基于摄像头图像生成点云的系统。该系统包括数据采集模块，用于采集数据以作为训练数据。训练数据可以包括摄像头图像以及点云图。本发明的系统还可以包括与数据采集模块连接的处理器。本发明的处理器作为整体可为微处理器、专用集成电路(asic)、芯片上系统(soc)、计算装置、便携移动计算装置(例如，平板计算机或手机)等。处理器可以被配置为执行以下方法：基于生成对抗网络构建点云生成仿真模型，其中，所述点云生成仿真模型包括生成器和辨别器；基于所述训练数据对点云生成仿真模型进行训练；以及在训练结束后，由经过训练的生成器基于摄像头图像来生成点云数据，以将生成的点云数据作为激光雷达传感器的仿真输出。该系统还可以包括与处理器连接的存储器。该存储器可以存储摄像头图像数据、激光雷达传感器采集的点云数据，以及通过本发明的基于生成对抗网络的点云生成仿真模型生成的点云数据。
47.本发明提供的基于摄像头图像生成点云的方法和系统，能够通过构建和训练仿真模型来最终实现仅参考各个图像数据生成点云图，而无需在每次路试中都使用昂贵的激光雷达来采集代表街景的点云图。对于已经收集过的摄像头图像数据库中的摄像头图像，利用本发明提供的方法和系统可以为这些摄像头图像生成相应的激光雷达数据。甚至于，还可以利用本发明的方法和系统为仿真测试中新建立的场景生成模拟的激光雷达数据。例如，在已经采集的街景图像中添加虚拟目标，例如汽车或行人，然后本发明的经过训练的仿真模型基于改变的街景图像生成新的点云数据，从而模拟生成了激光雷达数据。本发明提供的方法和系统通过提供了更加高效和便捷的仿真测试系统，由此可以降低自动驾驶路试成本并提高测试效率。
48.本文描述的处理器、存储器或系统中的任何一个或多个包括计算机可执行指令，所述计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序中编译或解释。一般来说，处理器(诸如微处理器)例如从存储器、计算机可读介质等接收指令并执行指令。处理器包括能够执行软件程序的指令的非暂态计算机可读存储介质。计算机可读介质可以是但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或其任何合适的组合。
49.已经出于说明和描述的目的而呈现了对实施方案的描述。可以鉴于以上描述执行或可以通过实践方法获得实施方案的合适的修改和变化。例如，除非另外指出，否则所描述的一种或多种方法可以由合适的装置和/或系统的组合来执行。所述方法可以通过以下方式来执行：利用一个或多个逻辑装置(例如，处理器)结合一个或多个另外的硬件元件(诸如
存储装置、存储器、电路、硬件网络接口等)来执行存储的指令。所述方法和相关联动作还可以按除了本技术中所述的顺序之外的各种顺序并行和/或同时执行。所述系统本质上是示例性的，并且可包括另外的元件和/或省略元件。本公开的主题包括所公开的各种方法和系统配置以及其他特征、功能和/或性质的全部新颖的且非显而易见的组合。
50.如本技术中所使用的，以单数形式列举并且前面带有词语“一/一个”的元件或步骤应当被理解为并不排除多个所述元件或步骤，除非指出这种排除情况。此外，对本公开的“一个实施方案”或“一个示例”的参考并非意图解释为排除也并入所列举特征的另外实施方案的存在。上文已参考特定实施方案描述了本发明。然而，本领域的一般技术人员将理解，可在不脱离如所附权利要求书中陈述的本发明的较广精神和范围的情况下对其作出各种修改和改变。