信息补全方法、装置、计算机设备和存储介质与流程

1.本技术涉及传感器技术领域，特别是涉及一种信息补全方法、装置、计算机设备和存储介质。


背景技术：

2.随着自动化驾驶、车路协同等技术的发展，传感器得到了越来越广泛的应用。自动化驾驶系统或者车路协同系统中，需要采集目标对象的不同类型的特征信息，使得系统根据特征信息做出的判断更准确。
3.为了采集不同类型的特征信息，上述系统可以部署多个传感器。系统中可以同时部署激光雷达、视觉传感器以及毫米波雷达，可以通过激光雷达采集道路对象的尺寸、深度信息等特征；可以视觉传感器采集道路对象的颜色特征，以及通过毫米波雷达采集道路对象的速度等特征。
4.但是，当其中视觉传感器失效的情况下，系统不能获得道路对象的颜色特征等信息，导致自动化驾驶系统或者车路协同系统工作异常甚至引发安全事故。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提升系统可靠性的信息补全方法、装置、计算机设备和存储介质。
6.一种信息补全方法，包括：获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内；
7.在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；
8.将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
9.在其中一个实施例中，上述方法还包括：
10.获取在同一时间段、同一场景下激光雷达采集的历史点云数据、毫米波雷达采集的历史毫米波雷达数据，以及视觉传感器采集的历史图像数据；
11.在历史毫米波雷达数据和历史点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得历史空间数据；
12.对历史图像数据以及历史空间数据进行时空同步处理，得到历史图像数据与历史空间数据的时空对应关系；
13.基于历史图像数据与历史空间数据的时空对应关系，建立深度学习模型。
14.在其中一个实施例中，上述历史图像数据包括多个第一数据帧，历史空间数据包括多个第二数据帧，对历史图像数据以及历史空间数据进行时空同步处理，得到历史图像
数据与历史空间数据的时空对应关系，包括：
15.对历史图像数据和历史空间数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；
16.对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
17.在其中一个实施例中，上述基于历史图像数据与历史空间数据的时空对应关系，建立深度学习模型，包括：
18.对历史图像数据进行特征提取，获取各第一数据对应的第一特征信息；
19.将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合；
20.将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
21.在其中一个实施例中，上述历史毫米波雷达数据包括多个历史毫米波雷达数据帧，历史点云数据包括多个历史点云帧，在历史毫米波雷达数据和历史点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得历史空间数据，包括：
22.对历史毫米波雷达数据和历史点云数据进行时间同步处理，获得时间同步的多个历史融合帧对；每个历史融合帧对中包含采样时刻同步的历史毫米波雷达数据帧和历史点云帧；
23.在每个历史融合帧对中，基于预设的第一转换矩阵对历史毫米波雷达数据帧和历史点云帧进行空间同步，构成第二数据帧；
24.将各第二数据帧按时间顺序组成历史空间数据。
25.在其中一个实施例中，上述对历史图像数据和历史空间数据进行时间同步，获得时间同步的多个数据帧对，包括：
26.将历史图像数据和历史空间数据转换至同一时间轴下；
27.在时间轴下，获取历史图像数据中各第一数据帧的第一采样时刻，以及历史空间数据中各第二数据帧的第二采样时刻；
28.计算第一采样时刻与第二采样时刻之间的差值；
29.若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
30.在其中一个实施例中，上述历史图像数据、历史毫米波雷达数据、历史点云数据的采样频率呈倍数关系。
31.在其中一个实施例中，上述对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对包括：
32.根据预设的第二转换矩阵，将数据帧对中的第二数据转换至空间数据所在坐标系中，获得各第二数据在空间数据所在坐标系下的映射坐标；
33.在数据帧对中，获取映射坐标对应的第一数据；
34.将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
35.在其中一个实施例中，上述毫米波雷达数据包括多个毫米波雷达数据帧，点云数
据包括多个点云帧，空间数据包含多个空间数据帧，在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据，包括：
36.对毫米波雷达数据和点云数据进行时间同步处理，获得时间同步的多个融合帧对；每个融合帧对中包含采样时刻同步的毫米波雷达数据帧和点云帧；
37.基于第一转换矩阵，对毫米波雷达数据帧和点云帧进行空间同步，构成空间数据帧。
38.一种信息补全装置，上述装置包括：
39.获取模块，用于获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内；
40.融合模块，用于在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；
41.输入模块，用于将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
42.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
43.获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内；
44.在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；
45.将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
46.一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
47.获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内；
48.在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；
49.将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
50.上述信息补全方法、装置、计算机设备和存储介质，计算机设备获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；然后，在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；并将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；其中，当前场景位于视觉传感器的扫描范围内；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一
特征信息包括颜色信息、类别信息中的至少一种。由于上述深度学习模型为基于毫米波雷达、激光雷达采集以及视觉传感器采集的数据训练获得的，因此深度学习模型具备了将毫米波雷达数据、点云数据与图像数据进行关联的能力；当视觉传感器失效的情况下，计算机设备根据点云数据以及毫米波雷达数据构成空间数据，从而可以基于空间数据与深度学习模型获得第一特征信息，避免视觉传感器失效导致系统工作异常，提升了系统的可靠性。
附图说明
51.图1为一个实施例中信息补全方法的应用环境图；
52.图2为一个实施例中信息补全方法的流程示意图；
53.图2a为一个实施例中信息补全方法的示意图；
54.图3为另一个实施例中信息补全方法的流程示意图；
55.图4为另一个实施例中信息补全方法的流程示意图；
56.图5为另一个实施例中信息补全方法的流程示意图；
57.图6为另一个实施例中信息补全方法的流程示意图；
58.图7为另一个实施例中信息补全方法的流程示意图；
59.图8为另一个实施例中信息补全方法的流程示意图；
60.图9为另一个实施例中信息补全装置的结构框图；
61.图10为另一个实施例中信息补全装置的结构框图；
62.图11为另一个实施例中信息补全装置的结构框图；
63.图12为一个实施例中计算机设备的内部结构图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
65.本技术提供的信息补全方法，可以应用于如图1所示的应用环境中。计算机设备100与激光雷达200、视觉传感器300以及毫米波雷达400连接连接。上述激光雷达200、视觉传感器300以及毫米波雷达400可以是路侧系统中的传感器，也可以是车载系统中的传感器，在此不做限定。上述计算机设备10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
66.在一个实施例中，如图2所示，提供了一种信息补全方法，该方法适用于无法利用视觉传感器获取某些区域信息的情形，例如视觉传感器失效、视觉传感器本身感知盲区等。以该方法应用于图1中的计算机设备为例进行说明，包括：
67.s101、获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内。
68.其中，上述激光雷达、毫米波雷达、视觉传感器可以是路侧系统中的传感器，也可以是车载系统中的传感器，在此不做限定。上述激光雷达可以但不限于是8线激光雷达、16线激光雷达、32线激光雷达、64线激光雷达、128线激光雷达等。上述毫米波雷达可以对应多个工作频段，例如77ghz、24ghz等。上述视觉传感器可以是图像数据采集设备，也可以是三
维视觉传感器，在此不做限定。
69.上述系统中设置上述三种不同的传感器，可以获得道路对象的不同特征信息，例如计算机设备可以通过毫米波雷达获得道路对象的速度信息，可以通过视觉传感器获得道路对象的颜色信息、类别信息等，还可以通过激光雷达获得道路对象的尺寸信息、类别信息以及深度信息。上述道路对象可以是道路中的交通参与者，例如车辆或者行人；另外，上述道路对象还可以是道路中的障碍物等；对于上述道路对象的类型在此不做限定。其中，上述尺寸信息可以是道路对象对应的目标识别框的尺寸；上述类别信息可以包括道路对象为小型车辆、大型车辆、行人、道路设备等；上述深度信息可以是指道路对象与传感器之间的距离或相对位置；上述颜色信息可以是道路对象对应的rgb信息等。
70.上述各个传感器可以具有不同的扫描范围。如图2a所示，激光雷达可以实现360度扫描，对应扫描范围如图2a中的区域a，毫米波雷达的扫描范围可以是区域b，视觉传感器的扫描范围可以是区域c，激光雷达、毫米波雷达以及视觉传感器可以具有扫描重叠区域m。
71.计算机设备可以对视觉传感器进行检测，以确定视觉传感器是否失效。上述失效可以是视觉传感器与计算机设备之间的连接状态异常，也可以是视觉传感器返回的数据异常，例如数据缺失或者数据失真；对于上述失效模式在此不做限定。计算机设备在确定视觉传感器是否失效时，可以根据视觉传感器的状态监控日志来确定，也可以检测是否接收到了视觉传感器返回的数据，若未接收到视觉传感器返回的数据则可以确定视觉传感器失效；对于上述失效确定方式在此不做限定。
72.计算机设备确定激光雷达失效的情况下，可以获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据，其中，上述当前场景位于视觉传感器的扫描范围内，以图2a为例，上述当前场景可以位于扫描重叠区域m中。
73.具体地，计算机设备获取毫米波雷达数据和点云数据时，可以通过有线连接的方式获取上述数据，也可以通过无线连接的方式获取上述数据，在此不做限定。计算机设备可以实时获取毫米波雷达发送的毫米波雷达数据，以及激光雷达发送的点云数据，也可以向毫米波雷达和激光雷达发送采集指令之后，获得毫米波雷达和激光雷达基于采集指令返回的数据，对于上述数据获取方式在此不做限定。
74.计算机设备中可以存储上述扫描重叠区域的范围，在接收到毫米波雷达数据以及点云数据之后，可以根据上述预设范围提取扫描重叠区域中的毫米波雷达数据和图像数据。另外，计算机设备也可以指示毫米波雷达和激光雷达对当前场景进行扫描，获得毫米波雷达数据和点云数据。
75.s102、在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据。
76.进一步地，计算机设备可以将同一时刻、对同一对象采集的毫米波雷达数据和点云数据进行融合处理，获得空间数据。通过对毫米波雷达数据和点云数据的融合处理，可以获得对当前场景中道路对象更全面的信息，降低环境因素等对数据准确性带来的影响；另外，通过对毫米波雷达数据和点云数据的融合处理，还可以抑制毫米波雷达和激光雷达的噪声以及数据漂移带来的影响。
77.具体地，计算机设备可以将毫米波雷达数据以及点云数据输入预设的数据融合处理算法模型中，获得空间数据。由于毫米波雷达与激光雷达的扫描精度不同，一般情况下激
光雷达的数据疏密度比毫米波雷达的数据疏密度高，也就是说对于一个采样点，可能既有点云数据也有毫米波雷达数据，而对于另一个采样点，可能只有点云数据，当然也存在仅有毫米波雷达数据的采样点。计算机设备对毫米波雷达数据和点云数据进行融合处理后，所获得的空间数据中可以是在部分采样点中，同时包含点云数据和毫米波雷达数据；另外，计算机设备也可以对点云数据和毫米波雷达数据进行插值处理，使得空间数据中心每个采样点均包含点云数据和毫米波雷达数据；对于上述融合处理方式在此不做限定。
78.s103、将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
79.上述第一特征信息也可以是包括道路对象的颜色信息、类别信息至少一种。本技术中，通过毫米波雷达和激光雷达本身不具备获取道路对象的第一特征信息的能力。对于常规的路侧系统或者车载系统，可以通过视觉传感器获得道路对象的第一特征信息；如果视觉传感器失效，则系统无法获取道路对象的第一特征信息。本技术中，计算机设备基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练，得到的深度学习模型，使得深度学习具备了将毫米波雷达、激光雷达采集的数据与视觉传感器采集的数据进行关联的能力，从而可以根据毫米波雷达数据以及点云数据构成的空间数据，获得道路对象的第一特征信息。
80.其中，上述深度学习模型可以是有监督学习模型，也可以是无监督学习模型，还可以是半监督学习模型；上述深度学习模型可以是卷积神经网络模型，也可以是循环神经网络模型，对于深度学习模型的类型在此不做限定。对深度学习模型进行训练的数据所对应的场景，可以是当前道路对象所在的场景，也可以是其他场景，在此不做限定。上述深度学习模型可以仅应用于同一个场景，也可以迁移至其它场景使用。
81.具体地，计算机设备获取空间数据之后，可以直接将空间数据输入深度学习模型，也可以对空间数据进行预处理后，例如降噪处理等，再输入深度学习模型获得当前场景中道路对象的第一特征信息，在此不做限定。
82.上述信息补全方法，该方法适用于无法利用视觉传感器获取某些区域信息的情形，计算机设备获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；然后，在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；并将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；其中，当前场景位于视觉传感器的扫描范围内；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。由于上述深度学习模型为基于毫米波雷达、激光雷达采集以及视觉传感器采集的数据训练获得的，因此深度学习模型具备了将毫米波雷达数据、点云数据与图像数据进行关联的能力；当视觉传感器失效的情况下，计算机设备根据点云数据以及毫米波雷达数据构成空间数据，从而可以基于空间数据与深度学习模型获得第一特征信息，避免视觉传感器失效导致系统工作异常，提升了系统的可靠性。
83.图3为另一个实施例中信息补全方法的流程示意图，本实施例涉及深度学习模型的一种获取方式，在上述实施例的基础上，如图3所示，上述方法还包括：
84.s201、获取在同一时间段、同一场景下激光雷达采集的历史点云数据、毫米波雷达采集的历史毫米波雷达数据，以及视觉传感器采集的历史图像数据。
85.上述毫米波雷达、激光雷达与视觉传感器的相对位置固定，例如激光雷达、毫米波雷达和视觉传感器可以安装在同一个固定装置中。具体地，计算机设备可以在数据库中，根据采集时间段和采集场景，获取毫米波雷达、激光雷达以及视觉传感器在同一时间段内，以及同一场景下采集的历史毫米波数据、历史点云数据以及历史图像数据。
86.s202、在历史毫米波雷达数据和历史点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得历史空间数据。
87.进一步地，计算机设备可以将同一时刻、对同一对象采集的历史毫米波雷达数据和历史点云数据进行融合处理，获得空间历史数据。上述对历史毫米波雷达数据和历史点云数据进行融合处理的方式，与s102中对毫米波雷达数据和点云数据进行融合处理的方式相同，在此不做赘述；相应地，上述历史空间数据的具体限定与上述s102中空间数据的限定相同，在此不做赘述。
88.s203、对历史图像数据以及历史空间数据进行时空同步处理，得到历史图像数据与历史空间数据的时空对应关系。
89.在获得历史图像数据和历史空间数据之后，为了获得深度学习模型的训练数据集合，计算机设备需要对历史图像数据与历史空间数据进行时空同步处理。
90.具体地，计算机设备可以对历史图像数据和历史空间数据首先进行时间同步，再进行空间同步；也可以对历史图像数据和历史空间数据首先进行空间同步，再进行时间同步；对于上述时空同步处理方式在此不做限定。对历史图像数据和历史空间数据进行时空同步处理之后，获得的时空对应关系中包含了同一时间对同一目标采集的历史图像数据和历史空间数据之间的对应关系。
91.s204、基于历史图像数据与历史空间数据的时空对应关系，建立深度学习模型。
92.计算机设备获得上述历史图像数据与历史空间数据的时空对应关系之后，可以基于该时空对应关系获取深度学习模型的训练数据集合。上述训练数据集合中可以包括正向样本，也可以包括负向样本。
93.在获得训练数据集合的基础上，计算机设备可以基于训练数据集合进行模型训练，获得深度学习模型。计算机设备可以对训练数据集合中的各个样本进行数据清洗，也可以对训练数据集合中的各个样本进行处理以增加样本数量，对于样本处理方式在此不做限定。
94.上述信息补全方法，计算机设备对历史图像数据和历史空间数据进行时空同步处理，从而获得毫米波雷达、激光雷达与视觉传感器同时对同一目标采集的数据，建立历史空间数据与历史图像数据的时空对应关系；进一步地，通过上述时空对应关系，计算机设备获得训练数据集合并对深度学习模型进行训练，使得深度学习模型建立了毫米波雷达、激光雷达与视觉传感器之间的关联，从而可以根据空间数据获得道路对象的第一特征信息，提升了系统的稳定性和可靠性。
95.图4为另一个实施例中信息补全方法的流程示意图，本实施例涉及计算机设备对历史图像数据和历史空间数据进行时空同步的一种方式，在上述实施例的基础上，如图4所示，历史图像数据包括多个第一数据帧，历史空间数据包括多个第二数据帧，上述s202包
括：
96.s301、对历史图像数据和历史空间数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧。
97.计算机设备在基于历史图像数据与历史空间数据对深度学习模型进行训练时，可以先将历史图像数据与历史空间数据进行时间同步，以便将同一时刻采集的历史图像数据与历史空间数据进行对应。
98.上述历史图像数据包括多个第一数据帧，历史空间数据包括多个第二数据帧。计算机设备可以根据第一数据帧和第二数据帧的采集时刻，确定第一数据帧和第二数据帧是否时间同步，然后将采样时刻同步的第一数据帧和第二数据帧确定为一个数据帧对。
99.具体地，计算机设备在根据采样时刻进行时间同步时，可以获得每个第一数据帧和每个第二数据帧的采样时刻，然后将获得的采样时刻进行对比以确定同步的数据帧；另外，计算机设备还可以先确定与第一个第一数据帧时间同步的第二数据帧，然后根据历史图像数据与历史空间数据的采样频率，依次计算其他第一数据帧时间同步的第二数据帧的位置；对于上述时间同步方式在此不做限定。
100.上述历史图像数据与历史空间数据的采样频率可以相同，也可以不同。可选地，上述历史毫米波雷达数据的采样频率，与历史点云数据的采样频率以及历史图像数据的采样频率可以呈倍数关系。例如历史毫米波雷达数据和历史点云数据的采样频率是历史图像数据的采样频率的2倍，基于历史毫米波雷达数据和历史点云数据获得的历史空间数据的采样频率，也可以是历史图像数据的采样频率的2倍。计算机设备确定了第一个采样时刻同步的数据帧对之后，可以根据采样频率的倍数关系快速确定其余的数据帧对，提升历史图像数据与历史空间数据的时间同步效率。
101.s302、对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
102.其中，每个第一数据帧可以包括多个第一数据，上述第第一数据可以是第一数据帧中某一个采样点的数据，也可以是第一数据帧中某一个区域内的采样点的数据；另外，上述第一数据还可以是第一数据帧中某一个道路对象对应的历史图像数据，在此不做限定。每个第二数据帧可以包括多个第二数据；上述第二数据可以是第二数据帧中某一个采样点的数据，也可以是第二数据帧中某一个区域内的采样点的数据；另外，上述第二数据还可以是第二数据帧中某一个道路对象对应的空间数据，在此不做限定。
103.计算机设备获得多个采样时刻同步的数据帧对之后，可以针对每个数据帧对中的第一数据和第二数据进行对应，得到不同传感器对同一个目标进行采集所获得的第一数据和第二数据。
104.具体地，计算机设备可以通过坐标转换的方式进行空间标定，使得历史图像数据和历史空间数据可以标注在相同的坐标系下，从而获得第一数据和第二数据之间的对应关系。计算机设备可以将第一数据转换至第二数据所在的坐标下，也可以将第二数据转换至第一数据所在的坐标下，另外，计算机设备还可以将第一数据和第二数据均转换至其它坐标系下，例如地球坐标系等；对于上述空间标定方式在此不做限定。
105.上述信息采补全方法，计算机设备对历史图像数据和历史空间数据先进行时间同
步，然后进行空间对应，使得可以快速建立历史图像数据和历史空间数据的时空对应关系。
106.图5为另一个实施例中信息补全方法的流程示意图，本实施例涉及深度学习模型的一种获取方式，在上述实施例的基础上，如图5所示，上述s204包括：
107.s401、对历史图像数据进行特征提取，获取各第一数据对应的第一特征信息。
108.计算机设备可以对历史图像数据进行特征提取，获取各第一数据帧中各第一数据对应的第一特征信息。具体地，计算机设备可以将历史图像数据输入预设的特征提取模型，通过特征提取模型获得各第一数据对应的第一特征信息。
109.s402、将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合。
110.进一步地，计算机设备可以将第二数据作为训练输入样本，将上述时空对应关系中，与第二数据对应的第一数据所关联的第一特征信息作为该训练输入样本的样本标签，获得训练数据集合。
111.具体地，计算机设备可以基于每个数据对中的第一数据和第二数据获得一个训练样本；也可以根据部分数据对中的第一数据和第二数据获得训练样本，在此不做限定。计算机设备可以根据各数据对中的第二数据在历史空间数据中的重要程度，设置训练样本的训练权重。
112.s403、将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
113.进一步地，计算机设备可以将训练数据集合中的第二数据作为初始深度学习模型的输入，将第一数据关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。例如，计算机设备可以根据初始深度学习模型的参考输出，调整模型的学习率、滑动平均系数等超参数，获得深度学习模型。
114.例如，计算机设备在第二数据帧中选择一个区域内的历史空间数据作为第二数据，并确定第二数据所关联的第一数据对应的第一特征信息，例如颜色、类别等特征信息，将上述特征信息作为第二数据的样本标签，获得训练数据集合；然后，计算机设备可以对训练样本集进行归一化、翻转、打乱等预处理后输入初始深度学习模型；利用初始深度学习模型中下采样、上采样及多尺寸特征拼接等方法，提取历史空间数据的多维度特征信息，形成多个大小不一的特征图；利用目标检测，对定位损失、分类损失、前景后景损失等进行损失计算；然后采用梯度下降算法迭代损失函数，使得损失函数低于一定阈值或达到迭代终止条件时，获得深度学习模型。
115.上述信息补全方法，计算机设备通过第一数据和第二数据之间的对应关系，获得训练数据集合并对深度学习模型进行训练，使得深度学习模型建立了历史图像数据的第一特征信息与历史空间数据之间的关联，从而可以根据空间数据获得道路对象的第一特征信息，提升了系统的稳定性和可靠性。
116.图6为另一个实施例中信息补全方法的流程示意图，本实施例涉及计算机设备对历史图像数据和历史空间数据进行时间同步的一种方式，在上述实施例的基础上，如图6所示，上述s301包括：
117.s501、将历史图像数据和历史空间数据转换至同一时间轴下。
118.毫米波雷达、激光雷达以及视觉传感器作为独立的设备，所获得的历史毫米波雷达数据、历史点云数据、历史图像数据的时间轴可能是不同的，因此上述历史图像数据与历史空间数据的时间轴也可能不同。例如，历史空间数据的时间轴为全球定位系统(global positioning system，简称gps)时间轴，而历史图像数据的时间轴是视觉传感器设备自身确定的，存在一定的时间轴差。计算机设备可以将历史图像数据和历史空间数据转换至同一时间轴下，以便系统获得采样时刻同步的第一数据帧和第二数据帧。
119.具体地，计算机设备可以将历史图像数据转换至历史空间数据的时间轴下，也可以将历史空间数据转换至历史时间数据的时间轴下，还可以将历史图像数据和历史空间数据均转换至另一个时间轴下，例如转换至gps时间轴下，对于上述转换方式在此不做限定。
120.s502、在时间轴下，获取历史图像数据中各第一数据帧的第一采样时刻，以及历史空间数据中各第二数据帧的第二采样时刻。
121.进一步地，计算机设备可以获取各第一数据帧的第一采样时刻，以及第二数据帧的第二采样时刻。上述第一采样时刻可以是视觉传感器在采集历史图像数据时在第一数据帧上标记的时间戳，也可以按照各个第一数据帧的顺序以及开始采样时刻获得的第一采样时刻，对于第一采样时刻的获取方式在此不做限定。上述第二采样时刻可以是构建历史空间数据时，根据毫米波雷达以及激光雷达的采样时刻确定的，可以是历史毫米波雷达数据对应的采样时刻，也可以是历史点云数据对应的采样时刻。
122.s503、计算第一采样时刻与第二采样时刻之间的差值。
123.s504、若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
124.计算机设备可以计算第一采样时刻与第二采样时刻之间的差值的绝对值；若差值的绝对值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
125.上述信息补全方法，计算机设备通过将历史图像数据和历史空间数据转换至同一时间轴下，使得计算机设备可以准确地对第一数据帧和第二数据帧进行同步；进一步地，计算机设备获取第一采样时刻与第二采样时刻的差值的绝对值，当上述差值的绝对值小于预设阈值时即确定第一数据帧和第二数据帧为一个数据帧对，避免由于采样频率等差异造成第一采样时刻与第二采样时刻不能完全相同时而导致的时间同步失败，提升了信息补全过程的稳定性。
126.图7为另一个实施例中信息补全方法的流程示意图，本实施例涉及计算机设备对每个数据帧对进行空间标定的一种方式，在上述实施例的基础上，如图7所示，上述s302包括：
127.s601、根据预设的第二转换矩阵，将数据帧对中的第二数据转换至空间数据所在坐标系中，获得各第二数据在空间数据所在坐标系下的映射坐标。
128.上述空间数据所在坐标系可以是激光雷达所在坐标系，也可以是毫米波雷达所在坐标系，具体取决于空间数据的构成方式。若将历史点云数据与历史毫米波雷达数据进行融合时，是将历史毫米波雷达数据添加至历史点云数据所在坐标系下，那么上述空间数据所在坐标系即为激光雷达所在坐标系。若将历史点云数据与历史毫米波雷达数据进行融合时，是将历史点云数据添加至历史毫米波雷达数据所在坐标系下，那么上述空间数据所在
坐标系即为毫米波雷达所在坐标系。相应地，上述第二转换矩阵可以是将视觉传感器采集的数据转换至激光雷达坐标系下的矩阵，也可以是将视觉传感器采集的数据转换至毫米波雷达坐标系下的矩阵。上述第二转换矩阵中包含了两个传感器之间的平移量以及旋转角度等参数。
129.上述第二转换矩阵可以是工作人员手工测量后获得，然后输入计算机设备中的；也可以是计算机设备对两个传感器进行自动标定获得的，在此不做限定。计算机设备根据预设的第二转换矩阵，将数据对中的第一数据转换至空间数据所在坐标系中，可以获得各第一数据在空间数据所在坐标系下的映射坐标。
130.s602、在数据帧对中，获取映射坐标对应的第一数据。
131.计算机设备可以根据各映射坐标，确定各映射坐标在第一数据帧中对应的第一数据。具体地，计算机设备可以在数据对中，查找与该映射坐标对应的第一数据；若数据对中不包含该映射坐标对应的采样点数据，那么计算机设备可以将根据映射坐标与第一数据对应的坐标值之间的距离，来确定该映射坐标对应的第一数据。
132.s603、将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
133.在上述步骤的基础上，计算机设备确定了各映射坐标对应的第一数据，以及各映射坐标对应的第二数据，可以将第一数据与第二数据通过映射坐标进行关联，从而建立了第一数据与第二数据的对应关系，可以将上述第一数据以及第二数据确定为一个数据对。
134.上述信息补全方法，计算机设备通过第二转换矩阵完成数据帧对的空间标定，使得计算机设备可以获得空间对应的数据对，为获得深度学习模型的训练数据集合中的样本标签提供对应基础，有利于提升深度学习模型的训练效率。
135.图8为另一个实施例中信息补全方法的流程示意图，本实施例涉及历史空间数据的一种获取方式，在上述实施例的基础上，历史毫米波雷达数据包括多个历史毫米波雷达数据帧，历史点云数据包括多个历史点云帧，如图8所示，上述s202包括：
136.s701、对历史毫米波雷达数据和历史点云数据进行时间同步处理，获得时间同步的多个历史融合帧对；每个历史融合帧对中包含采样时刻同步的历史毫米波雷达数据帧和历史点云帧。
137.计算机设备对历史毫米波雷达数据和历史点云数据进行时间同步的方式，与步骤s301以及图6对应的实施例中，对历史图像数据和历史空间数据进行时间同步的方式相同。具体地，计算机设备可以将历史毫米波雷达数据和历史点云数据转换至同一时间轴下；在时间轴下，获取历史毫米波雷达数据中各历史毫米波雷达数据帧的采样时刻，以及历史点云数据中各历史点云帧的采样时刻；然后计算上述两个采样时刻之间的差值；若上述差值小于预设阈值，则确定上述历史毫米波雷达数据帧与上述历史点云数据帧为一个历史融合帧对。
138.s702、在每个历史融合帧对中，基于预设的第一转换矩阵对历史毫米波雷达数据帧和历史点云帧进行空间同步，构成第二数据帧。
139.进一步地，计算机设备可以在每个历史融合帧对中，基于上述第一转换矩阵，对历史毫米波雷达数据帧和历史点云帧进行空间同步。计算机设备可以将历史毫米波雷达数据帧转换至激光雷达坐标系下，也可以将历史点云书转换至毫米波雷达坐标系下，在此不做
限定。
140.计算机设备对历史毫米波雷达数据帧和历史点云帧进行空间同步后，可以将同一采样点对应的历史毫米波雷达数据和历史点云数据进行融合，获得第二数据帧。
141.s703、将各第二数据帧按时间顺序组成历史空间数据。
142.在上述步骤的基础上，计算机设备可以对各第二数据帧按时间排序，组成历史空间数据。
143.类似地，上述毫米波雷达数据包括多个毫米波雷达数据帧，点云数据包括多个点云帧，计算机设备在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据时，与上述对历史毫米波雷达数据和历史点云数据进行融合的方法相同，可以对毫米波雷达数据和点云数据进行时间同步处理，获得时间同步的多个融合帧对，获得的每个融合帧对中包含采样时刻同步的毫米波雷达数据帧和点云帧；然后，基于上述第一转换矩阵，对毫米波雷达数据帧和点云帧进行空间同步，构成空间数据帧。
144.上述信息补全方法，计算机设备通过时间同步以及空间标定，对同一时刻、对同一对象采集的历史毫米波雷达数据以及历史点云数据进行融合，使得可以通过获得的历史空间数据获得道路对象更全面的信息，降低环境因素等对数据准确性带来的影响，从而使得训练得到的深度学习模型可以基于空间数据获得更准确、全面的第一特征信息。
145.应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
146.在一个实施例中，如图9所示，提供了一种信息补全装置，包括：获取模块10、融合模块20和输入模块30，其中：
147.获取模块10，用于获取毫米波雷达在当前场景下采集的毫米波雷达数据，以及获取激光雷达在当前场景下采集的点云数据；当前场景位于视觉传感器的扫描范围内；
148.融合模块20，用于在毫米波雷达数据和点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得空间数据；
149.输入模块30，用于将空间数据输入预设的深度学习模型，获得道路场景中的道路对象的第一特征信息；深度学习模型为基于毫米波雷达、激光雷达以及视觉传感器在用一时间段、同一场景下采集的数据进行训练获得的；第一特征信息包括颜色信息、类别信息中的至少一种。
150.在一个实施例中，在上述实施例的基础上，如图10所示，上述装置还包括建立模块40，建立模块40包括：
151.获取单元401，用于获取在同一时间段、同一场景下激光雷达采集的历史点云数据、毫米波雷达采集的历史毫米波雷达数据，以及视觉传感器采集的历史图像数据；
152.融合单元402，用于在历史毫米波雷达数据和历史点云数据中，将同一时刻、对同一对象采集的数据进行融合处理，获得历史空间数据；
153.同步单元403，用于对历史图像数据以及历史空间数据进行时空同步处理，得到历
史图像数据与历史空间数据的时空对应关系；
154.建立单元404，用于基于历史图像数据与历史空间数据的时空对应关系，建立深度学习模型。
155.在一个实施例中，在上述实施例的基础上，历史图像数据包括多个第一数据帧，历史空间数据包括多个第二数据帧，如图11所示，上述同步单元4023包括：
156.同步子单元4031，用于对历史图像数据和历史空间数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；
157.转换子单元4032，用于对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
158.在一个实施例中，在上述实施例的基础上，建立单元404具体用于：对历史图像数据进行特征提取，获取各第一数据对应的第一特征信息；将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合；将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
159.在一个实施例中，在上述实施例的基础上，历史毫米波雷达数据包括多个历史毫米波雷达数据帧，历史点云数据包括多个历史点云帧，融合单元402具体用于：对历史毫米波雷达数据和历史点云数据进行时间同步处理，获得时间同步的多个历史融合帧对；每个历史融合帧对中包含采样时刻同步的历史毫米波雷达数据帧和历史点云帧；在每个历史融合帧对中，基于预设的第一转换矩阵对历史毫米波雷达数据帧和历史点云帧进行空间同步，构成第二数据帧；将各第二数据帧按时间顺序组成历史空间数据。
160.在一个实施例中，在上述实施例的基础上，上述同步子单元4031，具体用于：将历史图像数据和历史空间数据转换至同一时间轴下；在时间轴下，获取历史图像数据中各第一数据帧的第一采样时刻，以及历史空间数据中各第二数据帧的第二采样时刻；计算第一采样时刻与第二采样时刻之间的差值；若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
161.在一个实施例中，在上述实施例的基础上，历史图像数据、历史毫米波雷达数据、历史点云数据的采样频率呈倍数关系。
162.在一个实施例中，在上述实施例的基础上，上述转换子单元4032，具体用于：根据预设的第二转换矩阵，将数据帧对中的第二数据转换至空间数据所在坐标系中，获得各第二数据在空间数据所在坐标系下的映射坐标；在数据帧对中，获取映射坐标对应的第一数据；将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
163.在一个实施例中，在上述实施例的基础上，毫米波雷达数据包括多个毫米波雷达数据帧，点云数据包括多个点云帧，空间数据包含多个空间数据帧，上述融合模块20具体用于：对毫米波雷达数据和点云数据进行时间同步处理，获得时间同步的多个融合帧对；每个融合帧对中包含采样时刻同步的毫米波雷达数据帧和点云帧；基于第一转换矩阵，对毫米波雷达数据帧和点云帧进行空间同步，构成空间数据帧。
164.上述各实施例提供的信息补全装置，可以执行上述信息补全方法实施例，其实现原理和技术效果类似，在此不再赘述。
165.关于信息补全装置的具体限定可以参见上文中对于信息补全方法的限定，在此不再赘述。上述信息补全装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
166.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储信息补全数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息补全方法。
167.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
168.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
169.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
170.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
171.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
172.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。