信息采集方法、装置、毫米波雷达、设备和存储介质与流程

1.本技术涉及传感器技术领域，特别是涉及一种信息采集方法、装置、毫米波雷达、设备和存储介质。


背景技术：

2.随着自动化驾驶、车路协同等技术的发展，传感器得到了越来越广泛的应用。自动化驾驶系统或者车路协同系统中，需要采集目标对象的不同类型的特征信息，使得系统根据特征信息做出的判断更准确。
3.为了采集不同类型的特征信息，上述系统可以部署多个传感器，例如，系统中可以部署毫米波雷达，用于采集道路对象的速度等特征；系统中还可以部署激光雷达，用于采集道路对象的尺寸和类别等。
4.但是，当激光雷达失效，或者系统中没有空间部署激光雷达的情况下，系统无法通过激光雷达获取道路对象的尺寸和类别，导致自动化驾驶系统或者车路协同系统工作异常甚至引发安全事故。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提升系统可靠性的信息采集方法、装置、毫米波雷达、设备和存储介质。
6.一种信息采集方法，上述方法包括：
7.获取毫米波雷达采集的道路对象的毫米波雷达数据；
8.调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
9.在其中一个实施例中，上述获取毫米波雷达采集的道路对象的毫米波雷达数据之前，还包括：
10.获取在同一时间段、同一场景下毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据；所述毫米波雷达与激光雷达的相对位置固定；
11.对历史毫米波雷达数据与历史点云数据进行时空同步处理，得到历史毫米波雷达数据与历史点云数据的时空映射关系；
12.基于历史毫米波雷达数据与历史点云数据的时空映射关系，获取训练数据集合，并基于训练数据集合进行模型训练获得深度学习模型。
13.在其中一个实施例中，上述历史毫米波雷达数据包括多个毫米波雷达数据帧，历史点云数据包括多个点云数据帧；对历史毫米波雷达数据与历史点云数据进行时空同步处理，得到历史毫米波雷达数据与历史点云数据的时空映射关系，包括：
14.对历史毫米波雷达数据与历史点云数据进行时间同步，获得时间同步的多个数据
帧对；每个数据帧对包括采样时刻同步的毫米波雷达数据帧和点云数据帧；
15.对每个数据帧对中的毫米波雷达数据帧和点云数据帧进行坐标系转换，获得空间同步的数据对；每个数据对包括点云数据帧中的第一数据，以及毫米波雷达数据帧中的第二数据。
16.在其中一个实施例中，上述基于历史毫米波雷达数据与历史点云数据的时空映射关系，获取训练数据集合，并基于训练数据集合进行模型训练获得深度学习模型，包括：
17.对历史点云数据进行特征提取，获取各第一数据中道路对象的第一特征信息；
18.将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合；
19.将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型；
20.相应地，调用预设的映射模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息，包括：
21.将道路对象的毫米波雷达数据输入深度学习模型，获得道路对象的第一特征信息。
22.在其中一个实施例中，上述对历史毫米波雷达数据与历史点云数据进行时间同步，获得时间同步的多个数据帧对，包括：
23.将历史毫米波雷达数据与历史点云数据转换至同一时间轴下；
24.在时间轴下，获取历史点云数据中各点云数据帧的第一采样时刻，以及历史毫米波雷达数据中各毫米波雷达数据帧的第一采样时刻；
25.计算第一采样时刻与第二采样时刻之间的差值；
26.若差值小于预设阈值，则确定第一采样时刻对应的点云数据帧，与第二采样时刻对应的毫米波雷达数据帧为一个数据帧对。
27.在其中一个实施例中，上述历史毫米波雷达数据和历史点云数据的采样频率呈倍数关系。
28.在其中一个实施例中，上述对每个数据帧对中的毫米波雷达数据帧和点云数据帧进行坐标系转换，获得空间同步的数据对，包括：
29.根据预设的转换矩阵，将数据帧对中的点云数据帧的第一数据转换至毫米波雷达所在的坐标系中，获得各第一数据在毫米波雷达所在的坐标系下的映射坐标；
30.在数据帧对中的毫米波雷达数据帧中，获取映射坐标对应的第二数据；
31.将映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
32.在其中一个实施例中，上述对每个数据帧对中的毫米波雷达数据帧和点云数据帧进行坐标系转换，获得空间同步的数据对，包括：
33.对数据帧对中的点云数据帧进行目标提取，获取点云数据帧中的各道路对象的第一坐标信息；第一坐标信息对应点云数据帧中道路对象的第一数据；
34.根据预设的转换矩阵，将坐标信息转换至毫米波雷达坐标系中，获得各目标对象在毫米波雷达坐标系下的第二坐标信息；
35.在数据帧对中的毫米波雷达数据帧中，获取第二坐标信息在毫米波雷达数据帧中对应的道路对象的第二数据；
36.将第一坐标信息对应的第一数据，与第二坐标信息对应的第二数据确定为一个数据对。
37.一种信息采集方法，上述方法包括：
38.根据当前激光雷达的状态，确定激光雷达是否满足传感器切换条件；
39.若满足传感器切换条件，则执行如权利要求1-8任一项的信息采集方法的步骤，进行信息采集。
40.一种信息采集装置，上述装置包括：
41.获取模块，用于获取毫米波雷达采集的道路对象的毫米波雷达数据；
42.调用模块，用于调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
43.一种毫米波雷达，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
44.获取毫米波雷达采集的道路对象的毫米波雷达数据；
45.调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
46.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
47.获取毫米波雷达采集的道路对象的毫米波雷达数据；
48.调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
49.一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
50.获取毫米波雷达采集的道路对象的毫米波雷达数据；
51.调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
52.上述信息采集方法、装置、毫米波雷达、设备和存储介质，计算机设备获取毫米波雷达采集的道路对象的毫米波雷达数据；然后，调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；其中，上述第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；上述深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历
史点云数据为同一时间段、同一场景下采集的数据。由于深度学习模型为基于激光雷达的历史点云数据和毫米波雷达的历史毫米波雷达数据训练得到的，使得深度学习模型具备了将毫米波雷达数据与第一特征信息进行关联的能力；进一步地，由于计算机设备将毫米波雷达数据输入深度学习模型，使得计算机设备可以通过深度学习模型获取道路对象的第一特征信息，从而可以避免激光雷达无法获取第一特征信息的情况下导致的系统工作异常，提升了系统的可靠性；或者当系统中对传感器的数量或重量有限制时，可以通过部署一个毫米波雷达获得道路对象的第一特征信息，提升了系统传感器部署的灵活性。
附图说明
53.图1为一个实施例中信息采集方法的应用环境图；
54.图2为一个实施例中信息采集方法的流程示意图；
55.图3为另一个实施例中信息采集方法的流程示意图；
56.图4为另一个实施例中信息采集方法的流程示意图；
57.图5为另一个实施例中信息采集方法的流程示意图；
58.图6为另一个实施例中信息采集方法的流程示意图；
59.图7为另一个实施例中信息采集方法的流程示意图；
60.图8为另一个实施例中信息采集方法的流程示意图；
61.图9为另一个实施例中信息采集方法的流程示意图；
62.图10为一个实施例中信息采集装置的结构框图；
63.图11为另一个实施例中信息采集装置的结构框图；
64.图12为另一个实施例中信息采集装置的结构框图；
65.图13为另一个实施例中信息采集装置的结构框图；
66.图14为一个实施例中毫米波雷达的内部结构图。
67.图15为一个实施例中计算机设备的内部结构图。
具体实施方式
68.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
69.本技术提供的信息采集方法，可以应用于如图1所示的应用环境中。计算机设备100与毫米波雷达200连接，计算机设备100可以设置在毫米波雷达200设备中，也可以是毫米波雷达200外部的独立设备；毫米波雷达200与激光雷达300可以是路侧系统中的传感器，也可以是车载系统中的传感器，在此不做限定。上述计算机设备100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
70.在一个实施例中，如图2所示，提供了一种信息采集方法，以该方法应用于图1中的计算机设备为例进行说明，包括：
71.s101、获取毫米波雷达采集的道路对象的毫米波雷达数据。
72.其中，上述毫米波雷达可以是设置在路侧系统中的传感器，也可以是车载系统中的传感器，对于上述毫米波雷达的应用场景在此不做限定。
73.上述道路对象可以是道路中的交通参与者，例如车辆或者行人；另外，上述道路对象还可以是道路中的障碍物、道路设施；对于上述道路对象的类型在此不做限定。
74.具体地，计算机设备获取毫米波雷达采集的道路对象的毫米波雷达数据，可以通过有线连接的方式接收毫米波雷达发送的毫米波雷达数据，也可以通过无线连接的方式接收上述毫米波雷达数据，在此不做限定。计算机设备可以实时获取毫米波雷达发送的毫米波雷达数据，也可以向毫米波雷达发送采集指令之后，获得毫米波雷达基于采集指令返回的毫米波雷达数据，对于上述数据获取方式在此不做限定。
75.进一步地，计算机设备获取毫米波雷达数据之后，可以对毫米波雷达数据进行特征提取，获取道路对象的特征信息。上述特征信息可以包括道路对象的速度信息，还可以包括道路对象的位置信息，在此不做限定。
76.s102、调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
77.其中，上述激光雷达本身具备获取第一特征信息的能力。上述激光雷达可以但不限于是8线激光雷达、16线激光雷达、32线激光雷达、64线激光雷达、128线激光雷达等。上述毫米波雷达可以对应多个工作频段，例如77ghz、24ghz等。
78.上述第一特征信息也可以是包括道路对象的尺寸信息和道路对象的类别信息中的至少一种。本技术中，通过毫米波雷达本身普遍不具备获取道路对象的第一特征信息的能力，即使部分毫米波雷达产品具备该能力，检测精度也很低。对于常规的路侧系统或者车载系统，可以分别通过激光雷达和毫米波雷达采集道路对象的第一特征信息和第二特征信息；如果激光雷达失效，则系统无法获取道路对象的第一特征信息。本技术中，计算机设备基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据，训练得到的深度学习模型，使得深度学习获取了历史毫米波雷达数据与历史点云数据之间的关联关系，从而可以根据毫米波雷达数据获得道路对象的第一特征信息。
79.其中，上述深度学习模型可以是有监督学习模型，也可以是无监督学习模型，还可以是半监督学习模型；上述深度学习模型可以是卷积神经网络模型，也可以是循环神经网络模型，对于深度学习模型的类型在此不做限定。
80.上述深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的。上述历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。其中，采集上述历史毫米波雷达数据和历史点云数据的场景，可以是当前道路对象所在的场景，也可以是其他场景，在此不做限定。上述深度学习模型可以仅应用于同一个场景，也可以迁移至其它场景使用。
81.具体地，计算机设备获取毫米波雷达数据之后，可以直接将毫米波雷达数据输入深度学习模型，也可根据激光雷达的工作状态来确定是否将毫米波雷达数据输入深度学习模型。可选地，计算机设备可以先确定激光雷达是否失效，若是，则执行将毫米波雷达数据输入预设的深度学习模型，获得道路对象的第一特征信息的步骤。
82.上述失效可以是激光雷达与计算机设备之间的连接状态异常，也可以是激光雷达
返回的数据异常，例如数据缺失或者数据失真；对于上述失效模式在此不做限定。
83.计算机设备在确定第二传感器是否失效时，可以根据第二传感器的状态监控日志来确定，也可以检测是否接收到了第二传感器返回的数据，若未接收到第二传感器返回的数据则可以确定第二传感器失效；对于上述失效确定方式在此不做限定。
84.上述信息采集方法，计算机设备获取毫米波雷达采集的道路对象的毫米波雷达数据；然后，调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；其中，上述第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；上述深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。由于深度学习模型为基于激光雷达的历史点云数据和毫米波雷达的历史毫米波雷达数据训练得到的，使得深度学习模型具备了将毫米波雷达数据与第一特征信息进行关联的能力；进一步地，由于计算机设备将毫米波雷达数据输入深度学习模型，使得计算机设备可以通过深度学习模型获取道路对象的第一特征信息，从而可以避免激光雷达无法获取第一特征信息的情况下导致的系统工作异常，提升了系统的可靠性；或者当系统中对传感器的数量或重量有限制时，可以通过部署一个毫米波雷达获得道路对象的第一特征信息，提升了系统传感器部署的灵活性。
85.图3为另一个实施例中信息采集方法的流程示意图，本实施例涉及深度学习模型的一种获取方式，在上述实施例的基础上，如图3所示，上述方法还包括：
86.s201、获取在同一时间段、同一场景下毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据，毫米波雷达与激光雷达的相对位置固定。
87.上述毫米波雷达与激光雷达的相对位置固定，例如激光雷达和毫米波雷达可以安装在同一个固定装置中。具体地，计算机设备可以在数据库中，根据采集时间段和采集场景，获取毫米波雷达和激光雷达在同一时间段内，以及同一场景下采集的历史毫米波数据和历史点云数据。
88.s202、对历史毫米波雷达数据与历史点云数据进行时空同步处理，得到历史毫米波雷达数据与历史点云数据的时空映射关系。
89.在获得历史毫米波数据和历史点云数据之后，为了获得深度学习模型的训练数据集合，计算机设备需要对历史毫米波雷达数据与历史点云数据进行时空同步处理。
90.具体地，计算机设备可以对历史毫米波雷达数据和历史点云数据首先进行时间同步，再进行空间同步；也可以对历史毫米波雷达数据和历史点云数据首先进行空间同步，再进行时间同步；对于上述时空同步处理方式在此不做限定。对历史毫米波雷达数据和历史点云数据进行时空同步处理之后，获得的时空映射关系中包含了同一时间对同一目标采集的历史毫米波雷打数据和历史点云数据之间的对应关系。
91.s203、基于历史毫米波雷达数据与历史点云数据的时空映射关系，获取训练数据集合，并基于训练数据集合进行模型训练获得深度学习模型。
92.计算机设备获得时空映射关系之后，可以基于该时空映射关系获取深度学习模型的训练数据集合。上述训练数据集合中可以包括正向样本，也可以包括负向样本。
93.在获得训练数据集合的基础上，计算机设备可以基于训练数据集合进行模型训练，获得深度学习模型。计算机设备可以对训练数据集合中的各个样本进行数据清洗，也可
以对训练数据集合中的各个样本进行处理以增加样本数量，对于样本处理方式在此不做限定。
94.上述信息采集方法，计算机设备对历史毫米波雷达数据和历史点云数据进行时空同步处理，从而获得毫米波雷达和激光雷达同时对同一目标采集的数据，建立历史毫米波雷达数据和历史点云数据的时空映射关系；进一步地，通过上述时空映射关系，计算机设备获得训练数据集合并对深度学习模型进行训练，使得深度学习模型建立了毫米波雷达和激光雷达之间的关联，从而可以根据毫米波雷达数据获得道路对象的第一特征信息，提升了系统的稳定性和可靠性。
95.图4为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对历史毫米波雷达数据和历史点云数据进行时空同步的一种方式，在上述实施例的基础上，如图4所示，历史毫米波雷达数据包括多个毫米波雷达数据帧，历史点云数据包括多个点云数据帧，上述s202包括：
96.s301、对历史毫米波雷达数据与历史点云数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的毫米波雷达数据帧和点云数据帧。
97.计算机设备在基于历史毫米波雷达数据与历史点云数据对深度学习模型进行训练时，可以先将历史毫米波雷达数据与历史点云数据进行时间同步，以便将同一时刻采集的历史毫米波雷达数据与历史点云数据进行对应。
98.上述历史毫米波雷达数据包括多个毫米波雷达数据帧，历史点云数据包括多个点云数据帧。计算机设备可以根据毫米波雷达数据帧和点云数据帧的采集时刻，确定毫米波雷达数据帧和点云数据帧是否时间同步，然后将采样时刻同步的毫米波雷达数据帧和点云数据帧确定为一个数据帧对。
99.具体地，计算机设备在根据采样时刻进行时间同步时，可以获得每个毫米波雷达数据帧和每个点云数据帧的采样时刻，然后将获得的采样时刻进行对比以确定同步的数据帧；另外，计算机设备还可以先确定与第一个毫米波雷达数据帧时间同步的点云数据帧，然后根据历史毫米波雷达数据与历史点云数据的采样频率，依次计算其他毫米波雷达数据帧时间同步的点云数据帧的位置；对于上述时间同步方式在此不做限定。
100.上述历史毫米波雷达数据与历史点云数据的采样频率可以相同，也可以不同。可选地，上述历史毫米波雷达数据的采样频率，与历史点云数据的采样频率可以呈倍数关系。例如历史毫米波雷达数据的采样频率是历史点云数据的采样频率的2倍。计算机设备确定了第一个采样时刻同步的数据帧对之后，可以根据采样频率的倍数关系快速确定其余的数据帧对，提升历史毫米波雷达数据与历史点云数据的时间同步效率。
101.s302、对每个数据帧对中的毫米波雷达数据帧和点云数据帧进行坐标系转换，获得空间同步的数据对；每个数据对包括点云数据帧中的第一数据，以及毫米波雷达数据帧中的第二数据。
102.其中，每个毫米波雷达数据帧可以包括多个第二数据，上述第二数据可以是毫米波雷达数据帧中某一个采样点的数据，也可以是毫米波雷达数据帧中某一个区域内的采样点的数据；另外，上述第二数据还可以是毫米波雷达数据帧中某一个道路对象对应的毫米波雷达数据，在此不做限定。每个点云数据帧可以包括多个第一数据；上述第一数据可以是点云数据帧中某一个采样点的数据，也可以是点云数据帧中某一个区域内的采样点的数
据；另外，上述第一数据还可以是点云数据帧中某一个道路对象对应的点云数据，在此不做限定。
103.计算机设备获得多个采样时刻同步的数据帧对之后，可以针对每个数据帧对中的第一数据和第二数据进行对应，得到不同传感器对同一个目标进行采集所获得的第一数据和第二数据。
104.具体地，计算机设备可以通过坐标转换的方式进行空间标定，使得毫米波雷达和激光雷达采集的数据可以标注在相同的坐标系下，从而获得第一数据和第二数据之间的对应关系。计算机设备可以将第一数据转换至第二数据所在的坐标下，也可以将第二数据转换至第一数据所在的坐标下，另外，计算机设备还可以将第一数据和第二数据均转换至其它坐标系下，例如地球坐标系等；对于上述空间标定方式在此不做限定。
105.上述信息采集方法，计算机设备对历史毫米波雷达数据和历史点云数据先进行时间同步，然后进行空间对应，使得可以快速建立历史毫米波雷达数据和历史点云数据的时空映射关系。
106.图5为另一个实施例中信息采集方法的流程示意图，本实施例涉及深度学习模型的一种获取方式，在上述实施例的基础上，如图5所示，上述s203包括：
107.s401、对历史点云数据进行特征提取，获取各第一数据中道路对象的第一特征信息。
108.计算机设备可以对点云数据进行特征提取，获取各点云数据帧中各第一数据中道路对象的第一特征信息。上述第一特征信息可以包括道路对象的尺寸信息和道路对象的类别信息中的至少一种。具体地，计算机设备可以将历史点云数据输入预设的特征提取模型，通过特征提取模型获得各第一数据中道路对象的第一特征信息。
109.s402、将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合。
110.进一步地，计算机设备可以将第二数据作为训练输入样本，将上述时空映射关系中，与第二数据对应的第一数据所关联的第一特征信息作为该训练输入样本的样本标签，获得训练数据集合。
111.具体地，计算机设备可以基于每个数据对中的第一数据和第二数据获得一个训练样本；也可以根据部分数据对中的第一数据和第二数据获得训练样本，在此不做限定。计算机设备可以根据各数据对中的第二数据在历史毫米波雷达数据中的重要程度，设置训练样本的训练权重。
112.s403、将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
113.进一步地，计算机设备可以将训练数据集合中的第二数据作为初始深度学习模型的输入，将第一数据关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。例如，计算机设备可以根据初始深度学习模型的参考输出，调整模型的学习率、滑动平均系数等超参数，获得深度学习模型。
114.相应地，调用预设的映射模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息，包括：将道路对象的毫米波雷达数据输入深度学习模型，获得道路对象的第一特
征信息。
115.上述信息采集方法，计算机设备通过第一数据和第二数据之间的对应关系，获得训练数据集合并对深度学习模型进行训练，使得深度学习模型建立了历史毫米波雷达数据与历史点云数据之间的关联，从而可以根据毫米波雷达数据获得道路对象的第一特征信息，提升了系统的稳定性和可靠性。
116.图6为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对历史毫米波雷达数据和历史点云数据进行时间同步的一种方式，在上述实施例的基础上，如图6所示，上述s301包括：
117.s501、将历史毫米波雷达数据与历史点云数据转换至同一时间轴下。
118.毫米波雷达和激光雷达作为两个独立的设备，所获得的历史毫米波雷达数据和历史点云数据的时间轴可能是不同的。例如，毫米波雷达的时间轴为全球定位系统(global positioning system，简称gps)时间轴，而激光雷达的时间轴是设备自身确定的，存在一定的时间轴差。计算机设备可以将历史点云数据和历史毫米波雷达数据转换至同一时间轴下，以便系统获得采样时刻同步的点云数据帧和毫米波雷达数据帧。
119.具体地，计算机设备可以将历史点云数据转换至历史毫米波雷达数据的时间轴下，也可以将历史毫米波雷达数据转换至历史点云数据的时间轴下，还可以将历史点云数据和历史毫米波雷达数据均转换至另一个时间轴下，例如转换至gps时间轴下，对于上述转换方式在此不做限定。
120.s502、在时间轴下，获取历史点云数据中各点云数据帧的第一采样时刻，以及历史毫米波雷达数据中各毫米波雷达数据帧的第一采样时刻。
121.进一步地，计算机设备可以获取各点云数据帧的第一采样时刻，以及毫米波雷达数据帧的第二采样时刻。上述第一采样时刻可以是激光雷达在采集历史点云数据时在点云数据帧上标记的时间戳，也可以按照各个点云数据帧的顺序以及开始采样时刻获得的第一采样时刻，对于第一采样时刻的获取方式在此不做限定。上述第二采样时刻可以是毫米波雷达在采集历史毫米波雷达数据时，在毫米波雷达数据帧上标记的时间戳，也可以按照各个毫米波雷达数据帧的顺序以及开始采样时刻获得的第二采样时刻，对于第二采样时刻的获取方式在此不做限定。
122.s503、计算第一采样时刻与第二采样时刻之间的差值。
123.s504、若差值小于预设阈值，则确定第一采样时刻对应的点云数据帧，与第二采样时刻对应的毫米波雷达数据帧为一个数据帧对。
124.计算机设备可以计算第一采样时刻与第二采样时刻之间的差值的绝对值；若差值的绝对值小于预设阈值，则确定第一采样时刻对应的点云数据帧，与第二采样时刻对应的毫米波雷达数据帧为一个数据帧对。
125.上述信息采集方法，计算机设备通过将历史点云数据和历史毫米波雷达数据转换至同一时间轴下，使得计算机设备可以准确地对点云数据帧和毫米波雷达数据帧进行同步；进一步地，计算机设备获取第一采样时刻与第二采样时刻的差值的绝对值，当上述差值的绝对值小于预设阈值时即确定点云数据帧和毫米波雷达数据帧为一个数据帧对，避免由于采样频率等差异造成第一采样时刻与第二采样时刻不能完全相同时而导致的时间同步失败，提升了信息采集过程的稳定性。
126.图7为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对每个数据帧对进行空间标定的一种方式，在上述实施例的基础上，如图7所示，上述s302包括：
127.s601、根据预设的转换矩阵，将数据帧对中的点云数据帧的第一数据转换至毫米波雷达所在的坐标系中，获得各第一数据在毫米波雷达所在的坐标系下的映射坐标。
128.上述转换矩阵为将激光雷达采集的数据转换至毫米波雷达坐标下的矩阵，可以根据激光雷达与毫米波雷达之间的相对位姿确定，上述相对位姿可以包括激光雷达与毫米波雷达之间的平移量以及旋转角度。
129.上述转换矩阵可以是工作人员手工测量后获得，然后输入计算机设备中的；也可以是计算机设备根据激光雷达与毫米波雷达在当前相对位姿关系下，进行自动标定获得的，在此不做限定。计算机设备根据预设的转换矩阵，将数据对中的第一数据转换至毫米波雷达坐标系中，可以获得各第一数据在毫米波雷达坐标系下的映射坐标。
130.上述第一数据为一个采样点的数据时，映射坐标为一个采样点坐标；上述第一数据为一组数据时，上述映射坐标为第一数据中各个数据对应的一组坐标。
131.s602、在数据帧对中的毫米波雷达数据帧中，获取映射坐标对应的第二数据。
132.计算机设备可以根据各映射坐标，确定各映射坐标在毫米波雷达数据帧中对应的第二数据。具体地，计算机设备可以在数据对中，查找与该映射坐标对应的第二数据；若数据对中不包含该映射坐标对应的采样点数据，那么计算机设备可以将根据映射坐标与第二数据对应的坐标值之间的距离，来确定该映射坐标对应的第二数据。例如，当映射坐标与第二数据对应的坐标值之间的距离小于预设距离阈值，那么计算机设备可以将第二数据确定为该映射坐标对应的第二数据。
133.s603、将映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
134.在上述步骤的基础上，计算机设备确定了各映射坐标对应的第一数据，以及各映射坐标对应的第二数据，可以将第一数据与第二数据通过映射坐标进行关联，从而建立了第一数据与第二数据的对应关系。
135.上述信息采集方法，计算机设备通过转换矩阵完成数据帧对的空间标定，使得计算机设备可以获得空间对应的数据对，为获得深度学习模型的训练数据集合中的样本标签提供对应基础，有利于提升深度学习模型的训练效率。
136.图8为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对每个数据帧对进行空间标定的另一种方式，在上述实施例的基础上，如图8所示，上述s302包括：
137.s701、对数据帧对中的点云数据帧进行目标提取，获取点云数据帧中的各道路对象的第一坐标信息；第一坐标信息对应点云数据帧中道路对象的第一数据。
138.具体地，计算机设备可以对数据帧对中的点云数据帧进行目标提取，确定该点云数据帧中包含哪些道路对象，然后根据该道路对象对应的点云回波强度等信息，确定该道路对象在激光雷达坐标系下的坐标。例如，计算机设备对点云数据帧识别后确定该点云数据帧中包含车辆，获得该车辆对应的目标识别框，并将目标识别框的中心坐标确定为该车辆的第一坐标信息。上述目标识别框中的点云数据为该道路对象对应的第一数据。
139.s702、根据预设的转换矩阵，将坐标信息转换至毫米波雷达坐标系中，获得各目标对象在毫米波雷达坐标系下的第二坐标信息。
140.进一步地，计算机设备可以将该点云数据帧中的道路对象的第一坐标信息，转换至毫米波雷达坐标系下，获得该目标对象在毫米波雷达坐标系下的第二坐标信息。
141.s703、在数据帧对中的毫米波雷达数据帧中，获取第二坐标信息在毫米波雷达数据帧中对应的道路对象的第二数据。
142.计算机设备可以对数据帧对中的毫米波雷达数据帧进行目标识别，获得毫米波雷达数据帧中的各道路对象，然后将上述第二坐标信息与毫米波雷达数据帧中各道路对象的坐标进行比较，确定该第二坐标信息在毫米波雷达数据帧中对应哪一个道路对象，然后将该道路对象对应的毫米波雷达数据确定为第二数据。
143.s704、将第一坐标信息对应的第一数据，与第二坐标信息对应的第二数据确定为一个数据对。
144.在上述步骤的基础上，计算机设备可以将第一坐标信息对应的第一数据，与第二坐标信息对应的第二数据确定为一个数据对。
145.上述信息采集方法，计算机设备通过对点云数据帧进行目标提取，获得道路对象的第一坐标信息，并基于转换矩阵将第一坐标信息进行坐标转换，而不是将整个道路对象对应的第一数据均进行坐标转换，提升了数据转换效率；进一步地，由于上述第一坐标信息为道路对象的坐标，通过上述方式进行空间标定，可以使获得的数据对之间的对应关系更准确。
146.在一个实施例中，提供一种信息采集方法，如图9所示，上述方法包括：
147.s801、根据当前激光雷达的状态，确定激光雷达是否满足传感器切换条件。
148.其中，上述传感器切换条件可以是激光雷达失效，也可以是计算机设备控制激光雷达停止工作等，在此不做限定。上述激光雷达失效可以是激光雷达设备损坏、激光雷达采集的数据异常等。计算机设备可以根据激光雷达返回的信息确定激光雷达是否失效，也可以根据激光雷达采集的数据判断激光雷达是否失效，在此不做限定。
149.s802、若满足传感器切换条件，则执行上述信息采集方法的步骤，进行信息采集。
150.上述信息采集方法，其实现原理和技术效果与上述实施例类似，在此不再赘述。
151.应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
152.在一个实施例中，如图10所示，提供了一种信息采集装置，包括：获取模块10和调用模块20，其中：
153.获取模块10，用于获取毫米波雷达采集的道路对象的毫米波雷达数据；
154.调用模块20，用于调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集
的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
155.在一个实施例中，在上述实施例的基础上，如图11所示，上述装置还包括训练模块30，训练模块30包括：
156.获取单元301，用于获取在同一时间段、同一场景下毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据；毫米波雷达与激光雷达的相对位置固定；
157.同步单元302，用于对历史毫米波雷达数据与历史点云数据进行时空同步处理，得到历史毫米波雷达数据与历史点云数据的时空映射关系；
158.训练单元303，用于基于历史毫米波雷达数据与历史点云数据的时空映射关系，获取训练数据集合，并基于训练数据集合进行模型训练获得深度学习模型。
159.在一个实施例中，在上述实施例的基础上，历史毫米波雷达数据包括多个毫米波雷达数据帧，历史点云数据包括多个点云数据帧；如图12所示，上述同步单元302包括：
160.同步子单元3021，用于对历史毫米波雷达数据与历史点云数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的毫米波雷达数据帧和点云数据帧；
161.转换子单元3022，用于对每个数据帧对中的毫米波雷达数据帧和点云数据帧进行坐标系转换，获得空间同步的数据对；每个数据对包括点云数据帧中的第一数据，以及毫米波雷达数据帧中的第二数据。
162.在一个实施例中，在上述实施例的基础上，上述训练单元303具体用于：对历史点云数据进行特征提取，获取各第一数据中道路对象的第一特征信息；将第二数据作为训练输入样本，将第二数据对应的第一数据所关联的第一特征信息作为训练输入样本的样本标签，获得训练数据集合；将第二数据作为初始深度学习模型的输入，将第一数据所关联的第一特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型；相应地，上述调用模块20具体用于：将道路对象的毫米波雷达数据输入深度学习模型，获得道路对象的第一特征信息。
163.在一个实施例中，在上述实施例的基础上，上述同步子单元3021具体用于：将历史毫米波雷达数据与历史点云数据转换至同一时间轴下；在时间轴下，获取历史点云数据中各点云数据帧的第一采样时刻，以及历史毫米波雷达数据中各毫米波雷达数据帧的第一采样时刻；计算第一采样时刻与第二采样时刻之间的差值；若差值小于预设阈值，则确定第一采样时刻对应的点云数据帧，与第二采样时刻对应的毫米波雷达数据帧为一个数据帧对。
164.在一个实施例中，在上述实施例的基础上，历史毫米波雷达数据和历史点云数据的采样频率呈倍数关系。
165.在一个实施例中，在上述实施例的基础上，上述转换子单元3022具体用于：根据预设的转换矩阵，将数据帧对中的点云数据帧的第一数据转换至毫米波雷达所在的坐标系中，获得各第一数据在毫米波雷达所在的坐标系下的映射坐标；在数据帧对中的毫米波雷达数据帧中，获取映射坐标对应的第二数据；将映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
166.在一个实施例中，在上述实施例的基础上，上述转换子单元3022具体用于：对数据帧对中的点云数据帧进行目标提取，获取点云数据帧中的各道路对象的第一坐标信息；第
一坐标信息对应点云数据帧中道路对象的第一数据；根据预设的转换矩阵，将坐标信息转换至毫米波雷达坐标系中，获得各目标对象在毫米波雷达坐标系下的第二坐标信息；在数据帧对中的毫米波雷达数据帧中，获取第二坐标信息在毫米波雷达数据帧中对应的道路对象的第二数据；将第一坐标信息对应的第一数据，与第二坐标信息对应的第二数据确定为一个数据对。
167.在一个实施例中，提供一种信息采集装置，如图13所示，上述装置包括：
168.确定模块110，用于根据当前激光雷达的状态，确定激光雷达是否满足传感器切换条件；
169.采集模块120，用于在满足传感器切换条件时，则执行上述信息采集方法的步骤，进行信息采集。
170.上述提供的信息采集装置，可以执行上述信息采集方法实施例，其实现原理和技术效果类似，在此不再赘述。
171.关于信息采集装置的具体限定可以参见上文中对于信息采集方法的限定，在此不再赘述。上述信息采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
172.在一个实施例中，提供了一种毫米波雷达，其内部结构图可以如图14所示。该毫米波雷达包括处理器和存储器。其中，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
173.获取毫米波雷达采集的道路对象的毫米波雷达数据；
174.调用预设的深度学习模型对毫米波雷达数据进行处理，获得道路对象的第一特征信息；第一特征信息包括道路对象的尺寸信息和道路对象的类别信息中的至少一种；深度学习模型为基于毫米波雷达采集的历史毫米波雷达数据与激光雷达采集的历史点云数据训练得到的；历史毫米波雷达数据与历史点云数据为同一时间段、同一场景下采集的数据。
175.本实施例提供的毫米波雷达，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
176.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储信息采集数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息采集方法。
177.本领域技术人员可以理解，图14、15中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
178.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
179.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
180.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
181.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
182.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。