一种针对自动驾驶的数据存储系统的制作方法

1.本发明涉及数据处理技术领域，特别是涉及一种针对自动驾驶的数据存储系统。


背景技术：

2.随着科技进步，自动驾驶技术已经成为了技术人员研究的热点方向。在研发车辆的自动驾驶系统过程中，为了保证车辆在行驶过程中能够做到安全行驶以及应对各种突发状况，需要收集车辆行驶过程中采集的大量真值数据，以依据上述真值数据对自动驾驶系统进行功能设计、功能测试等。鉴于上述情况需要对所采集的真值数据进行存储。
3.另外，获得上述真值数据后，为便于对自动驾驶系统进行功能设计、功能测试等，还有可能对上述真值数据进行数据分析、数据整合等处理，这种情况下，为防止对相同的数据进行重复处理，也需要对处理后的数据进行存储。
4.因此，需要一种数据存储方案，以实现针对自动驾驶的数据存储。


技术实现要素：

5.本发明实施例的目的在于提供一种针对自动驾驶的数据存储系统，以实现针对自动驾驶的数据存储。具体技术方案如下：
6.本发明实施例提供了一种针对自动驾驶的数据存储系统，所述系统包括：基于hadoop框架的数据处理子系统和预设类型的数据库；其中，所述数据处理子系统中包括：数据处理服务器、基于spark的计算引擎和存储服务器；
7.所述数据处理服务器，用于获得各车辆上安装的传感器生成的真值文件，以分布式文件存储方式，将所述真值文件存储至各存储服务器，其中，所述真值文件中包括传感器在车辆行驶过程中预设时长的时间段内采集的真值数据；
8.所述计算引擎，用于获得待处理真值文件，对所述待处理真值文件进行数据分析，得到目标车辆所处行驶环境的环境描述信息，并将所述环境描述信息存储至所述计算引擎对应的存储服务器，其中，所述目标车辆为：生成所述待处理真值文件的传感器所在的车辆；
9.所述数据处理服务器，还用于获得所述环境描述信息，根据所述环境描述信息控制所述目标车辆行驶，并获得所述目标车辆安装的传感器针对行驶过程中生成的目标真值文件，根据所述目标真值文件获得所述目标车辆的行驶信息和所述目标车辆所处环境中对象物的描述信息，将所述行驶信息和所述对象物的描述信息存储至所述数据库。
10.本发明的一个实施例中，所述获得待处理真值文件，对所述待处理真值文件进行数据分析，得到目标车辆所处行驶环境的描述信息，包括：
11.根据待处理真值文件中真值数据的采集时间，检测所述待处理真值文件中真值数据是否完整；
12.若不完整，获得所述待处理真值文件中真值数据的缺失时长；
13.判断所述缺失时长是否大于预设的第一时长阈值；
14.若不大于，则根据所述待处理真值文件中记录的真值数据修复所述待处理真值文件中缺失的真值数据；
15.对修复后的待处理真值文件进行数据分析，得到目标车辆所处行驶环境的描述信息。
16.本发明的一个实施例中，在所述获得各车辆上安装的传感器生成的真值文件之后，还包括：
17.确定所获得的真值文件中由同一传感器生成的第一真值文件组；
18.针对每一第一真值文件组，按照真值数据从采集时间由先到后的顺序，对该第一真值文件组中各真值文件内包含的真值数据进行合并，得到合并后真值文件；
19.所述以分布式文件存储方式，将所述真值文件存储至各存储服务器，包括：
20.以分布式文件存储方式，将所述合并后真值文件存储至各存储服务器。
21.本发明的一个实施例中，在得到所述合并后真值文件之后，还包括：
22.确定所述合并后真值文件中真值数据对应的连续采集时间段；
23.若连续采集时间段数量大于1，依据各连续采集时间段，将所述合并后真值文件拆分为第一数量个拆分真值文件，其中，所述第一数量为：连续采集时间段的数量，每一拆分真值文件与一个连续采集时间段相对应，且包括所述合并后真值文件中采集时间处于该拆分真值文件对应的连续采集时间段内的真值数据；
24.所述以分布式文件存储方式，将所述合并后真值文件存储至各存储服务器，包括：
25.以分布式文件存储方式，将所述拆分真值文件存储至各存储服务器。
26.本发明的一个实施例中，在所述获得各车辆上安装的传感器生成的真值文件之后，还包括：
27.确定所获得的真值文件中由同一车辆上安装的传感器生成、数据类型相同、且采集时间段一致的第二真值文件组；
28.针对每一第二真值文件组，对该第二真值文件组中各第二真值文件内采集时间相同的真值数据进行数据融合，得到融合后真值文件；
29.所述以分布式文件存储方式，将所述真值文件存储至各存储服务器，包括：
30.以分布式文件存储方式，将所述融合后真值文件存储至各存储服务器。
31.本发明的一个实施例中，车辆上安装的传感器包括：用于采集车辆所处行驶环境信息的第一类传感器和用于采集车辆自身信息的第二类传感器；
32.所述对所述待处理真值文件进行数据分析，得到目标车辆所处行驶环境的环境描述信息，包括：
33.根据第一待处理真值文件，获得目标车辆所处行驶环境中的对象物与所述目标车辆之间的相对描述信息，其中，所述第一待处理真值文件为：所述待处理真值文件中由所述第一类传感器生成的文件；
34.根据第二待处理真值文件，获得所述目标车辆在所处环境中的车辆描述信息，其中，所述第二待处理真值文件为：所述待处理真值文件中由所述第二类传感器生成的文件；
35.根据所述车辆描述信息和所述相对描述信息，生成所述目标车辆所处行驶环境的环境描述信息。
36.本发明的一个实施例中，所述存储服务器包括读写性能高于预设性能指标的第一
类存储服务器和读写性能不高于所述预设性能指标的第二类存储服务器；
37.所述以分布式文件存储方式，将所述真值文件存储至各存储服务器，包括：
38.以分布式文件存储方式，将所述真值文件存储至各第一类存储服务器；
39.所述第一类存储服务器，还用于将所存储数据中存储时长大于预设时长阈值的数据，迁移至所述第二类存储服务器。
40.本发明的一个实施例中，
41.所述数据处理服务器，还用于获得用户输入的针对所述目标车辆所行驶环境的校准数据，依据所述校准数据对所述环境描述信息进行校准。
42.本发明的一个实施例中，
43.所述数据处理服务器获得的真值文件为：各车辆上安装的传感器确定存在预设数量个自身生成且未上传的真值文件后上传的真值文件。
44.本发明的一个实施例中，
45.所述数据库为：mysql数据库。
46.本发明实施例有益效果：
47.本发明实施例提供的数据存储方案中，数据处理服务器用于获得各车辆上安装的传感器生成的真值文件，以分布式文件存储方式，将所述真值文件存储至各存储服务器；计算引擎用于获得待处理真值文件，对真值文件进行数据分析，得到目标车辆所处环境的环境描述信息，并将描述信息存储至计算引擎对应的存储服务器；数据处理服务器还用于获得环境描述信息，根据环境描述信息控制目标车辆行驶，并获得目标车辆安装的传感器针对行驶过程中生成的目标真值文件，根据目标真值文件获得目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息，将行驶信息和对象物的描述信息存储在数据库中。由此可见，本发明实施例提供的方案中，将车辆行驶过程中采集的真值数据以分布式存储方式存储在各存储服务器中，将对待处理真值文件进行分析得到的环境描述信息存储在了计算引擎对应的存储服务器中，将根据环境描述信息控制目标车辆行驶过程中的目标车辆行驶信息和对象物的描述信息存储在数据库中，实现了针对自动驾驶的数据存储。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
49.图1a为本发明实施例提供的第一种针对自动驾驶的数据存储系统的结构示意图；
50.图1b为本发明实施例提供的第一种数据处理服务器处理数据的流程示意图；
51.图2为本发明实施例提供的一种真值数据完整性检测的流程示意图；
52.图3为本发明实施例提供的第二种数据处理服务器处理数据的流程示意图；
53.图4为本发明实施例提供的第三种数据处理服务器处理数据的流程示意图；
54.图5为本发明实施例提供的第四种数据处理服务器处理数据的流程示意图；
55.图6为本发明实施例提供的一种环境描述信息获得方法的流程示意图；
56.图7为本发明实施例提供的第二种针对自动驾驶的数据存储系统的结构示意图。
具体实施方式
57.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
58.参见图1a，提供了一种针对自动驾驶的数据存储系统的结构示意图，上述系统包括：基于hadoop框架的数据处理子系统101和预设类型的数据库102；其中，数据处理子系统101中包括：数据处理服务器101a、基于spark的计算引擎101b和存储服务器101c。
59.需要说明的是，图1a中存储服务器101c的数量仅为本发明实施例提供的一种示例，实际应用中，数据存储系统中包含的存储服务器101c的数量不限于此，可根据实际情况进行配置。
60.数据处理服务器101a、计算引擎101b、存储服务器101c和数据库102可以通过通信总线101d连接。当然，数据处理服务器101a、计算引擎101b、存储服务器101c和数据库102也可以通过网络实现连接。
61.其中，hadoop框架是一种分布式系统框架，基于hadoop框架的数据处理子系统101为包含数据处理服务器101a、计算引擎101b和存储服务器101c的服务器集群。利用该服务器集群，可以对大量数据进行分布式处理。
62.spark是一种快速、通用、可扩展的大数据计算引擎。
63.本发明实施例提供的数据存储系统中，数据处理服务器101a首先获得各车辆上安装的传感器生成的真值文件，然后以分布式文件存储方式，将真值文件存储至各存储服务器101c，计算引擎101b获得待处理真值文件，对待处理真值文件进行数据分析，得到目标车辆所处行驶环境的环境描述信息，并将环境描述信息存储在计算引擎101b对应的存储服务器101c，数据处理服务器101a还用于获得环境描述信息，并根据环境描述信息控制目标车辆行驶，获得目标车辆安装的传感器针对行驶过程中生成的目标真值文件，根据目标真值文件获得目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息，并将行驶信息和对象物的描述信息存储至数据库102。
64.由此可见，将真值文件存储至各存储服务器101c，将环境描述信息存储至计算引擎101b对应的各存储服务器101c，将目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息存储至数据库102，实现了针对自动驾驶的数据存储。
65.下面对上述数据存储系统中的数据处理服务器101a、计算引擎101b以及存储服务器101c进行详细介绍。
66.数据处理服务器101a，用于获得各车辆上安装的传感器生成的真值文件，以分布式文件存储方式，将真值文件存储至各存储服务器101c。
67.其中，真值文件中包括传感器在车辆行驶过程中预设时长的时间段内采集的真值数据。
68.上述真值数据是指传感器采集的真实数据。例如由视频传感器采集的视频数据、由温湿度传感器采集的温湿度数据、由激光雷达采集的点云数据等。
69.上述预设时长可以是30秒、1分钟、5分钟等。
70.上述分布式文件存储方式是将多个待存储的文件分散存储在多台独立存储设备
的存储方式，其中，每台存储设备可以看做是一个存储服务器101c，多个存储服务器101c之间通信连接，可以构成分布式网络存储系统。由于该分布式网络存储系统中包含多台独立存储设备，因此可以将每一台存储设备中存储的文件对应的备份文件分散存储在其他存储设备中，当分布式网络存储系统中某一存储设备发生故障时，也能从其他存储设备中获得故障设备中文件的备份文件，从而提高文件存储的安全性。
71.安装在车辆上的传感器在车辆行驶过程中实时采集真值数据，当传感器采集到预设时长的时间段内的真值数据时，则会生成一个真值文件，该真值文件中包含所采集的预设时长的时间段内的真值数据。
72.例如，若上述预设时长为一分钟，传感器从0时开始采集真值数据，则从0时开始，每过一分钟，传感器则生成一个真值文件，该真值文件中包含这一分钟内传感器采集的真值数据。
73.本发明的一个实施例中，数据处理服务器101a在获得各车辆上安装的传感器生成的真值文件时，可以通过与各车辆上安装的传感器建立无线通信，进而获得传感器生成的真值文件。
74.本发明的另一个实施例中，数据处理服务器101a在获得各车辆上安装的传感器生成的真值文件，可以在车辆行驶结束后，通过有线数据传输，获得由车辆中存储器存储的真值文件。
75.本发明的一个实施例中，参见图1b，示出了第一种数据处理服务器101a处理数据的流程示意图，如图1b所示，数据处理服务器101a的数据处理流程包含以下步骤s101
‑
s102。
76.步骤s101：获得各车辆上安装的传感器生成的真值文件。
77.步骤s102：以分布式文件存储方式，将真值文件存储至各存储服务器101c。
78.本发明的一个实施例中，数据处理服务器101a获得的真值文件为：各车辆上安装的传感器确定存在预设数量个自身生成且未上传的真值文件后上传的真值文件。
79.具体的，传感器在每采集一个预设时长的时间段内的真值数据，并生成一个真值文件后，会将该真值文件先存储于传感器对应的存储器中，当存储于存储器的真值文件的数量达到预设数量时，再将该预设数量个真值文件上传至数据处理服务器101a，数据处理服务器获得传感器上传的预设数量个自身生成且未上传的真值文件。
80.上述预设数量可以是传感器默认的数量，也可以是用户设置的数量。例如，上述预设数量可以是6，也可以是10，还可以是其他数值。
81.以上述预设数量为6为例，当传感器对应的存储器中存储的、传感器生成的、且未上传的真值文件的数量为6时，将这6个真值文件上传至数据处理服务器101a，数据处理服务器101a获得所上传的6个真值文件。
82.通过每次上传预设数量个真值文件至数据处理服务器101a的方式，可以减少真值文件上传的次数，节省网络资源。
83.除此之外，上述预设数量还可以是1，也就是，传感器每生成一个真值文件，就将所生成的真值文件上传至数据处理服务器101a。
84.计算引擎101b，用于获得待处理真值文件，对待处理真值文件进行数据分析，得到目标车辆所处行驶环境的环境描述信息，并将环境描述信息存储至计算引擎101b对应的存
储服务器101c，其中，目标车辆为：生成待处理真值文件的传感器所在的车辆。
85.其中，上述待处理真值文件为所获得的各车辆上安装的传感器生成的真值文件中需要进行数据处理的真值文件。
86.上述环境描述信息是用于对目标车辆所处的行驶环境进行描述的信息，具体的，可以通过上述行驶环境中存在的物体的信息对上述行驶环境进行描述。
87.上述对目标车辆所处的行驶环境进行描述的信息，例如，目标车辆所在道路、所在城市、所在省份的名称以及目标车辆所处位置的经纬度等等。
88.上述物体可以是目标车辆周围的车辆、行人、障碍物等，还可以是交通指示灯、交通指示线、警示牌等，还可以是行驶环境中的其他物体。
89.上述物体的信息用于描述行驶环境中存在的物体。例如描述信息可以是周围车辆的行驶速度、行驶方向以及与目标车辆的距离、相对位置等，还可以是交通指示灯的灯光(例如红灯、绿灯、黄灯等)、交通指示线的类型(例如白色实线、白色虚线、停止线等)
90.本发明的一个实施例中，一种情况下，计算引擎101b可以从数据处理服务器101a中获得待处理真值文件。
91.另一种情况下，计算引擎101b可以从各存储服务器101c中获得待处理真值文件。
92.本发明的一个实施例中，由于待处理真值文件可能是由视频传感器生成的，也可能是由激光雷达生成的，也可能是由其他传感器生成的，因此，对待处理真值文件进行数据分析，可以针对由不同传感器生成的待处理真值文件，采用不同的数据分析方式，提取出待处理真值文件中包含的目标车辆所处行驶环境的环境描述信息。
93.例如，由视频传感器生成的待处理真值文件为视频数据，视频数据中包含多张帧图像，对每一张帧图像进行对象提取，可以识别出帧图像中存在的物体，例如，行人、周围车辆、交通指示牌等；由激光雷达生成的待处理真值文件为点云数据，点云数据中包含多帧点云，从每一帧点云中可以计算得出目标车辆所处行驶环境中物体与目标车辆之间的距离。因此，对视频传感器以及激光雷达生成的待处理真值文件进行数据分析，可以得知目标车辆所处行驶环境中存在哪些物体，以及这些物体与目标车辆的距离，进而将这些物体信息以及距离信息作为目标车辆所处行驶环境的环境描述信息。
94.数据处理服务器101a，还用于获得环境描述信息，根据环境描述信息控制目标车辆行驶，并获得目标车辆安装的传感器针对行驶过程中生成的目标真值文件，根据目标真值文件获得目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息，将行驶信息和对象物的描述信息存储至数据库102。
95.其中，上述行驶信息包含行驶速度、车辆转向角、车辆位置坐标、车辆加速度等。
96.上述对象物可以是目标车辆周围的其他车辆、障碍物、交通指示牌、或者行人等等。
97.本发明的一个实施例中，一种情况下，数据处理服务器101a可以从计算引擎101b中获得环境描述信息。
98.另一种情况下，数据处理服务器101a可以从计算引擎101b对应的存储服务器101c中获得环境描述信息。
99.由于上述环境描述信息是用于对目标车辆所处的行驶环境进行描述的信息，可以通过上述行驶环境中存在的物体的信息对上述环境信息进行描述，因此，可以利用上述环
境描述信息，对目标车辆所处行驶环境中存在的物体进行目标跟踪，对于运动物体，可以获得该运动物体的运动速度、运动方向、与目标车辆间的距离等，当运动物体的运动状态发生了改变，则根据运动物体的运动变化情况，控制目标车辆做出相应的行驶动作。例如，在目标车辆行驶过程中，目标车辆前方有一辆车正在缓慢减速，由于环境描述信息中记录了该车与目标车辆的距离，当两车距离小于目标车辆中设定的安全距离时，可以指示目标车辆进行减速或者超车。对于静止物体，可以获得该物体的大小、与目标车辆的距离、相对于目标车辆的位置等，当该静止物体为用于交通指示的指示牌、指示灯等，还应获取该物体的指示信息，例如，若在目标车辆行驶过程中，目标车辆右前方有一块交通指示牌，该指示牌包含“限速30km/h”的指示信息，则需要控制目标车辆车速不超过30km/h。
100.数据处理服务器101a可以根据环境描述信息生成车辆行驶指令，并将车辆行驶指令发送至目标车辆的车载控制设备，车载控制设备根据车辆控制指令控制目标车辆行驶。例如，若车辆行驶指令为超过前方车辆，则车载控制设备在收到该指令后，控制目标车辆进行变道、加速、再变道。
101.在根据环境描述信息控制目标车辆行驶的过程中，目标车辆中安装的传感器实时采集真值数据，并生成真值文件，所生成的真值文件即为目标真值文件。对目标真值文件进行数据分析，得到目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息，然后将该行驶信息和对象物的描述信息存储至数据库102。
102.由此可见，本发明实施例提供的方案中，数据处理服务器用于获得各车辆上安装的传感器生成的真值文件，以分布式文件存储方式，将所述真值文件存储至各存储服务器；计算引擎用于获得待处理真值文件，对真值文件进行数据分析，得到目标车辆所处环境的环境描述信息，并将描述信息存储至计算引擎对应的存储服务器；数据处理服务器还用于获得环境描述信息，根据环境描述信息控制目标车辆行驶，并获得目标车辆安装的传感器针对行驶过程中生成的目标真值文件，根据目标真值文件获得目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息，将行驶信息和对象物的描述信息存储在数据库中。由此可见，本发明实施例提供的方案中，将车辆行驶过程中采集的真值数据以分布式存储方式存储在各存储服务器中，将对待处理真值文件进行分析得到的环境描述信息存储在了计算引擎对应的存储服务器中，将根据环境描述信息控制目标车辆行驶过程中的目标车辆行驶信息和对象物的描述信息存储在数据库中，实现了针对自动驾驶的数据存储。
103.本发明的一个实施例中，上述数据库102可以为mysql数据库。
104.mysql数据库为一种关系型数据库，能够存储具有共同特征的不同数据。本发明实施例中，目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息之间具有多种共同特征，例如速度、加速度、位置坐标等等，因此，将目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息存储至mysql数据库中，能够清楚的反映目标车辆与对象物之间的相互关系，便于后续对目标车辆的行驶信息和目标车辆所处环境中对象物的描述信息进行进一步分析。
105.本发明的一个实施例中，参见图2，提供了一种真值数据完整性检测的流程示意图。本实施例中，上述计算引擎101b在获得目标车辆所处行驶环境的描述信息时，可以包括以下步骤s201
‑
s205。
106.步骤s201：根据待处理真值文件中真值数据的采集时间，检测待处理真值文件中
真值数据是否完整，若为否，则执行步骤s202。
107.传感器在采集真值数据，生成真值文件的过程中，会记录真值数据采集的时间。例如视频传感器在采集视频数据，生成真值文件的过程中，所采集的视频数据中每一帧视频帧图像均会对应其所采集的时间。因此，可以根据待处理真值文件中真值数据的采集时间，检测待处理真值文件中真值数据是否完整。
108.本发明的一个实施例中，由于真值文件中每一真值数据均会对应其采集时间，而采集时间可以根据传感器开始采集真值数据的开始时间和采集频率确定，因此，可以通过检测每一采集时间是否对应一个真值数据来检测待处理真值文件中真值数据是否完整。若检测到某一采集时间中没有真值数据与其对应，则说明待处理真值文件中真值数据不完整。
109.除此之外，还可以根据采集待处理真值文件中真值数据的传感器的采集频率和待处理真值文件对应的预设时长，检测待处理真值文件中真值数据是否完整。
110.根据采集待处理真值文件中真值数据的传感器的采集频率f和待处理真值文件对应的预设时长t，可以计算得到待处理真值文件中真值数据的应有数量n＝f*t，若待处理真值文件中真值数据的数量小于该应有数量，则说明待处理真值文件中真值数据不完整。
111.步骤s202：获得待处理真值文件中真值数据的缺失时长。
112.其中，上述缺失时长为根据待处理真值文件中缺失的真值数据对应的采集时间确定的时长。
113.真值文件中每一真值数据均对应一个采集时间，并且采集时间可以根据传感器开始采集真值数据的开始时间和采集频率确定。
114.本发明的一个实施例中，在获得待处理真值文件中真值数据的缺失时长时，可以包括以下两种实现方式：
115.一种实现方式下，可以确定缺失的真值数据对应的采集时间，并按照时间先后顺序，将第一个缺失真值数据对应的采集时间与最后一个缺失真值数据对应的采集时间的时间差确定为待处理真值文件中真值数据的缺失时长。其中，第一个缺失真值数据至最后一个缺失真值数据之间的真值数据均为缺失的真值数据。
116.例如，若传感器以5hz的频率在一秒内采集了五个真值数据，分别对应采集时间为0s、0.2s、0.4s、0.6s、0.8s。若未检测到0.4s和0.6s对应的真值数据，则确定缺失的真值数据对应的采集时间为0.4s和0.6s，进而确定缺失时长为0.6
‑
0.4＝0.2s。
117.将第一个缺失真值数据至最后一个缺失真值数据之间的真值数据作为待处理真值文件的缺失数据段，则待处理真值文件中可能存在一个或者多个缺失数据段，每一缺失数据带均对应一个缺失时长。
118.另一种实现方式下，可以按照时间先后顺序，将第一个缺失真值数据的前一个真值数据对应的采集时间与最后一个缺失真值数据的后一个真值数据对应的采集时间的时间差确定为待处理真值文件中真值数据的缺失时长。其中，第一个缺失真值数据至最后一个缺失真值数据之间的真值数据均为缺失的真值数据。
119.例如，若传感器以5hz的频率在一秒内采集了五个真值数据，分别对应采集时间为0s、0.2s、0.4s、0.6s、0.8s。若未检测到0.4s和0.6s对应的真值数据，则确定缺失的真值数据对应的采集时间为0.4s和0.6s，第一个缺失真值数据的前一个真值数据对应的采集时间
为0.2s，最后一个缺失真值数据的后一个真值数据对应的采集时间为0.8s，进而确定缺失时长为0.8
‑
0.2＝0.6s。
120.同理，将第一个缺失真值数据至最后一个缺失真值数据之间的真值数据作为待处理真值文件的缺失数据段，则待处理真值文件中可能存在一个或者多个缺失数据段，每一缺失数据带均对应一个缺失时长。
121.步骤s203：判断缺失时长是否大于预设的第一时长阈值，若为否，则执行步骤s204。
122.其中，上述预设的第一时长阈值可以是0.3s，也可以是0.9s，还可以是所设置的其他时长阈值。
123.具体的，若缺失时长小于预设的第一时长阈值，则说明待处理真值文件中缺失的采集时间连续的真值数据较少，由于真值数据反映的是目标车辆行驶过程中目标车辆所处行驶环境的变化情况，在较短的时间内，行驶环境的变化情况较小，因此在缺失时长小于预设的第一时长阈值时，执行步骤s204。若缺失时长大于预设的第一时长阈值，则说明待处理真值文件中缺失的采集时间连续的真值数据较多，在较长的时间内，行驶环境的变化情况较大，因此难以在缺失时长大于预设的第一时长阈值时，执行步骤s204。
124.步骤s204：根据待处理真值文件中记录的真值数据修复待处理真值文件中缺失的真值数据。
125.由于传感器采集的是车辆在行驶过程中的真值数据，而车辆所处的行驶环境是随着时间逐渐变化的，因此传感器采集的真值数据中，相邻真值数据之间差异与行驶环境的变化规律相关。若真值文件中真值数据不完整，则可以根据位于缺失的真值数据前后的多个真值数据推测出缺失的真值数据。
126.例如，根据激光雷达采集的点云可以计算得到位于目标车辆正前方一块交通指示牌与目标车辆的距离。现有一个由激光雷达采集生成的真值文件，该真值文件中采集时间t
n
对应的点云缺失，根据上一采集时间t
n
‑1对应的点云得知，位于目标车辆正前方的交通指示牌与目标车辆的距离为50米，根据下一采集时间t
n+1
对应的点云得知，位于目标车辆正前方的交通指示牌与目标车辆的距离为40米，则可根据采集时间t
n
‑1对应的点云和采集时间t
n+1
对应的点云推测出采集时间t
n
对应的点云中包含用于计算得知位于目标车辆正前方的交通指示牌与目标车辆的距离为45米的信息，根据这一信息即可修复采集时间t
n
对应的点云。
127.步骤s205：对修复后的待处理真值文件进行数据分析，得到目标车辆所处行驶环境的描述信息。
128.与上述实施例中计算引擎101b对待处理真值文件进行数据处理，得到目标车辆所处行驶环境的环境描述信息相同，由于修复后的待处理真值文件也可能是由视频传感器生成的，也可能是由激光雷达生成的，也可能是由其他传感器生成的，因此，对修复后的待处理真值文件进行数据分析，可以针对由不同传感器生成的待处理真值文件，采用不同的数据分析方式，提取出待处理真值文件中包含的目标车辆所处行驶环境的环境描述信息。
129.由此可见，本发明实施例提供的方案中，根据待处理真值文件中真值数据的采集时间，检测出真值数据不完整的待处理真值文件，并针对真值数据的缺失时长小于预设的第一时长阈值的待处理真值文件，根据待处理真值文件中记录的真值数据修复缺失的真值
数据，使得真值数据缺失的待处理真值文件被修复为真值数据完整的真值文件，以便于后续对待处理真值文件进行相应处理。
130.本发明的一个实施例中，参见图3，提供了第二种数据处理服务器101a处理数据的流程示意图。与图1b相比，本实施例中，数据处理服务器101a在执行步骤s101获得各车辆上安装的传感器生成的真值文件之后，还包括以下步骤s103
‑
s104。
131.步骤s103：确定所获得的真值文件中由同一传感器生成的第一真值文件组。
132.在车辆行驶过程中，随着时间推移，同一传感器会陆续生成多个真值文件，数据处理服务器101a获得同一传感器生成的真值文件，将由同一传感器生成的多个真值文件确定为第一真值文件组。
133.一种情况下，传感器上传真值文件的方式为每生成一个真值文件，就将该真值文件上传至数据处理服务器101a，数据处理服务器101a在获得传感器生成的真值文件时，将同一传感器上传的真值文件确定为第一真值文件组。
134.例如，若真值文件中包括传感器在车辆行驶过程中一分钟内采集的真值数据，当传感器采集到一分钟的真值数据，生成一个真值文件，则在生成真值文件后，将该真值文件上传至数据处理服务器101a。数据处理服务器101a每分钟均获得由传感器上传的一个真值文件，将同一传感器上传的真值文件确定为第一真值文件组。
135.另一种情况下，传感器上传真值文件的方式为：多个真值文件同步上传，数据处理服务器101a在获得传感器生成的真值文件时，同样也是获得传感器生成的多个真值文件，将所获得的多个真值文件确定为第一真值文件组。
136.例如，若真值文件中包括传感器在车辆行驶过程中一分钟内采集的真值数据，传感器首先采集车辆行驶过程中十分钟内的真值数据，每分钟生成一个真值文件，当所生成的真值文件的数据达到十个，再将这十个真值文件上传至数据处理服务器101a，数据处理服务器101a获得这十个真值文件后，将这十个真值文件确定为第一真值文件组。
137.上述多个真值文件的数量可以是八个，也可以是十个，还可以是设置的其他数量。
138.步骤s104：针对每一第一真值文件组，按照真值数据从采集时间由先到后的顺序，对该第一真值文件组中各真值文件内包含的真值数据进行合并，得到合并后真值文件。
139.由于真值文件内包含的真值数据属于时隙数据，也就是，真值数据为与采集时间相对应的数据，对第一真值文件组中各真值文件内包含的真值数据进行合并可以是将各真值文件内包含的真值数据进行拼接。
140.例如，若第一真值文件组中包含两个真值文件，其中，第一个真值文件内包含的真值数据为传感器从7点到8点采集得到的，即第一个真值文件对应的采集时间为7点到8点，第二个真值文件内包含的真值数据为传感器从8点到9点采集得到的，即第二个真值文件对应的采集时间为8点到9点，则对这两个真值文件内包含的真值数据进行合并，也就是，将这两个真值文件内包含的真值数据进行拼接，得到一个合并后真值文件，该合并后真值文件内包含的真值数据为第一个真值文件内包含的真值数据以及第二个真值文件内包含的真值数据，合并后真值文件对应的采集时间为7点至9点。
141.上述步骤s102以分布式文件存储方式，将真值文件存储至各存储服务器101c，包括以下步骤s102a。
142.步骤s102a：以分布式文件存储方式，将合并后真值文件存储至各存储服务器
101c。
143.上述步骤s104为针对每一第一真值文件组按照真值数据从采集时间由先到后的顺序，对该第一真值文件组中各真值文件内包含的真值数据进行合并，得到合并后真值文件，而第一真值文件组中各真值文件均为同一传感器生成的真值文件，因此，一个传感器对应一个合并后真值文件，多个传感器对应多个合并后真值文件。
144.在得到合并后真值文件后，以分布式文件存储方式，将合并后真值文件存储至各存储服务器101c。
145.由此可见，本发明实施例提供的方案中，将同一传感器生成的真值文件，按照真值数据从采集时间由先到后的顺序，合并得到合并后真值文件，并将合并后真值文件以分布式文件存储方式，存储至各存储服务器101c。由于同一传感器可能生成多个真值文件，将同一传感器生成的多个真值文件合并为合并后真值文件，有利于对真值文件进行管理，并且在后续对真值文件进行处理时，只需合并后真值文件进行相应处理，而无需分别对多个真值文件进行多次处理，从而提高真值文件的处理效率。
146.本发明的一个实施例中，参见图4，提供了第三种数据处理服务器101a处理数据的流程示意图。与前述图3所示实施例相比，本实施例中，在上述步骤s104针对每一第一真值文件组，按照真值数据从采集时间由先到后的顺序，对该第一真值文件组中各真值文件内包含的真值数据进行合并，得到合并后真值文件之后，还包括以下步骤s105
‑
s107。
147.步骤s105：确定合并后真值文件中真值数据对应的连续采集时间段。
148.其中，上述合并后真值文件为：由第一真值文件组中各真值文件内包含的真值数据进行合并得到的文件，因此，合并后真值文件对应的采集时间同样为各真值文件对应的采集时间合并得到的。若第一真值文件组中某一真值文件缺失，则合并后真值文件对应的采集时间也会缺失。
149.上述连续采集时间段为：合并后真值文件对应的采集时间中时间未缺失的时间段。
150.具体的，在获得合并后真值文件后，可以确定上述文件中每一真值数据对应的采集时间，然后统计上述采集时间中连续的采集时间所在的时间段，作为连续采集时间段。
151.例如，若第一真值文件组中包含4个真值文件，所对应的采集时间分别为1点至2点、2点至3点、3点至4点、4点至5点，若采集时间为2点至3点所对应的真值文件缺失，则对第一真值文件组中各真值文件内包含的真值数据进行合并得到的合并后真值文件对应的采集时间为1点至2点，以及3点至5点，进而确定合并后真值文件中真值数据对应的一个连续采集时间段为1点至2点，另一连续采集时间段为3点至5点。
152.步骤s106：判断连续采集时间段数量是否大于1，若为是，则执行步骤s107。
153.若连续采集时间段数量大于1，则说明合并后真值文件中真值数据不完整，此时，执行步骤s107；若连续时间段数量为1，则说明合并后真值文件中真值数据完整。
154.步骤s107：依据各连续采集时间段，将合并后真值文件拆分为第一数量个拆分真值文件。
155.其中，第一数量为：连续采集时间段的数量，每一拆分真值文件与一个连续采集时间段相对应，且包括合并后真值文件中采集时间处于该拆分真值文件对应的连续采集时间段内的真值数据。
156.在上述步骤s105的举例中，合并后真值文件中真值数据对应的连续采集时间段为1点至2点，以及3点至5点，连续采集时间段的数量为2，即第一数量为2，因此，可以依据这两个连续采集时间段，将合并后真值文件拆分为2个拆分真值文件，其中，一个拆分真值文件对应的采集时间为1点至2点，这一拆分真值文件内包含的真值数据为合并后真值文件内包含的采集时间为1点至2点的真值数据，另一个拆分真值文件对应的采集时间为3点至5点，这一拆分真值文件内包含的真值数据为合并后真值文件内包含的采集时间为3点至5点的真值数据。
157.步骤s102a以分布式文件存储方式，将合并后真值文件存储至各存储服务器101c，包括以下步骤s102a1。
158.步骤s102a1：以分布式文件存储方式，将拆分真值文件存储至各存储服务器101c。
159.上述一个合并后真值文件对应第一数量个拆分真值文件，因此，多个合并后真值文件对应的拆分真值文件的数量与合并后真值文件的数量及第一数量相关，在得到拆分真值文件后，以分布式文件存储方式，将拆分真值文件存储至个存储服务器101c。
160.由此可见，本发明实施例提供的方案中，确定合并后真值文件中真值数据对应的连续采集时间段，并在连续采集时间段数量大于1时，依据个连续采集时间段，将合并后真值文件拆分为第一数量个拆分真值文件。应用本发明实施例提供的方案，能够保证每一拆分真值文件均为采集时间段连续的真值文件，并且使得拆分合并后真值文件得到的拆分真值文件数量尽可能少，从而有助于真值文件管理。
161.本发明的一个实施例中，参见图5，提供了第四种数据处理服务器101a处理数据的流程示意图。与图1b相比，本实施例中，数据处理服务器101a在执行步骤s101获得各车辆上安装的传感器生成的真值文件之后，还包括以下步骤s108
‑
s109。
162.步骤s108：确定所获得的真值文件中由同一车辆上安装的传感器生成、数据类型相同、且采集时间段一致的第二真值文件组。
163.通常同一车辆中会安装多种传感器，例如激光雷达、毫米级雷达、视频传感器等，由这些传感器生成的真值文件即为由同一车辆上安装的传感器生成的真值文件。
164.同一车辆中可能会安装多个同类型的传感器，同类型的传感器生成的真值文件即为数据类型相同的真值文件。例如在同一车辆上安装多个激光雷达，多个激光雷达生成的多个真值文件的数据类型相同。
165.采集时间段一致，也就是，真值文件对应的采集开始时间及采集结束时间相同。
166.例如，若同一车辆中安装两个激光雷达，激光雷达能够生成包含点云的真值文件，此时，两个激光雷达同步工作，在车辆行驶过程中采集真值数据，两个激光雷达分别生成两个真值文件，则确定这两个真值文件为一个第二真值文件组。
167.步骤s109：针对每一第二真值文件组，对该第二真值文件组中各第二真值文件内采集时间相同的真值数据进行数据融合，得到融合后真值文件。
168.由于传感器在采集真值数据时，是以传感器自身作为采集基准进行采集，因此，所获得的真值数据是以传感器为基准的真值数据。对第二真值文件组中各第二真值文件内采集时间相同的真值数据进行数据融合，也就是，将采集时间相同的各真值数据转化为以车辆为基准的真值数据，并综合各转化后的真值数据，确定该采集时间下的最终真值数据，进而得到由最终真值数据组成的融合后真值文件。
169.例如，激光雷达在采集车辆所处行驶环境中目标物体的点云时，根据该点云可以计算得知该目标物体与激光雷达之间的距离，也就是，该点云是以激光雷达为基准的点云，此时，需要将以激光雷达为基准的点云通过位置补偿的方式转化为以车辆为基准的点云，得到该目标物体与车辆之间的距离。多个激光雷达采集目标物体的点云，并对每一点云进行位置补偿后，可以得到多个以车辆为基准的点云，从而得到多个目标物体与车辆之间的距离。综合各转化后的真值数据，确定最终真值数据可以是计算所得到的多个距离的平均值，将该平均值对应的点云作为最终真值数据；也可以是选择多个距离中最近距离对应的点云作为最终真值数据。
170.上述目标物体可以是行人、障碍物、路标等。
171.上述步骤s102以分布式文件存储方式，将真值文件存储至各存储服务器101c，包括以下步骤s102b。
172.步骤s102b：以分布式文件存储方式，将融合后真值文件存储至各存储服务器101c。
173.由上述步骤s108、步骤s109可知，融合后真值文件的数量与车辆中安装的传感器的类型数量以及采集时间段相关。若传感器的类型数量为a，采集时间段的数量为b，则融合后真值文件的数量为：c＝a*b。
174.因此，在得到多个融合后真值文件后，以分布式文件存储方式，将融合后真值文件存储至个存储服务器101c。
175.由此可见，本发明实施例提供的方案中，首先确定所获得的真值文件中由同一车辆上安装的传感器生成、数据类型相同、且采集时间段一致的第二真值文件组，然后针对每一第二真值文件组，对该第二真值文件组中各第二真值文件内采集时间相同的真值数据进行数据融合，得到融合后真值文件，并将融合后真值文件以分布式文件存储方式，存储至各存储服务器101c。由于第二真值文件组为同一车辆上安装的传感器生成、数据类型相同、且采集时间段一致的真值文件，对每一第二真值文件组中各第二真值文件内采集时间相同的真值文件进行融合，可以使得属于同一第二真值文件组的多个真值文件融合为一个融合后真值文件，从而减少了需要管理的真值文件的数量。
176.本发明的一个实施例中，参见图6，提供了一种环境描述信息获得方法的流程示意图，本实施例中，车辆上安装的传感器包括：用于采集车辆所处行驶环境信息的第一类传感器和用于采集车辆自身信息的第二类传感器。
177.其中，上述第一类传感器包括激光雷达、毫米级雷达以及视频传感器等等。
178.上述第二类传感器包括用于测量车辆速度的传感器、用于测量车辆油温的温度传感器以及用于车辆定位的传感器等等。
179.上述车辆自身信息包含车辆速度、位置、加速度、转向角等信息。
180.如图6所示，在上述方案的基础上，上述计算引擎101b对待处理真值文件进行数据分析，得到目标车辆所处行驶环境的环境描述信息，包括以下步骤s601
‑
s603。
181.步骤s601：根据第一待处理真值文件，获得目标车辆所处行驶环境中的对象物与目标车辆之间的相对描述信息，其中，第一待处理真值文件为：待处理真值文件中由第一类传感器生成的文件。
182.上述对象物可以是道路中其他车辆，也可以是道路旁的行人、树木，还可以是其他
车辆所处行驶环境中存在的物体。
183.上述相对描述信息是指相对于车辆而言的对象物的描述信息，例如，可以是对象物相对于车辆的距离、对象物相对于车辆的速度、对象物相对于车辆的方位等等。
184.由于第一类传感器采集的是车辆所处行驶环境信息，在采集过程中，是以传感器自身作为采集基准进行采集。例如，激光雷达采集的是对象物与激光雷达之间的距离，视频传感器采集的是由自身摄像头采集的帧图像中对象物的图像信息，因此，对第一类传感器采集的真值数据进行处理得到的是相对于车辆而言，车辆所处行驶环境的环境描述信息。
185.步骤s602：根据第二待处理真值文件，获得目标车辆在所处环境中的车辆描述信息，其中，第二待处理真值文件为：待处理真值文件中由第二类传感器生成的文件。
186.上述车辆描述信息为描述车辆自身状态的信息，包括车辆的行驶方向、行驶速度、加速度等，除此之外，还包含车辆在道路中的位置信息以及关于车辆定位的信息等。
187.上述车辆在道路中的位置信息，例如，车辆距离道路两边的距离、车辆与车辆所处车道的车道线之间的距离等。
188.上述关于车辆定位的信息可以是：由具有定位功能的传感器采集到的车辆在地球中的位置信息。
189.步骤s603：根据车辆描述信息和相对描述信息，生成目标车辆所处行驶环境的环境描述信息。
190.车辆描述信息为描述车辆自身状态的信息，相对描述信息是对象物相对于车辆而言的描述信息，根据车辆描述信息和相对描述信息，可以得知描述对象物自身状态的信息，从而生成目标车辆所处行驶环境的环境描述信息。
191.例如，车辆描述信息中包含目标车辆的行驶速度，相对描述信息中包含对象物相对于目标车辆的相对速度，因此，根据目标车辆的行驶速度以及对象物相对于目标车辆的相对速度，可以得知对象物的行驶速度。
192.又例如，车辆描述信息中记录目标车辆与道路前方斑马线的距离，相对描述信息中记录了环境中另一车辆与目标车辆的距离，则根据这两个距离信息可以得知该另一车辆与前方斑马线的距离。
193.由此可见，本发明实施例提供的方案中，相对描述信息为目标车龄所处行驶环境中对象物与目标车辆之间的描述信息，车辆描述信息为目标车辆在所处环境中的描述信息，根据车辆描述信息和相对描述信息，可以得到对象物在目标车辆所处环境中的描述信息作为目标车辆所处行驶环境的环境描述信息，从而丰富了环境描述信息的内容，为目标车辆在自动驾驶过程中提供了更多的外界信息。
194.本发明的一个实施例中，参见图7，提供了第二种针对自动驾驶的数据存储系统的结构示意图，与前述图1a所述实施例相比，本实施例中，存储服务器101c包括读写性能高于预设性能指标的第一类存储服务器101c1和读写性能不高于预设性能指标的第二类存储服务器101c2。
195.需要说明的是，图7中第一类存储服务器101c1和第二类存储服务器101c2的数量仅为本发明实施例提供的一种示例，实际应用中，数据存储系统中包含的第一类存储服务器101c1和第二类存储服务器101c2的数量不限于此，可根据实际情况进行配置。
196.其中，上述读写性能包含存储服务器存储数据的速度以及读取存储在存储服务器
中数据的速度。
197.上述预设性能指标，也就是，预设的存储数据的速度以及读取数据的速度。若存储服务器存储数据的速度大于预设的存储数据的速度，并且存储服务器读取数据的速度大于预设的读取数据的速度，则认为该存储服务器的读写性能高于预设性能指标，该存储服务器为第一类存储服务器101c1；若存储服务器存储数据的速度和读取数据的速度中至少一种速度不大于预设的对应速度，则认为该存储服务器的读写性能不高于预设性能指标，该存储服务器为第二类存储服务器101c2。
198.上述以分布式文件存储方式，将真值文件存储至各存储服务器101c，包括：
199.以分布式文件存储方式，将真值文件存储至各第一类存储服务器101c1。
200.上述第一类存储服务器101c1为真值文件存储的默认存储服务器，在数据处理服务器101a获得真值文件后，以及计算引擎101b对真值数据进行分析、处理得到的真值文件均以分布式文件存储方式存储至各第一类存储服务器101c1。
201.第一类存储服务器101c1，还用于将所存储数据中存储时长大于预设时长阈值的数据，迁移至第二类存储服务器101c2。
202.上述存储时长为数据存储的存储时间与当前时间的差值。
203.上述预设时长阈值可以是一个月，也可以是三个月，还可以是所设置的其他时长阈值。
204.具体的，若第一类存储服务器101c1中存储的数据的存储时长大于预设时长阈值，则将该数据转存至第二类存储服务器101c1，从而节省第一类存储服务器101c1的存储空间。
205.本发明的一个实施例中，一种实现方式下，可以将第一类存储服务器101c1中存储时长大于预设时长阈值的数据复制到第二类存储服务器101c2中，然后将该数据从第一类存储服务器101c1中删除。
206.另一种实现方式下，可以将第一类存储服务器101c1中存储时长大于预设时长阈值的数据直接剪切至第二类存储服务器101c2。
207.由此可见，本发明实施例提供的方案中，将第一类存储服务器101c1中存储时长大于预设时长阈值的数据迁移至第二类存储服务器101c2。由于通常所存储数据的读取频率与该数据的存储时长相关，存储时长越长，数据被读取的频率越低，因此将存储时长大于预设时长阈值的数据转存至第二类存储服务器101c2，可以节约第一类存储服务器101c1的存储空间，并且使用读写性能较低的第二类存储服务器101c2存储存储时长大于预设时长阈值的数据，可以降低数据存储的成本。
208.本发明的一个实施例中，上述数据处理服务器101a，还用于获得用户输入的针对目标车辆所行驶环境的校准数据，依据校准数据对环境描述信息进行校准。
209.用户能够观察到目标车辆所处行驶环境的真实情况，而计算引擎101b对待处理真值文件进行数据分析得到的环境描述信息可能由于硬件或软件原因存在误差，因此针对该误差，用户可以输入针对目标车辆所行驶环境的校准数据，数据处理服务器101a依据校准数据对环境描述信息进行校准。
210.由此可见，应用本发明实施例提供的方案，数据处理服务器101a能够依据用户输入的校准数据对环境描述信息进行校准，从而提高了环境描述信息的准确度。
211.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程中还存在另外的相同要素。
212.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。