一种数据校验方法及电子设备与流程

本发明涉及数据校验，具体涉及一种数据校验方法及电子设备。

背景技术：

1、随着智能驾驶技术的不断发展，其已在车辆中得到了广泛的应用，常见的例如有自动驾驶辅助系统adas，再例如更高阶的l3、l4、l5级的自动驾驶。在智能驾驶算法开发的过程中，数据采集起着至关重要的作用，通过采集大量真实环境的数据，可以在实验场景中精确地模拟某些交通状况，测试智能感知算法与控制逻辑，提高测试效率，从而节省了大量的测试和验证的时间。

2、在已有的数据采集方案中，一般是使用工控机连接安装在车辆上的传感器进行实车数据采集和落盘，再通过上位机软件进行离线数据分析、人工标注等操作。一般，由上位机软件对采集的数据包进行质量检测，上位机软件能够比较准确、详细地对采集的数据内容进行分析，来评估数据包的质量，例如对图像帧的内容分析，以判断图像是否模糊、曝光情况等。

3、但是，一些用户希望尽快获知数据包的质量，以指导现场的数据采集工作，期望能够在数据采集现场进行数据包的质量检测工作。然而，这些数据包的质量检测工作需要一定的计算机资源(例如处理器的处理性能、gpu性能)，在现场进行数据采集的工控机的性能有限，无法完成上述的数据包质量检测，且需要一定时间才能完成质量检测，不能及时反馈以指导现场的数据采集工作。因此，有必要设计资源占用低、耗时短的数据质量检验方法。

技术实现思路

1、本发明的目的是提供了一种数据校验方法及电子设备，对于具有同步机制的n个数据采集装置，可仅基于这n个数据采集装置的数据文件中数据帧的时间信息，便能够完成对多个数据文件的同步校验，而无需对各数据文件中数据帧内容进行验证，计算机资源占用较少，适用于数据采集现场对具有同步机制的多个数据采集装置进行同步校验，以保证具有同步机制的多个数据采集装置所采集数据的质量。

2、为实现上述目的，本发明提供了一种数据校验方法，包括：获取由多个数据采集装置所采集的多个数据文件；获取多个数据采集装置中具有同步机制的n个数据采集装置的数据文件，其中，n>1，所述具有同步机制的n个数据采集装置之间的数据采集动作具有同步性；基于具有同步机制的n个数据采集装置中各所述数据采集装置的数据文件所包含的数据帧的时间信息，确定所述具有同步机制的n个数据采集装置是否满足同步机制。

3、本发明还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现上述的数据校验方法。

4、在一个实施例中，所述基于具有同步机制的n个数据采集装置中各所述数据采集装置的数据文件所包含的数据帧的时间信息，确定所述具有同步机制的n个数据采集装置是否满足同步机制，包括：确定所述具有同步机制的n个数据采集装置中的第一基准数据采集装置；对于所述第一基准数据采集装置的数据文件中的第k个第一数据帧，若除所述第一基准数据采集装置以外的各所述数据采集装置的数据文件中均存在与所述第k个第一数据帧对应的数据帧，则确定所述第一基准数据采集装置与其余n-1个数据采集装置在采集所述第k个第一数据帧时满足同步机制，否则，确定所述第一基准数据采集装置与其余n-1个数据采集装置在采集所述第k个第一数据帧时不满足同步机制，k≠0；其中，所述具有同步机制的n个数据采集装置的数据文件中包含数据帧在预设第一时间坐标系下的时间戳，所述数据采集装置的数据文件中与所述第k个第一数据帧对应的数据帧为：所述数据文件中时间戳在第一时间范围内的数据帧，所述第一时间范围为所述第k个第一数据帧的时间戳减去预设第一时长至所述第一数据帧的时间戳加上预设第二时长。

5、在一个实施例中，在所述基于具有同步机制的n个数据采集装置中各所述数据采集装置的数据文件所包含的数据帧的时间信息，确定所述具有同步机制的n个数据采集装置是否满足同步机制之后，还包括：

6、记录所述具有同步机制的n个数据采集装置的数据校验结果信息，所述数据校验结果信息包括：所述第一基准数据采集装置与其余n-1个数据采集装置不满足同步机制的次数。

7、在一个实施例中，所述具有同步机制的n个数据采集装置预设置有对应各个数据采集装置的标识信息；在所述基于具有同步机制的n个数据采集装置中各所述数据采集装置的数据文件所包含的数据帧的时间信息，确定所述具有同步机制的n个数据采集装置是否满足同步机制之后，还包括：

8、记录所述具有同步机制的n个数据采集装置的数据校验过程信息，所述数据校验过程信息包括：所述第一基准数据采集装置与其余n-1个数据采集装置不满足同步机制时第一数据帧的时间戳，和/或，所述第一基准数据采集装置与其余n-1个数据采集装置不满足同步机制时，与所述第一基准数据采集装置满足同步机制的数据采集装置的标识信息，和/或，与所述第一基准数据采集装置不满足同步机制的数据采集装置的标识信息。

9、在一个实施例中，所述具有同步机制的n个数据采集装置的数据采集帧率不相同；所述确定所述具有同步机制的n个数据采集装置中的第一基准数据采集装置，包括：从所述具有同步机制的n个数据采集装置中选取数据采集帧率最低的任意一个所述数据采集装置作为第一基准数据采集装置。

10、在一个实施例中，所述数据校验方法还包括：确定各所述数据采集装置的设定校验参数，所述设定校验参数是基于所述数据采集装置进行数据采集的采集参数来设定的；利用各所述数据采集装置的设定校验参数对各所述数据采集装置的数据文件分别进行校验，得到数据校验结果信息。

11、在一个实施例中，所述确定各所述数据采集装置的设定校验参数，包括：基于各所述数据采集装置的装置类型和/或当前的数据采集场景，获取各所述数据采集装置的设定校验参数。

12、在一个实施例中，所述利用各所述数据采集装置的设定校验参数对各所述数据采集装置的数据文件分别进行校验，得到数据校验结果信息，包括：判断数据采集装置的数据文件的文件大小是否位于所述设定校验参数中的预设的文件大小阈值范围内；若所述数据采集装置的数据文件的文件大小位于所述预设的文件大小阈值范围外，输出表征所述数据采集装置采集数据大小异常的第一结果信息；所述数据校验结果信息包括所述第一结果信息；和/或，获取所述数据采集装置的数据文件包含的数据帧总数与参照总帧数之间的差值的绝对值，并判断所述差值的绝对值在所述参照总帧数中的占比是否超过所述设定校验参数中的预设的第一比值阈值，所述参照总帧数等于预设的数据包基准时长除以所述数据采集装置的理论帧间隔，所述理论帧间隔由所述数据采集装置的数据采集帧率换算得到；若所述差值的绝对值在所述参照总帧数中的占比超过预设的第一比值阈值，输出表征所述数据采集装置出现数据帧数异常的第二结果信息，所述数据校验结果信息包括所述第二结果信息；和/或，将所述数据采集装置的数据文件中各相邻数据帧之间的帧间隔分别与理论帧间隔进行对比，获取所述数据采集装置的数据文件中出现帧间隔异常的异常帧的总数；判断所述异常帧的总数在所述参照总帧数中的占比是否超过所述设定校验参数中的预设的第二比值阈值；若所述异常帧的总数在所述参照总帧数中的占比超过预设的第二比值阈值，输出表征所述数据采集装置出现帧间隔异常的第三结果信息，所述数据校验结果信息包括所述第三结果信息。

13、在一个实施例中，所述预设的数据包基准时长为：确定所述多个数据采集装置中的第二基准数据采集装置，获取所述第二基准数据采集装置的数据文件的数据时长；判断所述第二基准数据采集装置的数据文件的数据时长是否为空；若所述第二基准数据采集装置的数据文件的数据时长为空，则使用预设数据包理论时长作为数据包基准时长，否则，使用所述第二基准数据采集装置的数据文件的数据时长作为数据包基准时长。

14、在一个实施例中，在所述获取由多个数据采集装置所采集的多个数据文件之后，还包括：确定所述多个数据采集装置中的第二基准数据采集装置，获取所述第二基准数据采集装置的数据文件的数据时长；判断所述第二基准数据采集装置的数据文件的数据时长是否为空；若所述第二基准数据采集装置的数据文件的数据时长为空，则使用预设数据包理论时长作为数据包基准时长，否则，获取预设数据包时长阈值；判断所述第二基准数据采集装置的数据文件的数据时长是否小于预设数据包时长阈值；若所述第二基准数据采集装置的数据文件的数据时长小于预设数据包时长阈值，则结束数据校验，若所述第二基准数据采集装置的数据文件的数据时长不小于预设数据包时长阈值，则进入所述获取多个数据采集装置中具有同步机制的n个数据采集装置的数据文件，和/或所述确定各所述数据采集装置的设定校验参数的步骤。