基于评估的数据接入方法、装置、存储介质和电子设备与流程

本发明涉及自动驾驶，尤其涉及一种基于评估的数据接入方法、装置、存储介质和电子设备。

背景技术：

1、近几年随着自动驾驶技术的突飞猛进，使得人们的出行、生活方式更智能化及便利化。越来越多的车企、自动驾驶系统解决方案提供商也在不断努力，致力于将开发的自动驾驶算法实现商业落地以辅助车辆进行自动驾驶。由于直接使用实车在真实道路上依据自动驾驶算法进行驾驶获取驾驶数据，再依据各测试功能及驾驶数据，对尚不成熟的自动驾驶算法进行测试验证，成本较高且安全性较低，因而，一般通过自动驾驶仿真技术，依据车辆在虚拟环境(自动驾驶仿真系统)中，在自动驾驶算法控制下进行测试生成的自动驾驶数据，依据自动驾驶评估系统中的各测试功能对应的测试算法，基于自动驾驶数据进行测试，以降低成本，规避安全风险。

2、随着自动驾驶仿真技术在感知、理解和与复杂交通环境的交互上深度发展，产生了大量不同类型、格式的自动驾驶数据。因而，对于自动驾驶评估系统的驾驶数据接入是一个严峻的挑战，在面对大量结构、半结构、非结构化数据，如何统一且高效的将自动驾驶数据接入自动驾驶评估系统，以获取自动驾驶算法的评估结果，成为当下亟待解决的技术问题。

3、相关技术中，接入自动驾驶评估系统的自动驾驶数据，主要来源于自动驾驶算法控制车辆运行产生的日志文件以及车辆在仿真过程中产生的增量驾驶数据。且随着自动驾驶技术的不断发展，用户对自动驾驶的安全性、可靠性和可验证性提出了更高的要求，因而，车辆上布设有多种传感器用以提供数据的准确性和鲁棒性，使得自动驾驶算法具有更精细的环境感知能力，以确保安全驾驶。举例来说，自动驾驶算法需要感知车辆周围环境的多个方面，包括但不限于：障碍物检测、道路标记、车道线、交通标志、行人检测等，以对当前驾驶状态进行控制。但通过布设多种传感器的方式，将产生更多复杂且冗余的自动驾驶数据。相关技术中，自动驾驶评估系统针对接入的自动驾驶数据类型的多样化，仅支持结构化类型的驾驶数据输入，导致其他类型的数据不能被有效处理，使得自动驾驶评估系统的接入数据处理效率较低，进而影响对自动驾驶算法评估结果的准确性和鲁棒性。

技术实现思路

1、有鉴于此，本发明提供一种基于评估的数据接入方法、装置、存储介质和电子设备。

2、具体地，本发明是通过如下技术方案实现的：

3、根据本发明的第一方面，提供一种基于评估的数据接入方法，基于评估的数据接入方法包括：

4、对接入的源数据进行分类，得到分类数据，所述分类数据包括：结构化数据、半结构化数据及非结构化数据；

5、对所述分类数据中的半结构化数据及非结构化数据，调用对应的结构化数据处理任务分别进行处理，转化为结构化数据；

6、基于自动驾驶评估系统执行测试的测试功能，对结构化数据进行数据划分，得到结构化数据测试集；

7、依据所述自动驾驶评估系统执行测试的目标测试功能，从各结构化数据测试集中，获取所述目标测试功能对应的结构化数据测试集进行测试。

8、可选地，所述分类数据为非结构化数据，所述调用对应的结构化数据处理任务分别进行处理，转化为结构化数据，包括：

9、确定所述非结构化数据的格式，获取数据格式为视频或图像的非结构化数据的视角，所述数据格式包括：视频、图像、点云；

10、基于所述视角，确定视频数据或图像数据的目标元素及参照物，基于所述参照物进行所述目标元素的追踪，依据追踪结果，对视频数据或图像数据进行场景分割，得到分割数据；

11、获取所述分割数据中所述目标元素的描述信息；

12、基于预先设置的驾驶数据正则表达式以及视频数据对应的描述信息、图像数据对应的描述信息及点云数据，获取所述视频数据对应的描述信息、图像数据对应的描述信息及点云数据对应的结构化数据。

13、可选地，所述基于自动驾驶评估系统执行测试的测试功能，对结构化数据进行数据划分，包括：

14、获取结构化数据的时间戳，按照预先设置的时间步长，将结构化数据划分为多个数据结构单元；

15、获取自动驾驶评估系统执行测试的各测试功能对应的原子测试逻辑，针对每一数据结构单元，依据所述原子测试逻辑的各测试参数，构建原子测试逻辑数据集；

16、对原子测试逻辑数据集中的数据，进行数据清洗，得到高质量的数据测试集，然后存储数据测试集与原子测试逻辑的对应关系。

17、可选地，所述方法还包括：

18、针对同一原子测试逻辑对应的各原子测试逻辑数据集，设置所述各原子测试逻辑数据集之间的映射关系。

19、可选地，所述依据所述自动驾驶评估系统执行测试的目标测试功能，从各结构化数据测试集中，获取所述目标测试功能对应的结构化数据测试集，包括：

20、解析所述目标测试功能，获取所述目标测试功能包含的原子目标测试逻辑，依据存储的结构化数据测试集与原子测试逻辑的对应关系，查询获取所述原子目标测试逻辑对应的结构化数据测试集；

21、依据设置的各原子测试逻辑数据集之间的映射关系，获取查询得到的结构化数据测试集映射的结构化数据测试集，对获取的结构化数据测试集进行拼接，得到所述目标测试功能对应的结构化数据测试集。

22、可选地，所述对获取的结构化数据测试集进行拼接，包括：

23、针对每一原子测试逻辑，将获取的该原子测试逻辑对应的结构化数据测试集进行拼接，得到该原子测试逻辑的测试数据集；

24、缓存各原子测试逻辑的测试数据集；

25、拼接所述目标测试功能包含的各原子测试逻辑的测试数据集。

26、可选地，所述分类数据为半结构化数据，所述调用对应的结构化数据处理任务分别进行处理，转化为结构化数据，包括：

27、确定所述半结构化数据的格式；

28、若所述半结构化数据的格式为json格式，调用预先设置的json处理器，对所述半结构化数据进行处理，得到所述结构化数据；

29、若所述半结构化数据的格式为可拓展标记语言格式，调用预先设置的可拓展标记语言处理器，对所述半结构化数据进行处理，得到所述结构化数据。

30、本技术方案中的基于评估的数据接入方法，通过对接入的源数据进行分类，得到分类数据，所述分类数据包括：结构化数据、半结构化数据及非结构化数据；对所述分类数据中的半结构化数据及非结构化数据，调用对应的结构化数据处理任务分别进行处理，转化为结构化数据；基于自动驾驶评估系统执行测试的测试功能，对结构化数据进行数据划分，得到结构化数据测试集；依据所述自动驾驶评估系统执行测试的目标测试功能，从各结构化数据测试集中，获取所述目标测试功能对应的结构化数据测试集进行测试。这样，通过将半结构化数据及非结构化数据转化为结构化数据，可以更全面、更完整的接收并分析数据，提升数据的使用率，并通过两层数据划分组件，包括但不限于：时间步长、实体类别、变化率等，对转化的结构化数据进行划分，从而在进行功能测试时，接入该功能对应的结构化数据，有效提升数据的处理效率以及测试功能测试的准确性。

31、根据本发明的第二方面，提供一种基于评估的数据接入装置，基于评估的数据接入装置包括：

32、数据分类模块，用于对接入的源数据进行分类，得到分类数据，所述分类数据包括：结构化数据、半结构化数据及非结构化数据；

33、数据处理模块，用于对所述分类数据中的半结构化数据及非结构化数据，调用对应的结构化数据处理任务分别进行处理，转化为结构化数据；

34、数据划分模块，用于基于自动驾驶评估系统执行测试的测试功能，对结构化数据进行数据划分，得到结构化数据测试集；

35、功能测试模块，用于依据所述自动驾驶评估系统执行测试的目标测试功能，从各结构化数据测试集中，获取所述目标测试功能对应的结构化数据测试集进行测试。

36、根据本发明的第三方面，提供一种存储介质，其上存储有计算机程序，程序被处理器执行时实现第一方面的任意可能的实现方式中的基于评估的数据接入方法的步骤。

37、根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现第一方面的任意可能的实现方式中的基于评估的数据接入方法的步骤。