自动驾驶车辆的测试方法及装置与流程

1.本发明涉及车辆自动驾驶测试技术领域，尤其是涉及一种自动驾驶车辆的测试方法及装置。


背景技术：

2.在智能驾驶产品设计、研发起始阶段，功能安全与预期功能安全越来越被关注。从零部件设计、软硬件开发、系统集成到最后整车集成，每一轮开发都必须考虑安全的影响因素进行不断地测试迭代优化。因此，对车辆的测试伴随整个产品开发流程，测试的核心目标是依据已知场景数据，借助多种测试环境验证功能，通过多种测试手段，包括算法优化、功能安全、预计功能安全分析等去降低这些风险场景数量或控制风险，也就是用尽一切手段将未知的且危险的范围降到最低。自驾系统的测试技术也从基于功能转变成基于场景的测试。
3.相关技术中提出的自动驾驶车辆的测试方法与评价方法，主要是基于仿真端的测试或基于实车的vil(vehicle in the loop，实车在环测试)测试，与真实场地测试有一定的差异，而且现有测试方法是基于adas(advanced driver assistance system,高级驾驶员辅助系统)评价体系为主，但自动驾驶车辆作为交通环境的一部分，与交通参与者都有不同的交互，如道路车辆，道路弱势群体，交通标识，临时交通障碍物等，因此针对高级别自动驾驶来说，评价方面应该是人、车、环境之间的耦合，不只是评价车辆本身自动控制的行为，因此，相关技术中的方法难以从多维度和多角度对自动驾驶的感知技术、规划决策行为及作为交通参与者的参与行为进行评价。


技术实现要素：

4.本发明的目的在于提供一种自动驾驶车辆的测试方法及装置，能够从多维度和多角度对自动驾驶的感知技术、规划决策行为以及作为交通参与者的参与行为进行评价。
5.第一方面，本发明提供了一种自动驾驶车辆的测试方法，该方法包括：根据测试任务，确定待测车辆所需的测试场景；从预设的场景库中提取待测车辆所需的测试场景的测试用例；其中，场景库中包含有多种场地对应的测试场景的测试用例；基于待测车辆所需的测试场景的测试用例，对待测车辆进行测试，得到待测车辆的测试结果；基于测试结果评价待测车辆的自动驾驶性能。
6.在可选的实施方式中，多种场地对应的测试场景包括标准法规场景、自然驾驶场景、危险事故场景、场景元集构建场景和仿真场景；上述场景库通过下述方式确定：针对每种测试场景，根据当前测试场景对应的场景特征参数，构建当前测试场景的测试用例。
7.在可选的实施方式中，上述当前测试场景的测试用例通过下述方式确定：基于预设的开发文件，确定场景要素和场景特征参数；根据场景要素与预设目标之间的交互，生成当前测试场景；在当前测试场景中突出预设的考察要素，得到逻辑测试场景；对逻辑测试场景中的场景特征参数进行细化，得到当前测试场景的测试用例。
8.在可选的实施方式中，上述根据当前测试场对应的场景特征参数，构建当前测试场景的测试用例的步骤，包括：基于仿真测试、场地测试和道路测试对当前测试场景进行验证；根据验证结果调整当前测试场景，得到最终的当前测试场景。
9.在可选的实施方式中，上述根据测试任务，确定待测车辆所需的测试场景的步骤之前，方法还包括：根据待测车辆的开发文件，确定考察要素；基于考察要素，确定测试任务。
10.在可选的实施方式中，上述根据测试任务，确定待测车辆所需的测试场景的步骤，包括：基于测试任务，确定待测车辆的运行场景；根据运行场景确定场景要素；基于场景要素，确定待测车辆所需的测试场景。
11.在可选的实施方式中，上述测试结果包括：待测车辆的驾驶自治数据、待测车辆在同一测试场景中的学习进化数据和待测车辆的交通协调数据；上述基于测试结果评价待测车辆的自动驾驶性能的步骤，包括：基于待测车辆的驾驶自治数据，确定待测车辆的智能维度自动驾驶性能的评价结果；其中，驾驶自治数据包括待测车辆的基础性能数据、行驶质量数据和车辆安全性能数据；基于待测车辆在同一测试场景中的学习进化数据，确定待测车辆的时间维度自动驾驶性能的评价结果；其中，学习进化数据包括在场景规避数据、环境认知数据和决策规划数据；基于待测车辆的交通协调数据，确定待测车辆的空间维度自动驾驶性能的评价结果；其中，交通协调数据包括通过内部乘员视角采集的数据、通过外界交通参与者视角采集的数据以及通过全局视角采集的数据。
12.在可选的实施方式中，上述基于测试结果评价待测车辆的自动驾驶性能的步骤，包括：根据预设的定量评价指标，对测试结果进行分析，得到定量评价指标对应的评价值；其中，定量评价指标包括速度控制精度、位置控制精度、加减速度、碰撞时间ttc、车头时距thw、横向加速度和变道时长指标；根据预设的定性评价指标，对测试结果进行分析，得到定性评价指标对应的评价值；其中，定性评价指标包括制动减速度区间和变道过程方向盘调整周期指标；通过预设的模糊综合评价方式，对定量评价指标对应的评价值和定性评价指标对应的评价值进行评价，得到最终的评价结果。
13.在可选的实施方式中，上述场景库中包含有每种测试场景的测试用例的编号；基于测试结果评价待测车辆的自动驾驶性能的步骤之后，上述方法还包括：保存待测车辆所需的测试场景对应的测试用例的编号、测试结果和基于测试结果评价待测车辆的自动驾驶性能的评价结果。
14.第二方面，本发明提供了一种自动驾驶车辆的测试装置，该装置包括：场景确定模块，用于根据测试任务，确定待测车辆所需的测试场景；场景提取模块，用于从预设的场景库中提取待测车辆所需的测试场景的测试用例；其中，场景库中包含有多种场地对应的测试场景的测试用例；测试监测模块，用于监测待测车辆测试时的测试数据，并得到待测车辆的测试结果；测试评价模块，用于基于测试结果评价待测车辆的自动驾驶性能。
15.第三方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述自动驾驶车辆的测试方法。
16.第四方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理
器实现上述自动驾驶车辆的测试方法。
17.本发明实施例带来了以下有益效果：
18.本发明提供的一种自动驾驶车辆的测试方法及装置，该方法包括：根据测试任务，确定待测车辆所需的测试场景；从预设的场景库中提取待测车辆所需的测试场景的测试用例；其中，场景库中包含有多种场地对应的测试场景的测试用例；基于待测车辆所需的测试场景的测试用例，对待测车辆进行测试，得到待测车辆的测试结果；基于测试结果评价待测车辆的自动驾驶性能。该方式能够根据测试任务挑选出合适的测试场景，进而能够依据测试需求，对自动驾驶车辆进行充分测试，其次，本技术的用于测试自动驾驶车辆的测试场景是从多种场地对应的测试场景中采集的信息及数据，并依据该自动驾驶车辆的开发文件构建生成的，因此，测试场景能够满足该自动驾驶车辆的多种测试需求，进而能够充分提供测试结果，另外，以多种场地对应的测试场景中的信息及数据为测试场景构建依据，能够使测试场景的分布性及覆盖程度更加全面，且能够针对不同类型的自动驾驶车辆进行构建。测试场景数据的可重复性高，能够为自动驾驶车辆测试领域提供稳定的数据基础。
19.另外，本技术测试场景中涵盖了交通世界的交互对象，即设计有场景参与者，该场景参与者能够替代真实的交通世界的主要参与者来测试待测车辆的交互性能，进而能够实现测试自动驾驶车辆面对人、车及环境时，其本身自动控制的应变能力，不只局限于评价自动驾驶车辆本身的自动控制的能力，进而能够从多维度和多角度对自动驾驶车辆进行评价。本测试方法不仅适用于传统adas测试，也适用于高级别自动驾驶系统场地测试，其中测试场景与测试用例、测试评价方法也通用于自动驾驶车辆道路测试，通用性强。
20.本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
21.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
22.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种自动驾驶车辆的测试方法的流程图；
24.图2为本发明实施例提供的另一种自动驾驶车辆的测试方法的流程图；
25.图3为本发明实施例提供的另一种自动驾驶车辆的测试方法的流程图；
26.图4为本发明实施例提供的一种自动驾驶车辆的测试装置的结构示意图；
27.图5为本发明实施例提供的一种场景验证及数据采集流程图；
28.图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
30.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.自动驾驶技术发展日新月异，当前越来越多的自动驾驶产品已经开始商业化运营，从一开始l0到现在试运营的l3、l4级自动驾驶产品，以致未来l5级自动驾驶产品，安全至始至终都是需要解决的第一关注点。自动驾驶产品在商业化前如何做到安全可靠，依然是面临的难题。自驾系统的测试技术也从基于功能转变成基于场景的测试。而针对l3级以上的自动驾驶系统测试难点在于其场景的无穷尽。不同于adas及传统车辆测试，传统测试车辆性能普遍具有单调性与可预测性，而自动驾驶系统是人、车、环境之间的耦合，表现是不稳定的，不具备单调性。同时针对自动驾驶系统的测试不只是评价车辆本身自动控制的行为，还有它作为一个智能载体，它的感知技术、规划决策行为以及作为交通参与者的参与行为的评价。
32.产品开发不同阶段有与之对应的测试方法，开发阶段追求开发效率，为了快速迭代一般采用仿真测试技术，整车量产阶段为验证自动驾驶系统多采用场地测试技术。实车场地测试可以解决仿真测试无法完全反应真实车辆在真实交通环境中的测试情况。adas场地测试目前已有相应标准法规参考，形成行业内统一的测试方法，但针对l3级以上的自动驾驶产品，现行的标准法规较少，每家企业都有自己的开发、测试团队，并无统一的测试方法。如何充分利用测试场地资源来开展高效、经济、精确的测试并依据结果从多维度和多角度对自动驾驶的感知技术、规划决策行为以及作为交通参与者的参与行为对自动驾驶车辆进行评价是目前场地测试急需解决的问题。
33.基于上述问题，本发明实施例提供了一种自动驾驶车辆的测试方法及装置，该方法可以应用于对自动驾驶车辆进行测试的场景中，尤其是对自动驾驶车辆运行场景的测试。为便于对本实施例进行理解，首先对本发明实施例所公开的一种自动驾驶车辆的测试方法进行详细介绍，如图1所示，该方法包括如下具体步骤：
34.步骤s102，根据测试任务，确定待测车辆所需的测试场景。
35.上述测试任务通常是指测试人员根据自身测试需求设定的相应测试计划，该测试任务中携带有测试待测车辆所需的场景触发条件，具体地，在本实施例中，场景触发条件可以是需要考察自动驾驶车辆的场景要素，在本实施例中，当接收到测试任务(即场景触发条件)后，会自动分析测试任务(即场景触发条件)，进而确定满足场景触发条件的测试场景，比如当测试任务为测试待测车辆与场景参与者之间的交互能力时，则会自动确定能够测试待测车辆与场景参与者之间的交互能力的测试场景为所需的测试场景；当测试任务为考察雨量对待测车辆的影响时，则会自动确定能够测试雨量对待测车辆的影响的测试场景为所需的测试场景。
36.步骤s104，从预设的场景库中提取待测车辆所需的测试场景的测试用例；其中，场景库中包含有多种场地对应的测试场景的测试用例。
37.在本实施例中，上述预设的场景库可由数据采集与记录系统从多种场地对应的测
试场景中采集用于构建测试场景的信息及数据，这些信息及数据中具有上述测试场景的特征参数，且上述信息及数据也可作为构建测试场景的测试用例的评价指标；之后将采集到的信息及数据在仿真软件中构建测试场景，这些测试场景存储在上述场景库中，且可以直接用于实车测试与仿真测试。其中，在构建测试场景时还会根据待测试车辆的开发文件进行场景构建，此时可得到能够用于测试该待测车辆的测试用例。在一些实施例中，预设的场景库中的数据源还由目标物运载系统提供，目标物运载系统能够参与构建场景参与者，该场景参与者可替代真实交通世界的主要参与者，如交通标识、临时交通障碍物、真实道路车辆及真实道路弱势群体(如行人、自行车及电动踏板车等)，待测车辆可与场景参与者交互，用于测试待测车辆的交通协调性，其中，待测车辆可与上述场景目标参与者发生碰撞。
38.在一些实施例中，需要同时参考待测车辆的开发文件及测试任务(即场景触发条件)，此时，可直接自动确定并提取满足测试任务(即场景触发条件)及可用于该待测车辆的测试用例。
39.其中，场景库中包含有每种测试场景的测试用例的编号；该编号能够便于数据处理与问题场景的复现。
40.步骤s106，基于待测车辆所需的测试场景的测试用例，对待测车辆进行测试，得到待测车辆的测试结果。
41.当提取待测车辆所需的测试场景的测试用例后，使待测车辆进入该测试用例进行测试。其中，该测试用例中具有满足测试任务的参数空间和/或满足测试任务的场景参与者，具体使用时，测试场景中可以不存在场景参与者，也可以与参数空间同时存在，根据实际测试需求确定，上述参数空间及场景参与者的运动轨迹需测试操作者提前设置好，可用于直接测试，便于场地测试执行的快速、高效；当待测车辆到达该测试用例之后，且待测车辆达到设定的参数空间，则会触发满足测试任务的测试指令，并由该指令指定测试该待测车辆的具体内容以完成测试，另外，当测试任务中需要测试待测车辆的交互能力时，该测试用例中也会存在由目标物运载系统构建的场景参与者，当待测车辆在测试用例中达到设定的条件时，场景参与者也会按照提前设置的运动轨迹自动运动，不需要人为操作。在测试过程中，对待测车辆进行实时监测，测试结束后，可根据待测车辆在测试用例中的测试情况，和/或待测车辆与场景参与者的交互情况，得到待测车辆的测试结果。
42.步骤s108，基于测试结果评价待测车辆的自动驾驶性能。
43.在具体实现时，当待测车辆测试完成且得到测试结果后，可根据测试结果确定测试指标的值，该测试指标的值即为评价结果，根据该评价结果能够评价该待测车辆的自动驾驶性能，另外，在得到评价结果之后，还会保存待测车辆所需的测试场景对应的测试用例的编号、测试结果和基于测试结果评价待测车辆的自动驾驶性能的评价结果，能够便于数据处理与问题场景的复现。
44.上述自动驾驶车辆的测试方法，能够根据测试任务挑选出合适的测试场景，进而能够依据测试需求，对自动驾驶车辆进行充分测试，其次，本技术的用于测试自动驾驶车辆的测试场景是从多种场地对应的测试场景中采集的信息及数据，并依据该自动驾驶车辆的开发文件构建生成的，因此，测试场景能够满足该自动驾驶车辆的多种测试需求，进而能够充分提供测试结果，另外，以多种场地对应的测试场景中的信息及数据为测试场景构建依据，能够使测试场景的分布性及覆盖程度更加全面，且能够针对不同类型的自动驾驶车辆
进行构建。测试场景数据的可重复性高，能够为自动驾驶车辆测试领域提供稳定的数据基础；另外，本技术测试场景中涵盖了交通世界的交互对象，即设计有场景参与者，该场景参与者能够替代真实的交通世界的主要参与者来测试待测车辆的交互性能，进而能够实现测试自动驾驶车辆面对人、车及环境时，其本身自动控制的应变能力，不只局限于评价自动驾驶车辆本身的自动控制的能力，进而能够从多维度和多角度对自动驾驶车辆进行评价。本测试方法不仅适用于传统adas测试，也适用于高级别自动驾驶系统场地测试，其中测试场景与测试用例、测试评价方法也通用于自动驾驶车辆道路测试，通用性强。
45.本发明实施例还提供了另一种自动驾驶车辆的测试方法，该方法在上述实施例方法的基础上实现；该方法重点描述根据测试任务，确定待测车辆所需的测试场景的具体过程(通过下述步骤s206-s210实现)，以及基于测试结果评价待测车辆的自动驾驶性能的具体过程(通过下述步骤s216-s220实现)；如图2所示，该方法包括如下具体步骤：
46.步骤s202，根据待测车辆的开发文件，确定考察要素。
47.在自动驾驶车辆生产后，均会自带车辆开发文件，在本实施例中，主要依据开发文件中的设计方案运作域(operational design domain，简称odd)及设计功能，odd是指无人驾驶系统功能设置的运作标准，包含但不限于自然环境、自然地理和时间段限定、车流量及路面特点等，来确实用于测试自动驾驶车辆的考察要素，考察要素指测试自动驾驶车辆时所参考的主要影响因素，考察要素可以是场景参与者，也可以是天气环境，还可以是道路特征，具体地，当自动驾驶车辆的odd为可以在时速[30,80]的速度范围，且路面颠簸的道路行驶时，则考察要素可以确定是道路特征为时速[30,80]的速度范围，且路面颠簸；当自动驾驶车辆的odd为可以在雨雪天气自动行驶时，则考察要素可以确定是天气环境为雨雪天气。
[0048]
步骤s204，基于上述考察要素，确定测试任务。
[0049]
当考察要素确定后，则可以根据该考察要素，确定能够测试自动驾驶车辆的测试任务，如考察要素为时速[30,80]的速度范围，且路面颠簸时，则测试任务可以为测试自动驾驶车辆在满足时速[30,80]的速度范围，且路面颠簸的场景中的自动驾驶行为；当考察要素为雨雪天气时，则测试任务可以为测试自动驾驶车辆在能够出现雨雪天的场景中的自动驾驶表现。
[0050]
步骤s206，基于上述测试任务，确定待测车辆的运行场景。
[0051]
在最终确定测试任务后，会根据测试任务确定待测车辆能够正常自动驾驶的测试场景，该待测车辆能够正常自动驾驶的测试场景即为运行场景。
[0052]
步骤s208，根据上述运行场景确定场景要素。
[0053]
当确定运行场景之后，则会通过运行场景的特征参数确定该运行场景中存在的场景要素。具体实现时，场景要素包括固有要素(如道路拓扑结构、交通标识、临时交通设施)、缓变要素(如天气环境(雨、雪、雾及光照强度、能见度等))、瞬态要素(如交通参与者)。
[0054]
步骤s210，基于上述场景要素，确定待测车辆所需的测试场景。
[0055]
当确定运行场景中的场景要素后，则根据场景要素能够满足测试任务的程度，从运行场景中确定待测车辆所需的测试场景。
[0056]
步骤s212，从预设的场景库中提取待测车辆所需的测试场景的测试用例；其中，场景库中包含有多种场地对应的测试场景的测试用例。
[0057]
具体地，上述多种场地对应的测试场景包括标准法规场景、自然驾驶场景、危险事
故场景、场景元集构建场景和仿真场景；标准法规场景是自动驾驶功能在研发和认证阶段必须要满足的基础测试场景，主要来源于现有的标准、评价规程等，如iso、nhtsa、e-ncap、c-ncap等多项标准、评价规程对现有自动驾驶功能进行了测试规定。自然驾驶场景的数据源自汽车真实的自然驾驶状态场景下，是最基础的数据来源，该种场景能够提供车辆数据、驾驶人行为、道路环境等多维度信息，是证明自动驾驶有效性的一种充分测试场景。危险事故场景主要涵盖恶劣天气环境、复杂道路交通以典型交通事故三大类场景，是证明自动驾驶有效性的一种必要测试场景，其数据主要来源于交通事故数据库，是自动驾驶控制策略安全性和可靠性验证的关键。场景元集构建场景是通过对静态要素、动态要素以及驾驶人行为要素等进行不同排列组合及遍历取值，扩展参数重组场景边界，是能够对未知工况有效补充的测试场景，其数据来源于现有场景数据库资源，通过对已有的仿真场景进行参数化设置，随机生成或自动重组相应类型的场景，在本实施例中，场景元集构建场景可以由vil系统根据采集的场景信息及数据按照测试任务进行组合形成，而这些组合形成的场景为之前未遇到过的新测试场景，比如未遇到过的危险场景与复杂交通流场景。仿真场景指由仿真软件直接构建的仿真场景，其中，仿真场景中的数据格式为openx格式数据集。本技术依据数据采集与记录系统采集多种场地对应的测试场景的信息及数据，上述信息及数据包括测试中车辆总线数据、惯导与定位信息、与车道线位置关系信息、目标车信息等can数据、人机交互hmi音视频数据、场景视频数据以及激光雷达以太网数据，这些数据还可以用于测试结果评价。
[0058]
场景库中的数据从上述多种场地对应的测试场景中采集信息及数据，能够采集到不同场景参数信息及场景因素，如可以从自然驾驶场景中采集[60，120]车速范围的高速路段场景参数信息，也可以从危险事故场景中采集[30，80]车速范围的城市复杂场景的参数信息，保证测试场景能够分布全面，进而能够针对不同类型的自动驾驶车辆进行构建。同时，上述采集的数据也能够作为极端情况数据参考，进而为解决长尾效应做支撑。
[0059]
在具体实施时，上述场景库可以通过下述方式确定：针对每种测试场景，根据当前测试场景对应的场景特征参数，构建当前测试场景的测试用例。
[0060]
由于场景库中存储有大量的测试场景，但是并不是所有测试场景均适用于待测的自动驾驶车辆，因此还需从场景库中选取能够适用于待测的自动驾驶车辆的测试场景，在选取该测试场景时，也是需要参考该待测车辆的开发文件，之后再根据选取后的测试场景的场景特征参数，构建当前测试场景的测试用例，该测试用例指能够满足测试任务的测试场景。
[0061]
为了保证场景的可行性，上述根据当前测试场对应的场景特征参数，构建当前测试场景的测试用例还可以通过下述步骤20-21确定：
[0062]
步骤20，基于仿真测试、场地测试和道路测试对当前测试场景进行验证。
[0063]
仿真测试(sil(software in-the-loop,软件在环测试)、mil(model in the loop,模型在环测试)、dil(drive in the loop，驾驶员在环测试))指利用模拟软件对照真实世界搭建模拟场景，并模拟真实的驾驶环境进行的测试，一般由交通场景模块、传感器模块、车辆动力学模块和测试管理模块构成。场地测试包括vil测试及实车测试，其中vil测试指利用仿真软件中实现的场景在空旷的场地进行测试，在场地测试中，只有待测的自动驾驶车辆是真实存在的，其用于测试的场景的感知信息由仿真软件输入，其中，危险场景和复
杂交通流场景也是在场景仿真软件中实现。实车测试是指自动驾驶车辆在封闭区域进行的测试，在本实施例中，实车测试中具有人为构建的场景参与者，因此本实施例中的实地测试具有可控的测试场景。道路测试指自动驾驶车辆位于真实道路自动驾驶的测试方式，其中在真实道路驾驶时，本实施例可以采集真实道路的场景参数信息及数据，为数据库提供丰富的数据源，也为逐渐丰富测试数据集提供了基础。每种测试方式的不同，对于自动驾驶车辆的测试任务的侧重点也不同，进而使所选取的测试用例也会有所区别。
[0064]
在具体实施时，本方法为先对构建场景进行仿真测试验证，之后再将通过验证的场景进行场地测试，之后再使自动驾驶车辆在道路测试，如图5所示，其中，模型开发指根据采集的数据及信息构建场景过程，仿真测试指sil、mil测试，vil测试指通过vil系统将仿真软件搭建的场景投入空旷的场地使用的过程。在上述各测试方式的过程中，上述所采集的场景数据及信息为评价指标，可分别依据采集的场景数据及信息对相应的测试场景的场景特征参数进行验证，以减少测试场景与真实场景的差异，保证当前测试场景的真实性。具体实施时，通过数据采集与记录系统对测试场景进行验证，对仿真测试进行验证时是验证仿真测试所需要的openx格式数据集。
[0065]
步骤21，根据验证结果调整当前测试场景，得到最终的当前测试场景。
[0066]
当根据采集的场景数据及信息对相应的当前测试场景的场景特征参数验证之后，能够得到验证结果，根据验证结果中各场景参数的偏差，调整相应测试场景的场景参数，以更新得到最终的当前测试场景。
[0067]
具体地，上述当前测试场景的测试用例可以通过下述步骤30-33确定：
[0068]
步骤30，基于预设的开发文件，确定场景要素和场景特征参数。
[0069]
自动驾驶车辆的开发文件能够提供该车辆能够正常自动驾驶的条件，当需测试自动驾驶车辆的自动驾驶性能时，参考其开发文件能够确定测试场景中需要具备哪些场景要素及场景特征参数。
[0070]
步骤31，根据场景要素与预设目标之间的交互，生成当前测试场景。
[0071]
当确定满足开发文件的场景要素及场景特征参数后，能够确定测试场景，结合自动驾驶车辆的模型(即预设目标)在该测试场景中的自动驾驶行为与场景要素交互能力，提取能够用于测试的测试场景。该测试场景也可以称为功能场景，该测试场景用于项目定义、危险分析和风险评估；
[0072]
其中，当场景要素为场景参与者的道路车辆时，则监测自动驾驶车辆与道路车辆之间交互得到的横纵向相对距离、碰撞时间ttc(time-to-collision)、车速(如速度、加速度)、角度及车头时距thw(time-head-way)等数据，之后判断该交互情况是否满足测试任务，若满足，则生成为可以使用的测试场景。在本实施例中，由高精度惯导系统监测待测车辆与场景参与者的道路车辆之间的交互数据，并由该系统提供上述数据的指标量用于对自动驾驶车辆的交互性能进行评价，高精度惯导系统测量精确度高，可作为真值评价。
[0073]
步骤32，在当前测试场景中突出预设的考察要素，得到逻辑测试场景。
[0074]
在生成测试场景后，需将满足测试任务的考察要素突出，进一步详细描述测试场景的需求，进而在上述测试场景中进一步抽取测试场景，以得到逻辑测试场景，该逻辑测试场景能够满足测试需求。
[0075]
步骤33，对逻辑测试场景中的场景特征参数进行细化，得到当前测试场景的测试
用例。
[0076]
得到逻辑测试场景后，根据测试任务，对逻辑测试场景中的场景特征参数进行细化，如确定逻辑测试场景中每个场景特征参数的具体值来明确描述实体和实体间的关系，其中，被测对象(即被测自动驾驶车辆)的预期行为表现以及场景特征参数(如天气环境的触发条件和场景参与者的运动轨迹等)也需测试操作者提前设置好。当逻辑测试场景具有详细数据后，就能够生成任意数量的具体场景，该具体场景为当前测试场景的测试用例。
[0077]
步骤s214，基于待测车辆所需的测试场景的测试用例，对待测车辆进行测试，得到待测车辆的测试结果。
[0078]
当提取待测车辆所需的测试场景的测试用例后，使待测车辆进入该测试用例进行测试。其中，该测试用例中具有满足测试任务的参数空间和/或满足测试任务的场景参与者，当待测车辆到达该测试用例之后，且待测车辆达到设定的参数空间，则会触发满足测试任务的测试指令，并由该指令指定测试该待测车辆的具体内容以完成测试，另外，当测试任务中需要测试待测车辆的交互能力时，该测试用例中也会存在由目标物运载系统构建的场景参与者，当待测车辆在测试用例中达到设定的条件时，场景参与者也会按照提前设置的运动轨迹自动运动，不需要人为操作。
[0079]
在测试过程中，对待测车辆进行实时监测，测试结束后，可根据待测车辆在测试用例中的测试情况，和/或待测车辆与场景参与者的交互情况，得到待测车辆的测试结果。
[0080]
步骤s216，根据预设的定量评价指标，对测试结果进行分析，得到定量评价指标对应的评价值。
[0081]
其中，定量评价指标包括速度控制精度、位置控制精度、加减速度、碰撞时间ttc、车头时距thw、横向加速度和变道时长指标；具体实现时，根据开发的数据处理脚本对测试数据进行处理，获得定量的评价指标，其中，定量评价指标中所需评价的速度控制精度、位置控制精度、加减速度、碰撞时间ttc、车头时距thw、横向加速度和变道时长等数据也可以由上述内部乘员视角(即驾驶员模型)、外界交通参与者视角及全局视角提供。下文提供定量评价指标具体数据，如表1所示：
[0082][0083]
表1
[0084]
步骤s218，根据预设的定性评价指标，对测试结果进行分析，得到定性评价指标对
应的评价值。
[0085]
其中，定性评价指标包括制动减速度区间和变道过程方向盘调整周期指标；具体实现时，也可以通过上述内部乘员视角(即驾驶员模型)、外界交通参与者视角及全局视角提供上述参考定性评价指标评价的数据。如在进行自然驾驶场景中道路测试时，搭建驾驶员驾驶模型，通过该驾驶员模型获得通过定性评价的测试数据，该测试数据包括制动减速度区间及变道过程方向盘调整周期等。
[0086]
步骤s220，通过预设的模糊综合评价方式，对定量评价指标对应的评价值和定性评价指标对应的评价值进行评价，得到最终的评价结果。
[0087]
当获取通过定性评价指标得到的评价值及通过定量评价指标得到的评价值后，需先根据测试任务确定考察要素集合，再根据测试任务的要素突出程度(即要素重要程度)来确定上述评价值集合，且对上述评价值集合进行等级排序，之后将定性评价的评价值定量化，模糊性以及主观判断以得到最终的评价结果并输出评估报告，通过该方法，能够较好地处理具有多种评价因素的信息数据。
[0088]
上述自动驾驶车辆的测试方法，场景库的数据能够从真实道路提取，也能根据提取的信息自由构建，场景来源丰富，能够避免由于测试场景类型单一而导致场景库覆盖度低的问题，因此能够针对不同类型的自动驾驶车辆进行构建。另外，本方法根据场景库中的场景及自动驾驶车辆的开发文件确定具体可以用于测试的测试用例，另外，本方法在测试时突出考察要素来抽取更加明确的测试用例进行测试，进而开展更加精确、高效、经济的测试。另外，本方法在得到测试结果后，综合考虑影响自动驾驶性能的众多因素，并通过模糊性及主观判断该测试结果，能够较好地得出评价结论。
[0089]
同时，采集的数据也能够验证仿真场景及构建场景，保证测试场景的真实性及可行性，另外，本方法场景测试包括仿真测试、场地测试、道路测试，从测试数据集上能够充分验证自动驾驶车辆的应用场景，也很好的形成了场景库的数据闭环。另外，在测试过程中，能够不断采集场景数据，这些数据以及经过验证后的新场景能够进一步丰富场景库。
[0090]
本发明实施例还提供了另一种自动驾驶车辆的测试方法，该方法在上述实施例方法的基础上实现；该方法重点描述基于测试结果评价待测车辆的自动驾驶性能的具体过程(通过下述步骤s306-s312实现)，如图3所示，该方法包括如下具体步骤：
[0091]
步骤s302，根据测试任务，确定待测车辆所需的测试场景。
[0092]
步骤s304，从预设的场景库中提取待测车辆所需的测试场景的测试用例。
[0093]
步骤s306，基于待测车辆所需的测试场景的测试用例，对待测车辆进行测试，得到待测车辆的测试结果；其中，该测试结果包括待测车辆的驾驶自治数据、待测车辆在同一测试场景中的学习进化数据和待测车辆的交通协调数据。
[0094]
其中，驾驶自治数据包括待测车辆的基础性能数据、行驶质量数据和车辆安全性能数据；其中，学习进化数据包括在场景规避数据、环境认知数据和决策规划数据；其中，交通协调数据包括通过内部乘员视角采集的数据、通过外界交通参与者视角采集的数据以及通过全局视角采集的数据。
[0095]
具体实施时，待测车辆的基础性能数据指舒适性、操纵性、经济性、平顺性，其中，通过自动驾驶车辆在测试时的减速度变化率及横摆角速度变化率等数据来判断自动驾驶车辆的舒适性，通过自动驾驶车辆在测试时的加速、制动、转向等数据是否能够满足车辆正
常行驶来评价自动驾驶车辆的操纵性。通过自动驾驶车辆在测试时，是否能够在一定的使用条件下，用最少的燃料消耗完成单位运输工作的能力来评价自动驾驶车辆的经济性。通过自动驾驶车辆在一般行驶速度范围内测试时，车辆所产生的振动和冲击，是否能够使人感到不舒服、疲劳，甚至损害健康，或者使货物损坏等数据来评价自动驾驶车辆的平顺性。另外，由于自动驾驶车辆还需保证因车辆自身问题或外界因素出现时，自动驾驶车辆能否通过对于方向、刹车、油门以及车辆各种技术和条件配置等进行自动控制以保证操纵平稳性，避免交通事故，因此在得到基础性能数据时也能够同时得到行驶质量数据及车辆安全性能数据。此外，基础性能数据中的舒适性数据及平顺性数据也能为行驶质量数据提供依据。
[0096]
学习进化数据是指当待测的自动驾驶车辆在一测试用例中测试并得到评价结果后，本技术还会使该车辆再次进入相同的测试用例中执行相同的测试任务进行测试，通过整车表现能够得到该自动驾驶车辆的学习进化数据。如，该自动驾驶车辆在测试场景中出现决策模糊，比如在测试场景中的高速闸道口出现来回变道行为，或者在测试场景中无红绿灯路口出现频繁加减速的犹豫行为等，导致自动驾驶系统(或自动驾驶车辆)出现人工接管的情况，则在一段时间后重复构建相同的测试用例(即上述测试场景)进行测试，通过自动驾驶车辆人工接管的频率是否减少，测试该自动驾驶车辆是否成功学习如何规避。另外，自动驾驶车辆的学习进化数据可以通过类驾驶员性得到。此时的类驾驶员性即为驾驶员模型，该驾驶员模型是基于真实驾驶员的大量数据统计建模提取驾驶员的行为特征与参数空间构建的。通过驾驶员模型还能够监测自动驾驶车辆是否能够平稳驾驶。还可根据驾驶员模型的操作如人工接管频次、接管时机、提醒品质等，来评价自动驾驶车辆的学习能力，该驾驶员模型的操作归属到hmi(human
–
machine interaction，人机接口)评价，另外，上述待测车辆的驾驶自治数据中的舒适性、操纵性、平顺性数据，也能够通过类驾驶员性进行评价。
[0097]
具体实现时，内部乘员视角采集的数据为上述驾驶员模型采集的数据；通过外界交通参与者视角采集的数据为场景特征参数中的场景参与者采集的数据，主要根据自动驾驶车辆与场景参与者的交互情况进行评价，如自动驾驶车辆的决策是否合理、控制的平顺性、是否影响场景参与者等。通过全局视角采集的数据也称通过上帝视角采集的数据，通过全局监测采集自动驾驶车辆的决策、控制精度、安全性和对交通流的影响等数据用于评价。
[0098]
步骤s308，基于待测车辆的驾驶自治数据，确定待测车辆的智能维度自动驾驶性能的评价结果。
[0099]
在具体实现时，当得到上述驾驶自治数据后，可通过该驾驶自治数据确定测试指标的值，之后将该测试指标与预设的指标阈值进行比对，从而得到待测车辆的智能维度自动驾驶性能的评价结果。
[0100]
步骤s310，基于待测车辆在同一测试场景中的学习进化数据，确定待测车辆的时间维度自动驾驶性能的评价结果。
[0101]
在具体实现时，当得到上述学习进化数据后，可通过该学习进化数据确定测试指标的值，之后将该测试指标与预设的指标阈值进行比对，从而得到待测车辆的时间维度自动驾驶性能的评价结果。
[0102]
步骤s312，基于待测车辆的交通协调数据，确定待测车辆的空间维度自动驾驶性
能的评价结果。
[0103]
在具体实现时，当得到上述交通协调数据后，可通过该交通协调数据确定测试指标的值，之后将该测试指标与预设的指标阈值进行比对，从而得到待测车辆的空间维度自动驾驶性能的评价结果。
[0104]
上述自动驾驶车辆的测试方法，能够通过多种维度及多种方面对测试结果同时评价，能够更加快速及准确地得出评价结论，也较为全面地评价了该测试场景下的自动驾驶车辆。
[0105]
对应于上述方法实施例，本发明实施例还提供了一种自动驾驶车辆的测试装置；如图4所示，该装置包括：
[0106]
场景确定模块40，用于根据测试任务，确定待测车辆所需的测试场景；
[0107]
场景提取模块41，用于从预设的场景库中提取待测车辆所需的测试场景的测试用例；
[0108]
其中，场景库中包含有多种场地对应的测试场景的测试用例；
[0109]
测试监测模块42，用于对待测车辆进行测试，监测待测车辆测试，并得到待测车辆的测试结果；
[0110]
测试评价模块43，用于基于测试结果评价待测车辆的自动驾驶性能。
[0111]
上述自动驾驶车辆的测试装置，能够根据测试任务挑选出合适的测试场景，进而能够依据测试需求，对自动驾驶车辆进行充分测试，其次，本技术的用于测试自动驾驶车辆的测试场景是从多种场地对应的测试场景中采集的信息及数据，并依据该自动驾驶车辆的开发文件构建生成的，因此，测试场景能够满足该自动驾驶车辆的多种测试需求，进而能够充分提供测试结果，另外，以多种场地对应的测试场景中的信息及数据为测试场景构建依据，能够使测试场景的分布性及覆盖程度更加全面，且能够针对不同类型的自动驾驶车辆进行构建。测试场景数据的可重复性高，能够为自动驾驶车辆测试领域提供稳定的数据基础；另外，本技术测试场景中涵盖了交通世界的交互对象，即设计有场景参与者，该场景参与者能够替代真实的交通世界的主要参与者来测试待测车辆的交互性能，进而能够实现测试自动驾驶车辆面对人、车及环境时，其本身自动控制的应变能力，不只局限于评价自动驾驶车辆本身的自动控制的能力，进而能够从多维度和多角度对自动驾驶车辆进行评价。本测试方法不仅适用于传统adas测试，也适用于高级别自动驾驶系统场地测试，其中测试场景与测试用例、测试评价方法也通用于自动驾驶车辆道路测试，通用性强。
[0112]
进一步地，上述场景确定模块40，还用于针对每种测试场景，根据当前测试场景对应的场景特征参数，构建当前测试场景的测试用例。具体地，多种场地对应的测试场景包括标准法规场景、自然驾驶场景、危险事故场景、场景元集构建场景和仿真场景。
[0113]
在具体实现时，上述场景确定模块40还包括场景挑选模块，用于基于预设的开发文件，确定场景要素和场景特征参数；根据场景要素与预设目标之间的交互，生成当前测试场景；当前测试场景中突出预设的考察要素，得到逻辑测试场景；对逻辑测试场景中的场景特征参数进行细化，得到当前测试场景的测试用例。
[0114]
在一些实施例中，上述场景确定模块40还包括场景验证模块，用于基于仿真测试、场地测试和道路测试对当前测试场景进行验证；根据验证结果调整当前测试场景，得到最终的当前测试场景。
[0115]
在一些实施例中，上述场景确定模块40，还用于根据待测车辆的开发文件，确定考察要素；基于考察要素，确定测试任务。
[0116]
在一些实施例中，上述场景确定模块40，还用于基于测试任务，确定待测车辆的运行场景；根据运行场景确定场景要素；基于场景要素，确定待测车辆所需的测试场景。
[0117]
进一步地，上述测试评价模块43，还用于基于待测车辆的驾驶自治数据，确定待测车辆的智能维度自动驾驶性能的评价结果；其中，驾驶自治数据包括待测车辆的基础性能数据、行驶质量数据和车辆安全性能数据；基于待测车辆在同一测试场景中的学习进化数据，确定待测车辆的时间维度自动驾驶性能的评价结果；其中，学习进化数据包括在场景规避数据、环境认知数据和决策规划数据；基于待测车辆的交通协调数据，确定待测车辆的空间维度自动驾驶性能的评价结果；其中，交通协调数据包括通过内部乘员视角采集的数据、通过外界交通参与者视角采集的数据以及通过全局视角采集的数据。
[0118]
在一些实施例中，上述测试评价模块43，还用于根据预设的定量评价指标，对测试结果进行分析，得到定量评价指标对应的评价值；其中，定量评价指标包括速度控制精度、位置控制精度、加减速度、碰撞时间ttc、车头时距thw、横向加速度和变道时长指标；根据预设的定性评价指标，对测试结果进行分析，得到定性评价指标对应的评价值；其中，定性评价指标包括制动减速度区间和变道过程方向盘调整周期指标；通过预设的模糊综合评价方式，对定量评价指标对应的评价值和定性评价指标对应的评价值进行评价，得到最终的评价结果。
[0119]
在具体实现时，上述装置还包括结果存储模块，用于保存待测车辆所需的测试场景对应的测试用例的编号、测试结果和基于测试结果评价待测车辆的自动驾驶性能的评价结果。
[0120]
本发明实施例所提供的自动驾驶车辆测试装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0121]
本发明实施例还提供了一种电子设备，如图6所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述自动驾驶车辆测试方法。
[0122]
其中，存储器100可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0123]
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或
者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
[0124]
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现自动驾驶车辆测试方法，具体实现可参见方法实施例，在此不再赘述。
[0125]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0126]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。