一种用于自动驾驶汽车边缘测试的测试方法与流程

本发明涉及自动驾驶测试技术领域，尤其是涉及一种用于自动驾驶汽车边缘测试的测试方法。

背景技术：

自动驾驶汽车是集感知认知、决策规划、控制执行于一体的综合智能系统，而科学完善的测试评价体系对提高自动驾驶汽车的研发效率和推进产业创新发展至关重要。对于自动驾驶汽车来说，对以下功能做出简单介绍。

感知功能：传感器获取外界环境信息的过程，主要承载于硬件设施；

认知功能：传感器获取到外界信息后的处理过程，主要依托于软件算法；

决策规划：根据环境信息，对车辆行为做出决策，对车辆路径做出规划；

控制执行：控制层发出指令，使车辆执行相应动作。

自动驾驶汽车目前出于发展初期，各项系统与性能尚未完善，因而存在潜在的危险性。科学完善的测试可以发现并帮助消除潜在危险性，其中边缘测试用例是自动驾驶测评体系的重要组成部分。边缘测试用例指在一般交通场景下，由于某些因素存在极限状态，对自动驾驶汽车的正常行驶产生较大挑战性或危险性，而形成的测试用例。测试边缘用例可帮助自动驾驶汽车将测试聚焦于潜在的危险性。其重要性对于完善的自动驾驶测试评价来说是不可忽视的。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于自动驾驶汽车边缘测试的测试方法。

本发明的目的可以通过以下技术方案来实现：

一种用于自动驾驶汽车边缘测试的测试方法，该测试方法包括以下步骤：

步骤1：从被测自动驾驶汽车功能模块中获取被测自动驾驶汽车功能信息；

步骤2：基于获取的被测自动驾驶汽车功能信息，从自动驾驶汽车获取信息情况模块中获取信息获取情况分类信息；

步骤3：基于获取的信息获取情况分类信息，从触发生成边缘测试用例因素模块中获取导致该信息获取情况分类发生的因素表征信息；

步骤4：基于获取的因素表征信息，从因素发生条件模块中获取该因素表征发生所需条件信息；

步骤5：基于获取的所需条件信息，从边缘用例要素库模块中获取与所述所需条件信息相匹配的合适要素信息；

步骤6：组合步骤1～步骤5中获取的所有对应信息并进一步组合其他一般要素信息，共同生成用于自动驾驶汽车边缘测试的最终测试用例；

步骤7：根据最终测试用例以对自动驾驶汽车进行实际边缘测试。

进一步地，所述步骤1中的被测自动驾驶汽车功能信息包括：感知功能信息、认知功能信息、决策规划功能信息和控制执行功能信息。

进一步地，所述步骤2中的信息获取情况分类信息包括：用于表征由于某些环境因素导致传感器获取的要素信息失去原本特征的信息失真情况分类信息、用于表征由于某些材料属性及传感器固有局限性或外界环境的干扰导致传感器未获取到足够的要素信息的信息丢失情况分类信息、用于表征由于外界的客观原因和内部的算法原因，传感器在获取要素信息时未获取全或获取到的信息缺失情况分类信息、用于表征由于实体要素间部分特征相似，使得传感器在获取场景内所需信息时无法区分信息源本质的信息相似情况分类信息和用于表征具有高度不确定性或未被自动驾驶系统算法覆盖的要素及要素间关系的信息且该信息对自动驾驶汽车决策规划功能形成挑战的信息复杂情况分类信息。

进一步地，所述步骤3中的因素表征信息包括：光照度、动态范围、反射率、透射率、吸收率、折射散射率、发射波时序、定位信号丢失率、遮盖率、残驳率、算法覆盖率、信息熵和单位时间信息熵。

进一步地，所述步骤4中的所需条件信息包括：自然光源以设定角度照射、非自然光源以设定角度照射、无光源、无源被遮挡、不同光交替发生处、目标物材料属性及该材料所在处、大气环境、多次折射发生处、特殊遮蔽空间、残驳处、信号发生源及该信号发生源所在处。

进一步地，所述步骤5中的合适要素信息包括：光线类别、天气类别、道路局部拓扑类别、特殊道路区域类别、道路表面附加物类别、道路周边设施类别、交通标识类别和交通设施类别。

与现有技术相比，本发明具有以下优点：

(1)覆盖测试情况广，本发明方法首先从被测自动驾驶汽车的功能模块中选取需要被测试的自动驾驶汽车功能；基于该功能对外界环境信息的处理方式，然后从信息获取情况模块中选取获得到的信息情况；基于以上被测功能对信息获取或处理的失效情况，接着从触发生成边缘测试用例因素模块中选取触发生成边缘测试用例的因素；基于知识分析的方法，进而从因素发生条件模块中选取该因素发生的所需条件；基于以上因素发生所需条件与要素类别的关系，从边缘用例要素库模块中匹配合适的要素，组合其他一般要素，最后生成完整的边缘测试用例，每个模块中涵盖的信息适应不同情况，进而生成的测试用例更广泛。

(2)测试准确度高，本发明方法配套涉及的一种逻辑级别的语义化生成方法，其包括五个模块：被测自动驾驶汽车的功能模块、信息获取情况模块、触发生成边缘测试用例因素模块、因素发生条件模块和边缘用例要素库模块，前四个模块的逻辑关系为递进关系，第五模块用于提供合适的要素以匹配触发因素发生的条件，最后组合其他一般要素生成完整的边缘测试用例，整体组合的用例种类多，进而使得根据最终测试用例以对自动驾驶汽车进行实际边缘测试的准确度提高。

附图说明

图1为本发明的方法流程图；

图2为测试感知子系统的边缘用例生成模块组合方式示意图；

图3为测试认知子系统的边缘用例生成模块组合方式示意图；

图4为测试决策规划子系统的边缘用例生成模块组合方式示意图；

图5为测试控制执行子系统的边缘用例生成模块组合方式示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示为本发明方法的具体流程示意图，一种用于自动驾驶汽车边缘测试的测试方法，该测试方法包括以下步骤：

步骤1：从被测自动驾驶汽车功能模块中获取被测自动驾驶汽车功能信息；

步骤2：基于获取的被测自动驾驶汽车功能信息，从自动驾驶汽车获取信息情况模块中获取信息获取情况分类信息；

步骤3：基于获取的信息获取情况分类信息，从触发生成边缘测试用例因素模块中获取导致该信息获取情况分类发生的因素表征信息；

步骤4：基于获取的因素表征信息，从因素发生条件模块中获取该因素表征发生所需条件信息；

步骤5：基于获取的所需条件信息，从边缘用例要素库模块中获取与所述所需条件信息相匹配的合适要素信息；

步骤6：组合步骤1～步骤5中获取的所有对应信息并进一步组合其他一般要素信息，共同生成用于自动驾驶汽车边缘测试的最终测试用例；

步骤7：根据最终测试用例以对自动驾驶汽车进行实际边缘测试。

针对以上各步骤中的相应模块进行如下具体描述，对应结构如图2、图3、图4和图5所示：

m1即模块一：被测自动驾驶汽车的系统模块，包括感知、认知、决策规划、执行四个子系统；

m2即模块二：自动驾驶汽车环境要素信息获取情况模块，包括信息失真、信息丢失、信息缺失、信息相似、信息复杂、信息率高六个情况；

m3即模块三：触发生成边缘测试用例因素表征模块。基于m2中信息获取的失效情况，以上信息获取情况由以下因素导致，包括光照度高、光照度低、动态范围高、反射率高、动态模糊、透射率高、吸收率高、折射/散射率高、多径效应、发射波时序、超出测量阈值、定位信号丢失率、硬件物理失效、遮盖率、残驳率、算法覆盖率、颜色相似、形状相似、材质或纹理相似、信息熵高、单位时间信息熵高二十一种因素表征。

m4即模块四：因素发生条件模块。该模块中分析得出的条件与m3中因素形成对应关系，但不是一一对应关系。有的对应关系为“或”，有的则为“和”。因素发生条件包括：自然光源以一定角度照射、非自然光源以一定角度照射、无光源、光源被遮挡、强弱光交替发生处、目标物材料属性和该材料所在处、干扰物材料属性和干扰物与目标物位置相近、被测物高速移动、目标物或障碍物的材料属性和所在处、大气环境、多次折射发生处、车辆高速移动、被测物距离超出测量范围、被测物尺寸超出测量范围、被测物所处角度超出测量范围、特殊遮蔽空间、信号被干扰、机械式碰撞损坏、硬件被遮盖和遮盖物、遮盖物和遮盖处、残驳处、不同实体、实体间位置相近、信息发生源和信源所在处、信息发生时间二十五种条件。

m5即模块五：边缘用例要素库模块。包括光线、天气、道路局部拓扑、特殊道路区域、道路表面附加物、道路周边设施、交通标识、交通设施、交通参与者九个子模块。子模块中又包含不同边缘用例构成要素，其中要素细化内容是对要素类别的具体表达和举例说明。该要素库内的要素侧重于边缘测试用例的生成。

自动驾驶汽车在测试中，需要对各个子系统进行测试，找出该系统潜在危险性。边缘测试用例发生的状态对比一般测试用例来说较极限，因此往往会导致危险结果，其对自动驾驶汽车的挑战性不容忽视。在研究边缘测试用例的生成方法时，需要针对自动驾驶汽车的每个子系统提出可能存在的危险诱因，进而分析得出边缘测试用例的触发因素。自动驾驶系统是一个复杂的多元系统，其在工作过程中时刻与外界发生信息交互，分析其信息处理的一般过程可降低问题的维度，以突出主要矛盾，聚焦于边缘测试用例的触发因素，增大边缘用例测试的有效性。因此，首先分析自动驾驶汽车各子系统对信息获取的程度，再分析各子系统对于信息处理时失效的不同情况，进而从不同分类情况考虑触发该信息失效因素的表征，再用知识分析的方法得出触发因素所需具备条件，最后组合边缘用例要素以及一般其他要素，用于生成边缘测试用例。

首先对m2模块中各信息获取失效情况进行解释：

信息失真：由于某些环境因素导致传感器获取的要素信息失去原本特征。

信息丢失：由于某些材料属性、传感器固有局限性，或外界环境的干扰导致传感器未获取到足够的要素信息。

信息缺失：由于外界的客观原因和内部的算法原因，传感器在获取要素信息时未获取全或获取到。

信息相似：由于实体要素间部分特征相似，使得传感器在获取场景内所需信息时无法区分信息源本质。

信息复杂：具有高度不确定性或未被自动驾驶系统算法覆盖的要素及要素间关系的信息，该信息对自动驾驶汽车决策规划功能形成挑战。

信息率失控：单位时间内信息源所发出的信息复杂，导致控制层面执行器在有限的时间无法完成上层指令。

对于m1和m2的从属关系进行解释说明：

m2中信息失真和信息丢失两种情况影响m1中感知系统；

m2中信息缺失和信息相似两种情况影响m1中认知系统；

m2中信息复杂的情况影响m1中决策规划系统；

m2中信息率高的情况影响m1中执行系统。

从信息获取和处理的角度分析自动驾驶汽车各系统潜在的危险性，需要将信息获取和处理的情况与真实交通环境进行映射，抽取交通环境中触发该信息失效形式的因素表征，进而利用知识分析的方法推出该因素发生的所需条件，与真实环境中细化要素进行匹配，用以生成具体边缘测试用例。因此，对应每一类信息获取和处理的情况，有以下触发因素，以及该因素发生所需条件，共同匹配用于生成边缘测试用例：

m2中信息失真情况的发生由m3中光照度高、光照度低、动态范围高、反射率高、动态模糊五个因素导致。其中光照度为被照实体面的单位面积上接受的光通量，当光通量以一定角度入射过大或过小都会引起传感器对外界信息获取的失真。高光照度的光源可来自于自然光，或者非自然光。低光照度可由于无光源，或光源被遮挡而发生。动态范围高指光通量的最大和最小值的比值较大，即当强弱光交替在某处发生时，会导致传感器获取周围信息失真，如自动驾驶汽车在隧道口、停车场口等地行驶时。反射率高取决于材料属性，目标物的反射光波过强会引起传感器获取该物体时的信息失真。此外，与目标物位置相近的障碍物材料的反射率如果同样很高的话，由于反射的脉冲或光照过强同样会导致传感器对目标物信息获取的失真，以上高反射率材料通常需要处于自动驾驶汽车获取信息的范围内，才会对自动驾驶汽车造成影响。如果被测物高速移动，会造成摄像机无法捕捉到完整的动态成像，造成动态模糊的情况发生。

m2中信息丢失情况的发生由m3中透射率高、吸收率高、散射/折射率高、多径效应、发射波时序、超出测量参数阈值、定位信号丢失率、传感器硬件物理失效八个因素导致。透射率高取决于材料属性，激光雷达发射的电磁波由于该材料的高透射率原因，一部分电磁波会穿过该材料，当该材料处于自动驾驶汽车获取信息的范围内时，造成探测信息的丢失，会对自动驾驶汽车感知目标物产生挑战。吸收率与透射率相反，当激光雷达发射的电磁波到吸收率较高的物体表面时，部分电磁波会被该材料吸收，导致信息缺失。折射/散射率高是由于雾霾、雨、烟、雾霭等多种天气要素组合而导致的大气环境产生变化，激光雷达电磁波在该大气环境中传播时，由于折射率和散射率较大会导致部分信息出现丢失的情况。多径效应指在自动驾驶汽车定位过程中，由于外界的复杂反射环境，如玻璃材质表面的建筑物群落等造成电磁波多次反射而发生的定位信息出现丢失情况。发射波时序指由于其他交通参与车辆与自车相对速度较大，导致激光雷达脉冲在回波过程中出现偏差的情况。超出测量阈值指的是，通常传感器有固有测量范围，当被测物的距离、尺寸或者所处空间角度超出传感器测量的范围时，会造成信息丢失。定位信号丢失通常发生在被遮蔽的环境下，如隧道或者地下停车场等空间，除此之外，当外界存在较强的信号干扰设备时，也可能造成自动驾驶汽车定位信号发生丢失的情况出现。硬件物理失效指自动驾驶汽车在行驶过程中，可能会由于弹起的飞石、溅起的尖锐碎屑等撞击到传感器，导致物理损坏；或者由于雨水、洒水车喷出的水珠、泥土等遮盖到传感器元件上，导致无法获取到外界信息的情况。

m2中信息缺失情况的发生由m3中遮盖率、残驳率以及算法覆盖率三个因素导致。遮盖率指被测信息由于外界因素遮挡或覆盖，达到一定比例后认知系统无法分辨的情况。遮盖物和遮盖处必须处于自动驾驶汽车行驶过程中需要获取的环境范围内，才会对自动驾驶汽车的认知系统产生挑战。残驳率指被获取要素信息出现缺损、失色等达到一定比例后认知系统无法分辨的情况，该残驳处需处于自动驾驶汽车行驶过程中需要获取的环境范围内，如车道线、交通指示牌处等要素。算法覆盖率指自动驾驶汽车认知功能的软件基于目前已有的算法，对感知到的外界环境信息进行处理和识别的情况。存在有些被人为改造的车辆，或者特殊形状的工程车未被以上软件算法包含的可能性，因此会造成自动驾驶汽车认知系统无法识别一些实体特征的情况出现。

m2中信息相似情况的发生由m3中颜色相似、形状相似、材质或纹理相似三个因素导致。相同颜色、形状的被测物体特征差异率较低，可导致被动视觉传感器在认知过程中无法分辨被测物本质的现象的发生。同材质和纹理的被测物可对主动激光雷达传感器造成挑战。本发明中的实体分为人、车、物三大类。同颜色和同形状指的是不同实体之间，如身着黑色衣服的人站在黑色背景车辆旁，或者婴儿车和垃圾桶的形状相似，可造成视觉传感器对以上实体间无法分辨的情况出现。对同颜色和同形状的实体间位置不做要求的原因是，即使二者位置不相近，但在某个视角下可以同时被视觉传感器捕获到同一帧画面上，而同材质或纹理的实体需要位置相近才可能会导致激光雷达等传感器无法分辨该实体，如在反射率较高的汽车尾灯和道路边彩灯装饰物位置较近的情况下，激光雷达可能对二者无法分辨。

m2中信息复杂情况的发生由m3中信息熵高造成。信息熵高即指信息的不确定性大，该不确定信息可由多信源共同产生，且这些信源需要同时处于自动驾驶汽车所需获取的环境范围之内，才会对自动驾驶汽车的决策规划系统造成挑战，如自动驾驶汽车经过人流车流量巨大、路面附加物繁杂的十字路口等，可能会无法进行决策与规划。

m2中信息率高情况的发生由m3中单位时间信息熵高因素造成。信息率高指单位时间内信息不确定性大，信源和信源所在处同上所述。区别是由于该信息发生的时间较短，如自动驾驶汽车在高速公路上高速行驶的过程中，突遇飘洒物等，因此会对于自动驾驶汽车的控制执行系统造成挑战。

综上所述，m1、m2、m3和m4各模块组合后的最终形态如表1所示：

表1：m1至m4的具体内容及组合编号说明

m5模块的具体内容如表2所示：

表2：m5模块的具体内容

针对m5模块进行编号，并进一步得到m5模块的组合编号说明，如表3所示：

表3：m5模块的组合编号说明

根据上文中的表1、表2和表3中最终完成的带有编号的各模块内容，以下说明针对本发明的实施例：

实施例一

s1：首先从模块一中选取需要测试的自动驾驶汽车功能。例如本实施例选取感知功能，编号为a。

s2：由于感知功能对外界环境信息的处理主要取决于硬件传感器对信息的获取方式和其内部工作逻辑机构，因此当感知功能发生信息获取失效时，会造成信息失真或信息丢失的情况发生。首先从模块二中选择测试信息失真的情况，编号为a。

s3：信息失真是由于某些环境因素导致传感器获取的要素信息失去原本特征，因此考虑到环境要素可能受到光线的影响(光照度、动态范围)，或者是某些特殊材料(反射率)导致信息失真。如从模块三选取光照度作为触发生成边缘测试用例因素的表征。基于s2步骤中传感器对信息获取的工作原理分析得知，光照度高(编号为1)或低(编号为2)都存在对感知功能的挑战性。

s4：基于以上步骤，首先确定光照度高和低都可导致信息失真的情况发生。基于知识分析的方法，对光照度进行分析。光照度高的发生可来源于两种光源，即自然光源(编号为1)和非自然光源(编号为2)；光照度低(编号为2)的发生需要无光源(编号为1)或者光源被遮挡的条件(编号为2)。

以上步骤得出四组边缘测试用例生成条件组合编号：aa1.1(感知功能-信息失真-光照度高-自然光源以一定角度照射)；aa1.2(感知功能-信息失真-光照度高-非自然光源以一定角度照射)；aa2.1(感知功能-信息失真-光照度低-无光源)；aa2.2(感知功能-信息失真-光照度低-光源被遮挡)。

s5：首先分析光照度高的发生条件，如自然光源只可能来自于阳光，即可从模块五中光线模块(es)选择自然光源(1)，确定阳光(1)要素，即生成编号为es1.1的要素组合；若选择非自然光源则可从光线模块(es)中选择非自然光源(2)子模块中的大路灯(1)、远光灯(2)、探照灯(3)要素，即生成编号为es2.1、es2.2、es2.3的要素组合；对于分析光照度低的发生条件，如无光源，即可从模块五中选取es3要素，光源被遮挡情况可以考虑特殊道路区域子模块(rq)，如隧道(1)、涵洞(2)、停车场(3)内自然光源被遮挡的情况会发生，即生成rq1、rq2、rq3的要素组合方式，非自然光源被遮挡的情况可由道路周边设施子模块(rz)中植物(1)中较高树木(rz1.1)对路灯(rz4)进行遮挡的情况等。

综上所述，由光照度高因素导致的边缘测试用例可有以下几种要素组合：aa1.1+es1；aa1.2+es2.1、aa1.2+es2.2、aa1.2+es2.3；由光照度低因素导致的边缘测试用例可有以下几种要素组合：aa2.1+es3；aa2.2+rq1、aa2.2+rq2、aa2.2+rq3、aa2.2+rz1.1&rz4。

s6：完成从模块五边缘用例要素库内选取合适的要素后，组合第一步选取的被测自动驾驶汽车功能，以及该边缘测试用例所需的其他一般要素，共同生成完整的边缘测试用例。

其他一般要素指除了触发生成边缘测试用例的因素外，其他必须要素。如以上实施例中aa1.1+es1，由于正午阳光直射，导致感知功能信息失真情况发生。该用例并不完全。还需要道路拓扑结构，温度，自车的其他要素如速度、位置、初始状态等共同生成完整的边缘测试用例。但这些一般要素并不是导致该用例成为边缘测试用例的因素。

实施例二

s1：测试人员首先从模块一中选取需要测试的自动驾驶汽车功能。例如本实施例选取认知功能，编号为b。

s2：由于认知功能对外界环境信息的处理主要取决于软件算法，因此当认知功能发生信息处理失效时，会造成信息缺失和信息相似两种情况的发生。测试人员首先从模块二中选择测试信息缺失的情况，编号为a。

s3：信息缺失由外界环境如目标物被遮盖，目标物出现残缺或者残驳，以及认知软件内部算法未覆盖造成，因此如测试人员从模块三中可选取遮盖率(1)作为测试对象。

s4：基于知识分析的方法，分析得出如你们果导致遮盖的情况发生，则需要遮盖物和遮盖处两个必须条件的发生，即编号ba1。

s5：基于对以上遮盖物和遮盖处的分析，从模块五可选择道路表面附加物(rs)中的一般覆盖物(4)中的落叶(1)、泥土(2)、积雪(3)等作为遮盖物，即rs4.1、rs4.2、rs4.3三种要素组合。可选择交通标识(tb)模块中路面车道线(3)作为被遮盖处，即tb3.1要素组合，与上面所选的遮盖物从共同组合，即生成ba1+rs4.1&tb3.1、ba1+rs4.2&tb3.1、ba1+rs4.3&tb3.1三种生成边缘测试用例的组合编号。

还可选择道路周边设施(rz)所包含的植物(1)中较高树木(1)作为遮盖物，即rz1.1编号，选择交通标识(tb)中交通灯(1)中的红绿灯(1)作为被遮盖处，即tb1.1要素组合，共同生成编号为ba1+rz1.1&tb1.1的边缘测试用例。

s6：测试人员完成从模块五边缘用例要素库内选取合适的要素后，组合第一步选取的被测自动驾驶汽车功能，以及其他一般要素，共同生成完整的边缘测试用例。

以上实施例中ba1+rs4.1&tb3.1、ba1+rs4.2&tb3.1、ba1+rs4.3&tb3.1、ba1+rz1.1&tb1.1表示由于遮盖率的因素导致信息缺失，对认知功能形成挑战，但该用例并不完全，还需要再附加道路拓扑结构，天气因素、自车行为、状态等其他一般要素，共同生成边缘测试用例。

其他详细实施例如表4所示。其中“匹配模块五要素一”中的每一行有的要素关系为“或”，如第六行rs1.1/rs1.2表示反射率高的目标物材料属性，该材料可以是rs1.1金属易拉罐，或者是rs1.2不透光玻璃。第八行被测物高速移动导致动态模糊，该被测物为tp1/tp5/tp6，可以是机动车、行人或者动物。该表格中“匹配模块五要素一”和“匹配模块五要素二”是“和”的关系，即需要两个要素共同组成边缘测试用例。

表4：其余详细实施例

本发明方法的具体针对模块一～模块五的获取并最终生成测试用例的过程可于计算机程序中完成。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。