自动驾驶系统的仿真测试方法、装置以及存储介质与流程

[0001]
本申请涉及计算机技术领域，尤其涉及自动驾驶系统的仿真测试方法、装置以及存储介质。


背景技术：

[0002]
自动驾驶技术包括了高精地图、环境感知、行为决策、路径规划、运动控制等技术，有着广泛的应用前景。而在对自动驾驶进行测试的过程中，自动驾驶仿真结果的可信性与仿真环境是否与现实环境相近有着紧密的联系。
[0003]
在自动驾驶仿真的过程中仿真一致性为一种重要的性能指标，即在自动驾驶仿真系统中，同样的仿真测试场景，运行多次后，各数据和时序是否都是一致的，具有可重复性。
[0004]
但是，由于自动驾驶仿真的过程一般利用深度学习模型进行路线的规划、方向的调整等，容易产生算法偏差，影响自动驾驶系统中一致性测试结果的准确性。


技术实现要素：

[0005]
有鉴于此，本申请提供一种自动驾驶系统的仿真测试方法，可以有效提高自动驾驶系统中一致性测试结果的准确性。
[0006]
本申请第一方面提供一种自动驾驶系统的仿真测试方法，可以应用于终端设备中包含自动驾驶系统的仿真测试功能的系统或程序中，具体包括：
[0007]
获取自动驾驶系统中的目标测试场景，所述目标测试场景对应的预设测试算法为第一控制算法，所述第一控制算法中的变量参数具有随机性；
[0008]
基于预设决策对所述第一控制算法进行调整，得到第二控制算法，所述预设决策用于约束所述第一控制算法中的所述变量参数；
[0009]
基于所述第二控制算法在所述目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；
[0010]
对比所述第一测试数据和所述第二测试数据，得到用于指示所述自动驾驶系统一致性的测试结果。
[0011]
可选的，在本申请一些可能的实现方式中，所述基于预设决策对所述第一控制算法进行调整，得到第二控制算法，包括：
[0012]
基于所述预设决策确定所述目标测试场景中的行驶参数；
[0013]
对所述行驶参数中的第一目标项设定行驶数值范围；
[0014]
基于所述行驶数值范围对所述第一控制算法进行调整，得到所述第二控制算法。
[0015]
可选的，在本申请一些可能的实现方式中，所述方法还包括：
[0016]
获取所述第一目标项的调整阈值，所述调整阈值用于指示自动驾驶对象进行车道改变；
[0017]
冻结所述调整阈值，以对所述第二控制算法进行更新。
[0018]
可选的，在本申请一些可能的实现方式中，所述基于预设决策对所述第一控制算
法进行调整，得到第二控制算法，包括：
[0019]
基于所述预设决策确定所述目标测试场景中的路径规划参数；
[0020]
对所述路径规划参数中的第二目标项设定路径集合；
[0021]
选取所述路径集合中满足预设条件的目标道路；
[0022]
基于所述目标道路对所述第一控制算法进行设定，得到所述第二控制算法。
[0023]
可选的，在本申请一些可能的实现方式中，所述基于预设决策对所述第一控制算法进行调整，得到第二控制算法，包括：
[0024]
基于所述预设决策确定所述目标测试场景中的控制变量，所述控制变量用于指示自动驾驶对象的操控情况；
[0025]
对所述控制变量进行标定，得到目标赋值；
[0026]
基于所述目标赋值对所述第一控制算法进行设定，得到所述第二控制算法。
[0027]
可选的，在本申请一些可能的实现方式中，所述基于所述第二控制算法在所述目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据，包括：
[0028]
基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试，得到所述第一测试数据；
[0029]
在所述第一次仿真测试过程中进行数据录制，得到回放参数；
[0030]
基于所述回放参数在所述目标测试场景中进行第二次测试，得到所述第二测试数据。
[0031]
可选的，在本申请一些可能的实现方式中，所述基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试，得到所述第一测试数据，包括：
[0032]
获取所述自动驾驶系统在所述目标测试场景中的监听模块；
[0033]
在基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试的过程中，对所述监听模块的输出的目标类型数据进行消息收集，得到所述第一测试数据。
[0034]
可选的，在本申请一些可能的实现方式中，所述对所述监听模块的输出的目标类型数据进行消息收集，得到所述第一测试数据，包括：
[0035]
提取所述监听模块的输出的所述目标类型数据对应的数据信息；
[0036]
提取所述监听模块的输出的所述目标类型数据对应的仿真时间信息；
[0037]
提取所述监听模块的输出的所述目标类型数据对应的物理时间信息；
[0038]
基于所述数据信息、所述仿真时间信息和所述物理时间信息确定三元组数据，得到所述第一测试数据。
[0039]
可选的，在本申请一些可能的实现方式中，所述提取所述监听模块的输出的所述目标类型数据对应的物理时间信息，包括：
[0040]
提取所述监听模块的输出的所述目标类型数据对应的系统时间信息；
[0041]
确定时间常量；
[0042]
基于所述时间常量对所述系统时间信息进行对齐，得到所述物理时间信息。
[0043]
可选的，在本申请一些可能的实现方式中，所述对比所述第一测试数据和所述第二测试数据，得到用于指示所述自动驾驶系统一致性的测试结果，包括：
[0044]
基于监听项对比所述第一测试数据和所述第二测试数据中，得到差异项；
[0045]
根据所述差异项确定指示所述自动驾驶系统一致性的所述测试结果。
[0046]
可选的，在本申请一些可能的实现方式中，其特征在于，所述方法还包括：
[0047]
提取所述测试结果中的目标参数；
[0048]
若所述目标参数小于预设值，则对所述自动驾驶系统进行优化；
[0049]
基于所述第二控制算法在优化后的所述目标测试场景中进行至少两次仿真测试，得到第三测试数据和第四测试数据；
[0050]
对比所述第三测试数据和所述第四测试数据，得到用于指示所述自动驾驶系统一致性的优化结果。
[0051]
可选的，在本申请一些可能的实现方式中，所述目标测试场景包括车辆跟随场景、车道切入场景或行人穿越场景，所述第一控制算法为决策规划控制算法，所述变量参数包括车速上限、加速度值、路径选择或变道规则。
[0052]
本申请第二方面提供一种自动驾驶系统的仿真测试装置，包括：
[0053]
获取单元，用于获取自动驾驶系统中的目标测试场景，所述目标测试场景对应的预设测试算法为第一控制算法，所述第一控制算法中的变量参数具有随机性；
[0054]
调整单元，用于基于预设决策对所述第一控制算法进行调整，得到第二控制算法，所述预设决策用于约束所述第一控制算法中的所述变量参数；
[0055]
测试单元，用于基于所述第二控制算法在所述目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；
[0056]
所述测试单元，还用于对比所述第一测试数据和所述第二测试数据，得到用于指示所述自动驾驶系统一致性的测试结果。
[0057]
可选的，在本申请一些可能的实现方式中，所述调整单元，具体用于基于所述预设决策确定所述目标测试场景中的行驶参数；
[0058]
所述调整单元，具体用于对所述行驶参数中的第一目标项设定行驶数值范围；
[0059]
所述调整单元，具体用于基于所述行驶数值范围对所述第一控制算法进行调整，得到所述第二控制算法。
[0060]
可选的，在本申请一些可能的实现方式中，所述调整单元，具体用于获取所述第一目标项的调整阈值，所述调整阈值用于指示自动驾驶对象进行车道改变；
[0061]
所述调整单元，具体用于冻结所述调整阈值，以对所述第二控制算法进行更新。
[0062]
可选的，在本申请一些可能的实现方式中，所述调整单元，具体用于基于所述预设决策确定所述目标测试场景中的路径规划参数；
[0063]
所述调整单元，具体用于对所述路径规划参数中的第二目标项设定路径集合；
[0064]
所述调整单元，具体用于选取所述路径集合中满足预设条件的目标道路；
[0065]
所述调整单元，具体用于基于所述目标道路对所述第一控制算法进行设定，得到所述第二控制算法。
[0066]
可选的，在本申请一些可能的实现方式中，所述调整单元，具体用于基于所述预设决策确定所述目标测试场景中的控制变量，所述控制变量用于指示自动驾驶对象的操控情况；
[0067]
所述调整单元，具体用于对所述控制变量进行标定，得到目标赋值；
[0068]
所述调整单元，具体用于基于所述目标赋值对所述第一控制算法进行设定，得到所述第二控制算法。
[0069]
可选的，在本申请一些可能的实现方式中，所述测试单元，具体用于基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试，得到所述第一测试数据；
[0070]
所述测试单元，具体用于在所述第一次仿真测试过程中进行数据录制，得到回放参数；
[0071]
所述测试单元，具体用于基于所述回放参数在所述目标测试场景中进行第二次测试，得到所述第二测试数据。
[0072]
可选的，在本申请一些可能的实现方式中，所述测试单元，具体用于获取所述自动驾驶系统在所述目标测试场景中的监听模块；
[0073]
所述测试单元，具体用于在基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试的过程中，对所述监听模块的输出的目标类型数据进行消息收集，得到所述第一测试数据。
[0074]
可选的，在本申请一些可能的实现方式中，所述测试单元，具体用于提取所述监听模块的输出的所述目标类型数据对应的数据信息；
[0075]
所述测试单元，具体用于提取所述监听模块的输出的所述目标类型数据对应的仿真时间信息；
[0076]
所述测试单元，具体用于提取所述监听模块的输出的所述目标类型数据对应的物理时间信息；
[0077]
所述测试单元，具体用于基于所述数据信息、所述仿真时间信息和所述物理时间信息确定三元组数据，得到所述第一测试数据。
[0078]
可选的，在本申请一些可能的实现方式中，所述测试单元，具体用于提取所述监听模块的输出的所述目标类型数据对应的系统时间信息；
[0079]
所述测试单元，具体用于确定时间常量；
[0080]
所述测试单元，具体用于基于所述时间常量对所述系统时间信息进行对齐，得到所述物理时间信息。
[0081]
可选的，在本申请一些可能的实现方式中，所述测试单元，具体用于基于监听项对比所述第一测试数据和所述第二测试数据中，得到差异项；
[0082]
所述测试单元，具体用于根据所述差异项确定指示所述自动驾驶系统一致性的所述测试结果。
[0083]
可选的，在本申请一些可能的实现方式中，其特征在于，所述测试单元，具体用于提取所述测试结果中的目标参数；
[0084]
所述测试单元，具体用于若所述目标参数小于预设值，则对所述自动驾驶系统进行优化；
[0085]
所述测试单元，具体用于基于所述第二控制算法在优化后的所述目标测试场景中进行至少两次仿真测试，得到第三测试数据和第四测试数据；
[0086]
所述测试单元，具体用于对比所述第三测试数据和所述第四测试数据，得到用于指示所述自动驾驶系统一致性的优化结果。
[0087]
本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的自动驾驶系统的仿真测试方法。
[0088]
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的自动驾驶系统的仿真测试方法。
[0089]
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的自动驾驶系统的仿真测试方法。
[0090]
从以上技术方案可以看出，本申请实施例具有以下优点：
[0091]
通过获取自动驾驶系统中的目标测试场景，目标测试场景对应于第一控制算法进行测试，第一控制算法中的变量参数具有随机性；然后基于预设决策对第一控制算法进行调整，得到第二控制算法，预设决策用于约束第一控制算法中的变量参数；进一步的，基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；进而对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。从而实现了稳定一致性测试的过程，由于对控制算法中的变量参数进行了约束，去除了控制算法本身对于自动驾驶系统测试的干扰，提高了测试结果的准确性。
附图说明
[0092]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0093]
图1为自动驾驶系统的仿真测试系统运行的网络架构图；
[0094]
图2为本申请实施例提供的一种自动驾驶系统的仿真测试的流程架构图；
[0095]
图3为本申请实施例提供的一种自动驾驶系统的仿真测试方法的流程图；
[0096]
图4为本申请实施例提供的一种自动驾驶系统的仿真测试方法的场景示意图；
[0097]
图5为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的场景示意图；
[0098]
图6为本申请实施例提供的一种自动驾驶系统的仿真测试方法的场景流程示意图；
[0099]
图7为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的流程图；
[0100]
图8为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的场景流程示意图；
[0101]
图9为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的场景示意图；
[0102]
图10为本申请实施例提供的一种自动驾驶系统的仿真测试装置的结构示意图；
[0103]
图11为本申请实施例提供的一种终端设备的结构示意图；
[0104]
图12为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
[0105]
本申请实施例提供了自动驾驶系统的仿真测试方法、装置以及存储介质，可以应
用于终端设备中包含自动驾驶系统的仿真测试功能的系统或程序中，通过获取自动驾驶系统中的目标测试场景，目标测试场景对应于第一控制算法进行测试，第一控制算法中的变量参数具有随机性；然后基于预设决策对第一控制算法进行调整，得到第二控制算法，预设决策用于约束第一控制算法中的变量参数；进一步的，基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；进而对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。从而实现了稳定一致性测试的过程，由于对控制算法中的变量参数进行了约束，去除了控制算法本身对于自动驾驶系统测试的干扰，提高了测试结果的准确性。
[0106]
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0107]
首先，对本申请实施例中可能出现的一些名词进行解释。
[0108]
仿真一致性(simulation consistence)：指在仿真系统中，同样的仿真测试场景，运行多次后，各数据和时序都是一致的，具有可重复性。
[0109]
应理解，本申请提供的自动驾驶系统的仿真测试方法可以应用于终端设备中包含自动驾驶系统的仿真测试功能的系统或程序中，例如自动驾驶模拟软件，具体的，自动驾驶系统的仿真测试系统可以运行于如图1所示的网络架构中，如图1所示，是自动驾驶系统的仿真测试系统运行的网络架构图，如图可知，自动驾驶系统的仿真测试系统可以提供与多个信息源的自动驾驶系统的仿真测试过程，即通过服务器侧进行自动驾驶系统的仿真测试以及一致性测试，并发送至终端侧进行显示，以使得用户了解自动驾驶场景的相关测试结果；可以理解的是，图1中示出了多种终端设备，终端设备可以为计算机设备，在实际场景中可以有更多或更少种类的终端设备参与到自动驾驶系统的仿真测试的过程中，具体数量和种类因实际场景而定，此处不做限定，另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，具体服务器数量因实际场景而定。
[0110]
本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，终端以及服务器可以连接组成区块链网络，本申请在此不做限制。
[0111]
可以理解的是，上述自动驾驶系统的仿真测试系统可以运行于个人移动终端，例如：作为自动驾驶模拟软件这样的应用，也可以运行于服务器，还可以作为运行于第三方设备以提供自动驾驶系统的仿真测试，得到信息源的自动驾驶系统的仿真测试处理结果；具体的自动驾驶系统的仿真测试系统可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实
际场景而定，此处不做限定。
[0112]
人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0113]
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0114]
在人工智能技术中，自动驾驶技术的发展尤为迅速。自动驾驶技术包括了高精地图、环境感知、行为决策、路径规划、运动控制等技术，有着广泛的应用前景。而在对自动驾驶进行测试的过程中，自动驾驶仿真结果的可信性与仿真环境是否与现实环境相近有着紧密的联系。
[0115]
在自动驾驶仿真的过程中仿真一致性为一种重要的性能指标，即在自动驾驶仿真系统中，同样的仿真测试场景，运行多次后，各数据和时序是否都是一致的，具有可重复性。
[0116]
但是，由于自动驾驶仿真的过程一般利用深度学习模型进行路线的规划、方向的调整等，容易产生算法偏差，影响自动驾驶系统中一致性测试结果的准确性。
[0117]
为了解决上述问题，本申请提出了一种自动驾驶系统的仿真测试方法，该方法应用于图2所示的自动驾驶系统的仿真测试的流程框架中，如图2所示，为本申请实施例提供的一种自动驾驶系统的仿真测试的流程架构图，首先在自动驾驶仿真系统中运行一系列测试场景，分别获取这些场景的一致性度量相关数据，作为第一次测试数据；再次在仿真系统中运行第一次所选择的一系列测试场景，分别获取这些场景的一致性度量相关数据，作为第二次测试数据。通过一致性度量系统，基于第一测试数据和第二测试数据，计算出两者的差异值，统计出仿真系统一致性差异值，从而可以评估仿真系统，在反复运行所选择的一系列测试场景时，仿真系统本身的执行结果一致性。
[0118]
另外，在测试过程中会使用到控制算法，为避免控制算法引入的差异干扰，基于预测决策对其进行管理，以减少不一致参数的引入。
[0119]
可以理解的是，本申请所提供的方法可以为一种程序的写入，以作为硬件系统中的一种处理逻辑，也可以作为一种自动驾驶系统的仿真测试装置，采用集成或外接的方式实现上述处理逻辑。作为一种实现方式，该自动驾驶系统的仿真测试装置通过获取自动驾驶系统中的目标测试场景，目标测试场景对应于第一控制算法进行测试，第一控制算法中的变量参数具有随机性；然后基于预设决策对第一控制算法进行调整，得到第二控制算法，预设决策用于约束第一控制算法中的变量参数；进一步的，基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；进而对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。从而实现了稳定一致性测试的过程，由于对控制算法中的变量参数进行了约束，去除了控制算法本身对于自动驾驶系统测试的干扰，提高了测试结果的准确性。
[0120]
本申请实施例提供的方案涉及人工智能的自动驾驶技术，具体通过如下实施例进
行说明:
[0121]
结合上述流程架构，下面将对本申请中自动驾驶系统的仿真测试方法进行介绍，请参阅图3，图3为本申请实施例提供的一种自动驾驶系统的仿真测试方法的流程图，该管理方法可以是由终端设备执行的，也可以是由服务器执行的，还可以是由终端设备与服务器共同执行的，下面以终端设备执行为例进行说明，本申请实施例至少包括以下步骤：
[0122]
301、获取自动驾驶系统中的目标测试场景。
[0123]
本实施例中，目标测试场景对应的预测测试算法为第一控制算法，第一控制算法中的变量参数具有随机性，该预测测试算法即为当前仿真测试开始时调用的算法，具体可以是统一规定的算法，也可以是上一次仿真测试记录中指示的算法，还可以是相关人员实时设定的用于仿真测试的算法，具体的形式因实际场景而定；其中，第一控制算法可以是决策规划控制(planning and controller，pnc)算法，用于控制仿真主车的路径规划和行驶动作(如加速、减速、转向、刹车等等)，一般基于深度学习实现，其本身具有一定的运行随机性。
[0124]
另外，对于目标测试场景，即为自动驾驶系统中具体运行的事件，可以包括车辆跟随场景、车道切入场景或行人穿越场景；通过不同的目标测试场景的测试，即可得到自动驾驶系统的仿真一致性。具体的，如图4所示，为本申请实施例提供的一种自动驾驶系统的仿真测试方法的场景示意图，仿真一致性即为图中的自动驾驶对象a1在重复测试中路径a2是否一致，或距离道路边界a3的距离是否一致，或对于障碍物a4的躲避动作是否一致，或对于指示牌a5的响应是否一致等。
[0125]
在一种可能的场景中，自动驾驶系统中的自动驾驶对象可以是车辆、摩托等交通工具，或一些可以移动的智能设备，此处以车辆为例进行说明。
[0126]
302、基于预设决策对第一控制算法进行调整，得到第二控制算法。
[0127]
本实施例中，预设决策用于约束第一控制算法中的变量参数；这是由于第一控制算法采用了pnc算法，具体用于控制仿真主车的路径规划和行驶动作(如加速、减速、转向、刹车等等)，且控制过程一般基于深度学习实现，故算法本身具有一定的运行随机性。为了解决由于pnc算法本身的不一致性而导致仿真运行数据不一致的问题，故需要对第一控制算法中的变量参数进行约束，具体的约束过程可以通过如下几个维度进行：
[0128]
(1)行驶参数约束。
[0129]
具体的，行驶参数即为自动驾驶对象在目标测试场景中的行驶速度、加速度等参数，由于在pnc算法中可能针对于不同的场景设定不同的速度等参数，故可以对其进行统一或约束在一定的范围内。即首先基于预设决策确定目标测试场景中的行驶参数；然后对行驶参数中的第一目标项设定行驶数值范围；进而基于行驶数值范围对第一控制算法进行调整，得到第二控制算法，从而保证重复测试过程中行驶参数的一致性。
[0130]
在一种可能的场景中，可以设定保持固定的加减速度(如
±
1m/s^2)、设定最大行驶速度为36km/h，具体的数值或项目因实际场景而定，此处不做限定。
[0131]
另外，由于pnc算法还会由于场景的变化进行行驶状态的调整，例如周围车辆多时自动变道。此时，可以将用于变道判定的阈值冻结，即重复测试过程中不会变道。具体的，即首先获取第一目标项的调整阈值，调整阈值用于指示自动驾驶对象进行车道改变；然后冻结调整阈值，以对第二控制算法进行更新。从而实现无论周边交通状况如何变化，都不会影
响自动驾驶对象在当前测试场景中变道。
[0132]
可以理解的是，对于冻结的项目，是与当前测试场景无关的项目，例如在天气模拟中，变道的过程不会对天气粒子的模拟过程产生影响，此时即可可以冻结判定变道的调整阈值。
[0133]
(2)路径规划约束。
[0134]
具体的，由于控制算法在目标测试场景中会指示自动驾驶对象进行路径的选择，若存在多条满足条件的路径则会进行随机选择，此时即引入了不一致的参数，故可以对路径规划过程进行约束。即首先基于预设决策确定目标测试场景中的路径规划参数，例如路径长度阈值；然后对路径规划参数中的第二目标项设定路径集合，例如路径长度(第二目标项)小于10km的路径集合；进而选取路径集合中满足预设条件的目标道路；并基于目标道路对第一控制算法进行设定，得到第二控制算法，例如对于路径规划的选择，只选择从a点到b的最短路径行驶，从而实现了路径规划维度的不一致参数的消除。
[0135]
可以理解的是，其中第二目标项可以是路径长度、弯道数、直线距离、道路宽度等，具体参数选择因实际场景而定，此处不做限制。
[0136]
(3)控制变量约束。
[0137]
具体的，控制变量即为在控制自动驾驶对象过程中产生的变量，例如控制自动驾驶对象的加速为速度变化的过程，可能出现变化速率不一致的情况。故可以首先基于预设决策确定目标测试场景中的控制变量，控制变量用于指示自动驾驶对象的操控情况；然后对控制变量进行标定，得到目标赋值；进而基于目标赋值对第一控制算法进行设定，得到第二控制算法。例如对于控制算法，在自动驾驶仿真软件中可以采用完美控制(不存在变化中间值，例如速度设定为40km/h，则立即变换为该速度值)本车的方式实现，比如速度、转向等，可以直接赋值控制实现，从而减少了控制过程中的中间变量。
[0138]
可以理解的是，上述不同维度的约束过程可以采用其中一个，也可以采用多个的结合，具体形式因实际场景而定，此处不做限定。
[0139]
在一种可能的场景中，目标测试场景中的控制算法设置距离主车(自动驾驶算法控制的车辆)同车道正前方50米处，有一辆suv交通车，交通车以36km/h匀速行驶，主车从0开始行驶，逐渐加速，直到与前车保存一定的距离匀速行驶。仿真系统通过给主车发送交通车的行驶状态信息和位置信息，以及周围环境(如建筑物、围栏、草木等)和道路相关信息(如车道线、曲率等)。
[0140]
由于在上述场景中，主车的行为一般情况下是随机不可控地。可通过简化的自动驾驶算法控制主车来实现。比如主车从0开始行驶时，加速度保持1m/s^2，最大速度为36km/h，遇到前方有物体时只保持当前速度行驶，且不会变道。从而解决了具有随机性的深度学习训练的自动驾驶控制算法。
[0141]
另外，对于控制算法的变量控制还可以采用录制回放实现，即第二次运行时，采用录制回放第一次pnc的运行数据，从而解决了pnc本身的一致性问题，具体在第二测试数据的获取过程中说明。
[0142]
303、基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；
[0143]
本实施例中，第一测试数据和第二测试数据可以是开始测试四的前两次测试，也
可以是多次测试中任意相邻的两次测试，还可以是多次测试过程中的任意两次，具体的次序因实际场景而定，此处不做限定。
[0144]
具体的，对于第一测试数据的获取过程，可以是通过监听和获取自动驾驶仿真系统本身所有子模块发送的每帧数据所得到的，即获取自动驾驶系统在目标测试场景中的监听模块，即目标测试场景中不同事件对应的处理线程，也可以称为子模块；然后在基于第二控制算法在目标测试场景中进行第一次仿真测试的过程中，对监听模块的输出的目标类型数据进行消息收集，得到第一测试数据。
[0145]
可选的，对于对于每个子模块的输出数据可以根据分类进行统计，即提取监听模块的输出的目标类型数据对应的数据信息；并提取监听模块的输出的目标类型数据对应的仿真时间信息；并提取监听模块的输出的目标类型数据对应的物理时间信息；进而基于数据信息、仿真时间信息和物理时间信息确定三元组数据，得到第一测试数据。其中，对于每个子模块的输出数据可以通过子模块i的第j种消息类型进行标记，即表示为m
i,j
(d，v，t)三元组，其中d为数据向量，v为仿真时间向量，t物理时间向量，具体的：
[0146]
d＝(d1,d2,d3,
…
,d
n
)
[0147]
v＝(v1,v2,v3,
…
,v
n
)
[0148]
t＝(t1,t2,t3,
…
,t
n
)
[0149]
其中，d1,d2,d
n
分别表示第1帧、第2帧、第n帧数据，v1,v2,v
n
分别表示第1帧、第2帧、第n帧的仿真时间，t1,t2,t
n
分别表示第1帧、第2帧、第n帧的归一化真实系统时间。
[0150]
可选的，对于归一化真实系统时间可以首先提取监听模块的输出的目标类型数据对应的系统时间信息；然后确定时间常量；基于时间常量对系统时间信息进行对齐，得到物理时间信息。例如设定归一化时间计算方法如下：t
i
＝t
c-t0，其中t
c
表示当前系统时间戳，t0表示所对齐的时间戳原点，是一个设定的常量。
[0151]
在确定第一测试数据之后，各个数据模块根据上述定义的数据存储格式，通过消息订阅的方式获取场景运行过程中的所有数据，并保存到磁盘或数据库中，以便于后续的一致性比对。
[0152]
可以理解的是，对于第二测试数据的确定，可以重复上述第一测试数据基于第二控制算法的数据提取过程，可以采用录制回放第一测试数据的方式进行，即首先基于第二控制算法在目标测试场景中进行第一次仿真测试，得到第一测试数据；然后在第一次仿真测试过程中进行数据录制，得到回放参数；基于回放参数在目标测试场景中进行第二次测试，得到第二测试数据。从而保证了第二次测试与第一次测试过程中控制参数的一致性。
[0153]
304、对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。
[0154]
本实施例中，一致性的测试结果即计算两次运行结果的数据差异性，即基于监听项对比第一测试数据和第二测试数据中，得到差异项；然后根据差异项确定指示自动驾驶系统一致性的测试结果。
[0155]
在一种可能的场景中，对于差异项的确定，可以首先遍历仿真系统各子模块(监听模块)的两次运行数据；然后对于子模块i的第j种消息类型的数据，计算两次的差异性；具体公式如下：
[0156]
d
i,j
＝m1
i,j-m2
i,j
[0157]
其中，m1
i,j
为第一测试数据；m2
i,j
为第二测试数据。
[0158]
可选的，还可以对d
i,j
进行归一化处理，具体的处理方式可以为若元素e
i,j
为非零，则设置为1。然后统计所有子模块的所有消息类型的差异性，得到总的差异性数据，具体公式如下：
[0159][0160]
其中，d表示两次运行结果的差异性矩阵，非0值越多，表示一致性越差；n表示仿真系统的子模块个数，m表示子模块的最大发送消息种类。
[0161]
可选的，为了直观的表示上述差异性，可以归一化上述差异性d，得到一致性，其中，c越大，表示一致性程度越高，c＝100％表示两次运行数据完全一致，具体公式如下：
[0162][0163]
其中，sum(d)即为差异项的总数，m*n为目标测试场景中的项目总数。
[0164]
可以理解的是，若一致性达标，则终止仿真系统一致性优化；若仿真一致性结果不达标，则优化仿真系统的一致性后，再次重复上述优化过程。即提取测试结果中的目标参数；若目标参数小于预设值，则对自动驾驶系统进行优化；然后基于第二控制算法在优化后的目标测试场景中进行至少两次仿真测试，得到第三测试数据和第四测试数据；对比第三测试数据和第四测试数据，得到用于指示自动驾驶系统一致性的优化结果。从而达到既能验证和评估仿真系统一致性问题，又能给仿真系统一致性优化提供参考数据，辅助仿真系统一致性优化过程。
[0165]
结合上述实施例可知，通过获取自动驾驶系统中的目标测试场景，目标测试场景对应于第一控制算法进行测试，第一控制算法中的变量参数具有随机性；然后基于预设决策对第一控制算法进行调整，得到第二控制算法，预设决策用于约束第一控制算法中的变量参数；进一步的，基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；进而对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。从而实现了稳定一致性测试的过程，由于对控制算法中的变量参数进行了约束，去除了控制算法本身对于自动驾驶系统测试的干扰，提高了测试结果的准确性。
[0166]
在一种可能的场景中，图3所示的实施例可以采用如图5所示的模块分布，为本申请实施例提供的一种自动驾驶系统的仿真测试方法的场景示意图，图中示出了不同模块之间的处理逻辑，其中。场景选取模块501提供接口给用户选择需要运行的测试场景，是仿真系统与用户的交互模块；
[0167]
场景运行模块502，负责仿真测试场景的运行和调度；
[0168]
数据处理模块503，用于获取仿真测试场景运行过程中的数据，并对数据进行归一化处理。
[0169]
数据处理模块503，还负责监听和收集仿真系统的运行数据，并对数据进行对齐、存储和归一化处理。
[0170]
如图6所示，为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的场景示意图，即数据处理模块可以包括算法管理模块，和录制模块，用于进行控制算法一致性的管理，具体参见图3所示实施例的描述，此处不做赘述。
[0171]
一致性计算模块504，负责根据两次仿真运行数据，计算出仿真两次的一致性差异值，并根据一致性计算模块，给出本次一致性评测结果的报表数据。
[0172]
对报表数据进行仿真一致性是否达标505的判定。若不达标，则优化仿真系统一致性506，若达标。则结束仿真系统一致性优化507。
[0173]
结合图5所示的流程，可以采用图7所示的执行过程，图7为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的流程图。图中示出了在测试场景的运行时需要进行是否第一次运行的判定，这是为了进行录制数据获取。然后进行控制算法一致性的判定，即控制算法是否进行了约束，或控制算法是否采用了相同的参数设定，进而可以进行对应的测试数据的获取，从而计算一致性，并得到评价结果。
[0174]
通过分析仿真系统各步骤、各模块的输出数据和对应的消息帧序列号，结合仿真系统的物理时间戳，通过录制回放和替换随机性算法的方式解决决策规划算法的不一致性所造成的差异，计算出两次仿真测试的一致性差异值，达到评估仿真系统一致性的目的。本申请具有可信度高、计算简单快捷的特点，能够作为评估仿真系统稳定性的一个度量指标项.
[0175]
另外在一些场景中还可以对差异项进行溯源，下面对该场景进行说明。请参阅图8，图8为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的流程图，本申请实施例至少包括以下步骤：
[0176]
801、获取自动驾驶系统中的目标测试场景。
[0177]
802、基于目标测试场景进行一致性测试。
[0178]
本实施例中，步骤801-802与图3所示的步骤301-304相似，此处不做赘述。
[0179]
803、确定测试结果中的差异项。
[0180]
本实施例中，差异项即为哪个监控模块获取的哪一类信息的哪一帧，即对于m
i,j
(d，v，t)进行解析。
[0181]
804、对差异项进行溯源，得到目标位置信息。
[0182]
本实施例中，根据m
i,j
(d，v，t)的具体数值分布即可得到差异项具体的位置，例如差异项的目标位置信息为第1子模块第2类数据的第10帧，进而可以提供给相关技术人员进行数据的调整或核验。
[0183]
805、基于目标位置信息进行优化，并重复一致性测试。
[0184]
本实施例中，对差异项定位并调整后，可以重复一致性测试的过程，具体的上述测试过程可以在图9所示的界面中展示，图9为本申请实施例提供的另一种自动驾驶系统的仿真测试方法的场景示意图，即自动驾驶对象的交互界面中会显示性能测试的进度，还可以显示当前一致性测试是否稳定，是否可以开始自动驾驶。
[0185]
本实施例中，解决了仿真系统本身的一致性测量问题，可量化评估仿真系统的一致性，且通过对仿真系统的一致性评估验证结果，可以促进仿真系统一致性优化改进。进一步的，在测试一致性时，对仿真系统影响较小，计算简单快捷，且能够精确到具体的模块消息和帧数。
[0186]
为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图10，图10为本申请实施例提供的一种自动驾驶系统的仿真测试装置的结构示意图，仿真测试装置1000包括：
[0187]
获取单元1001，用于获取自动驾驶系统中的目标测试场景，所述目标测试场景对应的预设测试算法为第一控制算法，所述第一控制算法中的变量参数具有随机性；
[0188]
调整单元1002，用于基于预设决策对所述第一控制算法进行调整，得到第二控制算法，所述预设决策用于约束所述第一控制算法中的所述变量参数；
[0189]
测试单元1003，用于基于所述第二控制算法在所述目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；
[0190]
所述测试单元1003，还用于对比所述第一测试数据和所述第二测试数据，得到用于指示所述自动驾驶系统一致性的测试结果。
[0191]
可选的，在本申请一些可能的实现方式中，所述调整单元1002，具体用于基于所述预设决策确定所述目标测试场景中的行驶参数；
[0192]
所述调整单元1002，具体用于对所述行驶参数中的第一目标项设定行驶数值范围；
[0193]
所述调整单元1002，具体用于基于所述行驶数值范围对所述第一控制算法进行调整，得到所述第二控制算法。
[0194]
可选的，在本申请一些可能的实现方式中，所述调整单元1002，具体用于获取所述第一目标项的调整阈值，所述调整阈值用于指示自动驾驶对象进行车道改变；
[0195]
所述调整单元1002，具体用于冻结所述调整阈值，以对所述第二控制算法进行更新。
[0196]
可选的，在本申请一些可能的实现方式中，所述调整单元1002，具体用于基于所述预设决策确定所述目标测试场景中的路径规划参数；
[0197]
所述调整单元1002，具体用于对所述路径规划参数中的第二目标项设定路径集合；
[0198]
所述调整单元1002，具体用于选取所述路径集合中满足预设条件的目标道路；
[0199]
所述调整单元1002，具体用于基于所述目标道路对所述第一控制算法进行设定，得到所述第二控制算法。
[0200]
可选的，在本申请一些可能的实现方式中，所述调整单元1002，具体用于基于所述预设决策确定所述目标测试场景中的控制变量，所述控制变量用于指示自动驾驶对象的操控情况；
[0201]
所述调整单元1002，具体用于对所述控制变量进行标定，得到目标赋值；
[0202]
所述调整单元1002，具体用于基于所述目标赋值对所述第一控制算法进行设定，得到所述第二控制算法。
[0203]
可选的，在本申请一些可能的实现方式中，所述测试单元1003，具体用于基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试，得到所述第一测试数据；
[0204]
所述测试单元1003，具体用于在所述第一次仿真测试过程中进行数据录制，得到回放参数；
[0205]
所述测试单元1003，具体用于基于所述回放参数在所述目标测试场景中进行第二
次测试，得到所述第二测试数据。
[0206]
可选的，在本申请一些可能的实现方式中，所述测试单元1003，具体用于获取所述自动驾驶系统在所述目标测试场景中的监听模块；
[0207]
所述测试单元1003，具体用于在基于所述第二控制算法在所述目标测试场景中进行第一次仿真测试的过程中，对所述监听模块的输出的目标类型数据进行消息收集，得到所述第一测试数据。
[0208]
可选的，在本申请一些可能的实现方式中，所述测试单元1003，具体用于提取所述监听模块的输出的所述目标类型数据对应的数据信息；
[0209]
所述测试单元1003，具体用于提取所述监听模块的输出的所述目标类型数据对应的仿真时间信息；
[0210]
所述测试单元1003，具体用于提取所述监听模块的输出的所述目标类型数据对应的物理时间信息；
[0211]
所述测试单元1003，具体用于基于所述数据信息、所述仿真时间信息和所述物理时间信息确定三元组数据，得到所述第一测试数据。
[0212]
可选的，在本申请一些可能的实现方式中，所述测试单元1003，具体用于提取所述监听模块的输出的所述目标类型数据对应的系统时间信息；
[0213]
所述测试单元1003，具体用于确定时间常量；
[0214]
所述测试单元1003，具体用于基于所述时间常量对所述系统时间信息进行对齐，得到所述物理时间信息。
[0215]
可选的，在本申请一些可能的实现方式中，所述测试单元1003，具体用于基于监听项对比所述第一测试数据和所述第二测试数据中，得到差异项；
[0216]
所述测试单元1003，具体用于根据所述差异项确定指示所述自动驾驶系统一致性的所述测试结果。
[0217]
可选的，在本申请一些可能的实现方式中，其特征在于，所述测试单元1003，具体用于提取所述测试结果中的目标参数；
[0218]
所述测试单元1003，具体用于若所述目标参数小于预设值，则对所述自动驾驶系统进行优化；
[0219]
所述测试单元1003，具体用于基于所述第二控制算法在优化后的所述目标测试场景中进行至少两次仿真测试，得到第三测试数据和第四测试数据；
[0220]
所述测试单元1003，具体用于对比所述第三测试数据和所述第四测试数据，得到用于指示所述自动驾驶系统一致性的优化结果。
[0221]
通过获取自动驾驶系统中的目标测试场景，目标测试场景对应于第一控制算法进行测试，第一控制算法中的变量参数具有随机性；然后基于预设决策对第一控制算法进行调整，得到第二控制算法，预设决策用于约束第一控制算法中的变量参数；进一步的，基于第二控制算法在目标测试场景中进行至少两次仿真测试，得到第一测试数据和第二测试数据；进而对比第一测试数据和第二测试数据，得到用于指示自动驾驶系统一致性的测试结果。从而实现了稳定一致性测试的过程，由于对控制算法中的变量参数进行了约束，去除了控制算法本身对于自动驾驶系统测试的干扰，提高了测试结果的准确性。
[0222]
本申请实施例还提供了一种终端设备，如图11所示，是本申请实施例提供的另一
种终端设备的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant，pda)、销售终端(point of sales，pos)、车载电脑等任意终端设备，以终端为手机为例：
[0223]
图11示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图11，手机包括：射频(radio frequency，rf)电路1110、存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、无线保真(wireless fidelity，wifi)模块1170、处理器1180、以及电源1190等部件。本领域技术人员可以理解，图11中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0224]
下面结合图11对手机的各个构成部件进行具体的介绍：
[0225]
rf电路1110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1180处理；另外，将设计上行的数据发送给基站。通常，rf电路1110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，lna)、双工器等。此外，rf电路1110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access,wcdma)、长期演进(long term evolution，lte)、电子邮件、短消息服务(short messaging service，sms)等。
[0226]
存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0227]
输入单元1130可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1130可包括触控面板1131以及其他输入设备1132。触控面板1131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1131上或在触控面板1131附近的操作，以及在触控面板1131上一定范围内的隔空触控操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1131。除了触控面板1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0228]
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1140可包括显示面板1141，可选的，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)等形式来配置显示面板1141。进一步的，触控面板1131可覆盖显示面板1141，当触控面板1131检测到在其上或附近的触摸操作后，传送给处理器1180以确定触摸事件的类型，随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图11中，触控面板1131与显示面板1141是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1131与显示面板1141集成而实现手机的输入和输出功能。
[0229]
手机还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0230]
音频电路1160、扬声器1161，传声器1162可提供用户与手机之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出处理器1180处理后，经rf电路1110以发送给比如另一手机，或者将音频数据输出至存储器1120以便进一步处理。
[0231]
wifi属于短距离无线传输技术，手机通过wifi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了wifi模块1170，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0232]
处理器1180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1180可包括一个或多个处理单元；可选的，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。
[0233]
手机还包括给各个部件供电的电源1190(比如电池)，可选的，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0234]
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
[0235]
在本申请实施例中，该终端所包括的处理器1180还具有执行如上述页面处理方法的各个步骤的功能。
[0236]
本申请实施例还提供了一种服务器，请参阅图12，图12是本申请实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1222(例如，一个或一个
以上处理器)和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中，存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。
[0237]
服务器1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作系统1241，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0238]
上述实施例中由管理装置所执行的步骤可以基于该图12所示的服务器结构。
[0239]
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有自动驾驶系统的仿真测试指令，当其在计算机上运行时，使得计算机执行如前述图3至图9所示实施例描述的方法中自动驾驶系统的仿真测试装置所执行的步骤。
[0240]
本申请实施例中还提供一种包括自动驾驶系统的仿真测试指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图9所示实施例描述的方法中自动驾驶系统的仿真测试装置所执行的步骤。
[0241]
本申请实施例还提供了一种自动驾驶系统的仿真测试系统，所述自动驾驶系统的仿真测试系统可以包含图10所描述实施例中的自动驾驶系统的仿真测试装置，或图11所描述实施例中的终端设备，或者图12所描述的服务器。
[0242]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0243]
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0244]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0245]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0246]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，自动驾驶系统的仿真测试装置，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器
(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0247]
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。