自动驾驶汽车仿真测试的自动化评价体系构建方法及系统与流程

1.本发明涉及自动驾驶汽车仿真测试技术领域，尤其针对一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统。


背景技术：

2.目前，随着自动驾驶汽车的仿真测试系统往高等级的快速发展，其测试评价方法越来越重要。在现有技术中，自动驾驶系统的仿真测试评价方法主要是通过不同的数据分析软件，根据不同的测试目的生成不同的分析结果，最后基于得到的分析结果人工撰写评价报告。
3.具体地，针对自动驾驶进行功能和场景的测试，针对特定的自动驾驶功能，在给定测试场景的前提下，评价测试的自动驾驶汽车是否可以在该场景中安全行驶。针对特定的测试场景，将测试车辆置于该测试场景中，在自动驾驶汽车能够安全行驶的前提下，评价该场景的复杂程度，例如周围环境的复杂程度或驾驶任务的复杂程度等。测试过程，如果要对自动驾驶系统进行更加全面的仿真测试评价，需要配置更多种类的仿真测试软件、场景工况等。后续再对不同的测试结果，主要从安全性、合规性、时效性、舒适性四个指标进行评价。因此，急需一种基于仿真测试系统的自动驾驶汽车测试自动化评价方法及系统。


技术实现要素：

4.本发明针对现有技术中的不足，提供了一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统，实现对自动驾驶仿真测试的自动化评价，并且解决自动驾驶仿真测试结果分析评价效率低的问题。
5.本发明所采用的技术方案如下：一种自动驾驶汽车仿真测试的自动化评价体系构建方法，包括：
6.首先，建立多项评价规则，所述评价规则根据标准法规要求和自动驾驶汽车的评价体系建立；
7.其次，细化评价细则，所述评价细则由每项评价规则转化而成；
8.所述评价细则包括评价场景、评价要素、评价指标；
9.再次，制定评价逻辑，所述评价逻辑基于所述评价指标和评价规则制定而成；
10.再次，编辑评价脚本，所述评价脚本基于所述评价逻辑制定而成；
11.最后，根据所述评价逻辑、评价脚本，得出自动化评价结果。
12.进一步地，所述评价规则包括合规性规则、安全性规则、通过性规则、舒适性规则。
13.进一步地，所述评价场景，基于仿真测试的不同测试场景和所述评价规则划分而成，,划分出多种评价场景；
14.所述评价要素，基于所述评价场景分类情况和所述评价规则细分而成，细分出多个评价要素；
15.所述评价指标，基于细分的所述评价要素和所述评价规则制定而成，制定出多个
评价指标。
16.进一步地，所述评价规则与评价场景不一一对应，所述一个评价场景可对应多个评价规则，一个评价规则也可对应多个评价场景；
17.所述评价场景与评价要素不一一对应，所述一个评价场景可对应多个评价要素，一个评价要素也可对应多个评价场景；
18.所述评价要素与评价指标不一一对应，所述一个评价要素可对应多个评价指标，一个评价指标也可对应多个评价要素；
19.所述评价逻辑与评价脚本不一一对应，一个评价逻辑可对应多个评价脚本，一个评价脚本也可对应多个评价逻辑。
20.进一步地，所述评价结果通过评价报告形式输出；
21.所述评价报告内容包括评价结果数据展示和可视化展示；
22.所述评价报告包括专项报告和总体报告。
23.本发明还提供一种自动驾驶汽车仿真测试的自动化评价系统，包括客户端和后端；
24.所述客户端的功能界面包括数据上传、评价配置、评价报告和数据展示；
25.所述后端包括功能模块和管理端；
26.所述后端的功能模块包括数据处理、评价配置、报告生成、数据分析及可视化；
27.所述后端的管理端包括原始数据管理、算法库管理、报告数据管理。
28.进一步地，所述后端的数据处理模块，将用户上传的测试数据读取并保存至后端的原始数据管理中，执行数据处理任务；
29.所述后端的评价配置模块，将用户所需的评价指标及相关参数，通过管理端的算法库管理选取相应的算法，执行评价配置任务；
30.所述后端的报告生成模块，将用户所需的报告数据通过后端的报告数据管理进行配置，执行报告生成任务；
31.所述后端的数据分析及可视化模块，将用户所需的数据，通过后端的原始数据管理模块和报告数据管理进行配置，执行数据分析及可视化任务。
32.与现有技术相比，本发明的优点体现在：
33.(1)本发明提供的一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统，与现有的技术相比，具备一整套的测试评价方法，能够以不同维度对整个仿真测试进行评价，评价结果内容更加丰富，且更具备参考性。
34.(2)本发明提供的一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统，开放部分接口，能够让用户自行根据需求编辑评价边界，以适应不同客户的评价需求。
35.(3)本发明提供的一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统，具备自动化的特点，实现整套评价自动化运行，极大减少了人工操作，提升了评价效率。
附图说明
36.图1为本发明一种自动驾驶汽车仿真测试的自动化评价体系构建方法示意图；
37.图2为本发明一种自动驾驶汽车仿真测试的自动化评价系统架构图；
38.图3为本发明一种自动驾驶汽车仿真测试的自动化评价系统实施例一图；
39.图4为本发明一种自动驾驶汽车仿真测试的自动化评价系统实施例二图。
具体实施方式
40.下面结合附图和实施例对本发明进行详细的描述。
41.本发明提供一种自动驾驶汽车仿真测试的自动化评价体系构建方法及系统，该评价体系构建方法是通过针对仿真测试中不同测试场景及不同的评价规则，制定一套完整的评价方法，实现对自动驾驶系统仿真测试的评价；并建立一种自动化评价的系统，通过数据分析、指标算法评价等输出一套详细的评价报告，实现仿真测试的自动化评价。
42.一种自动驾驶汽车仿真测试的自动化评价体系构建方法，如图1所示，该方法通过建立多项评价规则，并将评价规则转化为评价细则，再对评价细则进一步细分，形成评价场景、评价要素、评价指标等评价内容，再通过制定评价逻辑池、编辑评价脚本，形成完整的评价方法，从而实现自动化评价结果输出。
43.该评价体系构建方法的具体步骤如下：
44.步骤1、建立评价规则及评价细则，基于车辆的道路安全法以及现有自动驾驶的评价体系，通过不同评价维度建立多项评价规则，所述评价规则包括但不限于通过性规则、合规性规则、安全性规则。
45.再根据每项评价规则，转化为具体的评价细则。
46.所述评价细则包括评价场景、评价要素、评价指标等评价内容。
47.步骤2、细化评价场景，针对仿真测试的不同测试场景并基于具体的评价规则所对应的场景，罗列划分出多种评价场景。
48.步骤3、分解评价要素，针对评价场景分类情况和基于具体的评价规则，细分出多个评价要素。
49.步骤4、制定评价指标，针对细化的评价要素和基于具体的评价规则，制定多个评价指标。
50.步骤5、制定评价逻辑，根据所提取的评价指标和基于具体的评价规则，制定多种评价逻辑，形成评价逻辑池。
51.步骤6、编辑评价脚本，根据制定的评价逻辑内容，制定多种评价脚本，并编辑评价脚本内容。
52.所述评价规则与评价场景不一一对应，一个评价场景可对应多个评价规则，一个评价规则也可对应多个评价场景。
53.所述评价场景与评价要素不一一对应，一个评价场景可对应多个评价要素，一个评价要素也可对应多个评价场景。
54.所述评价要素与评价指标不一一对应，一个评价要素可对应多个评价指标，一个评价指标也可对应多个评价要素。
55.所述评价逻辑与评价脚本不一一对应，一个评价逻辑可对应多个评价脚本，一个评价脚本也可对应多个评价逻辑。
56.步骤7、输出评价结果，输出的评价结果包括评价报告，评价报告中包括有根据评价规则及评价指标提取出自动驾驶的通过性评价控制参数，具体有速度控制、变道控制、超出控制、转弯控制、停车控制、交通灯控制、交通标志响应、让行控制等，并对控制参数数据
进行通过率数值统计，为用户做参考与使用。
57.评价报告的形式有数据曲线展示和评价结果展示等。
58.同时评价报告分类有总体评价报告和专项指标评价报告等。
59.基于上述目的，如图2所示，本发明提供了一种自动驾驶汽车仿真测试的自动化评价系统架构图。该系统包括客户端和后端。
60.所述客户端的功能界面包括数据上传、评价配置、评价报告和数据展示。
61.所述数据上传，是用户对数据上传功能界面进行编辑，将测试数据通过上传方式导入至评价系统中。
62.所述评价配置，是用户可以选择不同场景下的评价指标及相关参数进行编辑，也就是编辑所述的评价逻辑和评价脚本，所述评价指标包括但不限于通过性指标、合规性指标、安全性指标等。
63.所述评价报告，是系统自动化生成用户所需的评价报告，包括数据曲线展示、评价结果展示等。
64.所述数据展示，是用户可选择感兴趣的数据用来做数据分析及可视化展示。
65.所述后端包括功能模块和管理端。
66.所述功能模块与客户端的功能界面一一对应，包括数据处理、评价配置、报告生成、数据分析及可视化。
67.所述数据处理，用于将用户上传的原始数据进行读取，并保存至数据库中，以备分析评价使用，具备多种类型、多种格式的数据读取功能。
68.所述评价配置，用于将用户所需的评价指标及相关参数选取相应的算法进行配置。
69.所述报告生成，根据用户需求将评价报告进行管理。
70.所述数据分析及可视化，通过用户所需的参数及评价指标进行数据分析及可视化展示。
71.所述管理端包括原始数据管理、算法库管理、报告数据管理。
72.所述原始数据管理，包括对用户上传的原始数据进行管理。
73.所述算法库管理，包括对用户配置的评价算法进行管理。所述的算法库包括但不限于标准法规评价算法、通过性评价算法、合规性评价算法、安全性评价算法等。
74.所述报告数据管理，包括对用户所需的生成报告数据进行管理。
75.用户与客户端、客户端与后端的交互情况说明如下：
76.所述数据上传，用户通过编辑客户端功能界面中的数据上传模块，将测试数据通过上传方式导入保存至管理端的原始数据管理的数据库中，并通过功能模块中的数据处理模块对数据执行读取任务。
77.所述评价配置，用户通过编辑客户端功能界面中的评价配置模块，将用户所需的评价指标及相关参数通过管理端的算法库管理选取相应的算法进行配置，并通过功能模块中的评价配置模块对评价指标及相关参数执行配置任务。
78.所述评价报告，用户通过编辑客户端功能界面中的评价报告模块，将用户所需的评价报告中相应的报告数据通过管理端的报告数据管理进行配置，并通过功能模块中的报告生成模块对生成报告数据执行配置任务。
79.所述数据展示，用户通过编辑客户端功能界面中的数据展示模块，将用户所需的数据通过管理端的原始数据管理模块和报告数据管理模块选取的相应数据进行配置，并通过功能模块中的数据分析及可视化模块对用户所需展示的数据执行配置任务。
80.实施例
81.如图1所示，举例说明自动驾驶仿真测试自动化评价体系构建方法，内容如下：
82.1、根据自动驾驶汽车系统，制定仿真测试的评价规则，包括通过性规则、合规性规则、安全性规则等。
83.2、进一步地，根据评价规则以及现有的评价场景，再细分出评价场景，分别有限速、跟车、切入、切出、变道、泊车等多种场景。
84.3、然后，以跟车评价场景为例具体说明自动化评价方法，将跟车场景进行下一步分解，分解的评价要素为：目标物加速、目标物减速、目标物低速、目标物静止、偏移跟车、近距跟车等评价要素。
85.4、根据跟车场景分解的评价要素制定出评价指标，分别是：自车速度、自车减速度、自车减速度变化率、自车减速度峰值、自车最小ttc、自车制动距离等评价指标。
86.5、进一步地，根据跟车场景的评价指标制定评价逻辑，分别有：
87.设定限速标志牌为x值，当自车速度值大于x值时，判断为自车超速驾驶状态。
88.当自车轮胎压实线时，判断为自车压线状态。
89.当自车切入行驶时，自车与目标车距离小于一定的设定值时，判断自车为危险驾驶状态。
90.6、编辑评价脚本：根据跟车场景的评价逻辑，制定评价脚本。
91.评价脚本内容有：编辑速度范围、编辑跟车距离范围、编辑加速度范围等。
92.7、评价结果输出：
93.评价结果包括评价报告，报告内容包括根据场景对应的评价参数的通过率进行数值统计，既有数据曲线展示也有单个数据统计展示。
94.如图3所示，本发明提供了一种自动驾驶汽车仿真测试的自动化评价系统实施例。
95.该系统包括数据源管理、数据分析模块和核心评价算法模块以及输出报告管理模块。
96.所述数据源管理，提供多种类型、多种格式数据读取功能。
97.所述数据分析模块，提供数据分析及数据后处理功能。
98.所述核心评价算法模块，包括但不限于标准法规指标评价算法、功能性指标评价算法、安全性评价评价算法、合规性指标评价算法等。
99.所述输出报告管理模块，包括评价指标统计报告显示、专项指标评价报告显示等。
100.如图4所示，本发明提供了另一种自动驾驶汽车仿真测试的自动化评价系统实施例。
101.该系统包括测试场景匹配、评价指标配置和评价算法配置以及报告输出模块。
102.所述测试场景匹配，包括从仿真测试的测试场景和具体的测试用例进行场景匹配，针对不同场景配置不同的评价指标。
103.所述评价指标配置，评价指标包括但不限于通过性指标、合规性指标、安全性指标等。
104.所述评价算法配置，包括但不限于标准法规评价算法、通过性评价算法、合规性指标评价算法、安全性评价算法等，将仿真测试数据输入，执行相应算法。
105.所述报告输出，输出评价报告，包括数据曲线展示、评价结果展示等数据可视化结果。