自动驾驶算法的通用自进化方法及系统

本技术实施例涉及车辆驾驶控制，特别涉及一种自动驾驶算法的通用自进化方法及系统。

背景技术：

1、随着人工智能、大数据等新一代科技的蓬勃发展，汽车产业也迎来了数字化和智能化变革，而其中自动驾驶车辆控制技术尤其受到科研界与工业界的关注。自动驾驶旨在提供安全、舒适和高效的驾驶体验，不但能极大便利人们现有的出行方式，同时在减少交通事故、减缓交通拥堵程度等都有着巨大的发展潜力。高级别自动驾驶（l4及以上）能够应对现实场景中绝大多数的复杂交通环境，而对于罕见的突发意外场景也有一定的风险规避能力，是目前自动驾驶技术所预期达到的目标，同时也是当前研究的重难点。

2、随着自动驾驶行业的发展逐步步入下半场，如何实现自动驾驶系统从面向常见的自然场景过渡到面向边缘的安全关键场景，解决边缘场景的长尾难题，保持自动驾驶算法的不断进化学习，最终实现高级别自动驾驶功能开始受到越来越广泛地关注与研究。目前行业所面临的一大技术难题是，由于当前弱人工智能时代技术现状，单一人工智能算法很难应对复杂多变环境。而基于闭环学习的自动驾驶算法能过够保证算法不断地积累经验，从应对简单场景到逐渐掌握复杂未知的安全关键场景，实现算法的持续进化。

3、当前基于闭环自进化学习算法的研究尚处在萌芽阶段，一些研究提出了从超参数调节的角度不断优化算法表现的方法，也有提出了基于持续学习的算法方法。可以看到的是，当前的自进化学习方法往往适用于单一或少数相近的算法模型，对基于不同自动驾驶算法模型的泛用性较差。而从算法进化的角度来说，当前方法难以很好地将分析的当前算法的综合性能，和识别的算法性能边界等评价测试结果有效反馈到算法训练学习过程中。另一方面，在算法从易到难的学习过程中如何有效地相应生成更加复杂且危险的场景，从而更好地帮助算法提升场景适应性，鲁棒性，扩充自身所涵盖的性能边界仍待解决。最后，现有自动驾驶算法自进化研究也缺少在训练过程中基于虚实车辆平台的联合测试验证，对于算法的实际表现效果难以进行实时有效反馈。

4、由此可见，目前针对自动驾驶自进化的研究方法中存在上述诸多问题，如能打通从算法训练，到测试评价，再到新训练测试场景的捕获生成，最后到虚实平台车辆仿真验证的全过程，将大大提高算法开发、认证和运行的全周期效率。

技术实现思路

1、本技术实施例提供一种自动驾驶算法的通用自进化方法及系统，实现对基于学习、优化、规则、模块化或端到端的任意算法类型进行算法自主优化升级，通过对抗场景生成和算法智能度及性能边界分析不断提升算法对复杂、未知和开放场景的应对能力，同时通过仿真平台与实车测试平台构建数字孪生场景，实现自动驾驶算法的开发、认证和运行全周期自动化闭环进化功能。

2、为了解决上述技术问题，第一方面，本技术实施例提供一种自动驾驶算法的通用自进化方法，包括以下步骤：首先，根据算法的类别对算法进行区分，并对不同类别的算法分别进行初始化处理；然后，分别构建仿真平台、实车部署平台，并分别对仿真平台、实车部署平台进行初始化处理；接下来，将初始化后的算法在自然场景下进行交互训练，得到输入算法学习后的收敛效果；然后，对输入算法学习后的收敛效果进行自然场景测试评价，并基于评价指标，判断算法的评判结果是否为优秀；若否，则算法继续进行在自然场景下的交互训练；若是，则算法进行对抗场景生成过程；接下来，对算法进行对抗场景生成；在完成对抗场景生成过程后，将安全关键场景注入场景库，所述场景库包括自然场景与新注入的安全关键场景，并将算法在所述场景库中采样场景下进行迭代训练；然后，分别在自然场景与对抗场景下，对迭代训练后的算法进行测试评价，并基于测试评价指标，判断迭代训练后的算法的评判结果是否为优秀；若否，则算法进行新一轮的对抗场景生成和迭代训练；若是，则算法进行闭环迭代自进化过程；最后，对算法进行闭环迭代自进化；在完成闭环迭代自进化过程后，输出进化算法，保障进化算法在当前的设计运行域中的驾驶安全性和驾驶性能。

3、在一些示例性实施例中，在完成闭环迭代自进化过程后，得到进化算法之后，上述自动驾驶算法的通用自进化方法还包括以下步骤：将进化算法输入实车部署平台用于进行车辆在环测试，通过云端数据通讯将仿真平台中的虚拟场景注入，测试在仿真平台测试场景下实车的现实驾驶性能表现，同时实时捕获实车反馈的边缘场景信息并注入训练场景库。

4、在一些示例性实施例中，不同类别的算法，包括：学习型算法、优化型算法、规则型算法、模块化算法以及端到端类算法；其中，学习型算法包括不同类型的深度学习算法和强化学习算法；对于学习型算法，对算法的初始化处理包括：神经网络模型结构的初始化、超参数设置、优化器选择与奖励函数的确定；对于优化型算法，对算法的初始化处理包括：预测时域、权重系数矩阵和约束范围的确定；对于规则型算法，对算法的初始化处理包括：各状态转移判断规则以及各状态下的相应参数范围的确定；对于模块化算法，对算法的初始化处理包括：依据模块所采取的不同算法类别分别进行相应的参数确定，约束建立、物理模型导入和网络初始化的步骤；端到端类算法的初始化处理过程与学习型算法的初始化处理过程相同。

5、在一些示例性实施例中，仿真平台基于开源高保真自动驾驶模拟器构建，通过脚本文件完成算法与仿真平台的通信接口编写、车辆传感器与控制器设置；仿真平台通过客户端脚本创建并交互车辆模型，并通过服务端窗口完成仿真环境与车辆模型的实时渲染体现；实车部署平台基于仿真场景注入，将虚拟驾驶场景传递给现实车辆，同时将现实车辆的位姿注入到虚拟场景中；实车部署平台能够支撑算法从虚拟跨越到现实的无隙衔接，实现安全地利用实际车辆数据训练，同时将算法的实车部署效果也得到体现反馈。

6、在一些示例性实施例中，通过生成参数化的场景数据，分别构建自然场景、对抗场景、安全关键场景的场景数据库；在初始化情况下，场景数据从自然驾驶数据集中采集，包括车辆的驾驶周遭环境与车辆的当前驾驶任务。

7、在一些示例性实施例中，场景数据包括道路拓扑结构、交通规则、地图信息、定位及导航信息、交通流模型、交通参与者种类及数量、天气状况以及行驶任务，以准确表征某特定驾驶场景和当前算法的输出目标。

8、在一些示例性实施例中，评价指标，包括：智能度评价、性能边界识别以及边缘场景提取；其中，智能度评价包括：环境复杂度、任务复杂度、测试完成度、驾驶自治性、学习进化性以及交通协调性。

9、在一些示例性实施例中，测试评价指标，包括：智能度评价、性能边界识别、边缘场景提取、特征归因分析以及压力测试；其中，智能度评价包括：环境复杂度、任务复杂度、测试完成度、驾驶自治性、学习进化性以及交通协调性。

10、第二方面，本技术实施例还提供一种自动驾驶算法的通用自进化系统，包括：依次连接的算法输入模块、平台构建模块、交互训练模块、自然场景测试评价模块、对抗场景生成模块、迭代训练模块、自然场景与对抗场景测试评价模块、闭环迭代自进化模块以及进化算法输出模块，其中，算法输入模块用于根据算法的类别对算法进行区分，并对不同类别的算法分别进行初始化处理；平台构建模块用于分别构建仿真平台、实车部署平台，并分别对仿真平台、实车部署平台进行初始化处理；交互训练模块用于将初始化后的算法在自然场景下进行交互训练，得到输入算法学习后的收敛效果；自然场景测试评价模块用于对输入算法学习后的收敛效果进行自然场景测试评价，并基于评价指标，判断算法的评判结果是否为优秀；若否，则算法继续进行在自然场景下的交互训练；若是，则算法进入对抗场景生成模块进行对抗场景生成过程；迭代训练模块用于在完成对抗场景生成过程后，将安全关键场景注入场景库，场景库包括自然场景与新注入的安全关键场景，并将算法在场景库中采样场景下进行迭代训练；自然场景与对抗场景测试评价模块用于分别在自然场景与对抗场景下，对迭代训练后的算法进行测试评价，并基于测试评价指标，判断迭代训练后的算法的评判结果是否为优秀；若否，则算法进行新一轮的对抗场景生成和迭代训练；若是，则算法进入闭环迭代自进化模块进行闭环迭代自进化过程；进化算法输出模块用于在完成闭环迭代自进化过程后，输出进化算法，保障进化算法在当前的设计运行域中的驾驶安全性和驾驶性能。

11、在一些示例性实施例中，上述自动驾驶算法的通用自进化系统还包括：与进化算法输出模块相连接的车辆在环测试模块；车辆在环测试模块用于将进化算法输入实车部署平台用于进行车辆在环测试，通过云端数据通讯将仿真平台中的虚拟场景注入，测试在仿真平台测试场景下实车的现实驾驶性能表现，同时实时捕获实车反馈的边缘场景信息并注入训练场景库。

12、本技术实施例提供的技术方案至少具有以下优点。

13、本技术实施例提供一种自动驾驶算法的通用自进化方法及系统，该方法包括以下步骤：首先，根据算法的类别对算法进行区分，并对不同类别的算法分别进行初始化处理；然后，分别构建仿真平台、实车部署平台，并分别对仿真平台、实车部署平台进行初始化处理；接下来，将初始化后的算法在自然场景下进行交互训练，得到输入算法学习后的收敛效果；然后，对输入算法学习后的收敛效果进行自然场景测试评价，并基于评价指标，判断算法的评判结果是否为优秀；若否，则算法继续进行在自然场景下的交互训练；若是，则算法进行对抗场景生成过程；接下来，对算法进行对抗场景生成，在完成对抗场景生成过程后，将安全关键场景注入场景库，场景库包括自然场景与新注入的安全关键场景，并将算法在场景库中采样场景下进行迭代训练；然后，分别在自然场景与对抗场景下，对迭代训练后的算法进行测试评价，并基于测试评价指标，判断迭代训练后的算法的评判结果是否为优秀；若否，则算法进行新一轮的对抗场景生成和迭代训练；若是，则算法进行闭环迭代自进化过程；最后，对算法进行闭环迭代自进化；在完成闭环迭代自进化过程后，输出进化算法，保障进化算法在当前的设计运行域中的驾驶安全性和驾驶性能。

14、本技术提出一种自动驾驶算法的通用自进化方法，作为自动驾驶算法通用自进化软件工具（head），使基于学习、优化、规则或模块化、端到端的任意算法自主进化升级。该方法利用算法在训练测试阶段的表现与评价结果，分析算法的性能边界，并自动化生成新的训练测试场景，同时对算法本身进行优化调节，使算法在软件中自动迭代，最终能够应对越来越多的未知、复杂、多变的开放环境场景。本技术可适用算法开发、认证和运行全周期，并实现全过程的自动化与无人化。此外，本技术通过对抗场景生成和算法智能度及性能边界分析不断提升算法对复杂，未知和开放场景的应对能力，同时通过仿真平台与实车测试平台构建数字孪生场景，实现自动驾驶算法的开发、认证和运行全周期自动化闭环进化功能。