一种基于数字孪生的自动驾驶人机交互接管训练方法和系统

本发明涉及一种基于数字孪生的自动驾驶人机交互接管训练方法和系统，属于人机共驾测试。

背景技术：

1、当前自动驾驶技术发展迅速，人机共驾交互接管是有效提高自动驾驶系统的可控性、安全性和用户接受度的重要支撑。人机共驾交互机制在实现高度自主驾驶的同时，能够为驾驶员提供随时介入和指导的能力，以确保系统在各类挑战和异常情况下保持有效运行。

2、但现阶段对于人机接管层面研究数据多来源于实际道路试验，需要在真实道路环境下，对突发紧急情况进行模拟，并聘用合适的驾驶测试志愿者采用真车实验，根据眼动仪等基础实验仪器一起采集实验数据，因此，开发测试经济成本高、危险系数高、测试可靠性和数据量小，阻碍现阶段自动驾驶系统的推出和市场落地。

技术实现思路

1、针对现有技术的不足，本发明提出了一种基于数字孪生的自动驾驶人机交互接管训练方法；

2、本发明还提出了一种基于数字孪生的自动驾驶人机交互接管训练系统；

3、术语解释：

4、自动驾驶系统，是一种通过使用传感器、计算机和控制系统，使车辆能够在无需人类干预的情况下进行自主驾驶的技术。该系统采用各种传感器(如雷达、摄像头、激光雷达等)来感知周围环境，并使用高级算法和人工智能技术来分析和理解这些数据。基于对环境的感知和分析，自动驾驶系统能够做出决策并控制车辆的加速、刹车、转向等操作，以达到安全、高效的行驶。

5、自动驾驶人机交互接管训练系统是在自动驾驶系统现有技术基础上，借助数字孪生技术对传感器所采集的驾驶环境信息进行虚拟环境构建，通过基于数字孪生的自动驾驶人机交互接管训练方法，模拟自动驾驶突发紧急情况下，车辆驾驶权限移交及驾驶员对车辆的最优接管行为进行模拟训练及性能评估。

6、本发明的技术方案为：

7、一种基于数字孪生的自动驾驶人机交互接管训练方法，包括：

8、虚拟环境构建：建立虚拟环境，将自动驾驶系统整合于虚拟环境，使自动驾驶系统在需要人机交互接管的不同场景下模拟车辆行为；

9、人机交互接管：通过监测自动驾驶系统状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；

10、接管决策方法：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；

11、模拟训练及性能评估：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。

12、根据本发明优选的，建立虚拟环境，包括：数据采集及处理、仿真模型及环境变化测试；

13、数据采集及处理，是指：采集真实世界环境数据；并对所采集的真实世界环境数据进行初步筛选，剔除偏差数据；

14、仿真模型，是指：创建逼真的虚拟环境，创建真实环境的数字化模型，实现模拟车辆行驶、碰撞、车辆间互动；

15、环境变化测试，是指：在虚拟环境中引入不同的道路条件、天气情况、交通流量及突发情况导致的驾驶权限需要移交的复杂交通路况，进行自动驾驶算法的测试和验证，在虚拟环境中模拟自动驾驶行为并收集数据，虚拟环境中模拟自动驾驶场景，进行系统测试、性能验证和算法优化。

16、进一步优选的，使用lidar、摄像机、雷达传感器进行数据采集及处理。

17、进一步优选的，使用三维建模软件或游戏引擎创建环境要素的虚拟模型和物理仿真能力，根据数据创建逼真的虚拟环境；通过模拟工具进行自动驾驶场景仿真，基于车辆动力学、交通规则和自动驾驶算法，将采集的数据进行处理和整合，创建真实环境的数字化模型。

18、根据本发明优选的，人机交互接管，包括：人机交互接管场景、驾驶员模拟行为构建、标注及数据库准备、人机交互接管交叉验证；

19、所述人机交互接管场景包括多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况；

20、所述驾驶员模拟行为构建：在虚拟仿真场景中，基于规则、机器学习或对抗网络(gan)等深度学习模型，模拟驾驶员的操控行为、注意力变化、决策能力、生理特性指标及代表真实驾驶员的行为和反应，具体包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间的行为指标。

21、所述标注及数据库准备：针对多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下代表驾驶员操控行为、注意力变化、决策能力的生理、行为指标进行标注，实现将驾驶员的行为与相应的环境和自动驾驶系统状态关联；训练数据集包括输入即人机交互数据和输出即驾驶员接管行为。

22、进一步优选的，所述不同交通路况引入道路障碍物、施工区域、行人穿越、不同交通流量突发情况导致的驾驶权限需要移交的复杂情况；

23、所述极端天气，借助数字孪生技术，模拟恶劣的天气条件，以及相关的道路湿滑和能见度下降情况。

24、进一步优选的，所述驾驶员的行为反应指标包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间；眼动数据包括瞳孔直径、扫视频率、注视次数、平均注视时间。

25、根据本发明优选的，接管决策，包括：

26、环境感知和系统状态监测、风险评估和接管触发条件判断、接管建议和警告、驾驶员确认和准备、接管执行和交互模式切换、驾驶员控制和系统支持及自动驾驶恢复和交互模式切换；

27、当自动驾驶系统遇到需要交由驾驶员接管的情况时，交互逻辑触发，并向驾驶员发送相应的提示和警告；在驾驶员做出决策后，将控制权交还给自动驾驶系统；

28、所述环境感知和系统状态监测，包括：在虚拟仿真场景中，自动驾驶系统实时监测车辆周围的环境，同时，监测自动驾驶系统的状态，包括传感器工作、定位精度和决策输出；

29、所述风险评估和接管触发条件判断，包括：基于环境感知和自动驾驶系统状态，自动驾驶系统进行风险评估，判断是否存在需要驾驶员接管的风险情况；如果自动驾驶系统无法准确应对当前情况，将根据事先设定的接管触发条件判断是否需要进行接管；

30、所述接管建议和警告，包括：自动驾驶系统确定需要驾驶员接管时，向驾驶员发出接管建议和警告，提醒驾驶员准备接管控制；

31、所述驾驶员确认和准备，包括：当驾驶员收到接管建议后，确认准备接管控制；在确认之前，驾驶员继续监测环境，随时做好接管准备；

32、所述接管执行和交互模式切换，包括：在驾驶员确认准备接管后，自动驾驶系统将执行接管控制的操作；同时，自动驾驶系统与驾驶员之间的交互模式从自动驾驶模式切换为手动驾驶模式，驾驶员开始对车辆进行操控；

33、所述驾驶员控制和系统支持，包括：接管控制移交给驾驶员后，驾驶员负责操控车辆，应对突发情况；自动驾驶系统继续提供支持；

34、所述自动驾驶恢复和交互模式切换，包括：当驾驶员认为适合自动驾驶时，将手动驾驶模式切换回自动驾驶模式，由自动驾驶系统接管控制。

35、根据本发明优选的，模拟训练及性能评估，包括：人机接管训练、性能评估及仿真环境验证；

36、人机接管训练，包括：获取不同交互接管场景下的交互结果预测数据集，让交互训练接管决策模型通过与环境交互，不断优化交互训练调整交互训练接管决策过程驾驶员的接管行为逻辑及自动驾驶系统提示方式，循环迭代，包括：根据评估结果和模拟场景中的表现，不断优化交互训练接管决策模型训练过程，根据不同情况下的提示和警告做出正确的接管决策。

37、进一步优选的，通过机器学习方法及增强学习方法对驾驶员的人机接管行为进行单一或综合训练。

38、进一步优选的，性能评估，包括：交互训练接管决策模型建立、真实环境测试、仿真环境验证、交叉验证；

39、进一步优选的，仿真环境验证，包括：在数字孪生虚拟环境中进行大规模仿真测试，模拟各种不同情况下的驾驶员接管行为，以验证训练结果的泛化能力。

40、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于数字孪生的自动驾驶人机交互接管训练方法的步骤。

41、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于数字孪生的自动驾驶人机交互接管训练方法的步骤。

42、一种基于数字孪生的自动驾驶人机交互接管训练系统，包括：

43、虚拟环境构建模块，被配置为：建立虚拟环境，将自动驾驶系统整合于虚拟环境，使自动驾驶系统在需要人机交互接管的不同场景下模拟车辆行为；

44、人机交互接管模块，被配置为：通过监测自动驾驶系统状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；

45、接管决策模块，被配置为：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；

46、模拟训练及性能评估模块，被配置为：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。

47、本发明的有益效果为：

48、本发明以数字孪生技术为核心，为人机交互接管系统的训练和测试提供低风险的虚拟平台，实现对复杂的驾驶场景虚拟环境及驾驶员接管行为模拟，使驾驶员能够有效应对自动驾驶系统的接管要求，有效降低实际道路试验所带来的潜在危险，加速自动驾驶系统的推出和市场落地。

49、以虚拟环境进行人机交互接管演练能够降低实验成本，同时，还可以收集用于优化决策行为的实验数据；以数字孪生为基础的精细化环境控制能够保障系统的可控性、灵活性及可靠性；优选机器学习、增强学习模型能够短时高效快速迭代和改进优化决策算法，提高技术研发效率；此外，数字孪生的高度可视化能够用于培训驾驶员迅速理解系统运作原理和人机交互接管策略，从而提高其在实际应用中的应对水平，确保其在必要时能够高效介入和控制系统。