风险预警模型训练方法、风险预警方法及自动驾驶车辆与流程

本公开涉及数据处理领域，具体涉及深度学习、模型训练、自动驾驶、智能车辆等人工智能，可应用于智慧交通、智慧城市等场景，尤其涉及一种风险预警模型训练方法和风险预警方法，以及以对应的装置、电子设备、计算机可读存储介质、计算机程序产品，以及设置有该电子设备的自动驾驶车辆。

背景技术：

1、现有的自动驾驶系统在实际路跑过程中，经常会经过事故高发路段，遇到切车风险，追尾风险，变道风险的情况，需要对自动驾驶过程中出现避让风险的场景进行预测。

2、因此，面临复杂、多变的交通情况，如何控制设置有自动驾驶系统的自动驾驶车辆能够准确进行风险预警，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本公开实施例提出了一种风险预警模型训练、风险预警方法、装置、电子设备、计算机可读存储介质、计算机程序产品及自动驾驶车辆。

2、第一方面，本公开实施例提出了一种风险预警模型训练方法，包括：获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息；将风险图像中的障碍物和车辆在风险发生前的特征信息，通过预设的历史信息编码网络进行特征编码，得到与风险发生时刻对应的障碍物信息编码和车辆信息编码；其中，特征信息基于障碍物和车辆的运动状态和标注信息确定得到；将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互，得到车路交互特征；将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互，得到同时输出的风险场景预测概率和风险障碍物预测概率；基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络，构建得到目标风险预警模型。

3、第二方面，本公开实施例提出了一种风险预警模型训练装置，包括：风险图像及标注信息获取单元，被配置成获取车辆在发生风险时的风险图像、并获取对风险图像所属的场景类型和所包含的风险障碍物的标注信息；特征编码单元，被配置成将风险图像中的障碍物和车辆在风险发生前的特征信息，通过预设的历史信息编码网络进行特征编码，得到与风险发生时刻对应的障碍物信息编码和车辆信息编码；其中，特征信息基于障碍物和车辆的运动状态和标注信息确定得到；第一交互作用单元，被配置成将对路网信息进行特征编码得到的路网信息编码和车辆信息编码通过预设的第一相互作用网络进行特征交互，得到车路交互特征；第二交互作用单元，被配置成将车路交互特征和障碍物信息编码通过预设的第二相互作用网络进行特征交互，得到同时输出的风险场景预测概率和风险障碍物预测概率；目标风险预警模型构建单元，被配置成基于满足预设训练目标的历史信息编码网络、第一相互作用网络和第二相互作用网络，构建得到目标风险预警模型。

4、第三方面，本公开实施例提出了一种风险预警方法，包括：获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流；将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型，得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率；其中，目标风险预警模型基于第一方面所描述的风险预警模型训练方法得到；生成与第一预测概率和第二预测概率对应的风险预警信息。

5、第四方面，本公开实施例提出了一种风险预警装置，包括：实时信息流获取单元，被配置成获取出现在车辆行驶视野中的障碍物图像信息流和车辆行驶信息流；风险预警模型调用单元，被配置成将障碍物图像信息流和车辆行驶信息流持续输入预设的目标风险预警模型，得到持续输出的当前时刻对应场景属于风险场景的第一预测概率和各障碍物属于风险障碍物的第二预测概率；其中，目标风险预警模型基于第二方面描述的风险预警模型训练装置得到；风险预警信息生成单元，被配置成生成与第一预测概率和第二预测概率对应的风险预警信息。

6、第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。

7、第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。

8、第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面描述的风险预警模型训练方法或如第三方面描述的风险预警方法。

9、第八方面，本公开实施例提供了一种自动驾驶车辆，其中设置有如第五方面描述的电子设备。

10、本公开实施例提供的风险预警模型训练方案和风险预警方案，首先通过获取车辆发生风险时的风险图像、对风险图像所属场景类型和所包含风险障碍物的标注信息，然后通过使用障碍物和车辆在发生风险前的特征信息进行将风险发生时刻的特征信息作为编码结果的特征编码，接着通过使路网信息编码和车辆信息编码进行特征交互得到车路交互特征，再通过车路交互特征与障碍物信息编码进行特征交互得到最终输出的风险场景预测概率和风险障碍物预测概率，最终得到由满足预设训练目标的各网络构建得到的目标风险预警模型，以在具体应用该目标风险预警模型时，可借助该模型对持续输入的障碍物图像信息流和车辆行驶信息流进行分析处理，进而同时输出对当前场景是否属于风险场景以及在属于风险场景下对风险障碍物的预测概率，已生成相应的风险预警信息，以便于按照风险预警信息进行风险规避。

11、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种风险预警模型训练方法，包括：

2.根据权利要求1所述的方法，其中，所述获取车辆在发生风险时的风险图像，包括：

3.根据权利要求2所述的方法，还包括：从所述历史风险图像集中删去以下至少一项低质量图像帧：

4.根据权利要求1所述的方法，其中，对路网信息进行特征编码得到的路网信息编码的过程包括：

5.根据权利要求1所述的方法，其中，所述历史信息编码网络和所述第二相互作用网络均采用自注意力结构构建得到、所述第一相互作用网络采用交叉注意力结构构建得到。

6.根据权利要求1-5任一项所述的方法，其中，所述预设训练目标被满足的条件包括以下至少一项：

7.一种风险预警方法，包括：

8.根据权利要求7所述的方法，其中，所述生成与所述第一预测概率和所述第二预测概率对应的风险预警信息，包括：

9.根据权利要求8所述的方法，还包括：

10.根据权利要求7-9任一项所述的方法，还包括：

11.一种风险预警模型训练装置，包括：

12.根据权利要求11所述的装置，其中，所述风险图像及标注信息获取单元包括被配置成获取车辆在发生风险时的风险图像的风险图像获取子单元，所述风险图像获取子单元被进一步配置成：

13.根据权利要求12所述的装置，还包括：低质量图像帧删去单元，所述低质量图像帧删去单元被进一步配置成：

14.根据权利要求11所述的装置，还包括：路网信息编码单元，所述路网信息编码单元被进一步配置成：

15.根据权利要求11所述的装置，其中，所述历史信息编码网络和所述第二相互作用网络均采用自注意力结构构建得到、所述第一相互作用网络采用交叉注意力结构构建得到。

16.根据权利要求11-15任一项所述的装置，其中，所述预设训练目标被满足的条件包括以下至少一项：

17.一种风险预警装置，包括：

18.根据权利要求17所述的装置，其中，所述风险预警信息生成单元被进一步配置成：

19.根据权利要求18所述的装置，还包括：

20.根据权利要求17-19任一项所述的装置，还包括：

21.一种电子设备，包括：

22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的风险预警模型训练方法和/或权利要求7-10任一项所述的风险预警方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述风险预警模型训练方法的步骤和/或权利要求7-10任一项所述风险预警方法的步骤。

24.一种自动驾驶车辆，包括如权利要求21所述的电子设备。

技术总结
本公开提供了风险预警模型训练方法、风险预警方法及自动驾驶车辆，涉及深度学习、模型训练、自动驾驶等人工智能技术领域。该方法包括：获取车辆的风险图像、对其所属场景类型和所包含风险障碍物的标注信息；将风险图像中的障碍物和车辆在风险发生前的特征信息，通过历史信息编码网络进行特征编码，得到与风险发生时刻对应的障碍物信息编码和车辆信息编码；将路网信息编码和车辆信息编码通过第一相互作用网络进行特征交互，得到车路交互特征；将车路交互特征和障碍物信息编码通过第二相互作用网络进行特征交互，得到风险场景预测概率和风险障碍物预测概率；基于历史信息编码网络、第一相互作用网络和第二相互作用网络，构建得到目标风险预警模型。

技术研发人员：宋泽良,柳长春,苏亚博,姚萌
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/15