多模态实时交通预警生成方法、装置、设备和介质与流程

本发明涉及智能交通，尤其涉及一种多模态实时交通预警生成方法、装置、设备和介质。

背景技术：

1、随着终端通信与物联网万物互联的发展，使得交通安全实时预警变得更加智能化和人性化。在相关技术中，主要通过导航地图提醒当前路况，比如提供拥堵情况、测速区域、抓拍区域、事故高发区、落石区域等预警信息；或者，在高危路段设置路标路障为驾驶员提供预警信息。

2、然而，考虑到道路交通安全性，相关技术中提供交通预警信息的方式有待改善。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种多模态实时交通预警生成方法、装置、设备和介质。

2、本发明提供一种多模态实时交通预警生成方法，所述方法包括：获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

3、本发明中，基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到边缘端设备对应的第一预警概率序列，基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，从而根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。

4、在其中一个实施方式，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据；通过以下方式得到所述第一预警概率序列，包括：根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列。

5、在其中一个实施方式，所述根据所述边缘端设备收集的驾驶员人因数据、车辆运行数据、路面状态数据对所述道路交通风险进行分类预测，得到所述边缘端设备对应的第一预警概率序列，包括：根据所述驾驶员人因数据、所述车辆运行数据、所述路面状态数据进行特征提取和特征融合，得到边缘端融合特征；基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列。

6、本实施方式中，根据驾驶员人因数据、车辆运行数据、路面状态数据进行特征提取和特征融合，得到边缘端融合特征，基于边缘端融合特征对道路交通风险进行分类预测，得到第一预警概率序列，从而可以为边缘端设备提供及时的预警信息，有效地降低交通事故的风险。

7、在其中一个实施方式，所述基于所述边缘端融合特征对所述道路交通风险进行分类预测，得到所述第一预警概率序列，包括：将所述边缘端融合特征输入至第一全连接层中进行线性变换，得到所述边缘端融合特征对应的第一连接计算结果；将所述第一连接计算结果输入至第一软最大化层进行概率转换，得到所述第一预警概率序列。

8、本实施方式中，将边缘端融合特征输入至第一全连接层中进行线性变换，可以对特征进行更高级别的抽象和表示学习，以得到边缘端融合特征对应的第一连接计算结果。将第一连接计算结果输入至第一软最大化层进行概率转换，得到第一预警概率序列，可以直接表示各个预警类别对应的可能性概率，帮助决策者快速了解道路交通风险的情况，做出相应的决策和应对措施。

9、在其中一个实施方式，所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据，通过以下方式得到所述第二预警概率序列，包括：根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列。

10、在其中一个实施方式，所述根据所述决策端设备收集的道路交通状态数据、气候数据、突发事件数据对所述道路交通风险进行分类预测，得到所述决策端设备对应的第二预警概率序列，包括：根据所述道路交通状态数据、所述气候数据、所述突发事件数据进行特征提取和特征融合，得到决策端融合特征；基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列。

11、本实施方式中，根据道路交通状态数据、气候数据、突发事件数据进行特征提取和特征融合，得到决策端融合特征，基于决策端融合特征对道路交通风险进行分类预测，得到第二预警概率序列，可以识别出潜在的道路交通风险情况，并给出相应的预警概率。有助于交通管理部门在事故或拥堵发生之前做出相应的准备和应对措施，减少事故发生的可能性，提高道路安全性。

12、在其中一个实施方式，所述基于所述决策端融合特征对所述道路交通风险进行分类预测，得到所述第二预警概率序列，包括：将所述决策端融合特征输入至第二全连接层中进行线性变换，得到所述决策端融合特征对应的第二连接计算结果；将所述第二连接计算结果输入至第二软最大化层进行概率转换，得到所述第二预警概率序列。

13、本实施方式中，将决策端融合特征输入至第二全连接层中进行线性变换，得到决策端融合特征对应的第二连接计算结果，将第二连接计算结果输入至第二软最大化层进行概率转换，得到第二预警概率序列，可以直观地反映不同预警类别的可能性，为决策者提供了直观的信息，有助于决策者理解和应对道路交通风险。

14、在其中一个实施方式，所述第一交通情况数据包括驾驶员人因数据、车辆运行数据、路面状态数据中的至少一个；所述驾驶员人因数据包括人体生理数据、基于驾驶员视频数据提取到的人体状态数据中的至少一个；所述车辆运行数据包括车辆转向角、速度、加速度、车内环境数据中的至少一个；所述路面状态数据包括车辆周边路面情况数据、障碍物距离、车辆相对速度、反光镜可视范围中的至少一个；

15、所述第二交通情况数据包括道路交通状态数据、气候数据、突发事件数据中的至少一个；所述道路交通状态数据包括车辆动态数据、人流动态数据中的至少一个；所述突发事件数据是对滑坡事故、塌方事故、重大事故中的至少一个进行嵌入表示得到的。

16、本实施方式中，通过获取多模态的第一交通情况数据和第二交通情况数据，可以为后续得到综合交通预警信息提供更全面和准确的数据。

17、本发明提供一种多模态实时交通预警生成装置，所述装置包括：

18、概率序列获取模块，用于获取交通预警系统中边缘端设备对应的第一预警概率序列和所述交通预警系统中决策端设备对应的第二预警概率序列；其中，所述第一预警概率序列是基于所述边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测而得到的；所述第二预警概率序列是基于所述决策端设备收集的第二交通情况数据对道路交通风险进行分类预测而得到的；

19、概率序列融合模块，用于将所述第一预警概率序列与所述第二预警概率序列进行融合，得到目标融合特征；

20、预警回归预测模块，用于根据所述目标融合特征对所述道路交通风险进行回归预测，得到综合交通预警信息。

21、本发明提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

22、本发明提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

23、本发明提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

24、本发明中，基于边缘端设备收集的第一交通情况数据对道路交通风险进行分类预测得到边缘端设备对应的第一预警概率序列，基于决策端设备收集的第二交通情况数据对道路交通风险进行分类预测得到决策端设备对应的第二预警概率序列，接着将第一预警概率序列与第二预警概率序列进行融合，得到目标融合特征，然后根据目标融合特征对道路交通风险进行回归预测，得到综合交通预警信息。因此，一方面可以使边缘端设备了解宏观风险等级，提升驾驶过程的安全性。另一方面可以使决策端设备获取边缘端风险状态，为交通流提供更为优化与安全的策略。综上所述，在结合边缘端设备与决策端设备两端预警概率序列的基础上，实现边缘端设备与决策端设备的协同计算和集成，能够为边缘端设备与决策端设备提供及时准确的预警功能。这一举措可以有效合理地减少交通事故的发生几率，提升交通智能化水平，同时有效提升道路利用率以及人身安全。