基于监控视频的安全预警方法及装置、设备、存储介质与流程

本申请涉及安全预警领域，且更为具体地，涉及一种基于监控视频的安全预警方法及装置、设备、存储介质。

背景技术：

1、基于监控视频的安全预警是一种对监控视频进行实时分析和处理，以检测和预警潜在的安全威胁或异常情况的方法，它可以应用于各种场景，如公共安全、交通监控等。

2、在交通障碍识别领域中，基于监控视频的安全预警涉及对交通场景中的视频数据进行采集和分析，以便识别出各种障碍物和情况，如车辆、行人、交通标志、道路状况等，进而进行安全预警。

3、交通障碍识别是保障车辆在道路行驶安全的关键技术，在当前智慧交通的应用大背景下，道路交通场景的繁杂性以及道路障碍的多样化，给交通障碍识别带来了困难。在复杂场景下，密集物体相互遮挡以及小目标的检测是影响检测精度的关键因素。

4、因此，期望一种更为优化的基于监控视频的安全预警方法及装置、设备、存储介质。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于监控视频的安全预警方法及装置、设备、存储介质，其首先获取由部署于车辆的车载摄像头采集的车辆环境视频并提取关键帧，然后，分别通过具有多特征提取能力的卷积神经网络模型和目标检测网络并进行特征编码以得到车辆环境检测关联特征图和多视角障碍对象特征图，最后，将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合并通过分类器以得到分类结果，以判断车辆周围预定范围内是否存在障碍，进一步判断是否发出安全预警提示，从而实现实时的安全预警，提高预警的准确性和效率。

2、根据本申请的一个方面，提供了一种基于监控视频的安全预警方法，其包括：

3、获取由部署于车辆的车载摄像头采集的车辆环境视频；

4、提取所述由部署于车辆的车载摄像头采集的车辆环境视频的特征以得到车辆环境检测关联特征图和多视角障碍对象特征图；

5、构造所述车辆环境检测关联特征图和所述多视角障碍对象特征图之间的障碍判断分类特征图；

6、基于所述障碍判断分类特征图，判断车辆周围预定范围内是否存在障碍。

7、在上述基于监控视频的安全预警方法中，构造所述车辆环境检测关联特征图和所述多视角障碍对象特征图之间的障碍判断分类特征图，包括：将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合以得到所述障碍分类特征图；将所述障碍分类特征图通过使用时间注意力机制的卷积神经网络模型以得到障碍判断分类特征图。

8、在上述基于监控视频的安全预警方法中，将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合以得到所述障碍分类特征图，包括：计算所述车辆环境检测关联特征图相对于所述多视角障碍对象特征图的平滑参数化表达因数；以所述平滑参数化表达因数作为权重来计算所述车辆环境检测关联特征图和所述多视角障碍对象特征图的按位置加权和以得到所述障碍分类特征图。

9、在上述基于监控视频的安全预警方法中，计算所述车辆环境检测关联特征图相对于所述多视角障碍对象特征图的平滑参数化表达因数，包括：以如下平滑参数化表达因数公式计算所述车辆环境检测关联特征图相对于所述多视角障碍对象特征图的平滑参数化表达因数；其中，所述平滑参数化表达因数公式为：

10、

11、其中，f1表示所述车辆环境检测关联特征图，f2表示所述多视角障碍对象特征图，d(f1，f2)表示所述车辆环境检测关联特征图和所述多视角障碍对象特征图之间的欧氏距离，cos(f1，f2)表示车辆环境检测关联特征图和多视角障碍对象特征图之间的余弦相似性，α和β表示预定超参数，w表示所述平滑参数化表达因数。

12、根据本申请的另一方面，提供了一种基于监控视频的安全预警装置，其包括：车辆环境视频采集模块，用于获取由部署于车辆的车载摄像头采集的车辆环境视频；环境视频特征提取模块，用于提取所述由部署于车辆的车载摄像头采集的车辆环境视频的特征以得到车辆环境检测关联特征图和多视角障碍对象特征图；障碍构造模块，用于构造所述车辆环境检测关联特征图和所述多视角障碍对象特征图之间的障碍判断分类特征图；障碍结果生成模块，用于基于所述障碍判断分类特征图，判断车辆周围预定范围内是否存在障碍。

13、根据本申请的再一方面，提供了一种设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于监控视频的安全预警方法。

14、根据本申请的又一方面，提供了一种存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于监控视频的安全预警方法。

15、与现有技术相比，本申请提供的一种基于监控视频的安全预警方法及装置、设备、存储介质，其首先获取由部署于车辆的车载摄像头采集的车辆环境视频并提取关键帧，然后，分别通过具有多特征提取能力的卷积神经网络模型和目标检测网络并进行特征编码以得到车辆环境检测关联特征图和多视角障碍对象特征图，最后，将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合并通过分类器以得到分类结果，以判断车辆周围预定范围内是否存在障碍，进一步判断是否发出安全预警提示，从而实现实时的安全预警，提高预警的准确性和效率。

技术特征：

1.一种基于监控视频的安全预警方法，其特征在于，包括：

2.根据权利要求1所述的基于监控视频的安全预警方法，其特征在于，提取所述由部署于车辆的车载摄像头采集的车辆环境视频的特征以得到车辆环境检测关联特征图和多视角障碍对象特征图，包括：

3.根据权利要求2所述的基于监控视频的安全预警方法，其特征在于，对所述多个车辆环境关键帧进行多尺度特征编码以得到所述车辆环境检测关联特征图，包括：

4.根据权利要求3所述的基于监控视频的安全预警方法，其特征在于，对所述多个车辆环境关键帧进行感兴趣特征编码以得到所述多视角障碍对象特征图，包括：

5.根据权利要求4所述的基于监控视频的安全预警方法，其特征在于，构造所述车辆环境检测关联特征图和所述多视角障碍对象特征图之间的障碍判断分类特征图，包括：

6.根据权利要求5所述的基于监控视频的安全预警方法，其特征在于，将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合以得到所述障碍分类特征图，包括：

7.根据权利要求6所述的基于监控视频的安全预警方法，其特征在于，计算所述车辆环境检测关联特征图相对于所述多视角障碍对象特征图的平滑参数化表达因数，包括：

8.一种基于监控视频的安全预警装置，其特征在于，包括：

9.一种设备，其特征在于，该设备为电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的方法。

10.一种存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-7任一项所述的方法。

技术总结
本申请涉及安全预警领域，其具体地公开了一种基于监控视频的安全预警方法及装置、设备、存储介质，其首先获取由部署于车辆的车载摄像头采集的车辆环境视频并提取关键帧，然后，分别通过具有多特征提取能力的卷积神经网络模型和目标检测网络并进行特征编码以得到车辆环境检测关联特征图和多视角障碍对象特征图，最后，将所述车辆环境检测关联特征图和所述多视角障碍对象特征图进行融合并通过分类器以得到分类结果，以判断车辆周围预定范围内是否存在障碍，进一步判断是否发出安全预警提示，从而实现实时的安全预警，提高预警的准确性和效率。

技术研发人员：欧阳碰碰
受保护的技术使用者：成都装琪夏安电子科技有限公司
技术研发日：
技术公布日：2024/2/1