一种行人违规翻越道路隔离带检测方法与流程

本技术涉及违规翻越道路隔离带检测方法，尤其涉及一种行人违规翻越道路隔离带检测方法，属于道路安全。

背景技术：

1、随着社会飞速发展人民生活日益富裕，机动车数量不断增加，为了保证道路交通安全隔离带必不可少。在一些交通要道时常会有行人贪图一时便利，不按规定使用人行横道，或是随意翻越道路中间的隔离带。这些无视道路法规和道德的行为都会构成巨大的交通安全隐患。如果不及时进行警告纠正将会导致重大的安全和经济问题。

2、在传统的翻越隔离带违规行为检查中通常是安排交警人员在道路或路口现场进行监督，但是这种方法不仅要消耗很大的人力，而且交警人员能够覆盖的范围十分有限并且不能做到全天候监管。如果使用边缘计算技术在物联网终端设备处实时接入摄像头视频流，利用人工智能深度学习方法对道路中的隔离带进行识别检测，然后通过计算机视觉的方法判断是否存在行人违规翻越隔离带的行为。无疑是一个很好的解决方法。

3、公告号cn115713726a，提出了行人翻越交通护栏的检测方法、装置、设备和介质，该方法通过获取待识别视频中的帧图像，对帧图像进行检测，确定出帧图像中的交通护栏区域、帧图像中行人的两条腿分别所在的目标区域；若帧图像中行人的两个目标区域位于交通护栏区域的一侧或另一侧，则确定帧图像为第一目标图像或第二目标图像，若帧图像中行人的两个目标区域分别位于交通护栏区域的两侧，则确定帧图像为第三目标图像；若确定出待识别视频中包括第一目标图像、第二目标图像和第三目标图像，则确定行人翻阅交通护栏，从而实现实时采集到行人翻越交通护栏的图像，提高了检测行人翻越交通护栏的精准度和实时性。

4、但该方法仍存在一些问题：依据道路护栏分割结果使用最小外接旋转矩阵的方法生成检测区域。这种方法在面对道路护栏为曲线时，其对应的最小外接旋转矩阵将包括极大的非道路护栏区域，最终生成的检测区域将会包含更多的非道路护栏区域，导致翻越护栏的误判率大幅提升；并且需要获取行人的两条腿的位置信息做出是否翻越护栏的判断，当行人的腿受到遮挡时将无法做出检测。例如行人穿着裙子，腿部受到遮挡时该方法将无法检测到。

技术实现思路

1、在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、鉴于此，为解决现有技术中存在的技术问题，本发明提供一种行人违规翻越道路隔离带检测方法。本发明采用实例分割的方法对监控场景进行目标检测的同时对每个像素点做出分类；既不需要人工对目标区域进行手动标注，对于隔离带目标区域的拟合十分准确，也不需要针对行人的特定部位进行检测；大大提高了事件判断的准确性和使用的便捷性。

3、方案一、一种行人违规翻越道路隔离带检测方法，包括以下步骤：

4、s1.采集道路视频流信息，对视频流信息进行图像处理；

5、s2.获取图像中不同物体和行人的实例分割信息；

6、s3.判断场景中的道路隔离带；

7、s31.初始化像素坐标x，y及各个地面区域为隔离带的概率p，其中p值和区域uid绑定；

8、s32.以左上角像素为起始点，将像素所属的地面区域信息和对应uid保存至临时列表；

9、s33.处理下一个像素信息，按照x轴正方向顺序将像素点所属地面区域和对应uid以uid作为key值保存至字典数据结构中，根据实际输入的图像尺寸，当x坐标大于等于图像宽度最大值时，切换到下一行像素点进行处理，同时更新字典为空；

10、s34.当列表中有新的像素信息加入时，检查新加入的像素点是否属于公路区域类别，若属于执行s35，否则执行s33；

11、s35.检查历史像素信息中是否存在属于不同uid公路区域像素点，若存在则执行s36，否则执行s33；

12、s36.检查两个不同uid公路区域像素点间是否包含其他类别地面区域像素，若存在则将地面区域为隔离带的概率值p增加1直到检索下一行像素前地面区域的概率p保持不变，否则执行s33；

13、s37.检查是否存在地面区域为隔离带的概率值大于等于100，如果存在，则输出地面区域及uid，输出地面区域为隔离带区域，若存在下个像素点执行s33，否则结束；

14、s4.分析行人是否有翻越隔离带的行为；

15、优选的，采集道路视频流信息，对视频流信息进行图像处理的方法，包括以下步骤：

16、s11.接入摄像头视频流信息：使用rj45以太网网线将摄像头和边缘计算网关的网络接口进行连接，通过rtsp视频流地址的方式接入摄像头采集的实时视频流信息；

17、s12.视频解码：将原始视频解码成统一rgb格式的单帧图片；

18、s13.视频预处理：对单帧图片进行颜色空间的转换和图像滤波去噪处理。

19、优选的，获取图像中不同物体和行人的实例分割信息的方法，包括以下步骤：

20、s21.构建交通场景实例分割数据集并训练模型权重；

21、s22.基于语义分割算法分析场景图片。

22、优选的，构建交通场景实例分割数据集并训练模型权重的方法，包括以下步骤：

23、s211.获取交通监控视场景下的图片，以png格式保存到本地文件夹image_2下，其中图片的分辨率为1920*1080；

24、s212.使用标注工具labelme对预处理后的图片集进行标注，针对道路交通目标以及斑马线进行实例分割标注，实例分割标签格式参考cityscapes数据集；精细标注不同地面区域的真值信息，其中地面区域包括马路和人行道；

25、s213.将对应场景图片的地面区域真值文件和交通参与目标的实例分割标签文件保存到label_2文件夹下；

26、s214.将数据分为训练集和测试集；随机抽取image_2文件夹中80%的图片作为训练集放入training文件夹，剩下的20%则为测试集放入testing文件夹，然后将数据集打包放到高性能gpu服务器中深度学习模型训练环境的相应目录下；

27、s215.用solov2实例分割算法，使用预训练模型在标注完成数据集条件下进行迁移学习，得到高精度的实例分割模型。

28、优选的，基于语义分割算法分析场景图片的方法，包括以下步骤：

29、s221.图像左上角的像素点坐标为(0,0)，设定水平方向为x轴，向右为正方向，垂直方向为y轴，向下为正方向建立坐标系；

30、s222.实例分割模型将相同类别的地面真值区域以及道路交通目标以相同的颜色进行标记，不同类别则颜色不同；

31、s223.基于deepsort算法对地面区域进行目标跟踪，相同类别的不同地面区域标记不同的uid进行区分；

32、s224.对于每个独立的地面区域，将区域内所有像素点坐标作为输入，以一元一次方程进行线性回归，每个区域得到的一元一次方程和uid一一对应绑定。

33、优选的，分析行人是否有翻越隔离带行为的方法，包括以下步骤：

34、s41.以一元一次方程y=a*x作为线性回归方程，将每个地面区域的所包含的像素坐标信息作为输入，对每个地面区域进行回归计算，得出的回归方程式与uid绑定；

35、s42.设定斜率阈值，判断地面区域的斜率变化是否超出斜率阈值，当超出斜率阈值时记录隔离带区域uid，斜率阈值范围为±0.1；

36、s43.将uid作为key值将区域信息保存至字典数据结构中；

37、s44.逐个检索字典数据结构中uid区域像素点是否有行人像素相邻，若有隔离带区域与行人像素相邻，则判断发生行人违规翻越护栏行为，否则返回不存在行人违规翻越护栏行为。

38、方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种行人违规翻越道路隔离带检测方法的步骤。

39、方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种行人违规翻越道路隔离带检测方法。

40、本发明的有益效果如下：本发明在路侧摄像头的边缘端，采用边缘计和深度学习技术对摄像头实时视频流进行图像识别分析，并通过计算机视觉的方法判断是否存在行人违规翻越隔离带的行为，这样能够及时有效地发现行人违规翻越隔离带这种存在极高安全隐患的行为，实现对道路智能化、实时化和及时化的有效监管。