一种基于计算机视觉的智能监控预警方法及系统与流程

1.本发明涉及人工智能技术和智能安防技术领域，特别涉及一种基于计算机视觉的智能监控预警方法及系统。


背景技术：

2.现在为管理大型园区内要紧部门(如保密区域)的人员禁入，通过需要人工值守或巡查的工作，增加了人力劳动，和安保人员的工作负荷。传统的监控系统只能通过安保人员在监控室时刻盯着监控来查看是否有人员闯入或越界，并且传统的行人检测算法误检较高，不能有效的对监控画面进行内容分析。


技术实现要素：

3.本发明的目的在于提供一种基于计算机视觉的智能监控预警方法及系统，以解决目前需要人工值守巡查保密区域，增加了人力资源浪费、且无法实时监测的问题。
4.为解决上述技术问题，本发明提供了一种基于计算机视觉的智能监控预警方法，包括：
5.通过上位机在监控图像中人工选取禁入区域roi_debar；
6.对监控图像进行行人检测与跟踪；
7.通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；
8.根据检测出的行人位置信息判断是否发生越界行为；
9.根据检测出的行人位置与数量信息判断是否发生聚集行为。
10.可选的，对监控图像进行行人检测与跟踪包括以下子步骤：
11.通过深度学习检测算法yolo_v3_tiny检测当前帧图像中的行人目标，使用每个检测目标的中心点位置与宽高初始化跟踪器；
12.通过卡尔曼滤波预测每一个目标在下一帧的位置和宽高，同时使用检测算法yolo_v3_tiny检测下一帧图像中的目标，计算每一个经过卡尔曼预测后目标与检测算法yolo_v3_tiny检测目标的交并比，然后通过匈牙利算法进行目标之间的关联；
13.对关联上的目标通过检测算法yolo_v3_tiny检测的结果对卡尔曼的预测值进行修正，将目标每一帧的位置信息记录到跟踪器中，至此一个多目标跟踪流程结束。
14.可选的，通过检测出的行人位置与运动方向信息，判断是否发生入侵行为包括：
15.新建两幅与原始图像一样尺寸、像素值全为零的灰度图像；
16.将其中一幅灰度图像中的禁入区域roi_debar的像素设置为255，作为模板图像；
17.根据检测出来的行人所在区域，将另一幅灰度图像中相同区域像素值设置为255，作为判定图像；
18.通过对两幅灰度图像进行与操作，判定检测目标是否与禁入区域roi_debar发生交集；
19.判断每一个目标与禁入区域roi_debar是否有交集，如果没有交集则不进行入侵
判断，否则进行入侵判断；
20.当目标与禁入区域roi_debar有交集时，通过跟踪第一次出现的位置判断目标是在禁入区域roi_debar的内部还是外部，如果第一次出现在内部，那就判定为没有入侵，否则判定为入侵。
21.可选的，根据检测出的行人位置信息判断是否发生越界行为包括：
22.通过检测算法yolo_v3_tiny检测每一帧的行人目标，计算每一个行人所在的矩形框与界限矩形框之间的交并比，如果交并比大于k，则判定为越界行为，k为行人是否越界的阈值。
23.可选的，根据检测出的行人位置与数量信息判断是否发生聚集行为s5包括：
24.通过检测算法yolo_v3_tiny检测每一帧的行人目标，通过横、纵坐标判断目标的中心点是否在禁入区域roi_debar内部，如果在内部，则内部行人数量加一，计在禁入区域roi_debar内部的行人总数为p1，当p1》p2时判定为聚集，其中p2为行人是否聚集的阈值。
25.本发明还提供了一种基于计算机视觉的智能监控预警系统，包括：
26.图像采集及预处理模块，用于采集监控区域图像并进行预处理操作；
27.入侵判别模块，通过深度学习检测算法yolo_v3_tiny进行行人检测，将检测结果作为多目标跟踪器的初始值，通过是否与禁入区域roi_debar有交集和行人目标的初始位置判断是否入侵，同时根据目标的运动轨迹也能分析目标的运动趋势；
28.越界判别模块，通过计算每一个目标所在的矩形框与界限矩形框之间的交并比，如果交并比大于k则判定为越界行为；
29.聚集判别模块，计算在禁入区域roi_debar内部目标的个数p1，当p1》p2时判定为聚集行为，其中p2为行人是否聚集的阈值；
30.报警及显示模块，将原始图像数据与算法判定的结果通过网络传输给上位机进行显示和报警。
31.可选的，所述入侵判别模块在跟踪过程中用卡尔曼滤波对跟踪目标的运动趋势进行预测，使用匈牙利算法进行目标之间的关联，根据关联上的目标的检测坐标修正卡尔曼的预测坐标值，同时记录目标的运动轨迹。
32.在本发明提供的基于计算机视觉的智能监控预警方法及系统中，通过上位机在监控图像中人工选取禁入区域roi_debar；对监控图像进行行人检测与跟踪；通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；根据检测出的行人位置信息判断是否发生越界行为；根据检测出的行人位置与数量信息判断是否发生聚集行为。
33.本发明具有以下有益效果：
34.(1)相较于传统只是监控存储的方案，本发明对监控视频流数据实时检测处理，可以实时对监控区域的人员行为情况进行检测和警报，减少现场工人的工作量；
35.(2)相比于传统的将深度学习算法部署到pc端，本发明将算法部署到边缘计算设备，不用对原来的监控系统做太大改动，同时边缘计算有超低延时，能提高监控系统收集分析数据的处理能力。
附图说明
36.图1是本发明提供的基于计算机视觉的智能监控预警方法流程示意图；
37.图2是本发明提供的异常行为检测算法流程图；
38.图3是本发明提供的多目标跟踪算法流程图。
具体实施方式
39.以下结合附图和具体实施例对本发明提出的一种基于计算机视觉的智能监控预警方法及系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
40.本发明提供了一种基于计算机视觉的智能监控预警方法及系统，通过使用多目标跟踪算法并结合深度学习技术对监控区域的行人进行检测与异常行为报警。
41.一种基于计算机视觉的智能监控预警方法的流程如图1所示，包括：
42.步骤s11、通过上位机在监控图像中人工选取禁入区域roi_debar；
43.步骤s12、对监控图像进行行人检测与跟踪；
44.步骤s13、通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；
45.步骤s14、根据检测出的行人位置信息判断是否发生越界行为；
46.步骤s15、根据检测出的行人位置与数量信息判断是否发生聚集行为。
47.一种基于计算机视觉的智能监控预警系统包括图像采集及预处理模块、入侵判别模块、越界判别模块、聚集判别模块和报警及显示模块。
48.所述图像采集及预处理模块采集监控区域图像并进行预处理操作；所述入侵判别模块通过深度学习检测算法yolo_v3_tiny进行行人检测，将检测结果作为多目标跟踪器的初始值，在跟踪过程中用卡尔曼滤波对跟踪目标的运动趋势进行预测，使用匈牙利算法进行目标之间的关联，根据关联上的目标的检测坐标修正卡尔曼的预测坐标值，同时记录目标的运动轨迹；通过是否与禁入区域roi_debar有交集和行人目标的初始位置判断是否入侵，同时根据目标的运动轨迹也能分析目标的运动趋势；所述越界判别模块通过计算每一个目标所在的矩形框与界限矩形框之间的交并比，如果交并比大于k则判定为越界行为；所述聚集判别模块计算在禁入区域roi_debar内部目标的个数p1，当p1》p2时判定为聚集行为；所述报警及显示模块将原始图像数据与算法判定的结果通过网络传输给上位机进行显示和报警。
49.具体步骤参阅图2和图3所示：
50.步骤1：前端高清对采集的图像进行滤波去噪；
51.步骤2：通过上位机选取禁入区域roi_debar例如多边形[[236，128]，[324，94]，[414，128]，[414，195]，[324，231]，[236，195]]；
[0052]
步骤3：对接下来每一帧图像使用检测算法yolo_v3_tiny检测原始图像中的行人目标，直到检测到行人再进行多目标跟踪流程，否则只是显示原始的图像数据；
[0053]
步骤4：检测到行人时，将每个行人目标的中心点坐标和宽高初始化多目标跟踪器进行视场范围内行人目标的跟踪；
[0054]
步骤5：新建两幅与原始图像一样尺寸像素值全为零的灰度图像，将其中一幅灰度图像中的多边形区域[[236，128]，[324，94]，[414，128]，[414，195]，[324，231]，[236，195]]像素值赋值为255作为模板图像；
[0055]
根据检测算法yolo_v3_tiny输出的行人坐标将另一幅灰度图像中对应区域像素值赋值为255，对两幅图像做与操作，判断目标是否与禁入区域roi_debar有交集，如果有交集则查看有交集目标初始位置是否在多边形内部，如果在内部则不是入侵，在外部则判定为入侵；
[0056]
步骤6：计算包围每个运动目标的外接矩形与界限矩形框(多边形的外接矩形)的交并比，如果交并比大于0.2则判定为越界；
[0057]
步骤7：根据多边形的横纵坐标范围，判断行人目标是否在禁入多边形区域的内部，计在内部行人数量为p1，当p1》p2时则判定为聚集行为，其中p2为行人是否聚集的阈值，可以选值为5。
[0058]
步骤8：将以上三种异常行为检测结果通过网络传输到上位机进行显示，当返回结果满足报警条件时及时发出警报。
[0059]
本发明利用智能检测算法，对监控图像进行分析处理，将以往需要的人工工作代替为无人化智能检测，减少安保人员的工作负荷，提升监测频率；此外，智能检测算法可作为独立模块，在不改动园区监控已有的信息线前提下可大幅度的提高园区监控系统的状态信息收集能力。
[0060]
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。