一种基于计算机视觉的人员施工安全行为识别方法以及系统

一种基于计算机视觉的人员施工安全行为识别方法以及系统
1.技术领域
2.本发明涉及一种基于计算机视觉的人员施工安全行为识别方法以及系统，属于土木工程与计算机视觉技术领域。


背景技术：

3.近几年，我国城市化建设进展迅速，但是由于施工现场存在面积广、交叉作业多、人员多而复杂，因此存在一定的管理难度，容易发生安全事故，如果靠人为监管，效率低下，且容易存在漏洞，因此，利用工地现有摄像头设备，利用计算机视觉的手段予以支撑，对施工现场中的不安全行为，如不穿安全服，不戴安全帽，抽烟，玩手机等不安全行为进行自动监测及告警，相比传统监管方式，可以有效发现问题，减少监管人员工作量，提高监管效率。


技术实现要素：

4.本发明提供一种基于计算机视觉的人员施工安全行为识别方法以及系统，利用计算机视觉手段，提高安全监管效率。
5.本发明解决其技术问题所采用的技术方案是：一种基于计算机视觉的人员施工安全行为识别方法，具体包括以下步骤：步骤s1：在施工工地安装若干摄像头，视频流解析模块从若干摄像头处获取帧信息，帧信息包括若干摄像头的编号、系统时间以及帧图像数据，同时将帧信息存储在缓冲队列中；步骤s2：人员施工安全行为分析模块从缓冲队列中获取帧信息，根据若干摄像头请求的具体功能调用匹配功能模块进行计算，得到相应请求功能结果；其中，若干摄像头请求的匹配功能模块包括穿/未穿安全服分类模型、戴/未戴安全帽分类模型、区域人数统计模块、徘徊人员检测模块、区域入侵检测模块、安全晨会检测模块、保安脱岗模块、超员模块、正常/吸烟/打电话分类模型以及摔倒/正常分类模型；作为本发明的进一步优选，步骤s1中，视频流解析模块利用opencv工具，采用多线程策略访问施工工地上安装的若干摄像头，获取摄像头的编号、系统时间以及对应当前摄像头当前时刻的帧图像数据，构成帧信息，存储至数据缓冲队列中；作为本发明的进一步优选，步骤s2中，若摄像头请求安全服识别功能，具体包括以下步骤：步骤s211：:对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s212：基于位置信息以及帧图像数据得到具体的人员图像数据，启动穿/未穿安全服分类模型，利用穿/未穿安全服分类模型对人员图像数据进一步分类，得到其类别信息，保存未穿安全服人员的位置信息；
若摄像头请求安全帽识别功能，具体包括以下步骤：步骤s221：对帧图像数据进行人员头部检测，得到帧图像数据内的所有人员头部位置信息boxes；步骤s222：基于位置信息以及帧图像数据得到具体的人员头部图像数据，启动戴/未戴安全帽分类模型，利用戴/未戴安全帽分类模型对头部数据进一步分类，得到其类别信息，保存未戴安全帽人员的位置信息；若摄像头请求摔倒识别功能，具体包括以下步骤：步骤s231：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s232：基于位置信息以及帧图像数据得到具体的人员图像数据，启动摔倒/正常分类模型，利用摔倒/正常分类模型对人员图像数据进一步分类，得到其类别信息，保存摔倒人员的位置信息；若摄像头请求吸烟检测功能，具体包括以下步骤：步骤s241：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s242：基于位置信息以及帧图像数据得到具体的人员图像数据，启动正常/吸烟/打电话分类模型，利用正常/吸烟/打电话分类模型对人员图像数据进一步分类，得到其类别信息，保存吸烟人员的位置信息；若摄像头请求打电话检测功能，具体包括以下步骤：步骤s251：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s252：基于位置信息以及帧图像数据得到具体的人员图像数据，启动正常/吸烟/打电话分类模型，利用正常/吸烟/打电话分类模型对人员图像数据进一步分类，得到其类别信息，保存打电话人员的位置信息；作为本发明的进一步优选，步骤s2中，若摄像头请求区域人数统计功能，具体包括以下步骤：步骤s261：对帧图像数据进行人员检测，启动安全帽识别功能模块，利用安全帽识别功能模块获取帧图像内所有人员头部信息，包含位置信息、是否佩戴安全帽；步骤s262：根据人员头部中心坐标以及先验信息进一步处理得到人员底部中心坐标，判断人员底部坐标是否处于多边形区域内，获取多边形内的人员总数；前述的多边形区域为摄像头辐射的待检测区域；步骤s263：启动安全帽功能分类模型对多边形区域内的佩戴安全帽的人员头部数据进行分类，统计各工种的员工数量，区域人数统计模块得到多边形区域内人员总数、各工种员工数量信息，其中多变形区域内人员总数包括区域内佩戴安全帽的人数以及区域内未佩戴安全帽的人数；作为本发明的进一步优选，步骤s2中，若摄像头请求超员检测功能，超员模块的实施具体包括以下步骤：步骤s271：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；
步骤s272：超员模块设定超员阈值，统计所有人员数量，判断是否超过所设超员阈值，若连续多帧超过阈值，则判定发生超员事件，保存超员事件帧；作为本发明的进一步优选，步骤s2中，若摄像头请求保安脱岗检测功能，具体包括以下步骤：步骤s281：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s282：启动保安脱岗模块，对获取的人员数据信息进一步分类，确认当前帧图像内是否存在保安人员；步骤s283：若存在保安人员，则保安处于在岗状态，否则，保安处于离岗状态，并记录当前时间start_time，持续进行监测，直到再次监测到保安在岗状态，记录当前时间end_time，此时完成一次脱岗事件；步骤s284：基于步骤s283得到的脱岗开始时间start_time和结束时间end_time，得到脱岗总时间，保安脱岗模块设置脱岗时间阈值，基于脱岗时间阈值判断当前脱岗事件是否是一次有效脱岗，若不满足阈值，则不属于脱岗事件，否则，返回，保存脱岗事件信息；其中，脱岗事件信息包括当前脱岗事件的开始时间、结束时间以及事件帧；作为本发明的进一步优选，步骤s2中，若摄像头请求安全晨会检测功能，具体包括以下步骤：步骤s291：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s292：对获得的人员数据信息进行跟踪，安全晨会检测模块设定位移距离阈值、人员数量阈值以及晨会时间阈值；步骤s293：如果一段时间内，位移距离小于位移距离阈值，则认为当前人员处于静止状态；若某一时刻，静止人员数量达到安全晨会人员数量阈值，且静止状态维持时间超过安全晨会时间阈值，则判断发生安全晨会事件，并利用当前时刻减去安全晨会时间阈值，得到会议开始时间，持续进行检测，直到不满足安全晨会条件，判断会议结束，获取会议事件，包括开始事件、结束时间、会议时长以及参会人数；作为本发明的进一步优选，步骤s2中，若摄像头请求区域入侵检测功能，具体包括以下步骤：步骤s2101：对帧图像数据进行人员检测，得到帧图像数据内的人员位置信息boxes；步骤s2102：对获得的人员数据信息进行跟踪，判断人员底部中心点与划定多边形区域的位置关系，如果连续多帧位于多边形区域内，则区域入侵检测模块判定当前人员发生区域入侵事件，记录入侵开始时间；步骤s2103：持续对当前入侵人员进行监测，直至其底部中心点连续多帧在划定多边形区域外部，则判定当前人员入侵动作结束，记录入侵结束时间，并对当前入侵人员图像进行保存；作为本发明的进一步优选，步骤s2中，若摄像头请求徘徊人员检测功能，具体包括以下步骤：步骤s2111：对帧图像数据进行人员检测，得到帧图像数据内的人员位置信息
boxes；步骤s2112：对获得的人员数据信息进行跟踪，并对跟踪过程中生成的人员序号id，利用人员重识别模型，判断是否和系统中已出现的人员为同一人，如果是同一人，则修改其id，否则，保留新生成id；步骤s2113：获取相应人员两秒内的轨迹数据，并利用滑动窗口平均对其轨迹数据进行平滑，对平滑后的轨迹，通过其轨迹距离和位移距离的关系，判断当前轨迹是否存在拐点；步骤s2114：持续对轨迹的拐点进行分段测算，每两秒作为一段，直到发现其轨迹中存在超过2次的拐点，则判定当前人员正在徘徊，记录当前徘徊人员的开始时间、结束时间及其所有徘徊轨迹信息；一种根据所述基于计算机视觉的人员施工安全行为识别方法的系统，包括视频流解析模块、人员检测模块和头部检测模块，且人员检测模块和头部检测模块均与视频流解析模块形成连通；其中，所述人员检测模块包括穿/未穿安全服分类模型、徘徊人员检测模块、区域入侵检测模块、安全晨会检测模块、保安脱岗模块、超员模块、正常/吸烟/打电话分类模型以及摔倒/正常分类模型；头部检测模块包括戴/未戴安全帽分类模型以及区域人数统计模块。
6.通过以上技术方案，相对于现有技术，本发明具有以下有益效果：本发明有效利用现有施工现场监管设备，及时发现非安全行为，减少监管人员的工作量，同时提高了监管效率。
附图说明
7.下面结合附图和实施例对本发明进一步说明。
8.图1是本发明提供的基于计算机视觉的人员施工安全行为识别方法的流程图；图2是本发明提供的区域人数统计模块的流程图；图3是本发明提供的超员模块的流程图；图4是本发明提供的保安脱岗模块的流程图；图5是本发明提供的安全晨会检测模块的流程图；图6是本发明提供的区域入侵检测模块的流程图；图7是本发明提供的徘徊人员检测模块的流程图。
具体实施方式
9.现在结合附图对本发明作进一步详细的说明。本技术的描述中，需要理解的是，术语“左侧”、“右侧”、“上部”、“下部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，“第一”、“第二”等并不表示零部件的重要程度，因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案，并不限制本发明的保护范围。
10.如背景技术中阐述的，仅仅靠人工对施工现场进行监管，不仅效率低下，而且容易
存在漏洞，本技术基于上述背景，充分利用工地上设置的现有摄像头设备，提高监管效率。
11.具体的如图1所示是基于计算机视觉的人员施工安全行为识别方法的流程示意图，从图1中可以看出，包括视频流解析模块、人员检测模块和头部检测模块，且人员检测模块和头部检测模块均与视频流解析模块形成连通；也就是说视频流解析模块获取了多个工地现有摄像头的视频流，即图1中为了方便展示定义的视频流1、视频流2、视频流3
……
视频流n；其中，所述人员检测模块包括穿/未穿安全服分类模型、徘徊人员检测模块、区域入侵检测模块、安全晨会检测模块、保安脱岗模块、超员模块、正常/吸烟/打电话分类模型以及摔倒/正常分类模型；头部检测模块包括戴/未戴安全帽分类模型以及区域人数统计模块。
12.接下来阐述识别方法的具体步骤：步骤s1：在施工工地安装若干摄像头，视频流解析模块从若干摄像头处获取帧信息，帧信息包括若干摄像头的编号、系统时间以及帧图像数据，同时将帧信息存储在缓冲队列中；步骤s2：人员施工安全行为分析模块从缓冲队列中获取帧信息，根据若干摄像头请求的具体功能调用匹配功能模块进行计算，得到相应请求功能结果；其中，若干摄像头请求的匹配功能模块包括穿/未穿安全服分类模型、戴/未戴安全帽分类模型、区域人数统计模块、徘徊人员检测模块、区域入侵检测模块、安全晨会检测模块、保安脱岗模块、超员模块、正常/吸烟/打电话分类模型以及摔倒/正常分类模型。
13.针对上述步骤进行进一步的细化，如步骤s1中，视频流解析模块利用opencv工具，采用多线程策略访问施工工地上安装的若干摄像头，获取摄像头的编号、系统时间以及对应当前摄像头当前时刻的帧图像数据，构成帧信息，存储至数据缓冲队列中。
14.步骤s2中，各个模块的识别功能基于摄像头功能请求，如图1中所示的包括多个功能展示，接下来一一做陈述。
15.若摄像头请求安全服识别功能，具体包括以下步骤：步骤s211：:对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s212：基于位置信息以及帧图像数据得到具体的人员图像数据，启动穿/未穿安全服分类模型，利用穿/未穿安全服分类模型对人员图像数据进一步分类，得到其类别信息，保存未穿安全服人员的位置信息；若摄像头请求安全帽识别功能，具体包括以下步骤：步骤s221：对帧图像数据进行人员头部检测，得到帧图像数据内的所有人员头部位置信息boxes；步骤s222：基于位置信息以及帧图像数据得到具体的人员头部图像数据，启动戴/未戴安全帽分类模型，利用戴/未戴安全帽分类模型对头部数据进一步分类，得到其类别信息，保存未戴安全帽人员的位置信息；若摄像头请求摔倒识别功能，具体包括以下步骤：步骤s231：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s232：基于位置信息以及帧图像数据得到具体的人员图像数据，启动摔倒/正常分类模型，利用摔倒/正常分类模型对人员图像数据进一步分类，得到其类别信息，保存
摔倒人员的位置信息；若摄像头请求吸烟检测功能，具体包括以下步骤：步骤s241：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s242：基于位置信息以及帧图像数据得到具体的人员图像数据，启动正常/吸烟/打电话分类模型，利用正常/吸烟/打电话分类模型对人员图像数据进一步分类，得到其类别信息，保存吸烟人员的位置信息；若摄像头请求打电话检测功能，具体包括以下步骤：步骤s251：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s252：基于位置信息以及帧图像数据得到具体的人员图像数据，启动正常/吸烟/打电话分类模型，利用正常/吸烟/打电话分类模型对人员图像数据进一步分类，得到其类别信息，保存打电话人员的位置信息。
16.图2所示，若摄像头请求区域人数统计功能，具体包括以下步骤：步骤s261：对帧图像数据进行人员检测，启动安全帽识别功能模块，利用安全帽识别功能模块获取帧图像内所有人员头部信息，包含位置信息、是否佩戴安全帽；步骤s262：根据人员头部中心坐标以及先验信息进一步处理得到人员底部中心坐标，判断人员底部坐标是否处于多边形区域内，获取多边形内的人员总数；前述的多边形区域为摄像头辐射的待检测区域；步骤s263：启动安全帽功能分类模型对多边形区域内的佩戴安全帽的人员头部数据进行分类，统计各工种的员工数量，区域人数统计模块得到多边形区域内人员总数、各工种员工数量信息，其中多变形区域内人员总数包括区域内佩戴安全帽的人数以及区域内未佩戴安全帽的人数。
17.图3所示，若摄像头请求超员检测功能，超员模块的实施具体包括以下步骤：步骤s271：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s272：超员模块设定超员阈值，统计所有人员数量，判断是否超过所设超员阈值，若连续多帧超过阈值，则判定发生超员事件，保存超员事件帧。
18.图4所示，若摄像头请求保安脱岗检测功能，具体包括以下步骤：步骤s281：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s282：启动保安脱岗模块，对获取的人员数据信息进一步分类，确认当前帧图像内是否存在保安人员；步骤s283：若存在保安人员，则保安处于在岗状态，否则，保安处于离岗状态，并记录当前时间start_time，持续进行监测，直到再次监测到保安在岗状态，记录当前时间end_time，此时完成一次脱岗事件；步骤s284：基于步骤s283得到的脱岗开始时间start_time和结束时间end_time，得到脱岗总时间，保安脱岗模块设置脱岗时间阈值，基于脱岗时间阈值判断当前脱岗事件是否是一次有效脱岗，若不满足阈值，则不属于脱岗事件，否则，返回，保存脱岗事件信息；
其中，脱岗事件信息包括当前脱岗事件的开始时间、结束时间以及事件帧。
19.图5所示，若摄像头请求安全晨会检测功能，具体包括以下步骤：步骤s291：对帧图像数据进行人员检测，得到帧图像数据内的所有人员位置信息boxes；步骤s292：对获得的人员数据信息进行跟踪，安全晨会检测模块设定位移距离阈值、人员数量阈值以及晨会时间阈值；步骤s293：如果一段时间内，位移距离小于位移距离阈值，则认为当前人员处于静止状态；若某一时刻，静止人员数量达到安全晨会人员数量阈值，且静止状态维持时间超过安全晨会时间阈值，则判断发生安全晨会事件，并利用当前时刻减去安全晨会时间阈值，得到会议开始时间，持续进行检测，直到不满足安全晨会条件，判断会议结束，获取会议事件，包括开始事件、结束时间、会议时长以及参会人数。
20.图6所示，若摄像头请求区域入侵检测功能，具体包括以下步骤：步骤s2101：对帧图像数据进行人员检测，得到帧图像数据内的人员位置信息boxes；步骤s2102：对获得的人员数据信息进行跟踪，判断人员底部中心点与划定多边形区域的位置关系，如果连续多帧位于多边形区域内，则区域入侵检测模块判定当前人员发生区域入侵事件，记录入侵开始时间；步骤s2103：持续对当前入侵人员进行监测，直至其底部中心点连续多帧在划定多边形区域外部，则判定当前人员入侵动作结束，记录入侵结束时间，并对当前入侵人员图像进行保存。
21.图7所示，若摄像头请求徘徊人员检测功能，具体包括以下步骤：步骤s2111：对帧图像数据进行人员检测，得到帧图像数据内的人员位置信息boxes；步骤s2112：对获得的人员数据信息进行跟踪，并对跟踪过程中生成的人员序号id，利用人员重识别模型，判断是否和系统中已出现的人员为同一人，如果是同一人，则修改其id，否则，保留新生成id；步骤s2113：获取相应人员两秒内的轨迹数据，并利用滑动窗口平均对其轨迹数据进行平滑，对平滑后的轨迹，通过其轨迹距离和位移距离的关系，判断当前轨迹是否存在拐点；步骤s2114：持续对轨迹的拐点进行分段测算，每两秒作为一段，直到发现其轨迹中存在超过2次的拐点，则判定当前人员正在徘徊，记录当前徘徊人员的开始时间、结束时间及其所有徘徊轨迹信息。
22.通过上述描述可知，本技术提供的方法相较于传统施工安全监测方法，可有效利用现有施工现场监管设备，进一步提高监管效率，覆盖面广，监管及时，可提高监管效率，及时发现非安全行为，减少监管人员工作量。
23.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
24.本技术中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
25.本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
26.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。