作业现场违章人员的智能监控系统及现场违章监控方法与流程

本发明涉及智能视频监控系统，尤其涉及一种用于作业现场违章人员的智能监控系统及现场违章监控方法。

背景技术：

违章是习惯动作，具有顽固性、多发性，一些职工不重视技术业务和安全知识的学习，盲目地凭着经验和习惯作业；违章作业行为是一些职工潜在的陋习，对一些文化和技术素质较低的违章者，很容易缺乏警惕。部分企业重视生产效益，而忽视了对安全隐患的整改，导致了管理性违章作业；部分企业管理人员忽视了轻微的违章作业现象，助长了违章作业的放任和扩大。

在石化企业现场作业管理方面采取的是作业许可管理，管理流程比较完善，各环节流转也较为流畅，但是在作业现场监督管理存在一定缺陷，目前虽然有专人对现场作业进行监管，仍然缺乏更好的技术手段保障现场施工安全，减少各类违章的发生。目前，对作业现场违章人员的监控系统及监控方法尚未见诸报道。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供一种用于作业现场违章人员的智能监控系统及现场违章监控方法，快速发现作业现场的人员违章行为，避免或减少因人员违章导致的事故。

为解决上述技术问题，本发明方案包括：

一种用于作业现场违章人员的智能监控系统，其包括数据存储库，其还包括布置在作业现场的若干个视频采集单元，视频采集单元均与数据存储库通信连接，数据存储库包括人员信息数据单元、人脸检测单元、人员信息匹配单元与违章行为检测单元，人员信息数据单元与人脸检测单元通信连接，人脸检测单元与人员信息匹配单元通信连接，人员信息匹配单元与违章行为检测单元通信连接；视频采集单元将现场作业信息传输至数据存储库进行人员信息匹配，后台服务器根据人脸检测单元检测的信息，访问人员信息匹配单元，对人脸信息进行匹配，若不成功，智能监控系统对人员进行标注并报警，若匹配成功，根据数据存储库内的信息，确认人员的职务，并对画面进行标注，若标注画面内无监护人员或者只有一个监护人员或者操作人员出现现场违章行为，智能监控系统进行报警操作。

所述的智能监控系统，其中，上述视频采集单元为监控摄像头；上述人员信息数据单元为人脸识别设备，上述数据存储库与一报警器通信连接。

一种使用所述智能监控系统的现场违章监控方法，其包括以下步骤：

视频采集单元将现场作业信息传输至数据存储库进行人员信息匹配，后台服务器根据人脸检测单元检测的信息，访问人员信息匹配单元，对人脸信息进行匹配，若不成功，智能监控系统对人员进行标注并报警，若匹配成功，根据数据存储库内的信息，确认人员的职务，并对画面进行标注，若标注画面内无监护人员或者只有一个监护人员或者操作人员出现现场违章行为，智能监控系统进行报警操作。

所述的现场违章监控方法，其中，上述现场违章行为包括劳保防护用品穿戴检测：包括工作服、工作鞋、安全帽、安全带、便携式气体报警仪、空气呼吸器的监测；采用深度学习训练大规模现场劳保防护用品穿戴不规范的图像，提取部分穿戴不规范图像的各类参数的特征，包括纹理特征、颜色特征、形状特征和方向梯度直方图特征，用另一部分图像样本验证优化整个深度学习的网络，最后将现场的任一图像输入到深度网络学习中进行学习，从而诊断现场工作人员劳保防护用品穿戴是否规范，并传送回数据存储库的后台服务器发布管控指令。

所述的现场违章监控方法，其中，上述现场违章行为包括人体目标检测、轨迹建模、轨迹特征提取与轨迹特征分类；

人体目标检测采用三帧差分析方法检测运动目标，然后依据轮廓配对进一步筛选人体目标，人体目标特征根据空域约束、频域特征匹配和时域特征匹配；

轨迹建模依据二值图像中筛选的某人体目标，再根据人体目标特征匹配依次标记各个人体目标的序号，匹配成功则该目标序号为前一帧相匹配的目标序号，否则标记为新的序号；

轨迹特征提取通过将时间窗四元组中的质心坐标连接，得到时空离散曲线，通过计算广义曲率、时空长度和时空拐点数目来表征该时空离散曲线的标量，对时空离散曲线上的离散点，提取空域和时域两个矢量特征；

轨迹特征分类通过选择尽量多的正负行为样本，正样本包括坑、槽、井、沟上端边沿站徘徊；在起重臂、吊钩或吊物下面或上面徘徊、坐或站立；人员上下抛物；高处作业上下手中持物；同一垂直方向，进行上下交叉作业；受限空间工具遗留在设备内；在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域违章行为的视频，负样本即正常作业行为的视频，采用轨迹四元组方法建立轨迹模型，采用基于时空离散曲线提取特征的标量特征和矢量特征，最后采用svm方法进行训练，得到轨迹特征分类器；

若判别视频中存在违章行为，则数据存储库启动报警。

所述的现场违章监控方法，其中，上述步骤具体的还包括：根据上述步骤形成对现场工作人员的视频图像进行处理，形成较清晰的视频图片后输入到已经训练成功的分类器进行学习，从而诊断图片中的现场工作人员是否进行违章行为并传送回数据存储库的视频管控平台，并根据行为的危险程度进行评级并发出指令措施；

数据存储库与智能监控系统的显示模块将海量视频进行储存，智能监控系统的总控中心可以调用进行前后查询判断，在某一观测区域内识别出违章行为进行预警后，由显示模块直接调动该位置附近配套的摄像设施进行多角度投送显示。

所述的现场违章监控方法，其中，上述步骤具体的还包括：

人脸检测模块采用adaboost方法，采用haar-like特征表示图像，包含白色和黑色两种矩形，其特征值为白色矩形的像素和减去黑色矩形的像素和，反映图像中特定区域的边缘、纹理特性；

其中i(x,y)是积分图像，i(x',y')是原始图像的像素值；

基于弱分类器，选择少量特征构造强分类器，一个haar-like特征对应一个弱分类器：

其中，hj(x)表示弱分类器的值，1表示人脸，0表示非人脸，x表示一个待检测的子窗口，pj用于控制不等式的方向，即只能取±1，fj(x)为某个haar-like特征的特征值，θj为阈值，通过迭代，自适应地调整弱分类器的错误率，直到错误率能达到预定的足够小的期望值，即从弱分类器中训练合成强分类器；

使用级联策略提高人脸检测速度，级联策略通过将若干个强分类器分级串联在一起，通过前几级分类器拒绝大量的非人脸样本；

数据存储库的后台服务器根据人脸检测模块检测的信息，访问人员信息数据库，与数据库的人脸信息进行匹配，若不成功，系统对人员进行标注并报警，若匹配成功，根据数据存储库内的信息，确认人员的职务，并在画面进行标注，若标注信息无监护人员或者只有一个监护人员，系统报警。

所述的现场违章监控方法，其中，上述步骤具体的还包括：

采集大规模现场工作人员劳保防护用品穿戴不规范图像样本；

构建一个五层的深度学习网络dn,第一层ss层采用稀疏自动编码器，第二、三层采用通用自动编码器，第四层ds采用降噪自动编码器，第五层svm采用支持向量机，其输入数据为图像样本，可为任意矩阵，输出数据表示现场工作人员劳保防护用品穿戴不规范图像；

将上述图像样本的部分数据输入网络，采取有监督训练，获取现场工作人员劳保防护用品穿戴不规范的各类参数的特征，包括纹理特征、颜色特征、形状特征和方向梯度直方图特征，并微调深度学习网络的第五层；

将上述图像样本的另一部分数据输入网络进行数据验证，并根据验证结果进一步优化整个深度学习网络，并形成用于预警现场工作人员劳保防护用品穿戴不规范的深度学习网络；

现场的任一图像输入到深度网络学习中进行学习，从而诊断现场工作人员劳保防护用品穿戴是否规范，并传送回数据存储库的后台服务器发布管控指令。

所述的现场违章监控方法，其中，上述步骤具体的包括在进行高空作业时：

高空作业的违章行为包括：

遗留：现场工作人员和随身携带的工具在通向运动过程中，物品与人体突然分离，物品暂停运动和人体继续运动；

上下抛物：现场工作人员的人体目标形状发生改变，而短期内运动轨迹不变；

在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域:现场工作人员运动轨迹进入某虚拟周界并且运动方向朝向虚拟周界；

高处作业的违章行为算法包括人体目标检测、轨迹建模、轨迹特征提取与轨迹特征分类三部分：

人体目标检测

采用三帧差分析方法检测运动目标，然后依据轮廓配对方法进一步筛选人体目标；

数据存储库的算法系统内输入三帧图像l1、l2、l3；计算帧差图像e1、e2、自适应阈值t和经过阈值分割后得到二值图像mr，当mr＝1时，该像素点记为运动像素点)：

e1＝|l2-l1|；

e2＝|l3-l2|；

t＝β×m；

当e1(i,j)≥t且e2(i,j)≥t，mr(i,j)＝1；

其余时，mr(i，j)＝0(3)

其中当mr＝1时，该像素点记为运动像素点，β为加权系数，m×n为视频图像尺寸；

运动目标块输入系统后经过轮廓配对，判断该运动目标是否为人体目标；

采用傅立叶描述参数表示目标轮廓，对坐标为(x,y)的第n个轮廓点，记为x[n]＝x,y[n]＝y,计算傅立叶参数：

其中，设定固定阈值d，将d与d进行比对判断人体目标从轮廓角度是否为人体目标；

轨迹建模

依据二值图像中筛选的某人体目标，后根据人体目标特征匹配依次标记各个人体目标的序号，匹配成功则该目标序号为前一帧相匹配的目标序号，否则标记为新的序号；人体目标的特征根据空域约束、频域特征匹配和时域特征匹配；

轨迹的四元组记为：

tr＝{i,f,p(x,y),d(u)}(5)

i表示目标序号，f表示视频帧号，p(x,y)表示目标质心坐标，d(u)表示目标轮廓秒数参数信息；

轨迹特征提取

通过将时间窗四元组中的质心坐标连接，可得到时空离散曲线，通过计算广义曲率、时空长度和时空拐点数目来表征该时空离散曲线的标量；针对时空离散曲线上的离散点，提取空域和时域两个矢量特征；

轨迹特征分类

通过选择尽量多的正负行为样本，正样本包括人员上下抛物；高处作业上下手中持物；同一垂直方向，进行上下交叉作业；在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域等违章行为的视频，负样本即正常作业行为的视频，采用轨迹四元组方法建立轨迹模型，采用基于时空离散曲线提取特征的标量特征和矢量特征，最后采用svm方法进行训练，得到轨迹特征分类器；

选择径向基函数作为svm的核函数：

若判别视频中的现场工作人员存在违章行为，则启动报警。

所述的现场违章监控方法，其中，上述步骤具体的包括以下步骤：

根据上述步骤形成对现场工作人员的视频图像进行处理，形成较清晰的视频图片后输入到已经训练成功的分类器进行学习，从而诊断图片中的现场工作人员是否进行违章行为并传送回视频管控平台，并根据行为的危险程度进行评级并发出指令措施；

数据存储库与显示模块将海量视频进行储存，有总控中心可以调用进行前后查询判断，在某一观测区域内识别出违章行为进行预警后，由显示系统直接调动该位置附近配套的摄像设施进行多角度投送显示。

本发明提供的一种用于作业现场违章人员的智能监控系统及现场违章监控方法，通过机器视觉学习网络，从而可以快速、有效地对作业人员的不同违章行为进行预警，可有效避免由于人员安全意识薄弱、行为习惯、传统视频监控识别困难等因素，有效制止违章行为所导致的安全隐患，提高了现场施工的安全性。

附图说明

图1为本发明中智能监控系统的结构示意图；

图2为本发明中人员资质检测流程示意图；

图3为本发明中违章作业检测流程示意图。

具体实施方式

本发明提供了一种用于作业现场违章人员的智能监控系统及现场违章监控方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种用于作业现场违章人员的智能监控系统，如图1所示，其包括数据存储库1，其还包括布置在作业现场的若干个视频采集单元2，视频采集单元2均与数据存储库1通信连接，数据存储库1包括人员信息数据单元3、人脸检测单元4、人员信息匹配单元5与违章行为检测单元6，人员信息数据单元3与人脸检测单元4通信连接，人脸检测单元4与人员信息匹配单元5通信连接，人员信息匹配单元5与违章行为检测单元6通信连接；视频采集单元2将现场作业信息传输至数据存储库1进行人员信息匹配，后台服务器根据人脸检测单元4检测的信息，访问人员信息匹配单元5，对人脸信息进行匹配，若不成功，智能监控系统对人员进行标注并报警，若匹配成功，根据数据存储库1内的信息，确认人员的职务，并对画面进行标注，若标注画面内无监护人员或者只有一个监护人员或者操作人员出现现场违章行为，智能监控系统进行报警操作。人员的职务包括监护人、作业人员、特殊作业人员、指挥员等职务，每个人员都有具体的职务铭牌，方便了智能监控系统的确认。

更进一步的，上述视频采集单元为监控摄像头；上述人员信息数据单元为人脸识别设备，上述数据存储库与一报警器通信连接。

在本发明还提供了一种使用上述智能监控系统的现场违章监控方法，如图2与图3所示的，其包括以下步骤：

视频采集单元2将现场作业信息传输至数据存储库1进行人员信息匹配，后台服务器根据人脸检测单元4检测的信息，访问人员信息匹配单元5，对人脸信息进行匹配，若不成功，智能监控系统对人员进行标注并报警，若匹配成功，根据数据存储库1内的信息，确认人员的职务，并对画面进行标注，若标注画面内无监护人员或者只有一个监护人员或者操作人员出现现场违章行为，智能监控系统进行报警操作。

更进一步的，上述现场违章行为包括劳保防护用品穿戴检测：包括工作服、工作鞋、安全帽、安全带、便携式气体报警仪、空气呼吸器的监测；采用深度学习训练大规模现场劳保防护用品穿戴不规范的图像，提取部分穿戴不规范图像的各类参数的特征，包括纹理特征、颜色特征、形状特征和方向梯度直方图特征，用另一部分图像样本验证优化整个深度学习的网络，最后将现场的任一图像输入到深度网络学习中进行学习，从而诊断现场工作人员劳保防护用品穿戴是否规范，并传送回数据存储库的后台服务器发布管控指令。

在本发明的另一较佳实施例中，上述现场违章行为包括人体目标检测、轨迹建模、轨迹特征提取与轨迹特征分类；

人体目标检测采用三帧差分析方法检测运动目标，然后依据轮廓配对进一步筛选人体目标，人体目标特征根据空域约束、频域特征匹配和时域特征匹配；

轨迹建模依据二值图像中筛选的某人体目标，再根据人体目标特征匹配依次标记各个人体目标的序号，匹配成功则该目标序号为前一帧相匹配的目标序号，否则标记为新的序号；

轨迹特征提取通过将时间窗四元组中的质心坐标连接，得到时空离散曲线，通过计算广义曲率、时空长度和时空拐点数目来表征该时空离散曲线的标量，对时空离散曲线上的离散点，提取空域和时域两个矢量特征；

轨迹特征分类通过选择尽量多的正负行为样本，正样本包括坑、槽、井、沟上端边沿站徘徊；在起重臂、吊钩或吊物下面或上面徘徊、坐或站立；人员上下抛物；高处作业上下手中持物；同一垂直方向，进行上下交叉作业；受限空间工具遗留在设备内；在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域违章行为的视频，负样本即正常作业行为的视频，采用轨迹四元组方法建立轨迹模型，采用基于时空离散曲线提取特征的标量特征和矢量特征，最后采用svm方法进行训练，得到轨迹特征分类器；

若判别视频中存在违章行为，则数据存储库启动报警。

在本发明的另一较佳实施例中，上述步骤具体的还包括：根据上述步骤形成对现场工作人员的视频图像进行处理，形成较清晰的视频图片后输入到已经训练成功的分类器进行学习，从而诊断图片中的现场工作人员是否进行违章行为并传送回数据存储库的视频管控平台，并根据行为的危险程度进行评级并发出指令措施；

数据存储库1与智能监控系统的显示模块将海量视频进行储存，智能监控系统的总控中心可以调用进行前后查询判断，在某一观测区域内识别出违章行为进行预警后，由显示模块直接调动该位置附近配套的摄像设施进行多角度投送显示。

而且人脸检测模块采用adaboost方法，采用haar-like特征表示图像，包含白色和黑色两种矩形，其特征值为白色矩形的像素和减去黑色矩形的像素和，反映图像中特定区域的边缘、纹理特性；

其中i(x,y)是积分图像，i(x',y')是原始图像的像素值；

基于弱分类器，选择少量特征构造强分类器，一个haar-like特征对应一个弱分类器：

其中，hj(x)表示弱分类器的值，1表示人脸，0表示非人脸，x表示一个待检测的子窗口，pj用于控制不等式的方向，即只能取±1，fj(x)为某个haar-like特征的特征值，θj为阈值，通过迭代，自适应地调整弱分类器的错误率，直到错误率能达到预定的足够小的期望值，即从弱分类器中训练合成强分类器；

使用级联策略提高人脸检测速度，级联策略通过将若干个强分类器分级串联在一起，通过前几级分类器拒绝大量的非人脸样本；

数据存储库1的后台服务器根据人脸检测模块检测的信息，访问人员信息数据库，与数据库1的人脸信息进行匹配，若不成功，系统对人员进行标注并报警，若匹配成功，根据数据存储库1内的信息，确认人员的职务，并在画面进行标注，若标注信息无监护人员或者只有一个监护人员，系统报警。

在本发明的另一较佳实施例中，上述步骤具体的还包括：

采集大规模现场工作人员劳保防护用品穿戴不规范图像样本；

构建一个五层的深度学习网络dn,第一层ss层采用稀疏自动编码器，第二、三层采用通用自动编码器，第四层ds采用降噪自动编码器，第五层svm采用支持向量机，其输入数据为图像样本，可为任意矩阵，输出数据表示现场工作人员劳保防护用品穿戴不规范图像；

将上述图像样本的部分数据输入网络，采取有监督训练，获取现场工作人员劳保防护用品穿戴不规范的各类参数的特征，包括纹理特征、颜色特征、形状特征和方向梯度直方图特征，并微调深度学习网络的第五层；

将上述图像样本的另一部分数据输入网络进行数据验证，并根据验证结果进一步优化整个深度学习网络，并形成用于预警现场工作人员劳保防护用品穿戴不规范的深度学习网络；

现场的任一图像输入到深度网络学习中进行学习，从而诊断现场工作人员劳保防护用品穿戴是否规范，并传送回数据存储库的后台服务器发布管控指令。

比如在进行高空作业时：

高空作业的违章行为包括：

遗留：现场工作人员和随身携带的工具在通向运动过程中，物品与人体突然分离，物品暂停运动和人体继续运动；

上下抛物：现场工作人员的人体目标形状发生改变，而短期内运动轨迹不变；

在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域:现场工作人员运动轨迹进入某虚拟周界并且运动方向朝向虚拟周界；

高处作业的违章行为算法包括人体目标检测、轨迹建模、轨迹特征提取与轨迹特征分类三部分：

人体目标检测

采用三帧差分析方法检测运动目标，然后依据轮廓配对方法进一步筛选人体目标；

数据存储库的算法系统内输入三帧图像l1、l2、l3；计算帧差图像e1、e2、自适应阈值t和经过阈值分割后得到二值图像mr，当mr＝1时，该像素点记为运动像素点)：

e1＝|l2-l1|；

e2＝|l3-l2|；

t＝β×m；

当e1(i,j)≥t且e2(i,j)≥t，mr(i,j)＝1；

其余时，mr(i，j)＝0(3)

其中当mr＝1时，该像素点记为运动像素点，β为加权系数，m×n为视频图像尺寸；

运动目标块输入系统后经过轮廓配对，判断该运动目标是否为人体目标；

采用傅立叶描述参数表示目标轮廓，对坐标为(x,y)的第n个轮廓点，记为x[n]＝x,y[n]＝y,计算傅立叶参数：

其中，设定固定阈值d，将d与d进行比对判断人体目标从轮廓角度是否为人体目标；

轨迹建模

依据二值图像中筛选的某人体目标，后根据人体目标特征匹配依次标记各个人体目标的序号，匹配成功则该目标序号为前一帧相匹配的目标序号，否则标记为新的序号；人体目标的特征根据空域约束、频域特征匹配和时域特征匹配；

轨迹的四元组记为：

tr＝{i,f,p(x,y),d(u)}(5)

i表示目标序号，f表示视频帧号，p(x,y)表示目标质心坐标，d(u)表示目标轮廓秒数参数信息；

轨迹特征提取

通过将时间窗四元组中的质心坐标连接，可得到时空离散曲线，通过计算广义曲率、时空长度和时空拐点数目来表征该时空离散曲线的标量；针对时空离散曲线上的离散点，提取空域和时域两个矢量特征；

轨迹特征分类

通过选择尽量多的正负行为样本，正样本包括人员上下抛物；高处作业上下手中持物；同一垂直方向，进行上下交叉作业；在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域等违章行为的视频，负样本即正常作业行为的视频，采用轨迹四元组方法建立轨迹模型，采用基于时空离散曲线提取特征的标量特征和矢量特征，最后采用svm方法进行训练，得到轨迹特征分类器；

选择径向基函数作为svm的核函数：

若判别视频中的现场工作人员存在违章行为，则启动报警。

更进一步的，上述步骤具体的包括以下步骤：

根据上述步骤形成对现场工作人员的视频图像进行处理，形成较清晰的视频图片后输入到已经训练成功的分类器进行学习，从而诊断图片中的现场工作人员是否进行违章行为并传送回视频管控平台，并根据行为的危险程度进行评级并发出指令措施；

数据存储库1与显示模块将海量视频进行储存，有总控中心可以调用进行前后查询判断，在某一观测区域内识别出违章行为进行预警后，由显示系统直接调动该位置附近配套的摄像设施进行多角度投送显示。

为了更进一步描述本发明，以下列举更为详尽的实施例进行说明。

视频采集单元2：原始输入的视频信号来自作业现场视频监控的视频并转化成图片或者视频帧；

人员资质检测单元：包络人员信息数据库模块、人脸检测模块、人员信息匹配模块。

1、人员信息数据库模块存放作业人员的脸部照片、姓名信息、体检信息、作业状态信息及资质信息(包括特种作业资格证、安全培训合格证及企业需要的其他资质)；

人脸检测模块采用adaboost方法：

1)采用haar-like特征表示图像，包含白色和黑色两种矩形，其特征值为白色矩形的像素和减去黑色矩形的像素和，反映图像中特定区域的边缘、纹理特性，为提高特征的计算速度，引入积分图，公式如下：

其中i(x,y)是积分图像，i(x',y')是原始图像的像素值。

2)基于弱分类器，采用adaboost方法，选择少量特征构造强分类器。一个haar-like特征对应一个弱分类器：

其中hj(x)表示弱分类器的值，1表示人脸，0表示非人脸，x表示一个待检测的子窗口，pj用于控制不等式的方向，即只能取±1，fj(x)为某个haar-like特征的特征值，θj为阈值。采用adaboost方法，通过迭代，自适应地调整弱分类器的错误率，直到错误率能达到预定的足够小的期望值，即从弱分类器中训练合成强分类器。

3)使用级联(cascade)策略提高人脸检测速度。级联(cascade)策略通过将若干个强分类器分级串联在一起，通过前几级分类器拒绝大量的非人脸样本，节约时间检测可能是人脸的区域，提高检测人脸的速度。

人员信息匹配，后台服务器根据人脸检测模块检测的信息，与数据库的人脸信息进行匹配，若不成功，系统对人员进行标注并报警，若匹配成功，根据数据库信息，确认人员的角色(监护人、作业人员、特殊作业人员、指挥员)，并在画面进行标注，若标注信息无监护人员或者只有一个监护人员，系统报警。

违章作业检测单元6：包括劳保防护用品穿戴检测和违章行为检测。

1、劳保防护用品穿戴检测：包括工作服、工作鞋、安全帽、安全带

1)数据库模块：采集大规模现场作业人员劳保防护用品穿戴不规范图像样本；

2)模型构建模块：构建一个五层的深度学习网络dn,第一层ss层采用稀疏自动编码器，第二、三层采用通用自动编码器，第四层ds采用降噪自动编码器，第五层svm采用支持向量机，其输入数据为1)图像样本，可为任意矩阵，输出数据表示现场作业人员劳保防护用品穿戴不规范图像。

3)模型学习模块:将1)图像样本的部分数据输入网络，采取有监督训练，获取现场作业人员劳保防护用品穿戴不规范的各类参数的特征，包括纹理特征、颜色特征、形状特征和方向梯度直方图特征，并微调深度学习网络的第五层。

4)数据验证模型，将1)图像样本的另一部分数据输入网络进行数据验证，并根据验证结果进一步优化整个深度学习网络，并形成用于预警现场作业人员劳保防护用品穿戴不规范的深度学习网络。

5)现场的任一图像输入到深度网络学习中进行学习，从而诊断现场工作人员劳保防护用品穿戴是否规范，并传送回后台服务器发布管控指令

在此以高处作业为例进行说明：

高空作业的违章行为：

1)遗留：作业人员和随身携带的工具在通向运动过程中，物品与人体突然分离，物品暂停运动和人体继续运动；

2)上下抛物：作业人员的人体目标形状发生改变，而短期内运动轨迹不变；

3)在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域:作业人员运动轨迹进入某虚拟周界并且运动方向朝向虚拟周界。

高处作业的违章行为算法包括人体目标检测、轨迹建模、特征提取与分类三部分：

1)人体目标检测，采用三帧差分析方法检测运动目标，然后依据轮廓配对方法进一步筛选人体目标。

算法系统内输入三帧图像l1、l2、l3；计算帧差图像e1、e2、自适应阈值t和经过阈值分割后得到二值图像mr(mr＝1时，该像素点记为运动像素点)：

e1＝|l2-l1|；

e2＝|l3-l2|；

t＝β×m；

当e1(i,j)≥t且e2(i,j)≥t，mr(i,j)＝1；

其余时，mr(i，j)＝0

运动目标块输入系统后经过轮廓配对，判断该运动目标是否为人体目标。采用傅立叶描述参数表示目标轮廓，对坐标为(x,y)的第n个轮廓点，记为x[n]＝x,y[n]＝y,计算傅立叶参数：

设定固定阈值d，将d与d进行比对判断人体目标从轮廓角度是否为人体目标。

2)轨迹建模

首先依据二值图像中筛选的某人体目标，后根据人体目标特征匹配依次标记各个人体目标的序号，匹配成功则该目标序号为前一帧相匹配的目标序号，否则标记为新的序号。人体目标特征根据空域约束、频域特征匹配和时域特征匹配。

轨迹的四元组记为：

tr＝{i,f,p(x,y),d(u)}

i表示目标序号，f表示视频帧号，p(x,y)表示目标质心坐标，d(u)表示目标轮廓秒数参数信息。

3)轨迹特征提取

通过将时间窗四元组中的质心坐标连接，可得到时空离散曲线，通过计算广义曲率、时空长度和时空拐点数目来表征该时空离散曲线的标量。针对时空离散曲线上的离散点，提取空域和时域两个矢量特征。

4)轨迹特征分类

通过选择尽量多的正负行为样本，正样本包括人员上下抛物；高处作业上下手中持物；同一垂直方向，进行上下交叉作业；在高处平台、孔洞、支架边缘休息或倚坐栏杆，进入安全警戒区域等违章行为的视频，负样本即正常作业行为的视频，采用轨迹四元组方法建立轨迹模型，采用基于时空离散曲线提取特征的标量特征和矢量特征，最后采用svm方法进行训练，得到轨迹特征分类器。

选择径向基函数作为svm的核函数：

若判别视频中存在违章行为，则启动报警。

预警及数据存储模块

根据上述步骤形成对现场工作人员的视频图像进行处理，形成较清晰的视频图片后输入到已经训练成功的分类器进行学习，从而诊断图片中的现场工作人员是否进行违章行为并传送回视频管控平台，并根据行为的危险程度进行评级并发出指令措施；

数据存储库1与显示模块将海量视频进行储存，有总控中心可以调用进行前后查询判断，在某一观测区域内识别出违章行为进行预警后，由显示系统直接调动该位置附近配套的摄像设施进行多角度投送显示。

当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。