一种基于深度学习自适应的施工人员安全监测方法、系统及装置与流程

1.本发明属于施工安全保护技术领域，具体涉及一种基于深度学习自适应的施工人员安全监测方法、系统及装置。


背景技术：

2.目前提倡的“智慧工地”等项目，体现的智慧能力之一就是在施工过程中能够自动及时的发现安全隐患，降低安全事故的发生。而很多安全事故的发生是由人的不安全行为导致的，因此需要装备更智能的监控设施实时对施工人员的行为进行监督约束，及时发现和纠正危险的行为举动。
3.传统的视频监控方式是在工业现场布置一定数量的监控摄像头，在监控室电视墙上同时显示监控视频。监督人员实时紧盯监控画面，查看施工人员现场情况。
4.传统的视频监控方式主要通过人工方式对视频中的施工人员进行监控，人力成本高，费时费力。并且容易疲劳，往往会遗漏风险问题。视频监控设备的性能也存在一定的不足和局限性，当监控区域较大时，为了方便人员在全局范围内进行实时监控，需要布置更密集的监控摄像头减少盲区，但这样会导致硬件成本较高。若为了缩减成本，布置少量的摄像头，则需要监控人员操作控制器进行巡检，逐一调节每一个摄像头的拍摄角度，切换监控区域，这会导致全局巡检周期较长，实时性较差，不能及时发现风险点。


技术实现要素：

5.本发明的目的在于提供一种基于深度学习自适应的施工人员安全监测方法、系统及装置，以解决现有技术中的问题；
6.为了解决上述问题，本发明提供如下技术方案：
7.一种基于深度学习自适应的施工人员安全监测方法，包括：
8.对施工区域进行全局监控，并将所监控的区域均匀划分为若干区域，得到划分区域后的若干监控画面；用红点1标记所划分若干监控画面的中心位置，并用红框2标记每个监控画面中的施工人员，对每个监控画面中红框2标记的施工人员放大聚焦后通过目标检测算法对施工人员的姿态和施工人员的安全帽进行监测，完成施工人员的安全监测。
9.进一步地，所述对每个监控画面的施工人员放大聚焦的放大倍数为：放大的施工人员占所放大画面的三分之一至二分之一。
10.进一步地，将全局监控的区域划分为若干区域采用4
×
4，5
×
5的方式进行划分。
11.进一步地，所述施工人员的安全监测方法为：监测清晰画面中红框2标记的施工人员和安全帽，采用目标检测算法判断人体姿态和安全帽的相对位置是否一一对应，若所判断的结果与监测画面的结果相一致，则施工人员处于安全作业状态，若所判断的结果与监测画面的结果不一致，则施工人员作业存在安全隐患，并对存在安全隐患的施工人员重点标记和显示，将显示结果传输至施工区域报警设备中，提醒施工人员安全作业。
12.一种基于深度学习自适应的施工人员安全监测系统，包括：
13.监控模块，用于对施工区域进行全局监控，并将所监控的区域均匀划分为若干区域，得到划分区域后的若干监控画面；
14.判断模块，用于判断监控画面中的施工人员是否安全作业，包括：用红点1标记所划分若干监控画面的中心位置，并用红框2标记每个监控画面中的施工人员，对每个监控画面中红框2标记的施工人员放大聚焦后通过目标检测算法对施工人员的姿态和施工人员的安全帽进行监测，完成施工人员的安全监测。
15.一种基于深度学习自适应的施工人员安全监测装置，包括：长焦摄像头、超广角摄像头、处理器和报警器，其中：
16.所述长焦摄像头和所述超广角摄像头均无线连接于所述处理器上；
17.所述处理器上配置有与所述处理器相连接的显示器；
18.所述报警器无线连接于所述处理器上。
19.进一步地，所述报警器为声光报警器。
20.进一步地，所述超广角摄像头和所述长焦摄像头设置于同一吊装架摄像头固定板和吊装架固定底座上，其中：
21.所述超广角摄像头和所述长焦摄像头固定连接于所述吊装架摄像头固定板的下端；
22.所述吊装架固定底座通过吊装架拉杆固定连接于所述吊装架摄像头固定板的上端。
23.进一步地，所述长焦摄像头可围绕吊装架摄像头固定板上下左右旋转。
24.相较于现有技术，本发明的优点在于：
25.本发明的一种基于深度学习自适应的是施工人员安全监测方法，通过对施工区域的全局监控，以及对所监控的施工区域进行划分，对所划分区域中的施工人员放大聚焦后通过目标监测算法对施工人员的姿态及是否佩戴安全帽尽心监测，使得在施工过程中能够自动及时的发现安全隐患，降低安全事故的发生，且当施工人员存在安全隐患时，能够及时发现和纠正危险的行为举动，保障了施工人员的安全。同时避免了人工方式对视频中的施工人员进行监控，避免了人力成本高，费时费力且容易疲劳，造成监控遗漏和疏忽，导致施工人员受伤害的问题发生。
26.本发明的一种基于深度学习自适应的施工人员安全监测系统，通过监控模块对施工区域的监控，以及判断模块对监控区域中的作业人员进行监控和安全判断，进一步保障了作业人员的安全，避免了作业人员在作业过程中发生危险。
27.本发明的一种基于深度学习自适应的施工人员安全监测装置，通过长焦摄像头、超广角摄像头、处理器和报警器结构，使得在长焦摄像头和超广角摄像头将施工区域的清晰画面传世至与处理器相配置的显示器上，并当存在安全隐患时及时传输至报警器上，进一步保障了作业人员的安全。
28.进一步地，通过将报警器设为声光报警器，能够在当作业人员存在安全隐患时通过监控系统第一时间发现，并将所监控的结果传输至声光报警器进行报警，极大地减少了安全隐患传达费时费力或传达不及时的问题，最大程度地减少了作业人员受伤害的风险。
29.进一步地，通过长焦摄像头可围绕长焦摄像头底座上下左右旋转，避免了长焦摄
像头监控不到位，存在监控死角，导致作业人员存在安全隐患的问题发生。
附图说明
30.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
31.图1为本发明一种基于深度学习自适应的施工人员安全监测方法的流程示意图；
32.图2为本发明一种基于深度学习自适应的施工人员安全监测方法中超广角摄像头所拍摄的画面，并将所拍摄的画面进行分割和在中心点进行标记；
33.图3为本发明一种基于深度学习自适应的施工人员安全监测方法中采用红框2对作业人员进行标记的示意图；
34.图4为本发明一种基于深度学习自适应的施工人员安全监测方法中对作业人员进行放大监测的图像。
35.其中：红点1，红框2。
具体实施方式
36.下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
37.以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
38.为了解决在监控区域较大情况下，使用最少的硬件设备，自动对工业现场施工人员进行安全监控的问题。本发明提出了一种基于深度学习自适应的施工人员安全监测方法、系统及装置。通过采用第一监控组件对施工区域进行全局监控，并将所监控的区域均匀划分为若干区域；采用第二监控组件对所划分的若干区域进行放大处理，根据放大处理的图像检测施工人员是否安全的方法，能够对施工区域内的所有施工人员进行安全监测，在施工过程中能够自动及时的发现安全隐患，降低安全事故的发生，且当施工人员存在安全隐患时，能够及时发现和纠正危险的行为举动，保障了施工人员的安全。同时避免了人工方式对视频中的施工人员进行监控，避免了人力成本高，费时费力且容易疲劳，造成监控遗漏和疏忽，导致施工人员受伤害的问题发生。通过监控模块对施工区域的监控，以及判断模块对监控区域中的作业人员进行监控和安全判断，进一步保障了作业人员的安全，避免了作业人员在作业过程中发生危险。
39.实施例1：
40.本发明的一种基于深度学习自适应的施工人员安全监测方法，如图1所示，包括：
41.对施工区域进行全局监控，并将所监控的区域均匀划分为若干区域，得到划分区域后的若干监控画面；用红点1标记所划分若干监控画面的中心位置，并用红框2标记每个监控画面中的施工人员，对每个监控画面中红框2标记的施工人员放大聚焦后通过目标检测算法对施工人员的姿态和施工人员的安全帽进行监测，完成施工人员的安全监测。
42.进一步具体地，如图1至图4所示，将全局监控的区域划分为若干区域采用4
×
4，5
×
5 的方式进行划分。
43.进一步具体地，施工人员的安全监测方法为：监测清晰画面中红框2标记的施工人员和安全帽，判断人体姿态和安全帽的相对位置是否一一对应，若所判断的结果与监测画面的结果相一致，则施工人员处于安全作业状态，若所判断的结果与监测画面的结果不一致，则施工人员作业存在安全隐患，并对存在安全隐患的施工人员重点标记和显示，将显示结果传输至施工区域报警设备中，提醒施工人员安全作业。
44.具体地，本优选实施例中对施工区域进行全局监控时采用超广角摄像头，对每个监控画面中红框2标记的施工人员进行放大聚焦时采用长焦摄像头。在进行施工区域施工人员安全监测时，采用超广角摄像头对施工区域全局监控，并将所监控的全局区域按照4
×
4的方式划分为16个监控区域，得到16个监控画面，随后对每个监控画面中的是施工人员进行放大聚焦监测，对放大聚焦的施工人员通过目标监测算法监测施工人员的姿态和施工人员是否佩戴安全帽，若监测到是公共人员的姿态符合施工常规姿态，符合人体工学的动作，如起立，蹲下，手臂伸张，弯腰等动作时，施工人员处于安全作业状态；且根据目标监测算法对人体的监测结果和安全帽的监测结果匹配安全帽在人体的所在位置，若所监测的安全帽的位置与目标监测算法监测到人体头部的位置相匹配，则施工人员佩戴安全帽；若所监测的结果不匹配，则施工人员未佩戴安全帽或安全帽佩戴不规范，提醒施工人员正确佩戴安全帽，并注意施工安全。
45.具体地，在进行红框2中是公共人员放大聚焦时，由于超广角摄像头进行全局监控，长焦摄像头进行放大聚焦，二者分工不同，而在放大聚焦的过程中，超广角摄像头将施工人员在所处划分区域中的位置，以及所在位置的坐标反馈至长焦摄像头，长焦摄像头根据超广角所反馈的坐标聚焦至超广角摄像头所监控的同一施工区域和相同施工人员，随后将长焦摄像头所监控画面中的施工人员放大至所监控画面的三分之一，对放大的画面进行监测，完成施工人员的放大聚焦和安全监测。
46.也即，通过长焦摄像头和超广角摄像头分别对作业区域进行监控和标定，在进行监控和标定时，整个摄像头模组放置在现场适当位置，具有足够大的拍摄视野。正式使用前需要先进行长焦摄像头调节标定，流程如下：
47.step1:获取用超广角摄像头拍摄的全局图像，并分割为4行4列，共16个子区域，如图4所示。红点1标记为该子区域的中心位置。
48.step2:采用人工远程调节方式，对准每一个子区域的中心位置，调节长焦摄像头的拍摄角度和焦距，从而获得子区域中心点坐标与长焦摄像头x轴，z轴和焦距调节参数一一对应关系表。
49.step3:因为长焦摄像头可调节的参数为连续变化量，在对应关系表的基础上采用线性插值法，可以计算得到全局图像上任一位置点的坐标所对应的长焦摄像头调节参数值。将该调节参数输入到长焦摄像头，在可调节范围内，长焦摄像头中心可对准以该坐标为中心的区域。
50.完成长焦摄像头调节标定步骤，将超广角摄像头与长焦摄像头功能联合起来使用。如图 2和图4所示，正式监控使用过程步骤如下所示：
51.step1:使用超广角摄像头对整个区域进行拍摄，得到全局图像。
52.step2:将全局图像输入图形处理工作站，进行施工人员人体位置检测，红色框表
示检测出的人体。
53.setp3:首先根据红框2中心点在全局图像中的坐标，在长焦摄像头调节标定对应关系表的基础上，通过线性插值方法，计算得到长焦摄像头的调节参数。再根据该参数，自动调节长焦摄像头的拍摄方向和焦距，拍摄得到更清晰的图像。再将该图像作为输入图像，送入到图形处理工作站，进行人体姿态和安全帽的检测，其中安全帽检测分析结果分为两种：
54.(a)人体及其佩戴的安全帽均能检测出来，并且相对位置一一对应，可判断该人员佩戴了安全帽。
55.(b)只检测出人体，仍未检测出安全帽。此种情况可判定为该人员未按要求佩戴安全帽。
56.step4:重复step3，直到所有检测出的施工人员均进行姿态识别和安全帽的识别并一一匹配判断。对于最终判定为危险姿态或未佩戴安全帽的情况，及时将结果发送给监督人员，同时通过5g网络同步到现场的警报设备及时对该人员进行提醒，及时消除施工隐患。
57.实施例2：
58.一种基于深度学习自适应的施工人员安全监测系统，包括：
59.监控模块，用于对施工区域进行监控，包括采用第一监控组件对施工区域进行全局监控，并将所监控的区域均匀划分为若干区域；采用第二监控组件对所划分的若干区域进行放大处理，根据放大处理的图像检测施工人员是否安全；
60.判断模块：用于判断施工画面中的施工人员是否安全作业，包括：对全局图像中的施工人员位置进行检测，用红点1标记所划分若干区域的中心位置，用红框2标记检测到的施工人员，根据某一红框2中心点在全局图像中的坐标和所标定的数据计算得到第二监控组件的调节参数，第二监控组件根据得到的参数自动调节拍摄画面至清晰状态，对清晰画面中的人体姿态和人体是否佩戴安全帽进行检测，完成施工人员的安全监测。
61.实施例3：
62.一种基于深度学习自适应的施工人员安全监测装置，包括：长焦摄像头、超广角摄像头、处理器和报警器，其中：
63.长焦摄像头和所述超广角摄像头均无线连接于处理器上；
64.处理器上配置有与处理器相连接的显示器；
65.报警器无线连接于所述处理器上。
66.进一步具体地，报警器为声光报警器。
67.进一步具体地，超广角摄像头和长焦摄像头设置于同一吊装架摄像头固定板和吊装架固定底座上，其中：超广角摄像头和长焦摄像头固定连接于吊装架摄像头固定板的下端；吊装架固定底座通过吊装架拉杆固定连接于吊装架摄像头固定板的上端。
68.进一步具体地，长焦摄像头可围绕长焦摄像头底座上下左右旋转。
69.更为具体地，该装置由摄像头模组与图形处理工作站组成。摄像头模组采用超广角摄像头和长焦摄像头相结合的类似双目形式，其中摄像头的拍摄角度和焦距可以根据信号指令自动调节。图形处理工作站运行基于深度学习算法的人体姿态检测、安全帽等必要安全设备目标识别模型，可以识别图像中的人体姿态及各种类型的安全帽。在监控图像中，
施工人员人体面积比佩戴的安全帽像素占比大、特征明显，更容易检测出来。因此使用超广角摄像头对大范围视野内的人员进行识别，对于距离较远、成像模糊的人员，自动调节长焦摄像头的拍摄方向和焦距，对该区域的进行精细拍摄，得到更清晰的人员图像。配合图形工作站强大的人体姿态识别和安全帽目标检测能力，可以实时工业现场人员的自动智能监控。
70.本发明提出的一种基于深度学习自适应的施工人员安全监测方法、系统及装置。此装置由摄像头模组与图形处理工作站组成。
71.摄像头模组采用超广角摄像头和长焦摄像头相结合的类似双目形式，超广角摄像头为半球形结构，用于对整个工业现场或施工现场进行拍摄，得到全局图像。长焦摄像头为枪型结构，具备2个自由度的调节能力，依靠电动旋转机构，能够分别围绕x轴和z轴旋转一定的角度范围，从而调节摄像头的拍摄方向。并且具备可远程调节焦距的长焦镜头，可以对远距离的物体进行更清晰拍摄。
72.两台摄像头以倒装方式固定在同一个吊装支架上，并保持一定的距离，保证长焦摄像头在调节拍摄方向的过程中不会遮挡超广角摄像头的拍摄。图形处理工作站运行人体姿态识别和安全帽目标识别模块。图形处理工作站还配备一块gpu计算加速卡，输入图像尺寸均变换至 960*640(单位：像素)，单张图像检测时间可控制在100毫秒以内。
73.由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。
74.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
75.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/ 或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
76.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
77.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
78.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。