矿井下人员不安全行为检测系统的制作方法

1.本发明涉及计算机领域，具体地，涉及一种矿井下人员不安全行为检测系统。


背景技术：

2.煤矿生产大部分是地下作业，地质及开采条件复杂多变，不安全因素多，经常受到瓦斯、煤尘、火水及顶板等实害的威胁。因此，为确保井下作业人员的安全和保证矿井正常生产，必须把煤矿安全工作放在各项工作的首位。目前，近几年，因为井下人员不安全行为，井下人员受伤事件频发，如何使用智能技术保证井下工作人员安全是重中之重。相关技术存在着人员行为识别准确率不高、容易受井下复杂环境影响而导致算法稳定性不高等问题。


技术实现要素：

3.本发明的目的是提供一种矿井下人员不安全行为检测系统，能够及时准确地检测到矿井下人员的不安全行为并予以提示，从而保护矿井下人员的安全。
4.为了实现上述目的，本发明提供一种矿井下人员不安全行为检测系统，所述系统包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元；所述数据采集单元，用于采集矿井下的原始数据，并将所述原始数据发送给所述数据存储与优化单元，所述数据采集单元包括红外热成像相机，所述红外热成像相机安装于矿井下被检测区域的上方，用于采集所述被检测区域的红外视频，并将所述红外视频发送给所述后端处理单元；所述后端处理单元，用于接收所述红外视频，采用人体姿态检测模型对所述红外视频中的人体姿态进行估计，以提取所述红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的所述关键骨骼点，确定矿井下人员是否具有不安全行为，并将确定结果发送给所述控制单元和所述数据存储与优化单元，其中，所述人体姿态检测模型为轻量级openpose网络模型，所述轻量级openpose网络模型采用resnet作为预处理网络；所述控制单元，用于接收矿井下人员是否具有不安全行为的确定结果，并根据所述确定结果对矿井下的设备进行联动控制，以及在所述确定结果表征矿井下人员具有不安全行为的情况下，向监控平台输出报警信号；所述数据存储与优化单元，用于接收所述数据采集单元发送的原始数据以及所述后端处理单元发送的矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。
5.可选地，在所述红外视频中有一个人员的情况下，所述后端处理单元用于通过如下方式确定矿井下人员是否具有摔倒的不安全行为：根据所述红外视频的当前帧中该人员的颈部骨骼点坐标（x1，y1）、左腰骨骼点坐标（x8，y8）、右腰骨骼点坐标（x
11
，y
11
），确定该人员的人体躯干长度d
body
；根据颈部骨骼点坐标（x1，y1）、以及在所述当前帧之前的第10帧中该人员的颈部骨
骼点坐标（x
’1，y
’1），确定该人员的移动距离h；根据移动距离h和人体躯干长度d
body
，得到移动距离h的归一化数据；将移动距离h的归一化数据除以摔倒过程时间
△
t，得到当前帧对应的归一化速度v1；对在所述当前帧之前的10帧红外图像各自对应的归一化速度进行均值滤波，得到滤波处理后的速度v
1f
；在滤波处理后的速度v
1f
超过速度阈值的情况下，确定矿井下人员具有摔倒的不安全行为。
6.可选地，通过如下公式确定该人员的人体躯干长度d
body
：通过如下公式确定归一化速度v1：通过如下公式确定滤波处理后的速度v
1f
：其中，j表示当前帧之前的第j帧红外图像，v
1j
表示第j帧对应的归一化速度。
7.可选地，在所述红外视频中有两个以上人员的情况下，所述后端处理单元用于通过如下方式分别确定矿井下每一人员是否具有摔倒的不安全行为：确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x8，y8）和右腰骨骼点坐标（x
11
，y
11
）之间的中心点c；将该人员的颈部骨骼点坐标（x1，y1）与中心点c连成的直线作为脊椎直线l；将该人员的左腰骨骼点坐标（x8，y8）和左腿骨骼点（x9，y9）连成的直线作为大腿直线l1；将该人员的右腰骨骼点坐标（x
11
，y
11
）和右腿骨骼点（x
12
，y
12
）连成的直线作为大腿直线l2；将脊椎直线l与水平方向之间的夹角作为γ，将大腿直线l1与水平方向之间的夹角作为γ1，将大腿直线l2与水平方向之间的夹角作为γ2；在夹角γ＜γa且γ1＜γb，或者γ＜γa且γ2＜γb的情况下，确定矿井下该人员具有摔倒的不安全行为，其中，γa和γb均为预设角度。
8.可选地，所述后端处理单元用于通过如下方式确定矿井下人员是否具有攀爬的不安全行为：将该人员的左腰骨骼点坐标（x8，y8）和左腿骨骼点（x9，y9）连成的直线作为大腿直线l1，将该人员的左腿骨骼点（x9，y9）和左脚骨骼点（x
10
，y
10
）连成的直线作为小腿直线l3，将大腿直线l1和小腿直线l3内侧的夹角记为αa；
将该人员的右腰骨骼点坐标（x
11
，y
11
）和右腿骨骼点（x
12
，y
12
）连成的直线作为大腿直线l2，将该人员的右腿骨骼点（x
12
，y
12
）和右脚骨骼点（x
13
，y
13
）连成的直线作为小腿直线l4，将大腿直线l2和小腿直线l4内侧的夹角记为αb；确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x8，y8）和右腰骨骼点坐标（x
11
，y
11
）之间的中心点c,将该人员的颈部骨骼点坐标（x1，y1）与中心点c连成的直线作为脊椎直线l，将大腿直线l1和脊椎直线l内侧的夹角记为βa，大腿直线l2和脊椎直线l内侧的夹角记为βb；在αa＜a、βa＜b、βa＜c、βb＜d、且左脚骨骼点（x
10
，y
10
）和右脚骨骼点（x
13
，y
13
）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，或者，在αa＜c、βa＜d、βa＜a、βb＜b、且左脚骨骼点（x
10
，y
10
）和右脚骨骼点（x
13
，y
13
）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，其中，a、b、c、d均为预设角度。
9.可选地，所述后端处理单元用于通过如下方式确定矿井下人员是否具有推搡的不安全行为：将人体的第一手部骨骼点（x4，y4）与该人体以外的其他人体的第一肩部骨骼点（x2，y2）之间的距离作为距离d，或者，将人体的第二手部骨骼点（x7，y7）与该人体以外的其他人体的第二肩部骨骼点（x5，y5）之间的距离作为距离d；确定所述其他人体的脊椎长度d
ver
；在距离d与脊椎长度d
ver
之间的比值λ小于预设系数的情况下，确定矿井下人员具有推搡的不安全行为。
10.可选地，通过如下公式确定比值λ：可选地，所述轻量级openpose网络模型是通过如下方式训练得到的：每批次向轻量级openpose网络模型中输入预设数量张图片，其中，学习率lr设置为0.0001，循环训练epoch设置为60次；在训练批次达到预设批次的情况下，轻量级openpose网络模型输出热力图的损失值和亲和立场的损失值；在热力图的损失值和亲和立场的损失值未达到设定标准的情况下，继续对轻量级openpose网络模型进行训练；在热力图的损失值和亲和立场的损失值下降到设定标准的情况下，得到训练完成的轻量级openpose网络模型。
11.可选地，所述轻量级openpose网络模型是通过如下方式部署在后端处理单元的：采用tensorflow将训练完成的轻量级openpose网络模型导出为pb格式；采用python的tf2onnx模块将pb文件转化为onnx格式模型文件；采用python的rknn-toolkit模块将onnx模型量化为u8数据格式的rknn文件，并采用对应接口函数将rknn文件导入后端处理单元中。
12.通过上述方案，矿井下人员不安全行为检测系统可包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元，后端处理单元使用轻量级openpose网络模型提取人体的关键骨骼点，效率更高，处理速度更快，并且，resnet网络采用了残差结构，解决了梯度
消失问题，且计算量少，模型的推理时间更快，准确率更高。本方案基于轻量级openpose算法的井下人员行为智能检测系统，容错率高，充分考虑各种复杂环境下的影响因素，各种人体姿势识别等，对矿井下人员不安全行为的检测准确度高且检测稳定性高。
附图说明
13.图1是根据一示例性实施例示出的一种矿井下人员不安全行为检测系统的框图。
14.图2是根据一示例性实施例示出的一种人体关键骨骼点的示意图。
15.图3是根据一示例性实施例示出的一种人员摔倒的示意图。
16.图4是根据一示例性实施例示出的一种人员攀爬的示意图。
17.图5是根据一示例性实施例示出的一种人员推搡的示意图。
18.图6表示热力图的损失随着训练次数的变化。
19.图7表示亲和力场的损失随着训练次数的变化。
20.图8是轻量级openpose网络模型的部署和检测流程。
21.图9是示例性示出的摔倒、攀爬、推搡不安全行为的检测效果图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
23.图1是根据一示例性实施例示出的一种矿井下人员不安全行为检测系统的框图，如图1所示，该系统10可包括数据采集单元11、后端处理单元12、控制单元13、数据存储与优化单元14。
24.其中，所述数据采集单元，用于采集矿井下的原始数据，并将所述原始数据发送给所述数据存储与优化单元，所述数据采集单元包括红外热成像相机，所述红外热成像相机安装于矿井下被检测区域的上方，用于采集所述被检测区域的红外视频，并将所述红外视频发送给所述后端处理单元。
25.本发明所获取的图像为红外图像，红外图像的处理与识别相对于彩色图像的复杂程度更高，且准确度更高。
26.所述后端处理单元，用于接收所述红外视频，采用人体姿态检测模型对所述红外视频中的人体姿态进行估计，以提取所述红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的所述关键骨骼点，确定矿井下人员是否具有不安全行为，并将确定结果发送给所述控制单元和所述数据存储与优化单元，其中，所述人体姿态检测模型为轻量级openpose网络模型，所述轻量级openpose网络模型采用resnet作为预处理网络。
27.其中，本发明采用轻量级openpose以及resnet预处理网络结构，帧率更高，速度更快，且为自下而上的轻量级openpose检测模型，而相关技术中自上而下的检测模型由于采用先检测人物图像，再进行识别骨骼点的方法，增加了检测时间，本发明采用的自下而上的轻量级openpose检测模型，效率更高，处理速度更快。并且，与现有的轻量级openpose网络相比，更改了预处理神经网络，将其中的vgg网络更改为resnet网络。vgg在提取图像特征的时候可能会出现梯度消失的问题，并且随着网络层的增加，网络的计算量成倍增长。而
resnet网络采用了残差结构，解决了梯度消失问题，并且计算量远比vgg少。在实际的应用过程当中，本发明模型的推理时间更快，准确率更高。
28.图2是根据一示例性实施例示出的一种人体关键骨骼点的示意图，如图2所示，通过轻量级openpose网络模型可实时提取人体眼睛、手臂、膝盖等18个关键骨骼点。
29.其中，后端处理单元可分三个模块：对外接口协议模块（包括对接web服务器、plc设备等接口通信）、系统管理模块（包括平台及设备参数设置、设备启动等）、算法模块。通过系统管理模块设置好设备和平台的参数，设备采集的视频图像实时传入算法模块，算法模块处理后输出算法结果，算法结果通过对外接口协议模块输出到plc设备或者其他服务器平台。后端处理单元以rv1126cpu为核心，辅助模拟量输出输入模块、dc24v输入输出模块，内部移植相关应用算法以及交互界面，完成对采集的数据的算法处理。算法结果表达包含模拟量输出，同时兼容modbus-tcp、tcp、数据库等常见的网络通讯输出。
30.所述控制单元（一般是plc设备），用于接收矿井下人员是否具有不安全行为的确定结果，并根据所述确定结果对矿井下的设备进行联动控制，以及在所述确定结果表征矿井下人员具有不安全行为的情况下，向监控平台输出报警信号。
31.其中，后端处理单位输出模拟量信号到控制单元，控制单元进行联动控制或者报警输出。联动控制包括对皮带等设备的控制、对报警设备的控制等，报警信号可传输至监控平台，提醒监控人员是否进行人为介入。
32.所述数据存储与优化单元，用于接收所述数据采集单元发送的原始数据以及所述后端处理单元发送的矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。
33.数据存储与优化单元可将历史的人员不安全行为数据等存储在服务器，可通过数据分析，不断优化算法，提升准确率。
34.通过上述技术方案，矿井下人员不安全行为检测系统可包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元，后端处理单元使用轻量级openpose网络模型提取人体的关键骨骼点，效率更高，处理速度更快，并且，resnet网络采用了残差结构，解决了梯度消失问题，且计算量少，模型的推理时间更快，准确率更高。本方案基于轻量级openpose算法的井下人员行为智能检测系统，容错率高，充分考虑各种复杂环境下的影响因素，各种人体姿势识别等，对矿井下人员不安全行为的检测准确度高且检测稳定性高。
35.在一实施例中，在所述红外视频中有一个人员的情况下，所述后端处理单元用于通过如下方式确定矿井下人员是否具有摔倒的不安全行为：根据所述红外视频的当前帧中该人员的颈部骨骼点坐标（x1，y1）、左腰骨骼点坐标（x8，y8）、右腰骨骼点坐标（x
11
，y
11
），确定该人员的人体躯干长度d
body
；根据颈部骨骼点坐标（x1，y1）、以及在所述当前帧之前的第10帧中该人员的颈部骨骼点坐标（x
’1，y
’1），确定该人员的移动距离h；根据移动距离h和人体躯干长度d
body
，得到移动距离h的归一化数据；将移动距离h的归一化数据除以摔倒过程时间
△
t，得到当前帧对应的归一化速度v1；对在所述当前帧之前的10帧红外图像各自对应的归一化速度进行均值滤波，得到滤波处理后的速度v
1f
；
在滤波处理后的速度v
1f
超过速度阈值的情况下，确定矿井下人员具有摔倒的不安全行为。
36.其中，可通过如下公式确定该人员的人体躯干长度d
body
：可通过如下公式确定归一化速度v1：可通过如下公式确定滤波处理后的速度v
1f
：其中，j表示当前帧之前的第j帧红外图像，v
1j
表示第j帧对应的归一化速度。
37.在一实施例中，在所述红外视频中有两个以上人员的情况下，所述后端处理单元用于通过如下方式分别确定矿井下每一人员是否具有摔倒的不安全行为：确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x8，y8）和右腰骨骼点坐标（x
11
，y
11
）之间的中心点c；将该人员的颈部骨骼点坐标（x1，y1）与中心点c连成的直线作为脊椎直线l；将该人员的左腰骨骼点坐标（x8，y8）和左腿骨骼点（x9，y9）连成的直线作为大腿直线l1；将该人员的右腰骨骼点坐标（x
11
，y
11
）和右腿骨骼点（x
12
，y
12
）连成的直线作为大腿直线l2；将脊椎直线l与水平方向之间的夹角作为γ，将大腿直线l1与水平方向之间的夹角作为γ1，将大腿直线l2与水平方向之间的夹角作为γ2；在夹角γ＜γa且γ1＜γb，或者γ＜γa且γ2＜γb的情况下，确定矿井下该人员具有摔倒的不安全行为，其中，γa和γb均为预设角度。示例地，γa和γb均可设置为30
°
。
38.图3是根据一示例性实施例示出的一种人员摔倒的示意图，如图3所示，可通过夹角γ、γ1、γ2判断人员是否摔倒。
39.在一实施例中，所述后端处理单元用于通过如下方式确定矿井下人员是否具有攀爬的不安全行为：将该人员的左腰骨骼点坐标（x8，y8）和左腿骨骼点（x9，y9）连成的直线作为大腿直线l1，将该人员的左腿骨骼点（x9，y9）和左脚骨骼点（x
10
，y
10
）连成的直线作为小腿直线l3，将大腿直线l1和小腿直线l3内侧的夹角记为αa；将该人员的右腰骨骼点坐标（x
11
，y
11
）和右腿骨骼点（x
12
，y
12
）连成的直线作为大腿直线l2，将该人员的右腿骨骼点（x
12
，y
12
）和右脚骨骼点（x
13
，y
13
）连成的直线作为小腿直线l4，将大腿直线l2和小腿直线l4内侧的夹角记为αb；确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x8，y8）和右腰骨骼点坐标（x
11
，y
11
）之间的中心点c,将该人员的颈部骨骼点坐标（x1，y1）与中心点c连成的直线作为脊
椎直线l，将大腿直线l1和脊椎直线l内侧的夹角记为βa，大腿直线l2和脊椎直线l内侧的夹角记为βb；在αa＜a、βa＜b、βa＜c、βb＜d、且左脚骨骼点（x
10
，y
10
）和右脚骨骼点（x
13
，y
13
）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，或者，在αa＜c、βa＜d、βa＜a、βb＜b、且左脚骨骼点（x
10
，y
10
）和右脚骨骼点（x
13
，y
13
）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，其中，a、b、c、d均为预设角度。示例地，a和b可设置为90
°
，c和d可设置为150
°
。
40.图4是根据一示例性实施例示出的一种人员攀爬的示意图，如图4所示，可通过夹角αa、αb、βa、βb判断人员是否摔倒。
41.在一实施例中，所述后端处理单元用于通过如下方式确定矿井下人员是否具有推搡的不安全行为：将人体的第一手部骨骼点（x4，y4）与该人体以外的其他人体的第一肩部骨骼点（x2，y2）之间的距离作为距离d，或者，将人体的第二手部骨骼点（x7，y7）与该人体以外的其他人体的第二肩部骨骼点（x5，y5）之间的距离作为距离d；确定所述其他人体的脊椎长度d
ver
；在距离d与脊椎长度d
ver
之间的比值λ小于预设系数的情况下，确定矿井下人员具有推搡的不安全行为。
42.其中，可通过如下公式确定比值λ：图5是根据一示例性实施例示出的一种人员推搡的示意图，如图5所示，可通过距离d判断人员是否发生推搡。
43.在一实施例中，所述轻量级openpose网络模型是通过如下方式训练得到的：每批次向轻量级openpose网络模型中输入预设数量张图片，其中，学习率lr设置为0.0001，循环训练epoch设置为60次；在训练批次达到预设批次的情况下，轻量级openpose网络模型输出热力图的损失值和亲和立场的损失值；在热力图的损失值和亲和立场的损失值未达到设定标准的情况下，继续对轻量级openpose网络模型进行训练；在热力图的损失值和亲和立场的损失值下降到设定标准的情况下，得到训练完成的轻量级openpose网络模型。
44.其中，输入的图片的大小可以为432
×
368，示例地，预设数量可以为16，每个批次输入16张图片，学习率lr设置为0.0001，循环训练epoch设置为60次。每次训练一百个批次就输出一个热力图的损失值和部分亲和立场的损失值。图6和图7分别表示热力图和部分亲和力场的损失随着训练次数的变化。横坐标表示训练批次，纵坐标表示损失值。从图中可以明显的看出，随着训练批次的不断增加，热力图和亲和力场的损失函数不断地下降。
45.在一实施例中，所述轻量级openpose网络模型是通过如下方式部署在后端处理单元的：采用tensorflow将训练完成的轻量级openpose网络模型导出为pb格式；
采用python的tf2onnx模块将pb文件转化为onnx格式模型文件；采用python的rknn-toolkit模块将onnx模型量化为u8数据格式的rknn文件，并采用对应接口函数将rknn文件导入后端处理单元中。
46.其中，进行模型转换和量化，可以使整套系统具有较高的稳定性。
47.图8是轻量级openpose网络模型的部署和检测流程，如图8所示，模型部署主要分为以下几个部分：（1）将模型放入到rv1126开发板中运行；（2）生成引擎文件；（3）读取红外相机的采集到的视频；（4）检测人体骨骼点；（5）姿态检测和分类。
48.图9是示例性示出的摔倒、攀爬、推搡不安全行为的检测效果图，如图9所示，可以较好的将骨骼点检测出来，再通过摔倒、攀爬以及推搡姿态算法可以有效的将这三类姿态分类。并且本发明在测试过程中可以实现检测速度达到单路30fps或者双路20fps，系统稳定性好，容错率高，不受环境的电磁环境干扰，嵌入式算法移植，支持边缘计算，可大幅降低中心服务器的运算压力，在井下环网出现问题时仍然保持正常工作，提升了系统的稳定性。
49.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。