一种基于神经网络的矿山工人安全识别管理方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于神经网络的矿山工人安全识别管理方法。


背景技术：

2.矿山是重要的能源和金属开采地，但采矿的作业流程复杂、矿井环境恶劣，一直是事故高发率最高的行业之一，因此进行矿山工人安全识别和应急管理是至关重要的。矿山安全事故发生的原因主要是矿工的不安全行为，或者矿山中的自然灾害，最常发生的事故类型是冒顶片帮，冒顶片帮后续还可能造成密闭空间的矿山工人窒息、掩埋等危险。
3.冒顶片帮是指矿井开挖、衬砌过程中因开挖或支护不当，顶部或侧壁大面积垮塌造成伤害的事故。在矿山压力作用下变形，矿井顶部垮落称为冒顶，作业面、巷道侧壁破坏而脱落的现象称为片帮，二者常同时发生。
4.目前对于矿井的安全识别方法是采集矿井内的图像，将图像输入训练好的神经网络中，以确认矿井是否有安全隐患，是否发生安全事故，但是矿井环境会存在烟尘干扰导致采集的图像不清楚，进而使得神经网络判断的结果存在误差，影响矿石工人的安全隐患识别结果。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于神经网络的矿山工人安全识别管理方法，所采用的技术方案具体如下：获取每个采样时刻下矿井环境的rgb图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量，光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度；将rgb图像转化为lab图像，根据光源中心点的坐标和像素点的坐标计算lab图像中每个像素点与光源位置的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数，将最小距离输入高斯分布函数得到对应像素点的调整值；利用调整值对每个像素点的l值进行更新得到蒙版图像；获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认rgb图像中存在烟尘时，利用含烟尘图像形成模型获取rgb图像对应的除烟尘图像，所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的；将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本，获取至少两个设定时段下的训练样本对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。
6.进一步的，所述基于分水岭算法获取深度图像对应的附近深度上限值的方法，包括：
利用分水岭算法将深度图像分为多个子区域，根据每个像素点的深度值计算每个子区域的平均深度值；将平均深度值最大所对应的子区域作为重点区域，将重点区域中的最大深度值作为附近深度上限值。
7.进一步的，所述利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数的方法，包括：分别计算目标光源对应的包围框的宽度的平方和高度的平方，将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差；结合预设的期望和方差得到对应像素点的高斯分布函数，则高斯分布函数为：，其中，为以常数e为底数的指数函数；为预设的期望；为方差；为最小距离；为最小距离对应的调整值；为常数。
8.进一步的，所述利用调整值对每个像素点的l值进行更新得到蒙版图像的方法，包括：当像素点的l值大于或等于该像素点的调整值时，将该像素点的l值更新为像素点的l值与对应的调整值的差值；当像素点的l值小于该像素点的调整值时，将该像素点的l值更新为0，将每个像素点的l值更新后的lab图像转化为rgb图像，转化后的rgb图像为蒙版图像。
9.进一步的，所述由暗通道图像中每个像素点的灰度值确认rgb图像中存在烟尘的方法，包括：选取暗通道图像中灰度值最小的预设数量的像素点，计算这些像素点的平均灰度值，当平均灰度值小于或等于阈值时，确认rgb图像中存在烟尘。
10.进一步的，所述含烟尘图像形成模型的构建方法为：选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点，获取目标像素点对应在蒙版图像中的rgb通道的最亮点，对最亮点的值计算平均值作为大气光值；结合rgb图像中每个像素点的rgb值以及大气光值获取空气烟尘的散射率，则空气烟尘的散射率的计算公式为：其中，为任意一个像素点所对应的空气烟尘的散射率；表示rgb图像的任意一个像素点的rgb值；为以任意一个像素点为中心所对应的局部窗口；为像素点在r通道的值；为像素点在g通道的值；为像素点在b通道的值；为最小值函数；为大气光值；为第c个值；结合rgb图像中每个像素点对应在深度图像中的深度值以及附近深度上限值获取透射率，则透射率的计算公式为：
其中，为任意一个像素点所对应的透射率；为附近深度上限值；为rgb图像中任意一个像素点对应在深度图像中的深度值；结合大气光值、空气烟尘的散射率和透射率构建含烟尘图像形成模型，则含烟尘图像形成模型为：其中，表示除烟尘图像中的任意一个像素点的值。
11.本发明实施例至少具有如下有益效果：本方案采集矿井内的rgb图像、深度图像和红外热图，以通过rgb图像判断巷道是否改变、深度图像辅助判断是否有土层的移动、红外热图判断矿山工人的存在；获取深度图像的对应的附近深度上限值以及红外热图中光源位置的光源向量；为了对rgb图像进行抗干扰处理，基于光源位置与rgb图像中每个像素点之间的距离以对每个像素点进行光源蒙版，进而得到蒙版图像，利用蒙版图像的暗通道图像和附近深度上限值构建含烟尘图像形成模型，以得到rgb图像的除烟尘图像，使得被烟尘遮挡的图像得到了清晰的复原，进而提高了后续安全识别神经网络的训练效果，并且能够使得安全识别神经网络对矿井的安全识别结果更加准确。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络的矿山工人安全识别管理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.本发明所针对的具体场景为：实时检测稀有金属开采的矿井巷道中的安全隐患和安全事故，其中矿井巷道的安全识别设置为全天监控的，主要识别的安全状况分为两种情况：第一种是监控区域内无人作业时，及时发现无人察觉的冒顶片帮，以预警可能发生的坍
塌事故，杜绝安全隐患；第二种是监控区域内有人作业时，发生冒顶片帮后，可能造成矿工被掩埋，及时识别安全事故，通知有关人员，争取宝贵的营救时间。
17.下面结合附图具体的说明本发明所提供的一种基于神经网络的矿山工人安全识别管理方法的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图，该方法包括以下步骤：步骤s001，获取每个采样时刻下矿井环境的rgb图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量，光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度。
19.具体的，构建监控装置，由多个传感器组成，包括rgbd相机和红外热成像相机，利用rgbd相机和红外热成像相机分别采集每个采样时刻下的rgb图像、深度图像和红外热图。其中，rgb图像和深度图像都是由rgbd相机获取的，此处特意分开，便于后续的图像处理，且rgb图像a需要经过白平衡处理，以统一多个监控摄像头画面的色彩组成。
20.需要说明的是，rgb图像主要判断巷道是否改变；深度图像的每一个像素点代表该位置与监控设备的距离，设定深度的取值下限，为，防止作为分母时为0，辅助判断是否有土层的移动；红外热图的每一个像素点代表该位置的温度值，主要判断矿山工人的存在。
21.因为监控是安装在矿井巷道的上方的，有利于识别巷道侧壁的深度变化，因此使用分水岭算法，将深度图像分为了n个子区域，分别记为，其中n为正整数。将深度图像中的每个像素点的深度值记为，根据每个像素点的深度值分别计算每个子区域的平均深度值，选取平均深度值最大的子区域作为重点区域，将重点区域中的最大深度值作为附近深度上限值，为后续步骤做铺垫。
22.构建光源判别神经网络，其网络结构为resnet50，其中光源判别网络的训练过程为：采集矿井巷道工作状态下的红外热图组成数据集；安排大数据标注专家用特定的像素值标注出光源区域，例如光源区域的像素值为0，其他区域的像素值为1；将数据集的80%作为训练集、20%作为测试集，使用均方差损失函数，优化器使用adam，经过训练最终得到检测效果良好的光源判别神经网络。
23.将红外热图输入训练好的光源判别神经网络中，得到至少一个的光源位置的光源向量，即第i个光源位置的光源向量为，其中为第i个光源位置的光源中心点的坐标，为第i个光源位置对应的包围框的宽度，为第i个光源位置对应的包围框的高度。
24.步骤s002，将rgb图像转化为lab图像，根据光源中心点的坐标和像素点的坐标计算lab图像中每个像素点与光源位置之间的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数，将最小距离输入高斯分布函数得到对应像素点的调整值；利用调整值对每个像素点的l值进行更新得到蒙版图像。
25.具体的，在采矿作业时，大型机械会产生灰尘，挖掘和爆破时也容易产生烟尘，主要有炮烟中的或燃油设备产生的有色氮氧化物和硫化物，它们漂浮在空气中，会对光线进行散射，类似雾霾的效果，严重干扰摄像头的识别效果，如果发生冒顶片帮，部分泥土的冲击也会产生扬尘，因此，对rgb图像进行抗干扰处理是非常有必要的。
26.对rgb图像进行光源蒙版，以获取对应的蒙版图像，具体过程如下：首先将rgb图像转化为lab图像，rgb图像a的每一个像素点的rgb值转化为了lab值，l通道是明度，取值范围为；a值和b值是两个维度的色彩通道对应的值；然后对lab图像中的每个像素点的l值进行光源蒙版。
27.以lab图像中的像素点为例，其坐标为，根据光源中心点的坐标和像素点的坐标计算像素点与第j个光源位置之间的距离，获取像素点与每个光源位置之间的距离，选取最小距离对应的光源位置作为目标光源，同时记目标光源与像素点之间的最小距离为。
28.利用目标光源对应的包围框的宽度和高度构建像素点的高斯分布函数，将最小距离输入高斯分布函数得到像素点的调整值：分别计算目标光源对应的包围框的宽度的平方和高度的平方，将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差，即方差；结合预设的期望和方差得到对应像素点的高斯分布函数，则高斯分布函数为：，其中，为以常数e为底数的指数函数；为预设的期望，取值范围为，本方案中经验取值为80；为方差，决定了高斯蒙版的覆盖范围；为最小距离；为最小距离对应的调整值；为常数，将像素点对应的最小距离代入该像素点的高斯分布函数中，得到像素点的调整值。
29.基于像素点的调整值的获取方法，获取lab图像中每个像素点的调整值。
30.利用调整值对每个像素点的l值进行更新，则更新公式为：其中，为像素点的更新后的l值；为像素点的原始l值。
31.基于更新公式得到lab图像中每个像素点的更新后的l值，进而将更新后的lab图像转化为rgb图像，则转化后的rgb图像为蒙版图像。
32.步骤s003，获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认rgb图像中存在烟尘时，利用含烟尘图像形成模型获取rgb图像对应的除烟尘图像，所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的；将设定时段内的除烟尘
图像、深度图像和红外热图组成一个训练样本，获取至少两个设定时段下的训练样本对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。
33.具体的，由于在绝大多数的非高亮度的局部区域中，某一些像素点总会有至少一个颜色通道具有很低的值，而在rgb图像无烟尘时，暗通道图像中的像素点对应的值接近0，图像出现大量黑色，因此获取蒙版图像的暗通道图像，以根据暗通道图像中每个像素点的灰度值判断rgb图像中是否存在烟尘，其中暗通道图像的获取方法为公知技术，本方案不再赘述。
34.选取暗通道图像中灰度值最小的预设数量的像素点，计算这些像素点的平均灰度值，当平均灰度值小于或等于阈值时，则说明暗通道图像中的偏白色像素点偏多，反应了蒙版图像中有较多的烟尘，进而确认rgb图像中存在烟尘，因此需要对rgb图像进行烟尘去除，以排除烟尘干扰，其中本方案中预设数量为10%，阈值取经验值120。
35.构建含烟尘图像形成模型：简化为：其中，表示rgb图像的任意一个像素点的rgb值；表示除烟尘图像中的任意一个像素点的rgb值；为任意一个像素点所对应的透射率；为大气光值；为任意一个像素点所对应的空气烟尘的散射率。
36.由于物体材质和空气烟尘组成的不同，透射率和空气烟尘的散射率也不相等，因此结合蒙版图像和附近深度上限值计算含烟尘图像形成模型中的透射率、空气烟尘的散射率和大气光值。
37.其中，大气光值的获取方法为：选取蒙版图像对应的暗通道图像中最高亮的0.1%个像素点，由暗通道先验条件保证了挑选出来的像素不会受到自然图像景物的干扰，然后找到暗通道图像对应蒙版图像的这0.1%个像素点的rgb通道的最亮点，将这0.1%个像素点的最亮点的值求平均值作为大气光值，具体使用公知技术即可。
38.空气烟尘的散射率的获取方法为：基于暗通道图像的获取方法，构建rgb图像与除烟尘图像之间的第一关系式：其中，为以任意一个像素点为中心所对应的局部窗口；为像素点在r通道的值；为像素点在g通道的值；为像素点在b通道的值；为最小值函数；为第c个值。
39.根据先验条件：除了光源区域，一张自然图像的暗通道总是非常低甚至趋于零，得到第一条件式，因此将第一条件式代入第一关系式中，简化得到空气烟尘的散射率的计算公式为：透射率的获取方法为：原始的去雾算法的条件过于理想，在透射率中引入深度值，物体离得越远，越容易受到烟尘的漫反射的干扰，接受到的信号，不仅包含衰减的物体的反射光，还包含光源经过烟尘反射到摄像头中的光，因此基于该特征构建深度图像与除烟尘图像之间的第二关系式：根据先验条件：在靠近摄像头的侧壁区域的深通道总是非常低甚至趋于零，得到第二条件式和,因此将第二条件式代入第二关系式中，简化得到透射率的计算公式为：其中，为rgb图像中任意一个像素点对应在深度图像中的深度值。
40.利用含烟尘图像形成模型获取rgb图像对应的除烟尘图像。
41.构建安全识别神经网络，其网络的主体结构为u-net，其中安全识别神经网络的训练过程为：为了保证安全识别神经网络的可复用性，需要对监控装置的数据流进行单位划分，即将实时获取的监控视频数据按照每2秒为一个片段，每两个片段的偏移量为1秒，例如，第一个片段为0-2秒，第二个片段为1-3秒，将每个片段中的除烟尘图像、深度图像和红外热图组成一个训练样本，将至少两个片段对应的训练样本组成训练集；安排大数据标注专家用特定的像素值对每个片段对应的训练样本进行标注，即发生冒顶01、发生片帮02、矿工异常消失03以及正常04；该网络的损失函数为交叉熵损失函数，优化器使用adam，经过训练最终得到识别效果良好的安全识别神经网络。
42.将实时片段中的除烟尘图像、深度图像和红外热图输入训练好的安全识别神经网络中，输出对应的识别结果，当识别结果为发生冒顶01或发生片帮02时，提醒安全人员进行检查；当识别结果为矿工异常消失03时，则立即发出警报，进行及时救援。
43.综上所述，本发明实施例获取矿井环境的rgb图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量；将rgb图像转化为lab图像，计算lab图像中每个像素点与光
源位置的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源构建对应像素点的高斯分布函数得到调整值；利用调整值对每个像素点的l值进行更新得到蒙版图像；获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认rgb图像中存在烟尘时，利用含烟尘图像形成模型获取rgb图像对应的除烟尘图像，利用除烟尘图像、深度图像和红外热图对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。本发明通过对被烟尘遮挡的图像进行复原，提高了后续安全识别神经网络的训练效果，使得矿井的安全识别结果更加准确。
44.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
45.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
46.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。