基于监控视频的危险区域人员识别方法与流程

本发明涉及图像处理，具体涉及基于监控视频的危险区域人员识别方法。

背景技术：

1、双速绞车工作场景中，操作双速绞车对相关设备进行拖拽、搬运、牵引等的过程中，存在有可能对人员、财物造成损害的危险区域，因此对于双速绞车作业工程中的危险区域进行人员识别是保护相关作业人员生命财产安全的重要措施，其中往往通过视频监控获取帧图像进行危险区域检测的方式进行的。

2、通过监控视频获取时序关键帧图像，利用稀疏光流算法进行场景区域内的相关设备、人员的光流场中的运动状况的提取，构建出运动场完成人员运动危险程度的检测，实现及时的预警与相关紧急处理措施。因此关键点在于稀疏光流算法对于双速绞车的钢丝绳与人员运动轨迹的跟踪与预测，其中运动物体的形态变化会影响稀疏光流算法的准确程度。

技术实现思路

1、本发明提供基于监控视频的危险区域人员识别方法，以解决现有的问题。

2、本发明的基于监控视频的危险区域人员识别方法采用如下技术方案：

3、包括以下步骤：

4、获取作业监控视频的图像序列，所述图像序列包含若干帧图像，利用语义分割神经网络获取图像序列中每一帧图像中的人员目标与钢丝绳目标；

5、建立帧图像的坐标系，根据相邻帧图像上人员目标的面积差异和人员目标的灰度均值差异得到帧图像的亮度估计参数，根据相邻帧图像上人员目标的面积差异、人员目标的灰度均值差异、亮度估计参数以及人员目标的最小外接矩形顶点在帧图像上的坐标，得到人员目标的深度估计值；

6、将帧图像中的钢丝绳目标均匀分割，得到若干钢丝绳目标块，根据相邻钢丝绳目标块的面积差异和灰度均值差异、亮度估计参数以及钢丝绳目标块的最小外接矩形顶点在帧图像上的坐标，得到帧图像中钢丝绳目标块的深度估计值；

7、根据帧图像中钢丝绳目标块的深度估计值、帧图像的亮度估计参数以及钢丝绳目标块的最小外接矩形顶点在帧图像上的坐标，得到帧图像中钢丝绳目标块的运动幅度，根据运动幅度得到危险区域宽度；

8、根据亮度估计参数、相邻帧图像上人员目标的面积差异以及人员目标的灰度均值差异得到帧图像上像素点的修正系数，根据修正系数得到修正后的帧图像，根据修正后的帧图像得到帧图像的光流矩阵；

9、根据危险区域宽度和帧图像的光流矩阵得到帧图像中人员目标距离钢丝绳危险区域的最短距离，获取帧图像中钢丝绳目标的紧绷程度，根据帧图像中钢丝绳目标的紧绷程度和帧图像中人员目标距离钢丝绳危险区域的最短距离，得到危险程度评价参数；

10、根据危险程度评价参数对作业时危险状况进行预警。

11、进一步地，所述建立帧图像的坐标系，包括的具体步骤如下：

12、以图像序列中每一帧图像的水平中线为横坐标，水平向右为正方向，以竖直中心为纵坐标，竖直向上为正方向，以双速绞车中钢丝绳水平牵引方向为深度坐标，水平向后为正方向，构建三维坐标系。

13、进一步地，所述根据相邻帧图像上人员目标的面积差异和人员目标的灰度均值差异得到帧图像的亮度估计参数，包括的具体步骤如下：

14、

15、其中，为人员目标在图像序列中第i帧图像上的面积，为人员目标在图像序列中第i+1帧图像上的面积，为人员目标在图像序列中第i帧图像上的灰度均值，为人员目标在图像序列中第i+1帧图像上的灰度均值，为图像序列中帧图像的总个数，为帧图像的亮度估计参数。

16、进一步地，所述根据相邻帧图像上人员目标的面积差异、人员目标的灰度均值差异、亮度估计参数以及人员目标的最小外接矩形顶点在帧图像上的坐标，得到人员目标的深度估计值，包括的具体步骤如下：

17、

18、其中，为人员目标在图像序列中第i帧图像上的灰度均值，为人员目标在图像序列中第i+1帧图像上的灰度均值，为人员目标在图像序列中第i帧图像上的面积，为人员目标在图像序列中第i+1帧图像上的面积，为帧图像的亮度估计参数，为第i+1帧图像中人员目标的最小外接矩形顶点的最小横坐标，为第i+1帧图像中人员目标的最小外接矩形顶点的最大横坐标，为第i+1帧图像中人员目标的最小外接矩形顶点的最小纵坐标，为第i+1帧图像中人员目标的最小外接矩形顶点的最大纵坐标，为图像序列中第i+1帧图像中人员目标的深度估计值。

19、进一步地，所述根据相邻钢丝绳目标块的面积差异和灰度均值差异、亮度估计参数以及钢丝绳目标块的最小外接矩形顶点在帧图像上的坐标，得到帧图像中钢丝绳目标块的深度估计值，包括的具体步骤如下：

20、

21、其中，为图像序列中第i+1帧图像中第q个钢丝绳目标块的灰度均值，为图像序列中第i+1帧图像中第q-1个钢丝绳目标块的灰度均值，为图像序列中第i+1帧图像中第q个钢丝绳目标块的面积，为图像序列中第i+1帧图像中第q-1个钢丝绳目标块的面积，为帧图像的亮度估计参数，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最小横坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最大横坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最小纵坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最大纵坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块的深度估计值。

22、进一步地，所述根据帧图像中钢丝绳目标块的深度估计值、帧图像的亮度估计参数以及钢丝绳目标块的最小外接矩形顶点在帧图像上的坐标，得到帧图像中钢丝绳目标块的运动幅度，根据运动幅度得到危险区域宽度，包括的具体步骤如下：

23、

24、其中，为图像序列中第i+1帧图像中第q个钢丝绳目标块的深度估计值，为帧图像的亮度估计参数，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最大横坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块的最小外接矩形顶点的最小横坐标，为图像序列中第i+1帧图像中第q个钢丝绳目标块在轴上的运动幅度；

25、获取图像序列中所有帧图像中所有钢丝绳目标块在轴上的运动幅度，将运动幅度最大值记为最小危险区域宽度，危险区域宽度，其中为超参数。

26、进一步地，所述根据亮度估计参数、相邻帧图像上人员目标的面积差异以及人员目标的灰度均值差异得到帧图像上像素点的修正系数，包括的具体步骤如下：

27、

28、其中，为人员目标在图像序列中第i帧图像上的面积，为人员目标在图像序列中第i+1帧图像上的面积，为人员目标在图像序列中第i帧图像上的灰度均值，为人员目标在图像序列中第i+1帧图像上的灰度均值，为帧图像的亮度估计参数，为高斯函数，获取方法如下：以图像序列中第i+1帧图像上第j个像素点为中心，建立的窗口，tn为预设窗口的大小，将窗口中第j个像素点与窗口中除中心像素点之外所有像素点之间的平均欧式距离记为，为图像序列中第i+1帧图像上第j个像素点的修正系数。

29、进一步地，所述根据修正系数得到修正后的帧图像，根据修正后的帧图像得到帧图像的光流矩阵，包括的具体步骤如下：

30、获得图像序列中第i+1帧图像上所有像素点的修正系数，并进行线性归一化处理，将第i+1帧图像上像素点的修正系数加一后与第i+1帧图像对应位置像素点的灰度值进行相乘，得到修正后的第i+1帧图像，将图像序列中第i帧图像和修正后的第i+1帧图像中像素点的灰度值利用最小二乘法进行多项式拟合，并将拟合结果输入到farneback光流算法中，得到第i+1帧图像的光流矩阵。

31、进一步地，所述根据危险区域宽度和帧图像的光流矩阵得到帧图像中人员目标距离钢丝绳危险区域的最短距离，包括的具体步骤如下：

32、

33、其中，为第i+1帧图像中人员目标的最小外接矩形顶点的最小横坐标，为危险区域宽度，为第i帧图像上人员目标区域任意一个像素点的横坐标，为第i帧图像上人员目标区域任意一个像素点的纵坐标，为第i帧图像中人员目标的深度估计值，为第i+1帧图像的光流矩阵中对应位置的横坐标位移特征量，为第i+1帧图像的光流矩阵中对应位置的纵坐标位移特征量，为第i+1帧图像的光流矩阵中对应位置的深度坐标位移特征量，为第i+1帧图像中人员目标距离钢丝绳危险区域的最短距离。

34、进一步地，所述获取帧图像中钢丝绳目标的紧绷程度，根据帧图像中钢丝绳目标的紧绷程度和帧图像中人员目标距离钢丝绳危险区域的最短距离，得到危险程度评价参数，包括的具体步骤如下：

35、将图像序列中第i+1帧图像中所有钢丝绳目标块在轴上的运动幅度相加得到图像序列中第i+1帧图像中钢丝绳目标的紧绷程度，记为；

36、

37、其中，为第i+1帧图像中人员目标距离钢丝绳危险区域的最短距离，为以自然常数e为底的指数函数，为图像序列中第i+1帧图像中钢丝绳目标的紧绷程度，为图像序列中第i+1帧图像中人员目标的危险程度评价参数。

38、本发明的技术方案的有益效果是：本发明通过量化人员目标与钢丝绳的三维空间内的位置及形态变化，导致距离与光照状况的改变对光流获取准确程度的影响，提升多项式拟合结果准确度，从而使获得的光流矩阵可以准确预测表示人员的运动方向，最终得到运动场中人员与钢丝绳在危险区域的事故发生危险程度；其相较于常规算法，本发明通过亮度估计得到的三维空间运动方向预测可以对人员危险程度的估计更加准确，有效避免了生产安全事故的发生。