一种基于计算机视觉的矿山人员监控系统及方法与流程

本发明涉及矿产资源管理与矿山安全技术领域，尤其涉及一种基于计算机视觉的矿山人员监控系统及方法。

背景技术：

随着计算机视觉技术的不断发展，尤其是深度学习在目标检测等方面的快速发展，人脸识别系统逐渐进入市场。近年来，社会安全信息备受关注，视频监控、信息检索、无人商店等的快速发展进一步推动了基于图像视频处理的人员识别技术的在安防领域的需求。

深度学习是机器学习中正在兴起与普及的一个领域，其动机在于建立一种模拟神经元分析的神经网络，模拟神经元信息传输来抽稀数据，加深数据理解。深度学习通过多次图像卷积，配合向前传播与向后传播，将二维图像理解为高维的特征表示。基于深度学习的人员识别与跟踪算法在矿产资源管理与矿山安全领域可以用于帮助识别矿山上的人员有无佩戴安全帽，是否进入采矿工作面等特征，能帮助判断人员安全隐患，以及是否为非法采矿。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中识别率及警报效率较低的缺陷，提供一种基于计算机视觉的矿山人员监控系统及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于计算机视觉的矿山人员监控系统，矿山人员监控系统包括：视频采集系统、人员识别系统、人员跟踪系统、云端服务器、数模转换装置以及监控显示器；其中：

视频采集系统，包括多个搭载在云台上的摄像头，摄像头分别实时采集矿山周围环境的视频数据，将视频数据实时传输到云端服务器中的数据库进行存储；

人员识别系统，用于获取云端服务器数据库中存储的视频数据，提取视频关键帧，利用深度学习神经网络预训练模型进行人员识别，并标识人员；

人员跟踪系统，对视频关键帧建立背景模型，对人员进行跟踪标识，最终合成处理视频，通过数模转换装置传输到监控显示器进行实时显示。

进一步地，本发明的视频采集系统中，云台可360°旋转，进而带动摄像头旋转，实现对矿山周围环境的360°扫描。

进一步地，本发明的监控显示器设置在监控室中，用于接收云端服务器传输的监控标记视频数据，并进行实时播放。

本发明提供一种基于计算机视觉的矿山人员监控系统的监控方法，该方法包括以下步骤：

步骤1、通过设置在矿山周围的多个搭载有云台的摄像头，实时获取矿山周围的视频数据；

步骤2、将视频数据传输至设置在远程的云端服务器进行存储；

步骤3、提取视频数据中的视频关键帧，利用深度学习神经网络预训练模型进行人员识别，并标识人员；

步骤4、对视频关键帧建立背景模型，对人员进行跟踪标识，最终合成处理视频；

步骤5、将合成处理视频通过数模转换装置传输到监控显示器进行实时显示，监控人员通过实时显示的画面对矿山周围环境进行监控和预警。

进一步地，本发明的步骤3的具体方法为：

对视频数据，运用基于帧间差分法进行关键帧提取，采用深度学习算法进行人员识别，获取时间戳属性数据。

进一步地，本发明的步骤3中的帧间差分法原理如下：由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同；该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能；

其数学公式描述如下

其中d(x，y)为两帧(x,y)处像素灰度值之差，i(t)为第t帧图像(x,y)处像素灰度值，i(t-1)为第(t-1)帧图像(x,y)处像素灰度值，t为根据图像选取的阈值。

进一步地，本发明的步骤3中的深度学习算法采用tesorflow框架及yolov3深度学习模型进行人员识别。

进一步地，本发明的步骤4中的对人员进行跟踪的方法为，利用关键帧，采用manshift算法进行人员跟踪标识，融合各帧为监控显示视频；

meanshift算法具体如下：

输入yolov3模型检测到的人体目标区域图像，图像中任一点x的meanshift向量基本形式表示为：

这个向量就是漂移向量，其中sk表示的是视频帧图像中的点到x的距离小于球半径h的数据点；即：

sh(x)＝{y：(y-xi)t(y-xi)＜h²}

而漂移的过程，是通过计算得漂移向量，然后把球圆心x的位置更新一下，更新公式为：x:＝x+mh，使得圆心的位置一直处于力的平衡位置，那么这个圆心就一直追踪到人体。

本发明产生的有益效果是：本发明的基于计算机视觉的矿山人员监控系统及方法：1、本发明采用深度学习算法，自动化采集视频，实时高效处理标识，减少了人工查看视频的时间，同时在准确率上能够达到较好的效果。2、本发明采用计算机视觉技术，初步实现非法采矿的发现与警报。3、本发明采用云计算技术，数据传输稳定性强，数据保存速度快，处理运算能力具有弹性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的系统框架图；

图2是本发明采用深度学习算法模型yolov3结构图；

图3是本发明采用跟踪算法meanshift示意图；

图4是本发明yolov3算法原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的基于计算机视觉的矿山人员监控系统，系统包括一种搭建在云台的摄像头，可跟随云台转动360°监控矿山范围。摄像头数据通过互联网传输到云计算平台服务器数据库存储。为了确保数据的实时性，摄像头有多个，遍布于矿山各个角落，视频标记时间戳信息。云计算平台数据库采用mongodb；一种基于深度学习的人员识别算法，从数据库读取视频数据，

采用帧间差分法进行关键帧提取，对关键帧数据利用谷歌tensorflow深度学习框架，搭建yolov3神经网络算法进行人员识别与标识，包括对是否佩戴安全帽的识别与标识；一种人员跟踪算法，利用meanshift算法那进行人员跟踪，对识别并标识的人员进行框选标记，采用背景建模法进行预处理，提高精度；一种监控显示设备，接收云计算平台传输的标记好的视频数据，在监控室播放处理融合后的高清视频，对规律性进出人员进行报警。

帧间差分法原理如下：由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同；该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能；

其数学公式描述如下

其中d(x，y)为两帧(x,y)处像素灰度值之差，i(t)为第t帧图像(x,y)处像素灰度值，i(t-1)为第(t-1)帧图像(x,y)处像素灰度值，t为根据图像选取的阈值。

本发明装置的工作原理如下：

视频流数据采集可实时进行，分批分段传输视频文件，在采集数据格式为avi，压缩为mp4传输提高传输效率，在云端数据库中存储视频路径和时间戳特征属性。云计算平台预处理模块定时对数据库进行扫描，将新增视频流数据取出，采用帧间差分法进行关键帧提取操作。深度学习人员识别模块获取关键帧数据，对数据采用yolov3神经网络算法进行人员识别，再利用识别的特征，采用opencv开源库函数进行人员标记。对识别特征之后的数据，利用meanshift算法进行人员跟踪标识，再通过数模转换模块，通过互联网传输到显示器显示。根据时间戳特征，可初步识别出非法采矿行为，对具有规律性的进出做出警报。

如图1所示，本发明实施例中的基于计算机视觉的矿山人员监控系统主要包括1、数据采集模块，包括：(1)搭配云台的摄像头，(2)存储引擎；2、数据存储模块，包括：(1)云服务器，(2)mongodb数据库；3、数据处理模块，包括：(1)识别处理，(2)跟踪处理；4、数据展示模块，包括：(1)数模转换，(2)终端显示器。

如图2所示，yolov3算法首先把输入图像划分成s*s的格子，然后对每个格子都预测b个boundingboxes，每个boundingbox都包含5个预测值：x,y,w,h和confidence。x,y就是boundingbox的中心坐标，与gridcell对齐(即相对于当前gridcell的偏移值)，使得范围变成0到1；w和h进行归一化(分别除以图像的w和h，这样最后的w和h就在0到1范围)。另外每个格子都预测c个假定类别的概率.

每个boundingbox都对应一个confidencescore，如果gridcell里面没有object，confidence就是0，如果有，则confidencescore等于预测的box和groundtruth的iou值，见上面公式。所以如何判断一个gridcell中是否包含object呢？答案是：如果一个object的groundtruth的中心点坐标在一个gridcell中，那么这个gridcell就是包含这个object，也就是说这个object的预测就由该gridcell负责。

每个gridcell都预测c个类别概率，表示一个gridcell在包含object的条件下属于某个类别的概率，得到每个boundingbox属于哪一类的confidencescore。

网络方面主要采用googlenet，卷积层主要用来提取特征，全连接层主要用来预测类别概率和坐标。

如图3所示，meanshift算法：指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。

meanshift算法具体如下：

输入yolov3模型检测到的人体目标区域图像，图像中任一点x的meanshift向量基本形式表示为：

这个向量就是漂移向量，其中sk表示的是视频帧图像中的点到x的距离小于球半径h的数据点；即：

sh(x)＝{y：(y-xi)t(y-xi)＜h²}

而漂移的过程，是通过计算得漂移向量，然后把球圆心x的位置更新一下，更新公式为：x:＝x+mh，使得圆心的位置一直处于力的平衡位置，那么这个圆心就一直追踪到人体。

本发明的使用方法如下：

对架设在云台上的摄像头通过连接线连接到数据流处理装置，通过互联网连接云端服务器，传输数据至云端mongodb数据库。等待运算深度学习算法及meanshift算法识别跟踪，对视频处理添加目标选框标识后返回终端显示器显示预警。其是否非法采矿根据时间戳特征信息判断是否在工作时间规律性进出。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。