一种工序循环的自动监测方法、装置和系统与流程

本发明属于目标行人跟踪技术领域，具体涉及一种工序循环的自动监测方法、装置和系统。

背景技术：

随着国家交通建设的大力发展，伴随我国施工事业的不断发展以及施工技术的不断创新，隧道等作业工程越来越多，其造价高、工期长、跨度大，施工过程中的工序管理是增强工程施工质量的重要环节，主要对工程施工进度和工程施工质量进行查验比对，以保证施工计划的进行和保证施工工程质量。

现有技术中，隧道建设工序管理过程的数据收集、整理和汇总均采用人工记录和比对试验，例如在对出入隧道作业的作业人员进行管理时，通常采用人工记录的方式记录某工种的作业人员进入隧道进行作业的时间，以及该工种的作业人员离开隧道的时间，并将该工种作业人员进入隧道进行作业到离开隧道的时间间隔记录为一个工序循环，以实现工序管理。然而，这种采用人工记录工序数据的方式不仅大大增加了工序管理过程中的人力、物力、财力和时间的消耗，而且由于人的参与，也会不可避免的出现类似计算、统计和分析等各类错误，导致数据失真，影响施工质量和进度。

技术实现要素：

本发明的目的是提供一种工序循环的自动监测方法、装置和系统，用以解决现有技术中存在的至少一个问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明提供一种工序循环的自动监测方法，所述方法包括：

获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；

判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；

基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

在一种可能的设计中，所述方法还包括：

获取同一工种的若干作业人员进入隧道和离开隧道的时间间隔；

将所述时间间隔记录为一次工序循环的时间。

在一种可能的设计中，所述判断多帧所述帧图片中是否发生动态事件，包括：

采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。

在一种可能的设计中，所述采用两帧差帧法判断多帧所述帧图片中是否发生动态事件，包括：

对相邻帧的相同位置的像素值做差获得差分图像；

对所述差分图像进行二值化，当所述差分图像的像素值变化大于预设阈值时，则所述相邻帧中发生了动态事件。

在一种可能的设计中，基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测，包括：

将标记后的帧图片输入所述基于opencv的人脸检测模型进行快速人脸检测；

将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，更新跟踪结果并输出。

在一种可能的设计中，将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，包括：

分别对所述检测到人脸的帧图片中目标检测框的作业人员id编号初始化；

采用卡尔曼滤波算法对所述目标检测框的位置进行预测得到目标下一时刻的状态参数；

基于卷积神经网络在所述目标检测框中进行物体外观特征提取，并基于匈牙利级联匹配算法将所述目标检测框、跟踪目标对象下一时刻状态参数以及提取到的物体外观特征进行匹配关联。

第二方面，本发明提供一种工序循环的自动监测装置，所述装置包括：

图像处理模块，用于获取隧道洞口监控区域的视频流，并将所述视频流进行预处理，得到多帧帧图片；

动态事件判断模块，用于判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

目标跟踪预测模块，用于基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪；

人脸信息识别模块，用于基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

工序起止记录模块，用于当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

在一种可能的设计中，所述装置还包括：

时间间隔获取单元，用于获取同一工种的若干作业人员进入隧道和离开隧道所代表的工序开始或结束的时间间隔；

工序循环记录单元，用于将所述时间间隔记录为一次工序循环的时间。

第三方面，本发明提供一种工序循环的自动监测装置，所述装置包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的工序循环的自动监测方法。

第四方面，本发明提供一种工序循环的自动监测系统，包括图像采集装置和人脸检测跟踪识别子系统，所述图像采集装置将采集的隧道洞口监控区域的视频流发送至人脸检测跟踪识别系统，所述人脸检测跟踪识别系统通过基于opencv的人脸检测模型和基于深度学习的deepsort模型对作业人员进行跟踪预测，并通过基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别。

有益效果：本发明采集视频流后，通过判断多帧帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；然后基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；然后基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；最后当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，标志着该工种的当次工序开始或结束。本发明能够自动获取隧道作业人员进出隧道的图像，当通过人脸检测跟踪识别到在一定时间范围内有同一工种的若干作业人员进出隧道的，则自动记录当次工序作业开始或结束，全程无需人工记录作业人员进出隧道的情况，极大地提高了工序管理的效率，为实现隧道施工管理的智能化提供支持。

附图说明

图1为本发明提供的工序循环的自动监测方法的流程图；

图2为本发明提供的工序循环的自动监测装置的结构示意图；

图3为本发明提供的另一工序循环的自动监测装置的结构示意图；

图4为本发明提供的工序循环的自动监测系统的结构示意图。

具体实施方式

为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本申请实施例第一方面提供的工序循环的自动监测方法，包括但不限于有如下步骤s101-s106。

步骤s101.获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；

在所述步骤s101中，可以通过常规的图像采集装置获取隧道洞口监控区域的视频流，所述图像采集装置包括但不限于高清摄像头和相机，其他带有拍照功能的设备，例如手机和平板电脑等；所述将所述视频流进行预处理可以由服务器执行，具体的，服务器将获取的隧道洞口监控区域的视频流进行尺度变换，目的是减少整个算法的耗时，为算法的实时性做基础准备，尺度变换后的图像按顺序进行预处理，以便于后续采用帧差法对帧图片中的动态物体进行检测。

步骤s102.判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

在所述步骤102中，作为一种可能的设计，所述判断多帧所述帧图片中是否发生动态事件，包括：

采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。

在所述步骤102中，帧差法(又称帧间差分法)是通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。

在一种可能的设计中，所述采用两帧差帧法判断多帧所述帧图片中是否发生动态事件，包括：

对相邻帧的相同位置的像素值做差获得差分图像；

其中，需要说明的是所述相邻帧可以是从视频图像序列中选取连续的两帧图像，通过将前一帧图像和当前帧相同位置的像素值做差获得差分图像。

其中，优选的，在所述步骤1021之前，还包括：对序列图像进行中值滤波预处理，去掉图像随机噪声，以减少之后运算的复杂度，克服噪声对图像处理结果的干扰。

对所述差分图像进行二值化，当所述差分图像的像素值变化大于预设阈值时，则所述相邻帧中发生了动态事件。

基于上述公开的内容，通过两帧帧差法判断动态事件的发生，使得计算简单、运算速度快且占用服务器资源少。

在一种可能的设计中，所述采用三帧差帧法判断多帧所述帧图片中是否发生动态事件是在两帧帧差法的基础上，在相邻三帧图片的两张帧差图中取“与”操作，以获得差分图像，使得检测到的运动物体更加准确。

在一种可能的设计中，所述基于python背景模型减除法判断多帧所述帧图片中是否发生动态事件的原理为：不同于帧差法前后两帧图片的像素差来确定运动物体，背景模型减除法希望通过建立背景模型，然后再将每帧图片与背景模型作差，即可得到运动物体的轮廓。具体包括：通过权重累加每一帧图片，重构视频背景；计算视频流中当前帧图片与重构背景图像素的绝对值差得到差分图像；将差分图像进行二值化；使用中值滤波和膨胀腐蚀去噪，去除孤立的噪声点或较细的噪声线；然后找出运动目标的轮廓，捕捉运动物体。

在一种可能的设计中，所述基于高斯混合学习的视频背景减法判断多帧所述帧图片中是否发生动态事件的原理，包括：

对视频流中每个点(随时间更新)使用k高斯模型建立模型，其分布默认符合高斯混合分布：对于背景点，其像素值p分布在高斯模型的均值附近(|p-μ|<＝2.5σ)；对于运动目标点，其像素值p偏离均值(|p-μ|>2.5σ)；同时，运动的物体也可能成为新的背景(比如一辆车停下前认为是运动目标，停下后认为是新的背景)，因此我们需要在背景分布的均值中加入运动物体的部分权重α×p，其中，α为学习率；对于像素值连续分布在均值附近的高斯模型，默认能够较好符合期望分布，更新其均值和标准差，标准差变小，并且权重在混合高斯模型中增加；对于像素值分布不均匀的高斯模型，使其权重减小，并且认为可能需要更新分布；如果某一点均不符合k个模型的分布，则认为此时混合模型已经不能很好地描述背景，因此需要删除权重最小的分布，根据此时的像素点均值增加新的分布。

步骤103.基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；

步骤1031.将标记后的帧图片输入所述基于opencv的人脸检测模型进行快速人脸检测；

步骤1032.将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，更新跟踪结果并输出。

将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，包括：

在一种可能的设计中，分别对所述检测到人脸的帧图片中目标检测框的作业人员id编号初始化；

采用卡尔曼滤波算法对所述目标检测框的位置进行预测得到目标下一时刻的状态参数；

基于卷积神经网络在所述目标检测框中进行物体外观特征提取，并基于匈牙利级联匹配算法将所述目标检测框、跟踪目标对象下一时刻状态参数以及提取到的物体外观特征进行匹配关联。

在本申请实施例中，所述卡尔曼滤波算法主要包括：预测阶段和更新阶段。在预测阶段下，算法先是通过输入上一时刻k-1时刻物体的位置状态到预定义的物理模型中，通过物理模型计算后，得到物体此刻k时刻物理模型预测的位置状态。在更新阶段下，在得到预测的目标物理状态后，使用算法预先定义好的加权变量对预测的物理变量和当前时刻物体的观测值进行加权计算，最终得到卡尔曼滤波算法修正后的当前k时刻的最终修正值，并在修正结束后，将卡尔曼滤波算法内部的参数进行更新。

在本申请实施例中，通过所述卡尔曼滤波算法来进行目标位置预测的工作原理如下：预测值使用的是目标在图片中的坐标x、y、w、h，也就是其观测值。目标状态真实值是目标bbox的x、y、w、h、vx、vy、vw、vh。用到的卡尔曼理论是经典卡尔曼理论得到目标真实值后，再使用其物理模型对修正后的值进行下一个状态的预测，即使用k时刻经过经典卡尔曼滤波修正后的目标状态值然后再使用状态转移方程进行状态转移到下一个时刻，得到k+1时刻目标的基于真实值的预测值，而后再使用观测方程求解得到观测后的状态值，这样就可以得到k+1时刻目标的预测状态。

在本申请实施例中，针对此帧的预测框和下一帧的检测框使用匈牙利匹配算法进行两幅框中图像目标的特征比对，如果特征距离小于预设的阈值距离，那么认为两帧中的框对应同一个id号，即是完成了一次目标关联，若是特征距离大于预设阈值，那么认为此次的两个id号不一致，进入下一个矩形框的匹配。若是匹配完成，则对当前两框使用iou匹配，若是仍然匹配到，则使用卡尔曼更新公式对目标的状态进行更新，更新后的状态用来对下一帧目标的运动状态进行预测；若是匹配未完成(即没有跟踪框的cnn特征和当前检测框cnn特征相匹配)，那么就将其认为是一条新的轨迹，给予其新的id编号。

步骤s104.基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

其中，需要说明的是，所述人脸信息包括作业人员的姓名、身份证号码、所在工种、进入隧道或离开隧道时间以及对应的当前工序等，具体不做限制。

步骤s105.当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

在一种可能的设计中，所述方法还包括：

获取同一工种的若干作业人员进入隧道和离开隧道的时间间隔；

将所述时间间隔记录为一次工序循环的时间。

如图2所示，第二方面，本发明提供一种工序循环的自动监测装置，所述装置包括：

图像处理模块，用于获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；

动态事件判断模块，用于判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

目标跟踪预测模块，用于基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪；

人脸信息识别模块，用于基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

工序起止记录模块，用于当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

在一种可能的设计中，所述装置还包括：

时间间隔获取单元，用于获取同一工种的若干作业人员进入隧道和离开隧道所代表的工序开始或结束的时间间隔；

工序循环记录单元，用于将所述时间间隔记录为一次工序循环的时间。

在一种可能的设计中，所述动态事件判断模块采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。

本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的工序循环的自动监测方法，于此不再赘述。

如图3所示，第三方面，本发明提供一种工序循环的自动监测装置，所述装置包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的工序循环的自动监测方法。

本实施例第二三方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的工序循环的自动监测方法，于此不再赘述。

如图4所示，本发明提供一种工序循环的自动监测系统，包括图像采集装置和人脸检测跟踪识别子系统，所述图像采集装置将采集的隧道洞口监控区域的视频流发送至人脸检测跟踪识别系统，所述人脸检测跟踪识别系统通过基于opencv的人脸检测模型和基于深度学习的deepsort模型对作业人员进行跟踪预测，并通过基于am-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别。

本实施例第四方面提供的前述系统的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的工序循环的自动监测方法，于此不再赘述。

本申请实施例能够自动获取隧道作业人员进出隧道的图像，当通过人脸检测跟踪识别到在一定时间范围内有同一工种的若干作业人员进出隧道的，则认为当次工序作业开始或结束并记录，全程通过监测作业人员进出隧道的时间、工种和人数等，能够获取到工序循环的数据，从而无需人工记录作业人员进出隧道的情况，极大地提高了工序管理的效率，为实现隧道施工管理的智能化提供支持。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。