一种人员脱岗检测方法及装置与流程

本发明涉及监控技术领域，尤其涉及一种人员脱岗检测方法及装置。

背景技术：

随着监控系统的普及化及庞大化，传统人为视频监控检查脱岗离岗的局限性越来越突出。当监控者同时观测多个监视器时，监控精度会随着监控视频数量的上升而下降。由于人需要饮食休息等生理活动，这也会影响监控系统的可靠性。这就是为什么传统人为监控系统往往存在漏报率高、响应速度慢及可靠性差等问题。另外，监控系统越来越庞大，如果全部采用人为通过监控查岗，其人力成本也会非常昂贵。

当前脱岗查岗的方法都存在不同程度的局限性，存在很多问题。例如：现有的查岗包括人工查岗、指纹查岗rfid查岗等技术手段虽然先进可靠，但是投入成本高，效率较低。当监控人员换班、离岗或疲劳时，很大可能会漏检和误报，后续需要重新翻看摄像头来二次确认。且当监控视频部署数量较多时，在监看人员不足的情况下，无法实时监看所有岗位上的视频数据。而且在人员脱岗的情况下不能实时的预警，不能完全避免在岗人员离岗脱岗的情况。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种人员脱岗检测方法及装置，能够提高查岗的时效性及准确性，并在有人员脱岗的情况下及时触发预警。

为了解决上述技术问题，本发明实施例提供了一种人员脱岗检测方法，包括如下步骤：

接收客户端发送的布控任务，并根据所述布控任务配置图像采集系统；

获取所述图像采集系统的视频信息，并利用深度学习算法解析所述视频信息，得到预设监控区域的所有对象的轮廓信息；

当根据所述轮廓信息，在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息，并将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验；

若比对检验通过，则锁定该人员为到岗人员；

当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员；

查询并获取本地数据库中预存的所述脱岗人员的人员信息，并根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

进一步地，所述的人员脱岗检测方法，还包括：

若比对检验不通过，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员；

根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

进一步地，所述的人员脱岗检测方法，还包括：

当根据所述轮廓信息，在第一预设时间内识别所述对象不包括人时，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员；

根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

进一步地，所述当根据所述轮廓信息，在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息，并将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验，具体为：

在第一预设时间内，根据相似度算法，将所述轮廓信息与图像数据库中的预存的物体轮廓信息进行比对，识别出所述运动对象为人时，利用人脸识别技术捕捉所述对象的人脸信息；

将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验。

进一步地，所述当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员，具体为：

在第二预设时间内，当根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为离岗，并启动计时；

若离岗时间或在第三预设时间内的离岗时间总和大于或等于第二预设时间，则将所述到岗人员记为脱岗人员。

进一步地，所述告警信息包括所述人员信息和用于触发所述前端告警终端展示所述人员信息和警报的指令；其中，所述人员信息包括照片、姓名、岗位、当前作业任务和当前预设监控区域的视频信息；所述警报包括声光警报。

进一步地，所述深度学习算法包括自适应学习算法、卷积神经网络、循环神经网络和递归神经网络。

进一步地，所述布控任务包括监控区域、监控时长和监控周期；所述图像采集系统包括至少一个摄像头和与所述摄像头对应的交换机。

本发明实施例还提供了一种边界入侵检测装置，包括：

布控单元，用于接收客户端发送的布控任务，并根据所述布控任务配置图像采集系统；

视频信息解析单元，用于获取所述图像采集系统的视频信息，并利用深度学习算法解析所述视频信息，得到预设监控区域的所有对象的轮廓信息；

人脸识别单元，用于当根据所述轮廓信息，在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息，并将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验；

脱岗判断单元，用于若比对检验通过，则锁定该人员为到岗人员；当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员并查询并获取本地数据库中预存的所述脱岗人员的人员信息；若比对检验不通过或所述人脸识别单元在第一预设时间内识别所述对象不包括人，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员；

告警单元，用于根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

进一步地，所述当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员，具体为：

在第二预设时间内，当所述脱岗判断单元根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为离岗，并启动计时；

若所述脱岗判断单元检测到离岗时间或在第三预设时间内的离岗时间总和大于或等于第二预设时间，则将所述到岗人员记为脱岗人员。

本发明实施例具有以下效果：

本发明公开的一种人员脱岗检测方法及装置，所述方法包括：对图像采集系统进行布控管理；利用深度学习算法解析获取的视频信息，得到预设监控区域的运动对象的轮廓信息；在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息并与本地数据库中当前应到岗人员的人脸信息进行比对校验；若比对检验通过则记到岗，但在第二预设时间内无法检测到到岗人员时，或比对检验不通过或第一预设时间内识别所述对象不包括人时，将所述到岗人员记为脱岗人员；查询并获取所述脱岗人员的人员信息，生成告警信息并发送至所述客户端和前端告警终端，以触发警报。本发明能够提高查岗的时效性及准确性，并在有人员脱岗的情况下及时触发预警。

附图说明

图1是本发明第一实施例提供的人员脱岗检测方法的流程示意图；

图2是本发明第一实施例中安防系统的架构示意图；

图3是本发明第二实施例提供的人员脱岗检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中的客户端可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(smartphone，如android手机、ios手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。本发明第一实施例：

请参阅图1，图1是本发明第一实施例提供的人员脱岗检测方法的流程示意图。

所述人员脱岗检测方法，包括如下步骤：

s101、接收客户端发送的布控任务，并根据所述布控任务配置图像采集系统。

在本实施例中，如图2所示，图2是本发明第一实施例中安防系统的架构示意图。实施所述边界入侵检测方法需要客户端201、服务器端202(所述服务器端包括后台管理服务器2021和视频分析服务器2022)、图像采集系统203和前端告警终端204等装置。其中，所述图像采集系统包括至少一个摄像头2031和与所述摄像头对应的交换机2032。客户端201设定布控任务包括监控区域、监控时长和监控周期；将所述布控任务发送至服务器端202。服务器端202根据所述布控任务获取所述监控区域对应的图像采集系统203，并根据所述监控时长和所述监控周期，通过实时流媒体协议(例如：rtsp协议(realtimestreamingprotocol，实时流传输协议))实时获取所述图像采集系统的视频信息，并利用视频编解码(例如：ffmpeg(一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)编解码代码)获取视频信息中的帧信息。解析所述视频流信息中的帧信息，获取视频帧图片yuv(被欧洲电视系统所采用的一种颜色编码方法)数据，通过转换yuv数据把图片存为rgb(rgb色彩模式是工业界的一种颜色标准)格式。

可以理解的是，所述实时流媒体协议包括但不限于所述rtsp协议。所述视频编解码包括但不限于所述ffmpeg编解码。

可以理解的是，当所述监控区域尚未接入图像采集系统，则接入图像采集系统，以保证布控任务的实施。

s102、获取所述图像采集系统的视频信息，并利用深度学习算法解析所述视频信息，得到预设监控区域的运动对象的轮廓信息。

在本实施例中，所述深度学习算法包括自适应学习算法、卷积神经网络、循环神经网络和递归神经网络。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

可以理解的是，本步骤利用深度学习算法，解析视频信息中的图像元素，并计算出预设监控区域的运动对象的轮廓信息。

需要说明的是，本步骤利用训练好的神经网络模型，通过深度学习算法将视频信息中的图像分成不同的区域，并定义每个区域的边界，并根据边界设置相关的阈值进行后续的入侵判断。

s103、当根据所述轮廓信息，在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息，并将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验。若比对检验通过，则锁定该人员为到岗人员。

在本实施例中，根据相似度算法，将所述轮廓信息与图像数据库中的预存的物体轮廓信息进行比对，识别出所述运动对象为人。具体地，所述轮廓信息是指待监视目标(人或物)在视觉上被观看时，特定位置一定会显示的内容。如：当目标是人时，人的骨骼轮廓一定会存在的；当目标是树(物)时，树的主干和分支轮廓会存在。需要说明的是，在运动对象识别过程中，需要过滤干扰信息。例如：对视频信息中的整张图像分片进行预设目标识别，过滤掉不相关信息。如：当要识别的运动对象是人时，则人旁边的树、汽车等被认为是不相关信息。当识别所述运动对象不包括人时，过滤所述运动对象，即忽略所述运动对象。

当识别所述运动对象为人时，利用人脸识别技术捕捉所述对象的人脸信息。具体地，通过视频帧图片分析获取用户的面部图像，利用人脸算法对脸部的五官位置、脸型和角度进行分析，进而和数据库里已有的人员人脸特征值进行比对，判断出用户的身份信息。可以理解的是，人脸识别技术基于局部特征区域的单训练样本人脸识别方法。需要对局部区域进行定义，对人脸局部区域特征的提取，依据经过样本训练后得到的变换矩阵将人脸图像向量映射为人脸特征向量。然后进行分类，分类器多采用组合分类器的形式，每个局部特征对应一个分类器，用线性加权等方式得到终识别结果。

将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验。若比对检验通过，则锁定该人员为到岗人员。若比对检验不通过，或者在第一预设时间内识别所述对象不包括人时，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员。

根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

在本实施例中，所述告警信息包括所述人员信息和用于触发所述前端告警终端展示所述人员信息和警报的指令；其中，所述人员信息包括照片、姓名、岗位、当前作业任务和当前预设监控区域的视频信息；所述警报包括声光警报。

s104、当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员。

s105、查询库中预存的所述脱岗人员的人员信息，并根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

需要说明的是，当到岗人员在值班过程中临时有事离开岗位，即监控区域，如上厕所，帮忙卸货等，设定到岗人员在值班过程中允许临时离开的时间为第二预设时间。若在第二预设时间内，无法检测到所述到岗人员时，将所述到岗人员记为离岗，并启动计时。若离岗时间或在第三预设时间内的离岗时间总和大于或等于第二预设时间，则将所述到岗人员记为脱岗人员。

可以理解的是，设定到岗人员值班当天允许离岗的总时间为第三预设时间。

本实施例提供的一种人员脱岗检测方法，包括：对图像采集系统进行布控管理；利用深度学习算法解析获取的视频信息，得到预设监控区域的运动对象的轮廓信息；在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息并与本地数据库中当前应到岗人员的人脸信息进行比对校验；若比对检验通过则记到岗，但在第二预设时间内无法检测到到岗人员时，或比对检验不通过或第一预设时间内识别所述对象不包括人时，将所述到岗人员记为脱岗人员；查询并获取所述脱岗人员的人员信息，生成告警信息并发送至所述客户端和前端告警终端，以触发警报。本发明能够提高查岗的时效性及准确性，并在有人员脱岗的情况下及时触发预警。

本发明第二实施例：

请参阅图3，图3是本发明第二实施例提供的人员脱岗检测装置的结构示意图。

所述边界入侵检测装置，包括：

布控单元301，用于接收客户端发送的布控任务，并根据所述布控任务配置图像采集系统。

在本实施例中，如图2所示，图2是本发明第一实施例中安防系统的架构示意图。实施所述边界入侵检测方法需要客户端201、服务器端202(所述服务器端包括后台管理服务器2021和视频分析服务器2022)、图像采集系统203和前端告警终端204等装置。其中，所述图像采集系统包括至少一个摄像头2031和与所述摄像头对应的交换机2032。客户端201设定布控任务包括监控区域、监控时长和监控周期；将所述布控任务发送至服务器端202。服务器端202根据所述布控任务获取所述监控区域对应的图像采集系统203，并根据所述监控时长和所述监控周期，通过实时流媒体协议(例如：rtsp协议(realtimestreamingprotocol，实时流传输协议))实时获取所述图像采集系统的视频信息，并利用视频编解码(例如：ffmpeg(一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)编解码代码)获取视频信息中的帧信息。解析所述视频流信息中的帧信息，获取视频帧图片yuv(被欧洲电视系统所采用的一种颜色编码方法)数据，通过转换yuv数据把图片存为rgb(rgb色彩模式是工业界的一种颜色标准)格式。

可以理解的是，所述实时流媒体协议包括但不限于所述rtsp协议。所述视频编解码包括但不限于所述ffmpeg编解码。

可以理解的是，当所述监控区域尚未接入图像采集系统，则接入图像采集系统，以保证布控任务的实施。

视频信息解析单元302，用于获取所述图像采集系统的视频信息，并利用深度学习算法解析所述视频信息，得到预设监控区域的所有对象的轮廓信息。

在本实施例中，所述深度学习算法包括自适应学习算法、卷积神经网络、循环神经网络和递归神经网络。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

可以理解的是，本步骤利用深度学习算法，解析视频信息中的图像元素，并计算出预设监控区域的运动对象的轮廓信息。

需要说明的是，本步骤利用训练好的神经网络模型，通过深度学习算法将视频信息中的图像分成不同的区域，并定义每个区域的边界，并根据边界设置相关的阈值进行后续的入侵判断。

人脸识别单元303，用于当根据所述轮廓信息，在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息，并将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验。

在本实施例中，根据相似度算法，将所述轮廓信息与图像数据库中的预存的物体轮廓信息进行比对，识别出所述运动对象为人。具体地，所述轮廓信息是指待监视目标(人或物)在视觉上被观看时，特定位置一定会显示的内容。如：当目标是人时，人的骨骼轮廓一定会存在的；当目标是树(物)时，树的主干和分支轮廓会存在。需要说明的是，在运动对象识别过程中，需要过滤干扰信息。例如：对视频信息中的整张图像分片进行预设目标识别，过滤掉不相关信息。如：当要识别的运动对象是人时，则人旁边的树、汽车等被认为是不相关信息。当识别所述运动对象不包括人时，过滤所述运动对象，即忽略所述运动对象。

当识别所述运动对象为人时，利用人脸识别技术捕捉所述对象的人脸信息。具体地，通过视频帧图片分析获取用户的面部图像，利用人脸算法对脸部的五官位置、脸型和角度进行分析，进而和数据库里已有的人员人脸特征值进行比对，判断出用户的身份信息。可以理解的是，人脸识别技术基于局部特征区域的单训练样本人脸识别方法。需要对局部区域进行定义，对人脸局部区域特征的提取，依据经过样本训练后得到的变换矩阵将人脸图像向量映射为人脸特征向量。然后进行分类，分类器多采用组合分类器的形式，每个局部特征对应一个分类器，用线性加权等方式得到终识别结果。

脱岗判断单元304，用于若比对检验通过，则锁定该人员为到岗人员；当在第二预设时间内，根据所述轮廓信息，无法检测到所述到岗人员时，将所述到岗人员记为脱岗人员并查询并获取本地数据库中预存的所述脱岗人员的人员信息；若比对检验不通过或所述人脸识别单元304在第一预设时间内识别所述对象不包括人，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员。

告警单元305，用于根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

需要说明的是，当到岗人员在值班过程中临时有事离开岗位，即监控区域，如上厕所，帮忙卸货等，设定到岗人员在值班过程中允许临时离开的时间为第二预设时间。若在第二预设时间内，无法检测到所述到岗人员时，将所述到岗人员记为离岗，并启动计时。若离岗时间或在第三预设时间内的离岗时间总和大于或等于第二预设时间，则将所述到岗人员记为脱岗人员。

可以理解的是，设定到岗人员值班当天允许离岗的总时间为第三预设时间。

在本实施例中，将所述人脸信息与本地数据库中预存的当前所述预设监控区域的应到岗人员的人脸信息进行比对校验。若比对检验通过，则锁定该人员为到岗人员。若比对检验不通过，或者在第一预设时间内识别所述对象不包括人时，则查询并获取本地数据库中预存的当前所述预设监控区域的应到岗的人员信息，将该人员记为脱岗人员。

根据所述人员信息，生成告警信息并发送至所述客户端和前端告警终端，以使所述前端告警终端根据所述告警信息触发警报。

需要说明的是，当到岗人员在值班过程中临时有事离开岗位，即监控区域，如上厕所，帮忙卸货等，设定到岗人员在值班过程中允许临时离开的时间为第二预设时间。若在第二预设时间内，无法检测到所述到岗人员时，将所述到岗人员记为离岗，并启动计时。若离岗时间或在第三预设时间内的离岗时间总和大于或等于第二预设时间，则将所述到岗人员记为脱岗人员。

可以理解的是，设定到岗人员值班当天允许离岗的总时间为第三预设时间。

在本实施例中，所述告警信息包括所述人员信息和用于触发所述前端告警终端展示所述人员信息和警报的指令；其中，所述人员信息包括照片、姓名、岗位、当前作业任务和当前预设监控区域的视频信息；所述警报包括声光警报。

本实施例提供的一种人员脱岗检测装置，对图像采集系统进行布控管理；利用深度学习算法解析获取的视频信息，得到预设监控区域的运动对象的轮廓信息；在第一预设时间内识别所述对象为人时，利用人脸识别技术捕捉所述对象的人脸信息并与本地数据库中当前应到岗人员的人脸信息进行比对校验；若比对检验通过则记到岗，但在第二预设时间内无法检测到到岗人员时，或比对检验不通过或第一预设时间内识别所述对象不包括人时，将所述到岗人员记为脱岗人员；查询并获取所述脱岗人员的人员信息，生成告警信息并发送至所述客户端和前端告警终端，以触发警报。本发明能够提高查岗的时效性及准确性，并在有人员脱岗的情况下及时触发预警。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。