对象的监控方法及装置、电子设备及存储介质与流程

本发明涉及安监领域，具体而言，涉及一种对象的监控方法及装置、电子设备及存储介质。

背景技术：

1、相关技术中对于保密性要求较高的生产厂区，员工禁止携带金属等违禁品，且出/入厂的人员需要提前进行审批才能进出，进出权限由人脸机管控，金属违禁检测使用安检门，在出入厂安检门岗处配备多名安检员进行秩序维护和安检操作。出入厂高峰期较容易有违规进入的风险，在非高峰期人员配备容易出现较大冗余，且有安检员由于疏忽或懈怠会造成监督不力的情况发生。

2、人员权限认证通常为人脸识别，但人员扎堆刷脸时，安检员较难辨别谁刷了人脸，有跟随进入的风险。携带金属违禁品入厂或出厂，当安检门报警，人员需退回重进直至无报警产生，若安检员未发现报警或偷懒忽略，则较容易出现违规进出的情况发生。相关技术在安检区进行出入厂稽查管控时，效率低，自动化程度低。

3、针对相关技术中存在的上述问题，暂未发现有效的解决方案。

技术实现思路

1、本发明提供了一种对象的监控方法及装置、电子设备及存储介质。

2、根据本技术实施例的一个方面，提供了一种对象的监控方法，应用在监控系统，监控系统包括监控摄像头，以及权限监控设备，所述方法包括：获取所述监控摄像头采集的包含目标对象的视频帧，以及获取所述权限监控设备的权限监控结果；根据所述视频帧识别所述目标对象的属性序列，其中，所述属性序列包括：位置属性序列、身份属性类别及动作属性序列，所述位置属性序列包括多个按照时序排序的位置状态，所述动作属性序列包括多个按照时序排列的动作状态；采用所述位置属性序列，所述动作属性序列，以及所述权限监控结果生成所述目标对象在安检过程中的实时行为序列；根据所述实时行为序列和所述身份属性类别生成所述目标对象的安检稽查结果。

3、进一步，根据所述视频帧识别所述目标对象的属性序列包括：从所述视频帧中提取初始图像，其中，所述视频帧包括所述初始图像和若干张剩余图像；检测所述初始图像中包含所述目标对象的第一头部图像框；为所述目标对象分配身份标识，从所述初始图像开始，将所述若干张剩余图像输入yolox网络，并采用所述yolox网络输出待选头部图像框和待选属性序列；采用跟踪算法在所述待选头部图像框中跟踪检测所述目标对象的第二头部图像框；获取所述第一头部图像框和所述第二头部图像框的属性序列，得到所述目标对象的属性序列。

4、进一步，在将所述若干张剩余图像输入yolox网络之前，所述方法还包括：采用sppneck配置yolox网络的主干网络的池化层，其中，所述sppneck包括多个不同尺寸的池化核；在所述yolox网络的主干网络配置silu激活函数，并采用所述silu激活函数替换所述主干网络的激活函数；采用解耦头配置所述yolox网络的预测层；采用以下损失函数loss配置所述yolox网络：

5、

6、

7、

8、其中，lcls代表对应属性类别的分类损失，lreg代表定位损失，lobj代表置信度损失，λ代表所述定位损失的系数，npos代表被分为正样本的锚点数，p为待分类图像的预测概率，属性信息的分类标签为：y＝{y1,y2,...,yn}，1[yi≠-1]表示当yi≠-1时，输出为1，否则输出为0，忽略标签为-1的样本。

9、进一步，采用跟踪算法在所述待选头部图像框中跟踪检测所述目标对象的第二头部图像框包括：将所述初始图像配置为当前图像，迭代执行以下步骤，直到所述视频帧的最后一张图像：提取所述第一头部图像框的第一图像特征；在所述若干张剩余图像中确定所述初始图像之后的相邻图像帧；提取所述相邻图像帧中待选头部图像框的第二图像特征；计算所述第一图像特征与所述第二图像特征的匹配度；根据所述匹配度判断所述相邻图像帧的待选头部图像框中是否存在与所述第一头部图像框匹配的目标图像框；若存在与所述第一头部图像框匹配的目标图像框，将所述目标图像框关联至所述身份标识，并将所述当前图像更新为所述目标图像框，若不存在与所述第一头部图像框匹配的目标图像框，采用所述相邻图像帧的下一帧图像更新所述相邻图像帧。

10、进一步，所述权限监控设备包括门禁设备，所述方法还包括：接收所述门禁设备的人脸机识别成功信号，并记录接收时间；以所述接收时间为起始时间，在第一预设时间之后，采用所述监控摄像头在所述门禁设备的预设范围内搜索所述目标对象的人头框；若搜索成功，生成所述目标对象的门禁刷脸动作，并将所述门禁刷脸动作添加至所述动作属性序列。

11、进一步，所述权限监控设备包括安检门，所述权限监控结果为所述安检门的报警信号图片识别结果，采用所述位置属性序列，所述动作属性序列，以及所述权限监控结果生成所述目标对象在安检过程中的实时行为序列包括：采用二分类模型识别所述报警信号图片识别结果，得到所述目标对象的安检结果；以所述报警信号图片的获取时间为起始时间，在第二预设时间之后，采用所述监控摄像头在所述权限监控设备的预设范围内搜索所述目标对象的人头框；若搜索成功，基于所述安检结果生成通过安检门动作，将所述通过安检门动作添加至所述动作属性序列；根据所述位置属性序列解析所述目标对象在安检过程中的移动轨迹，以及根据所述动作属性序列判定所述目标对象在安检过程中执行的若干个行为类型；按照时间将所述若干个行为类型分别关联至所述移动轨迹中的对应的轨迹点，以生成所述目标对象在安检过程中的实时行为序列。

12、进一步，根据所述实时行为序列和所述身份属性类别生成所述目标对象的安检稽查结果包括：在预存序列集合中查找与所述身份属性类别匹配的正常行为序列，其中，所述预存序列集合存储有多个身份属性类别的正常行为序列；判断所述实时行为序列与所述正常行为序列是否匹配；若所述实时行为序列与所述正常行为序列匹配，判定所述目标对象安检稽查正常；若所述实时行为序列与所述正常行为序列不匹配，判定所述目标对象安检稽查异常。

13、根据本技术实施例的另一个方面，还提供了一种对象的监控装置，应用在监控系统，监控系统包括监控摄像头，以及权限监控设备，包括：获取模块，用于获取所述监控摄像头采集的包含目标对象的视频帧，以及获取所述权限监控设备的权限监控结果；识别模块，用于根据所述视频帧识别所述目标对象的属性序列，其中，所述属性序列包括：位置属性序列、身份属性类别及动作属性序列，所述位置属性序列包括多个按照时序排序的位置状态，所述动作属性序列包括多个按照时序排列的动作状态；第一生成模块，用于采用所述位置属性序列，所述动作属性序列，以及所述权限监控结果生成所述目标对象在安检过程中的实时行为序列；第二生成模块，用于根据所述实时行为序列和所述身份属性类别生成所述目标对象的安检稽查结果。

14、进一步，所述识别模块包括：提取单元，用于从所述视频帧中提取初始图像，其中，所述视频帧包括所述初始图像和若干张剩余图像；第一检测单元，用于检测所述初始图像中包含所述目标对象的第一头部图像框；第二检测单元，用于为所述目标对象分配身份标识，从所述初始图像开始，将所述若干张剩余图像输入yolox网络，并采用所述yolox网络输出待选头部图像框和待选属性序列；采用跟踪算法在所述待选头部图像框中跟踪检测所述目标对象的第二头部图像框；识别单元，用于获取所述第一头部图像框和所述第二头部图像框的属性序列，得到所述目标对象的属性序列。

15、进一步，所述装置还包括：第一配置模块，用于在将所述若干张剩余图像输入yolox网络之前，采用sppneck配置yolox网络的主干网络的池化层，其中，所述sppneck包括多个不同尺寸的池化核；第二配置模块，用于在所述yolox网络的主干网络配置silu激活函数，并采用所述silu激活函数替换所述主干网络的激活函数；第三配置模块，用于采用解耦头配置所述yolox网络的预测层；第四配置模块，用于采用以下损失函数loss配置所述yolox网络：

16、

17、

18、

19、其中，lcls代表对应属性类别的分类损失，lreg代表定位损失，lobj代表置信度损失，λ代表所述定位损失的系数，npos代表被分为正样本的锚点数，p为待分类图像的预测概率，属性信息的分类标签为：y＝{y1,y2,...,yn}，1[yi≠-1]表示当yi≠-1时，输出为1，否则输出为0，忽略标签为-1的样本。

20、进一步，所述第二检测单元包括：迭代子单元，用于将所述初始图像配置为当前图像，迭代执行以下步骤，直到所述视频帧的最后一张图像：提取所述第一头部图像框的第一图像特征；在所述若干张剩余图像中确定所述初始图像之后的相邻图像帧；提取所述相邻图像帧中待选头部图像框的第二图像特征；计算所述第一图像特征与所述第二图像特征的匹配度；根据所述匹配度判断所述相邻图像帧的待选头部图像框中是否存在与所述第一头部图像框匹配的目标图像框；若存在与所述第一头部图像框匹配的目标图像框，将所述目标图像框关联至所述身份标识，并将所述当前图像更新为所述目标图像框，若不存在与所述第一头部图像框匹配的目标图像框，采用所述相邻图像帧的下一帧图像更新所述相邻图像帧。

21、进一步，所述权限监控设备包括门禁设备，所述装置还包括：接收模块，用于接收所述门禁设备的人脸机识别成功信号，并记录接收时间；搜索模块，用于以所述接收时间为起始时间，在第一预设时间之后，采用所述监控摄像头在所述门禁设备的预设范围内搜索所述目标对象的人头框；添加模块，用于若搜索成功，生成所述目标对象的门禁刷脸动作，并将所述门禁刷脸动作添加至所述动作属性序列。

22、进一步，所述权限监控设备包括安检门，所述权限监控结果为所述安检门的报警信号图片识别结果，所述第一生成模块包括：识别单元，用于采用二分类模型识别所述报警信号图片识别结果，得到所述目标对象的安检结果；搜索单元，用于以所述报警信号图片的获取时间为起始时间，在第二预设时间之后，采用所述监控摄像头在所述权限监控设备的预设范围内搜索所述目标对象的人头框；添加单元，用于若搜索成功，基于所述安检结果生成通过安检门动作，将所述通过安检门动作添加至所述动作属性序列；处理单元，用于根据所述位置属性序列解析所述目标对象在安检过程中的移动轨迹，以及根据所述动作属性序列判定所述目标对象在安检过程中执行的若干个行为类型；生成单元，用于按照时间将所述若干个行为类型分别关联至所述移动轨迹中的对应的轨迹点，以生成所述目标对象在安检过程中的实时行为序列。

23、进一步，所述第二生成模块包括：查找单元，用于在预存序列集合中查找与所述身份属性类别匹配的正常行为序列，其中，所述预存序列集合存储有多个身份属性类别的正常行为序列；判断单元，用于判断所述实时行为序列与所述正常行为序列是否匹配；确定单元，用于若所述实时行为序列与所述正常行为序列匹配，判定所述目标对象安检稽查正常；若所述实时行为序列与所述正常行为序列不匹配，判定所述目标对象安检稽查异常。

24、根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

25、根据本技术实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

26、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

27、通过本发明，获取监控摄像头采集的包含目标对象的视频帧，以及获取权限监控设备的权限监控结果，根据视频帧识别目标对象的属性序列，属性序列包括：位置属性序列、身份属性类别及动作属性序列，位置属性序列包括多个按照时序排序的位置状态，动作属性序列包括多个按照时序排列的动作状态，采用位置属性序列，动作属性序列，以及权限监控结果生成目标对象在安检过程中的实时行为序列，根据实时行为序列和身份属性类别生成目标对象的安检稽查结果，通过识别目标对象的属性序列，并采用属性序列生成目标对象在安检过程中的实时行为序列，最后根据实时行为序列和身份属性类别生成目标对象的安检稽查结果，有效地对出入岗的目标进行了出入跟踪和行为判别，并实现了自动安检监控，解决了相关技术中安检稽查效率低的技术问题，提高了安检岗处出入对象行为分析的准确率和召回率，提高了出入厂行为分析稽查效率。