一种违规行为检测方法、装置、设备及介质与流程

本申请涉及智能监控，尤其涉及一种违规行为检测方法、装置、设备及介质。

背景技术：

1、在各个银行网点中，银行保安人员的本职工作就是时刻洞察周围的环境，做好安全保卫工作，维护大厅的秩序。根据银行的相关规则，银行保安人员必须严格遵守银行和保安公司的各项管理规定、服从命令、听从指挥，不徇私情，维持银行治安秩序，预防治安事件发生，保护银行财产安全。但由于银行网点业务繁忙，人力资源有限，而客户往往赶时间，出于信赖会请求银行保安人员操作自助智能柜台办理简单业务，导致保安人员离开自己岗位，从事非本职工作。

2、目前，对银行保安的监管主要是以人工现场监督和视频人工值守的形式，一方面，人工监管存在监管力度不足，容易放松懈怠；另一方面，人的判断和监管存在一定的主观因素，难以后期回顾和实现标准化。

3、因此，如何实时监控提示银行保安人员代客户办理智能柜台业务的违规行为是亟待解决的技术问题。

技术实现思路

1、本申请提供了一种的违规行为检测方法、装置、设备及介质，用于实时监控提示银行保安人员代客户办理智能柜台业务的违规行为。

2、第一方面，本申请提供了一种违规行为检测方法，所述方法包括：

3、提取监控视频中的目标图像；

4、将所述目标图像输入到预先训练完成的卷积神经网络模型，得到所述目标图像中包含的人体的服装特征向量；

5、在服装特征向量与预先保存的标准服装特征向量之间的第一相似度大于第一预设阈值时，则确定所述目标图像中对应的人体存在违规行为。

6、在一种可能的实施方式中，所述在服装特征向量与预先保存的标准服装特征向量之间的第一相似度大于第一预设阈值时之后，所述确定所述目标图像中对应的人体存在违规行为之前，所述方法还包括：

7、将所述目标图像输入到预先训练完成的手势识别模型，得到所述目标图像中的该服装特征向量对应的人体的目标手势；

8、若所述目标手势为预设手势，则进行后续的所述确定所述目标图像中对应的人体存在违规行为的步骤。

9、在一种可能的实施方式中，若所述目标手势为预设手势，所述确定所述目标图像中对应的人体存在违规行为之前，所述方法还包括：

10、提取监控视频中的所述目标图像对应时刻的音频的音频特征向量；确定所述音频特征向量与预先保存的标准音频特征向量之间的第二相似度；

11、若所述第二相似度大于第二预设阈值，则进行后续的所述确定所述目标图像中对应的人体存在违规行为的步骤。

12、在一种可能的实施方式中，所述提取监控视频中的目标图像包括：

13、按照预设的时间间隔，提取监控视频中的预设数量个图像；

14、将每个图像输入到预先训练完成的人体检测模型中，得到每个图像中包含的人体目标框；确定每个人体目标框的大小，将包含最大人体目标框的图像确定为目标图像。

15、在一种可能的实施方式中，所述得到每个图像中包含的人体目标框之后，所述确定每个人体目标框的大小之前，所述方法还包括：

16、确定所述人体目标框的数量；若所述数量大于一，再进行后续的所述确定每个人体目标框的大小的步骤。

17、在一种可能的实施方式中，所述得到每个图像中包含的人体目标框之后，所述确定每个人体目标框的大小之前，所述方法还包括：

18、确定每个图像中包含的人体目标框的位置是否一致，若否，则进行后续的所述确定每个人体目标框的大小的步骤。

19、在一种可能的实施方式中，所述确定存在违规行为之后，所述方法还包括：

20、保存所述目标图像，并显示存在违规行为的提示信息。

21、第二方面，本申请提供了一种违规行为检测装置，所述装置包括：

22、提取模块，用于提取监控视频中的目标图像；

23、判断模块，用于将所述目标图像输入到预先训练完成的卷积神经网络模型，得到所述目标图像中包含的人体的服装特征向量；在服装特征向量与预先保存的标准服装特征向量之间的第一相似度大于第一预设阈值时，则确定所述目标图像中对应的人体存在违规行为。

24、在一种可能的实施方式中，所述判断模块，还用于将所述目标图像输入到预先训练完成的手势识别模型，得到所述目标图像中的该服装特征向量对应的人体的目标手势；若所述目标手势为预设手势，则进行后续的所述确定所述目标图像中对应的人体存在违规行为的步骤。

25、在一种可能的实施方式中，所述提取模块，还用于提取监控视频中的所述目标图像对应时刻的音频的音频特征向量；

26、所述判断模块，还用于确定所述音频特征向量与预先保存的标准音频特征向量之间的第二相似度；若所述第二相似度大于第二预设阈值，则进行后续的所述确定所述目标图像中对应的人体存在违规行为的步骤。

27、在一种可能的实施方式中，所述提取模块，具体用于按照预设的时间间隔，提取监控视频中的预设数量个图像；将每个图像输入到预先训练完成的人体检测模型中，得到每个图像中包含的人体目标框；确定每个人体目标框的大小，将包含最大人体目标框的图像确定为目标图像。

28、在一种可能的实施方式中，所述判断模块，还用于确定所述人体目标框的数量；若所述数量大于一，再进行后续的所述确定每个人体目标框的大小的步骤。

29、在一种可能的实施方式中，所述判断模块，还用于确定每个图像中包含的人体目标框的位置是否一致，若否，则进行后续的所述确定每个人体目标框的大小的步骤。

30、在一种可能的实施方式中，所述装置还包括：

31、显示模块，用于保存所述目标图像，并显示存在违规行为的提示信息。

32、第三方面，本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述违规行为检测方法的步骤。

33、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质有可由电子这边执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行如上述任一所述违规行为检测方法的步骤。

34、在本申请中，提取针对智能柜台的监控视频中的目标图像，并将目标图像输入到预先训练完成的卷积神经网络模型中，得到目标图像中包含的人体的服装特征向量，并计算每个服装特征向量与预先保存的保安人员的标准服装特征向量之间的第一相似度；若存在任一服装特征向量对应的第一相似度大于第一预设阈值，则表示目标图像中存在保安人员的人体，也就是存在保安人员出现在智能柜台附近，则可以确定存在违规行为。

技术特征：

1.一种违规行为检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在服装特征向量与预先保存的标准服装特征向量之间的第一相似度大于第一预设阈值时之后，所述确定所述目标图像中对应的人体存在违规行为之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，若所述目标手势为预设手势，所述确定所述目标图像中对应的人体存在违规行为之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述提取监控视频中的目标图像包括：

5.根据权利要求4所述的方法，其特征在于，所述得到每个图像中包含的人体目标框之后，所述确定每个人体目标框的大小之前，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述得到每个图像中包含的人体目标框之后，所述确定每个人体目标框的大小之前，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述确定存在违规行为之后，所述方法还包括：

8.一种违规行为检测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一所述违规行为检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质有可由电子这边执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一所述违规行为检测方法的步骤。

技术总结
本申请提供了一种违规行为检测方法、装置、设备及介质。该方法中提取针对智能柜台的监控视频中的目标图像，并将目标图像输入到预先训练完成的卷积神经网络模型中，得到目标图像中包含的人体的服装特征向量，并计算每个服装特征向量与预先保存的保安人员的标准服装特征向量之间的第一相似度；若存在任一服装特征向量对应的第一相似度大于第一预设阈值，则表示目标图像中存在保安人员的人体，也就是存在保安人员出现在智能柜台附近，则可以确定存在违规行为。

技术研发人员：蒋震,孙志亮,黄鹏
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/4/7