银行网点异常监控方法及装置与流程

本发明涉及互联网技术领域，尤其涉及一种银行网点异常监控方法及装置。

背景技术：

目前公众安全问题越来越受到重视，银行网点作为金融机构，对安防的要求较高。随着摄像头的普及，针对网点可能存在的人群斗殴，抢劫及atm取款诈骗等可能存在的安全隐患，要从海量数据中发现异常，传统方法依赖于人工监测视频异常的起止点，既浪费人力又浪费财力，且效率低。

技术实现要素：

本发明实施例提出一种银行网点异常监控方法，用以准确地判断银行网点中的异常，效率高，准确率高，该方法包括：

采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；

将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；

将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；

在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。

本发明实施例提出一种银行网点异常监控装置，准确地判断银行网点中的异常，效率高，准确率高，该装置包括：

监控视频采集模块，用于采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；

伪异常标签集合获得模块，用于将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；

训练模块，用于将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；

异常视频片段识别模块，用于在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行网点异常监控方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述银行网点异常监控方法的计算机程序。

在本发明实施例中，采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。在上述实施例中，构建了异常视频片段对应的伪异常标签集合，基于此进行了训练，获得的异常分类器的准确率和效率更高，使得最后获得的测试视频中的异常视频片段的准确率和效率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中银行网点异常监控方法的流程图；

图2为本发明实施例中银行网点异常监控方法的详细流程图；

图3为本发明实施例银行网点异常监控装置的示意图；

图4为本发明实施例银行网点异常监控装置的另一示意图；

图5为本发明实施例中帧级伪标签生成器的示意图；

图6为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

发明人发现，深度学习的视频异常检测大多采用监督训练，训练集异常视频标签必须精确到帧级，标签依赖于人工监测，容易出现漏检，费时费力。对于半监督学习的异常检测，训练数据中只有正常视频，只对正常视频进行标记，异常视频只存在于测试数据中，没有标记。而现实中的正常行为多种多样，训练数据集无法涵盖所有的种类，异常分类的效果依赖于训练集中正常行为的种类多少。

为解决上述问题，本发明设计了一种银行网点异常监控系统，用以准确地判断银行网点中的异常，采用弱监督方法，训练集包含正常视频和异常视频，给定的是视频级标签，降低了人力成本，效率高。

图1为本发明实施例中银行网点异常监控方法的流程图，如图1所示，该方法包括：

步骤101，采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；

步骤102，将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；

步骤103，将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；

步骤104，在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。

在本发明实施例中，构建了异常视频片段对应的伪异常标签集合，基于此进行了训练，获得的异常分类器的准确率和效率更高，使得最后得到的异常起止时间更准确。

具体实施时，为了进一步提高伪异常标签集合的生成精度，需要对监控视频进行处理，提取出特征更加明显的前景视频，在一实施例中，在将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中之前，还包括：

对多个监控视频进行前背景分离，获得每个监控视频的前景视频；

将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，包括：

将多个异常视频的前景视频及对应的视频级标签输入至帧级伪标签生成器中，其中，每个异常视频的前景视频对应多个异常视频片段；

将测试视频输入到异常分类器中，获得测试视频中的异常视频片段，包括：

对测试视频进行前背景分离，获得测试视频的前景视频，将测试视频的前景视频输入到异常分类器中，获得测试视频中的异常视频片段。

在上述实施例中，提取出的前景视频消除了大面积的背景和静止的目标，去除了干扰因素。在弱监督条件下的异常检测中，视频级标签是指仅提供训练集视频的类别标注，即已知一段视频有或没有异常事件，但异常事件的种类和发生时间是未知的。伪异常标签集合为帧级标签，当然，帧级伪标签生成器的结果除了伪异常标签集合，剩下的为伪正常标签集合。帧级标签是指异常发生时间已知的视频片段的类别标注。

将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器，其中，三维异常检测网络是帧级有监督的三维异常检测网络，可以通过三维卷积和三维池化更好的建模信息。

在一实施例中，所述帧级伪标签生成器采用如下步骤生成多个异常视频片段对应的伪异常标签集合：

从每个异常视频的前景视频中提取出多个异常视频片段，获得所述多个异常视频片段的前景特征；

将多个异常视频片段的前景特征进行聚类，获得每个异常视频片段对应的第一类别；

将多个异常视频片段的前景特征进行异常检测，获得每个异常视频片段对应的第二类别；

将每个异常视频片段对应的第一类别和第二类别进行融合，获得每个异常视频片段对应的伪异常标签。

上述实施例中给出了帧级伪标签生成器生成多个异常视频片段对应的伪异常标签集合的步骤，同时也生成了伪正常标签集合，在得到伪异常标签集合后，即得到了伪异常标签对应的所有异常视频片段，其中，异常视频片段中包括了异常起止时间。

在一实施例中，从每个异常视频的前景视频中提取出多个异常视频片段，获得所述多个异常视频片段的前景特征，包括：

通过在sports-1m数据集上预训练的c3d网络，从每个异常视频的前景视频中提取出多个异常视频片段，获得所述多个异常视频片段的前景特征。

在上述实施例中，c3d(convolutional3d)网络基于3d卷积操作，下面给出一个示例：8次卷积操作，4次池化操作。其中卷积核的大小均为3×3×3，步长为1×1×1。池化核的大小为2×2×2,步长为2×2×2，但第一层池化除外，其大小和步长均为1×2×2。这是为了不过早缩减时序上的长度。最终网络在经过两次全连接层和softmax层后就得到了最终的输出结果。网络的输入尺寸为3×16×112×112，即一次输入16帧异常视频片段。

在一实施例中，将多个异常视频片段的前景特征进行聚类，获得每个异常视频片段对应的第一类别，包括：

采用k-means算法将多个异常视频片段的前景特征进行聚类，获得每个异常视频片段对应的第一类别。

在上述实施例中，k-means算法是输入聚类个数k，以及包含n个数据对象的数据库，输出满足方差最小标准k个聚类的一种算法。k-means算法接受输入量k；然后将n个数据对象划分为k个聚类，以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。在本发明实施例中，k取值可以为2。当然，可以理解的是，还可以使用其他聚类算法，相关变化例均应落入本发明的保护范围。聚类算法后，可以得到每个异常视频片段对应的第一类别，第一类别可以是伪正常标签，也可以是伪异常标签。对于伪异常标签的异常视频片段，可以直接获得其异常起止时间，可以获得这些异常视频片段的数量。

在一实施例中，将多个异常视频片段的前景特征进行异常检测，获得每个异常视频片段对应的第二类别，包括：

采用abod算法，将多个异常视频片段的前景特征进行异常检测，获得每个异常视频片段对应的第二类别。

在上述实施例中，第二类别可以是伪正常标签，也可以是伪异常标签。abod(angle-basedoutlierdetection，基于角度的异常检测)算法的原理是计算每个样本与所有其他样本对所形成的夹角的方差，异常点因为远离正常点，因此方差变化小。将每个异常视频片段对应的第一类别和第二类别进行融合，获得每个异常视频片段对应的伪异常标签，其中，融合的具体过程如下：

输入异常视频片段的前景特征为f＝{f1,f2,…,fm}，其中，前景特征fi为d维，类别数为k，abod算法异常样本比例为n。

1)将异常视频片段的前景特征f输入k-means算法进行聚类；

2)通过聚类算法得到异常视频片段的类别数，对聚类结果的异常起止片段进行统计，其中异常起始片段数为u，异常终止片段数为v；将异常视频片段的前景特征f通过abod算法进行异常检测，异常起始片段数为h，终止片段数为l；

3)将转换后的abod算法异常检测结果y＝{y1,y2,…,ym}与聚类得到的结果y＝{y1,y2,…,ym}进行融合得到帧级伪标签集合。其中，伪异常标签集合为p。

根据异常发生的偶发性和连续性，假定视频一开始无异常，则伪异常标签集合p的确定方法如下：

综合上述实施例，图2为本发明实施例中银行网点异常监控方法的详细流程图，如图2所示，包括：

步骤201，采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；

步骤202，对多个监控视频进行前背景分离，获得每个监控视频的前景视频；

步骤203，将多个异常视频的前景视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频的前景视频对应多个异常视频片段；

步骤204，将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；

步骤205，在获得测试视频后，对测试视频进行前背景分离，获得测试视频的前景视频，将测试视频的前景视频输入到异常分类器中，获得测试视频中的异常视频片段。

当然，可以理解的是，上述详细流程还可以有其他变化例，均应落入本发明的保护范围。

综上所述，在本发明实施例提出的方法中，采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。在上述实施例中，构建了异常视频片段对应的伪异常标签集合，基于此进行了训练，获得的异常分类器的准确率和效率更高，使得最后获得的测试视频中的异常视频片段的准确率和效率更高。

本发明实施例还提出一种银行网点异常监控装置，其原理与银行网点异常监控方法类似，这里不再赘述。

图3为本发明实施例中银行网点异常监控装置的示意图，如图3所示，该装置包括：

监控视频采集模块301，用于采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；

伪异常标签集合获得模块302，用于将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；

训练模块303，用于将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；

异常视频片段识别模块304，用于在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。

图4为本发明实施例中银行网点异常监控装置的另一示意图，如图4所示，在一实施例中，所述装置还包括前背景分离模块305，用于：对多个监控视频进行前背景分离，获得每个监控视频的前景视频；

伪异常标签集合获得模块302具体用于：将多个异常视频的前景视频及对应的视频级标签输入至帧级伪标签生成器中，其中，每个异常视频的前景视频对应多个异常视频片段；

异常视频片段识别模块304具体用于：对测试视频进行前背景分离，获得测试视频的前景视频，将测试视频的前景视频输入到异常分类器中，获得测试视频中的异常视频片段。

图5为本发明实施例中帧级伪标签生成器的示意图，如图5所示，包括：

前景特征提取模块501，用于从每个异常视频的前景视频中提取出多个异常视频片段，获得所述多个异常视频片段的前景特征；

聚类模块502，用于将多个异常视频片段的前景特征进行聚类，获得每个异常视频片段对应的第一类别；

检测模块503，用于将多个异常视频片段的前景特征进行异常检测，获得每个异常视频片段对应的第二类别；

融合模块504，用于将每个异常视频片段对应的第一类别和第二类别进行融合，获得每个异常视频片段对应的伪异常标签。

综上所述，在本发明实施例提出的装置中，采集银行网点的多个监控视频，所述监控视频包含异常视频和正常视频，每个监控视频含有对应的视频级标签；将多个异常视频及对应的视频级标签输入至帧级伪标签生成器中，生成多个异常视频片段对应的伪异常标签集合，其中，每个异常视频对应多个异常视频片段；将多个正常视频对应的视频级标签、多个异常视频片段对应的伪异常标签集合输入到三维异常检测网络中进行训练，获得异常分类器；在获得测试视频后，将测试视频输入到异常分类器中，获得测试视频中的异常视频片段。在上述实施例中，构建了异常视频片段对应的伪异常标签集合，基于此进行了训练，获得的异常分类器的准确率和效率更高，使得最后获得的测试视频中的异常视频片段的准确率和效率更高。

本申请的实施例还提供一种计算机设备，图6为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的银行网点异常监控方法中全部步骤，所述计算机设备具体包括如下内容：

处理器(processor)601、存储器(memory)602、通信接口(communicationsinterface)603和通信总线604；

其中，所述处理器601、存储器602、通信接口603通过所述通信总线604完成相互间的通信；所述通信接口603用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；

所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的银行网点异常监控方法中的全部步骤。

本申请的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的银行网点异常监控方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的银行网点异常监控方法的全部步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。