基于图神经网络的异常视频检测方法以及系统与流程

本发明涉及神经网络，尤其涉及一种基于图神经网络的异常视频检测方法、系统、计算机设备及存储介质。

背景技术：

1、视频异常可以被认为是不正常的外观或者运动属性的发生，或者正常的外观或者运动属性在不正常的位置或者时间发生。目前对视频异常进行检测的技术被广泛应用在各个场所，比如公路、银行、医院等公共场所，从而可以极大地保证人们的生命安全和财产安全。

2、目前通常采用以下三种方式对视频异常进行检测，第一种是利用自动编码器的方法，将输入的图像映射到隐空间,再根据隐空间中的特征向量恢复成原始图像，通过这一方法利用学习到的隐特征来判断正常视频帧和异常视频帧的差异。第二种是基于预测未来帧：将t+1帧的视频数据中的前t帧作为训练数据，预测第t+1帧的图像，根据与真实的第t+1帧的差异来识别这一帧是否异常。第三种是基于场景对象识别：预先将视频中的对象使用目标检测和跟踪的方法获取到，然后在此基础上检测出多个对象的视频上使用后续的异常识别方法来检测出发生异常的对象。

3、但是，采用第一种方式进行视频异常检测时，在复杂快速变化的场景下，由于没有考虑到时序变化对图像的影响，导致其泛化性能差，同时，由于大部分图像发生异常的部分只占整个图像的一小部分，因此正常帧和异常帧之间的差异很小，容易受到噪声干扰。采用第二种方式进行视频异常检测时，由于预测图像是从前t帧中采样得到的，对于在第t+1帧新出现的物体也会识别为异常，因此这种方法能应用的场景有限。而，采用第三种方式进行视频异常检测时，需要提前将对象检测出来，然而在真实的视频中发生异常的对象往往是不能提前确定的，因此这种检测出发生异常对象的方法应用范围有限。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于图神经网络的异常视频检测方法、系统、计算机设备及存储介质，以解决上述现有技术中存在的至少一个问题。

2、第一方面，本技术实施例提供了一种基于图神经网络的异常视频检测方法，包括：

3、获取原始视频数据，将所述原始视频数据分割为多个视频片段，并将每个所述视频片段对应的每个视频帧分割为多个图像块；

4、将所述视频片段以及所述图像块分别输入至时间分支网络以及空间分支网络中进行特征提取，以得到时间特征以及空间特征；

5、将所述时间特征以及所述空间特征分别输入至第一注意力模型中，以得到注意力处理后时间特征以及空间特征；

6、分别对所述注意力处理后的时间特征以及空间特征进行池化处理，以得到时间融合特征以及空间融合特征；

7、将所述时间融合特征以及空间融合特征，分别输入至第二注意力模型中，以分别确定每个视频帧以及每个图像块对应的异常概率值，并根据所述异常概率值确定异常视频帧以及异常图像块。

8、在一实施例中，所述分别对所述注意力处理后的时间特征以及空间特征进行池化处理，以得到时间融合特征以及空间融合特征，包括：

9、分别对所述注意力处理后的时间特征以及空间特征进行降维处理，以得到时间平均特征及空间平均特征；

10、分别对所述时间平均特征以及所述空间时间特征进行特征融合，以得到所述时间融合特征以及空间融合特征。

11、在一实施例中，所述将所述时间平均特征以及所述空间时间特征进行融合，以得到所述时间融合特征以及空间融合特征，包括：

12、将所述时间平均特征与所述注意力处理后的空间特征进行融合，以得到所述时间融合特征；

13、将所述空间平均特征与所述注意力处理后的时间特征进行融合，以得到所述空间融合特征。

14、在一实施例中，所述将所述时间融合特征以及空间融合特征，分别输入至第二注意力模型中，以分别确定每个视频帧以及每个图像块对应的异常概率值，包括：

15、将所述时间融合特征以及空间融合特征分别输入至所述第二注意力模型中，以得到注意力处理后的时间融合特征以及空间融合特征；

16、通过预设激活函数对所述时间融合特征以及空间融合特征分别进行计算，以分别得到所述每个视频帧以及每个图像块对应的异常概率值；

17、当所述异常概率值低于预设阈值时，则确定对应的所述视频帧或者图像块存在异常。

18、在一实施例中，将所述视频片段以及所述图像块分别输入至时间分支网络以及空间分支网络中进行特征提取，以得到时间特征以及空间特征，包括：

19、将所述视频片段发送至第一特征提取模型中进行特征提取，以得到所述时间特征；

20、将所述图像块发送至所述第二特征提取模型中进行特征提取，以得到所述空间特征。

21、在一实施例中，所述第一注意力模型与所述第二注意力模型通过如下方式训练得到：

22、获取视频样本数据集，所述视频样本数据集包括多个带有真实标签的视频样本数据；

23、根据所述带有真实标签的视频样本数据，构建时间与空间图结构，所述图结构包括图节点以及边；

24、将所述带有真实标签的视频样本数据，分别输入至所述时间分支网络以及所述空间分支网络中进行特征提取，以得到每个所述图节点的时间特征以及空间特征；

25、基于所述每个图节点的时间特征以及空间特征，对初始第一注意力模型以及初始第二注意力模型进行迭代训练，直到所述异常概率值与所述真实标签之间的损失值达到预设收敛条件，则得到训练完成的所述第一注意力模型以及第二注意力模型。

26、在一实施例中，所述基于所述每个图节点的时间特征以及空间特征，对初始第一注意力模型以及初始第二注意力模型进行迭代训练，包括：

27、将所述每个所述图节点的时间特征以及空间特征，输入至所述初始第一注意力模型中进行注意力处理，以得到注意力处理后的每个所述图节点的时间特征以及空间特征；

28、分别对所述注意力处理后的每个图节点的时间特征以及空间特征进行池化处理，以得到样本时间融合特征以及样本空间特征；

29、基于所述样本时间融合特征以及样本空间特征，通过初始第二注意力模型分别确定每个视频帧以及每个图像块对应的异常概率值；

30、当所述异常概率值不符合所述预设收敛条件时，通过梯度下降法训练所述初始第一注意力模型以及初始第二注意力模型。

31、在一实施例中，所述通过梯度下降法训练所述初始第一注意力模型以及初始第二注意力模型，包括：

32、对所述初始第二注意力模型输出的图节点特征进行更新；

33、通过更新后的图节点特征，计算两两相邻所述图节点之间边的注意力权重；

34、基于所述注意力权重，对所述第一注意力模型输出的图节点特征进行更新。

35、在一实施例中，所述根据所述带有真实标签的视频样本数据，构建时间与空间图结构，包括：

36、将所述带有真实标签的视频样本数据分割为多个视频样本片段，并将每个所述视频样本片段对应的每个视频帧分割为多个样本图像块；

37、将每个所述视频帧作为所述图节点，构建所述图节点之间的边，以得到时间图结构，所述边的权重为时序距离的倒数；

38、将每个所述样本图像块作为所述图节点，构建所述图节点之间的边，以得到空间图结构，所述边的权重为不同样本图像块之间距离的倒数。

39、第二方面，提供了一种基于图神经网络的异常视频检测系统，所述系统，包括：

40、原始视频数据分割单元，用于获取原始视频数据，将所述原始视频数据分割为多个视频片段，并将每个所述视频片段对应的每个视频帧分割为多个图像块；

41、时空特征提取单元，用于将所述视频片段以及所述图像块分别输入至时间分支网络以及空间分支网络中进行特征提取，以得到时间特征以及空间特征；

42、注意力处理单元，用于将所述时间特征以及所述空间特征分别输入至第一注意力模型中，以得到注意力处理后时间特征以及空间特征；

43、池化单元，用于分别对所述注意力处理后的时间特征以及空间特征进行池化处理，以得到时间融合特征以及空间融合特征；

44、视频异常确定单元，用于将所述时间融合特征以及空间融合特征，分别输入至第二注意力模型中，以分别确定每个视频帧以及每个图像块对应的异常概率值，并根据所述异常概率值确定异常视频帧以及异常图像块。

45、第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述所述的基于图神经网络的异常视频检测方法。

46、第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述所述的基于图神经网络的异常视频检测方法。

47、上述基于图神经网络的异常视频检测方法、系统、计算机设备及存储介质，方法实现包括：获取原始视频数据，将所述原始视频数据分割为多个视频片段，并将每个所述视频片段对应的每个视频帧分割为多个图像块；将所述视频片段以及所述图像块分别输入至时间分支网络以及空间分支网络中进行特征提取，以得到时间特征以及空间特征；将所述时间特征以及所述空间特征分别输入至第一注意力模型中，以得到注意力处理后时间特征以及空间特征；分别对所述注意力处理后的时间特征以及空间特征进行池化处理，以得到时间融合特征以及空间融合特征；将所述时间融合特征以及空间融合特征，分别输入至第二注意力模型中，以分别确定每个视频帧以及每个图像块对应的异常概率值，并根据所述异常概率值确定异常视频帧以及异常图像块。本技术实施例中，通过对视频进行时间和空间解耦的方法，同时关注了时间和空间之间的关系，并且在空间分支中对视频帧进行分块学习不同图像块之间的关系，从而解决了基于图像重构和基于对象的识别方法的面临的不足的问题，一方面，基本对象从一整张图像变为一小块图像，因此异常部分占比基本单位提升了，从而降低异常检测的敏感性，另一方面，通过自定义大小的图像块后，可以检测每一块是否发生异常，解决了基于场景对象的方法是能识别对象是否异常的问题。此外通过双层注意力模型，通过学习相邻图像块之间的不同方面的注意力关系来检测出那一帧视频或者哪一块图像的概率分布偏离正常值，从而可以更好的对视频异常进行检测。