一种基于双生成器与通道注意力机制的视频异常检测方法

本发明属于计算机视觉领域，涉及视频异常检测技术，具体涉及一种基于双生成器与通道注意力机制的视频异常检测方法。

背景技术：

1、在科技高速发展的时代，为了保障社会的运行以及人民的安全，大量的监控摄像被用于道路、学校以及商场等各类公共场所，不计其数的监控视频由此产生。仅用人力去对这些监控视频进行筛选检测需要花费大量的时间精力，因此视频异常检测得到了大力的发展。视频异常可以被认为是不正常的外观或运动，或者正常的外观或运动在不正常的位置或时间发生。视频中事件是否异常需要根据所处场景进行判定，在某一场景中被判定为异常的事件在另一场景中可能是正常的，例如在校园中卡车等交通工具是异常的，在交通道路的场景下则是正常的。

2、现有的视频异常检测方法仅能用正常视频帧对检测模型进行训练，该方法无法提前学习到异常模式，对异常没有一定感知能力，在检测时会对异常帧分类存在歧义，所以最终异常检测准确率不是很理想。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，提供一种基于双生成器与通道注意力机制的视频异常检测方法，用以解决训练数据只包括正常事件，导致模型难以提前学习异常模式的问题，其能够提高对异常现象的感知能力，来提前学习异常分布，最终提高异常检测准确率。

2、技术方案：为实现上述目的，本发明提供一种基于双生成器与通道注意力机制的视频异常检测方法，包括如下步骤：

3、s1：拆分视频集，得到多个帧级别的序列，并且划分为正常训练视频帧和测试视频帧；

4、s2：利用正常训练视频帧和鉴别器对噪声生成器进行训练，通过训练好的噪声生成器生成伪异常帧；

5、s3：利用伪异常帧和正常训练视频帧训练重构生成器，得到训练好的重构生成器；

6、s4：将测试视频帧输入到训练好的重构生成器中，得到重构帧，计算重构帧与真实帧的重构误差，根据重构误差对视频帧进行异常分类。

7、进一步地，所述步骤s2中噪声生成器包括噪声模块、生成器和二阶通道注意力模块，噪声生成器共训练两次，第一次对不含噪声模块的生成器进行训练，第二次对加入噪声模块的噪声生成器进行训练，训练方法为：生成器通过与鉴别器之间相互对抗进行训练，使生成帧无法被鉴别器区分为异常，在得到训练好的生成器后，固定生成器的参数，并在生成器中加入噪声模块，再次与鉴别器进行生成对抗，更新噪声模块的参数，得到噪声生成器。

8、进一步地，所述步骤s2中生成器采用自编码器网络，由编码器以及解码器构成，对于生成器的训练方法为：

9、当正常训练视频帧输入生成器中，首先进入由池化层、卷积层以及激活函数重复构成的编码器部分，经过多次尺寸减半、通道翻倍后，得到潜在特征；

10、其次将潜在特征输入二阶通道注意力模块中，提高特征的相互依赖性，获得更丰富更密集的信息关联性，得到全局特征与局部特征关联紧密的特征；

11、最后将得到的特征输入解码器，重新构建潜在特征，输出得到与输入帧相同尺寸的图像，从而生成高质量的重构帧；

12、将得到的重构帧与真实帧一起输入鉴别器中，让鉴别器与生成器产生对抗，使得生成器生成的重构帧被鉴别器判定为真实帧。

13、进一步地，所述步骤s2中噪声模块由三层全连接结构的自编码器构成，包括噪声模块a和噪声模块b，通过噪声模块对噪声生成器的训练方法为：

14、将随机噪声输入噪声模块中，进行三次卷积、批标准化以及激活函数的操作，得到适用于生成伪视频帧的噪声；

15、在得到训练好的生成器后，将噪声模块加入生成器中，在编码器第一次卷积池化后以及解码器最后一次上采样前采用跳跃连接，并加入噪声模块a，在得到潜在特征后加入噪声模块b，将带有噪声的潜在特征进行重新构建得到伪异常帧；

16、将伪异常帧与真实帧共同输入鉴别器中，让鉴别器与生成器产生对抗，最大化两帧之间的距离，其中噪声模块a和噪声模块b的尺寸与相对应的特征尺寸相同。

17、进一步地，所述步骤s3中重构生成器的训练方法为：在重构伪异常帧和重构正常训练视频帧中分别加入最大约束函数和最小约束函数，使重构伪异常帧、重构真实帧与真实帧产生对抗，拉远重构伪异常帧与真实帧的距离，拉近重构真实帧与真实帧的距离。

18、进一步地，所述步骤s3中重构生成器由自编码器与二阶通道注意力模块共同组成，其中自编码器由编码器和解码器两部分组成，采用u-net作为其网络结构，具体训练过程为：将伪异常帧与真实帧分别输入重构生成器中，首先进入编码器模块，通过多次卷积池化处理后得到每层不同尺寸不同通道数的潜在特征；其次将每层潜在特征输入二阶通道注意力模块中学习相互依赖、密切度更高的关联信息，得到信息关联度高的特征；将每层的特征经过跳跃连接与解码器上采样后得到的每层重构特征进行拼接，最终得到与输入帧尺寸相同的重构帧；在得到重构伪异常帧与重构真实帧后，在其与真实帧之间进行最大最小约束，与真实帧产生对抗，最大化重构伪异常帧与真实帧之间的距离，最小化重构真实帧与真实帧之间的距离。

19、进一步地，所述步骤s3中通过二阶通道注意力模块得到信息关联度高的特征的具体过程为：

20、将特征图输入二阶通道注意力模块后，首先进行全局协方差池化操作，将输入特征改成为c×h×w的矩阵x，算出其对应的协方差矩阵∑，其公式如下所示：

21、

22、

23、其中，i和o分别是s×s的单位矩阵(对角线是1)和全1矩阵；

24、用∑做协方差归一化，由于此矩阵为对称正定矩阵，其特征值分解公式如下所示：

25、∑＝uaut

26、u是正交矩阵，λ指的是特征值在不递增时的对角矩阵；

27、将协方差归一化转换成特征值的幂，其公式如下所示：

28、

29、α表示一个正实数，λα表示对角矩阵，当α＝1时，不需要标准化，当其α<1时，会非线性的收缩大于1.0的特征值；通常设定α＝0.5。

30、其次进入通道注意力中，经过两层卷积，第一层卷积用于通道降维，第二层卷积则用于通道还原，得到最终的二阶通道注意力向量ω，其公式如下所示：

31、ω＝f(wuδ(wdz))

32、wu和wd是卷积层的权重，特征通道为c/r和c，f(·)表示sigmoid函数，δ表示relu函数；

33、设信道统计量z∈rc×1可以通过收缩得到；z的第c维公式如下所示：

34、

35、其中，hgcp(·)表示全局协方差池化函数；与一阶池化相比，全局协方差池化能够获得更高阶的特征信息和更具有判别性的特征信息；

36、最终将二阶通道注意力向量与输入特征按通道相乘得到新的内部信息相关的特征。

37、进一步地，所述步骤s2中利用表观约束对噪声生成器进行优化，表观约束分为梯度约束lgc与强度约束lsc，其公式如下所示：

38、

39、

40、其中，a，b表示视频帧像素的横纵坐标；

41、由梯度约束lgc和强度约束lsc可得到表观约束lapp，其公式如下所示：

42、lapp＝mlgc+nlsc

43、其中m∶n＝1∶1；

44、具体的优化过程为：

45、在训练噪声生成器阶段，首先训练无噪声模块的生成器，为了拉近重构帧与真实帧的距离，固定鉴别器，在表观层面对生成器进行约束，其目标函数如下所示：

46、

47、其次训练对应的鉴别器，固定生成器，使得鉴别器能够将重构帧分类为异常帧，将真实帧分类为正常帧，以此对重建帧与真实帧进行准确地分类；经过标签平滑处理后，将代表“正常”的标签异常值0和代表“异常”的标签异常值1分别替换为0.05和0.95；其损失函数为：

48、

49、其中i，j是帧的索引，d(·)∈[0，1]，l(·，·)表示两者之差的绝对值；

50、得到训练好的生成器与鉴别器后，在生成器中加入噪声模块，固定鉴别器，在表观层面加入约束函数拉远生成帧与真实帧的距离，更新噪声模块的参数，最终使得噪声生成器生成伪异常帧，其目标函数如下所示：

51、

52、其中θn为噪声模块的参数。

53、进一步地，所述步骤s3中采用最大约束函数和最小约束函数对重构生成器进行优化，具体为：

54、在伪异常帧方面，采用最大约束拉远重构伪异常帧与真实帧之间的距离，通过强度约束增加重构伪异常帧与真实帧之间的像素帧间距离，通过梯度约束增加重构伪异常帧中相邻像素点距离与真实帧中相邻像素点距离的差距，同时加入了光流约束在运动层面对其进行了约束；

55、运动约束则为光流约束，其公式如下所示：

56、

57、其中，xt表示第t帧；

58、最大约束公式如下所示：

59、

60、λgc、λsc、λopt分别为梯度、强度以及光流的权重；

61、在真实帧方面，采用最小约束拉近重构真实帧与真实帧之间的距离，在表观层面拉近重构真实帧与真实帧相对应的帧间距离以及帧内距离，在运动层面提高重构真实帧与真实帧分别和上一时刻真实帧之间的光流相似度；

62、最小约束公式如下所示：

63、

64、进一步地，所述步骤s4中利用伪异常帧和正常训练帧对重构生成器进行训练，使生成器能够提前识别异常分布，提高对异常的感知能力。在测试阶段，将测试帧输入训练好的重构生成器，生成重构的测试帧。将重构帧与真实帧进行比较，计算重构误差并归一化得到重构分数。当重构分数大于设定的阈值时，就判定该帧包含异常事件，是异常帧；相反，就判定该帧不包含异常事件，是正常帧；

65、重构误差的计算公式为：

66、s(x″)＝λlapp+(1-λ)lopt

67、其中λ为权重参数；

68、在得到重构误差后将其归一化得到重构分数：

69、

70、若第t帧的重构分数小于阈值，则判定该帧为正常帧，反之，则该视频帧中包含异常事件。

71、本发明方法的实现中主要包括噪声生成器、重构生成器、鉴别器和二阶通道注意力模块。噪声生成器主要用于生成伪异常帧，重构生成器旨在全面学习训练视频帧的分布。此外，引入二阶通道注意模块，增强模型的学习能力。

72、本发明采用将视频帧进行重新构建计算重构误差的方法来对视频中的异常事件进行分类。在视频重构的异常检测方法中，常用的深度学习网络为自编码器，自编码器能够很好地得到视频帧的潜在特征并将其重构。然而自编码器在重构视频帧时会有边缘模糊的现象，为了避免这一问题，本发明采用生成对抗网络来作为整个方法中的主要模型结构，同时将自编码器作为生成器部分以保证对网络模型的稳定训练，提高重构帧的清晰度。为了使提取到的特征信息上下文关联更加密切，在生成器中加入二阶通道注意力模块，该模块通过二阶特征的分布学习特征内部依赖关系，使得检测模型能够专注于更有益的信息，最终提高检测能力。

73、为减少模型因为本身重构能力过强将异常帧完美重构出来这一事件的发生概率，本发明在生成对抗网络中加入一个生成器，该生成器将正常的训练帧转变成伪异常帧，以此来补充原本训练时缺乏的异常帧。让伪异常帧与原训练帧共同训练生成对抗网络中原有的生成器，从而使得该生成器能够提前学习到异常分布模式，提高对异常未知事件的感知能力。

74、本发明方法在训练阶段，对噪声生成器和重构生成器分别进行训练。前者利用正常训练帧生成伪异常帧，而后者通过正常训练帧和生成的伪异常帧进行训练，努力提高其重构正常帧的能力。在测试阶段，将测试帧输入经过训练的重构生成器，生成的重构分数用于对视频帧是否异常进行分类。

75、基于上述内容，可将本发明方法依次分为训练噪声生成器、训练重构生成器、异常帧判断三部分，具体分析如下：

76、训练噪声生成器：噪声生成器采用噪声模块生成伪异常帧，并通过与鉴别器博弈对抗拉近伪异常帧与正常帧之间的距离。为了使视频帧中上下文信息联系紧密，在生成器中加入二阶通道注意力模块，以获得视频帧中更有益的信息从而能够提高判别学习的能力。

77、训练重构生成器：用伪异常帧和正常帧训练重构生成器，并加入最大最小约束与真实帧进行对抗，拉近重构正常帧与真实帧的距离，拉远重构伪异常帧与真实帧的距离，使得重构生成器能够更好的学习正常视频帧的学习分布，并且提高对异常帧的感知能力。为了使视频帧中上下文信息联系紧密，在生成器中加入二阶通道注意力模块，以获得视频帧中更有益的信息从而能够提高判别学习的能力。

78、异常帧判断：利用训练好的重构生成器重构测试帧，计算重构帧与真实帧的距离并归一化得到重构分数，判断该视频帧是否是异常帧。

79、本发明提出了以双生成器和通道注意力机制的生成对抗网络为核心的视频异常事件检测方法。双生成器生成对抗网络构建了作用不同的两个生成器：重构生成器和噪声生成器。噪声生成器通过正常训练帧产生伪异常帧。重构生成器由生成的伪异常帧和正常训练帧共同训练，提高其对异常的感知能力。同时在生成器中引入二阶通道注意力模块，提高特征内信息的相互依赖性，改善特征图中信息的关联度。最终提升了视频异常事件检测的检测准确率。

80、有益效果：本发明与现有技术相比，具备如下优点：

81、1、本发明对以往的仅用正常帧训练模型进行了改进，设计噪声生成器生成用于训练的伪异常帧。提出双生成器和通道注意力机制的视频异常检测方法，噪声生成器生成伪异常帧后，用伪异常帧和正常帧共同训练重构生成器，使得重构生成器能够提前学习异常分布，提高对异常的感知能力。

82、2、本发明在双生成器生成对抗网络中，对生成器添加二阶通道注意力模块，以便模型能够更好地学习到帧内相互依赖关系，改善特征图中信息的关联度，更好地利用重要信息，最终提高异常检测准确率。

83、3、本发明采用最大最小约束函数，使双生成器生成对抗网络能够更好地收敛，使得训练后的模型能够在测试时使正常帧与重构帧距离相近，异常帧与其重构帧距离相远，有利于提高最终的异常检测准确率。