一种基于流重构和帧预测结合的视频异常检测方法

本发明涉及视频异常检测，尤其涉及一种基于流重构和帧预测结合的视频异常检测方法。

背景技术：

1、随着视频的不断普及，自动识别视频中的异常事件变得越来越有重要，智能的视频异常检测可以在一定程度上节省人力资源，提高效率，视频异常检测是一种计算机视觉技术，旨在从视频流中自动识别和检测出异常行为或事件，在视频异常检测任务中，系统会分析输入视频数据，并尝试找出与正常行为或场景不一致的部分，这些部分通常被称为异常，这些异常可能是不寻常的行为、突发事件、异常对象或不正常的活动。

2、视频异常检测在许多实际场景中具有广泛的应用，如监控系统、安防、交通管理、智能制造等领域，通过自动检测和警示异常事件，视频异常检测技术可以帮助提高监控效率、减少人力资源的浪费，并增强对潜在风险的预警能力。

3、视频异常检测的实现涉及多种技术，包括特征提取、异常定义和标注、异常检测算法等，特征提取用于将视频数据转换为可用于分析的有意义的特征表示，异常定义和标注是确定何为异常行为，并准备用于模型训练的标记数据，异常检测算法根据提取的特征和标记数据来识别视频中的异常行为。

4、目前，视频异常检测是一个具有挑战性的任务，因为异常事件通常是低频事件，并且正常行为的模式可能在不同场景中变化，导致异常行为不易被发现，不能以较小的预测误差成功预测未来框架，因此需要综合考虑不同的技术手段，包括传统的统计方法和现代的深度学习技术，以获得准确性和鲁棒性较高的异常检测结果，因此，本发明提出一种基于流重构和帧预测结合的视频异常检测方法以解决现有技术中存在的问题。

技术实现思路

1、针对上述问题，本发明的目的在于提出一种基于流重构和帧预测结合的视频异常检测方法，解决现有的视频异常检测技术中，由于异常事件通常是低频事件，并且正常行为的模式可能在不同场景中变化，导致异常行为不易被发现，不能以较小的预测误差成功预测未来框架的问题。

2、为了实现本发明的目的，本发明通过以下技术方案实现：一种基于流重构和帧预测结合的视频异常检测方法，包括以下步骤：

3、步骤一：先在ucsd ped2、cuhk avenue和shanghaitech三个国际公认的公共视频异常检测数据集上获取训练样本，再将训练样本中的视频数据处理成相应的帧数据；

4、步骤二：先提取训练和测试视频帧的光流及其所有前景对象，其中每个前景对象由roi边界框标识，对于每个roi边界框标识，构建一个时空立方体；

5、步骤三：使用基于transunet的多级记忆网络作为光流重构网络对步骤二中提取出的光流进行重构训练，输入时空立方体，输出重构后的光流图像，并计算重构误差及重构损失；

6、步骤四：采用条件变分自动编码器cvae作为预测网络模型，并以原始视频帧数据以及重构后的光流图像输入预测网络模型进行训练，输出预测后的帧数据，并计算预测误差以及预测损失；

7、步骤五：使用训练好的模型进行测试，输入待检测图像，将流重构误差和帧预测误差进行加权得到异常分数，若异常分数超过预设阈值则判定当前帧图像被检测为异常帧。

8、进一步改进在于：所述步骤二中，构建的时空立方体包含当前帧中的对象和包含前t帧的同一边界框中的内容，其中t＝4，时空立方体的宽度和高度都被调整为32。

9、进一步改进在于：所述步骤三中，所述基于transunet的多级记忆网络为基于transformer和u-net的网络结构，用于图像分割任务，所述光流重构网络由编码器、记忆模块、解码器、内存模块和记忆模块构成。

10、进一步改进在于：所述编码器部分首先将输入图片经过resnet50进行特征提取，其中的三个接口层的输出将保留并用于后续跳跃连接，接着将resnet50输出的特征图进行序列化，送入transformer网络模型中进行序列预测，输出一个序列，然后将该输出序列合并、重塑成一个新的特征图；

11、所述解码器的每个级别首先从编码器复制特征映射，然后将解码器的每个级别与较低级别的上采样特征映射连接起来，然后依次串联三层，每一层包含两个卷积块、一个存储模块和一个上采样层，卷积块包含卷积层、批处理规范化层和relu激活层；

12、所述内存模块为一个矩阵m∈rn*c，矩阵的每一行称为槽mi，i＝1，2，3，…，n，记忆模块通过相似记忆槽的加权和来表示输入其的特征。

13、进一步改进在于：所述步骤三中，所述重构训练过程中的损失函数为：

14、

15、其中m为内存模块个数，为第i个内存模块中第k个插槽的匹配概率，λrecon和λent分别为加权参数。

16、进一步改进在于：所述步骤四中，所述预测网络模型由两个编码器eθ和以及一个解码器d构成，编码器将输入数据编码成潜在变量的分布参数，而解码器则将潜在变量解码为生成数据，网络的输入为重构后的光流以及原始帧图像的串联，eθ对光流y1:t进行编码得到eθ(y1:t)，由此得到先验分布p(z|y1:t)，允许x1:t和y1:t串联，输出特征后验分布q(x1:+,y1:t)。

17、进一步改进在于：所述预测网络模型训练过程中，从后验分布中采样z，并将z与条件eθ(y1:t)连接起来，最后发送给解码器d，生成未来帧

18、进一步改进在于：所述步骤五中，异常分数的计算公式为：

19、

20、其中，s为异常分数，μr，σr，μp，σp为所有训练样本的重构误差与预测误差的均值和标准差，wr和wp为两个分数的权重，sr和sp分别为重构和预测前后的l2范式计算结果。

21、本发明的有益效果为：本发明基于流重构和帧预测结合的视频异常检测方法，分别使用基于transunet改进的多级记忆网络和条件变分自编码器训练，首先，捕获了视频帧和光流之间的高度相关性，其次，重构的正常流通常具有较高的质量，预测模块能够以较小的预测误差成功预测未来框架，最后，重构误差扩大了预测误差，使异常更容易被发现，从而能获得准确性和鲁棒性较高的异常检测结果。

技术特征：

1.一种基于流重构和帧预测结合的视频异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述步骤二中，构建的时空立方体包含当前帧中的对象和包含前t帧的同一边界框中的内容，其中t＝4，时空立方体的宽度和高度都被调整为32。

3.根据权利要求1所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述步骤三中，所述基于transunet的多级记忆网络为基于transformer和u-net的网络结构，用于图像分割任务，所述光流重构网络由编码器、记忆模块、解码器、内存模块和记忆模块构成。

4.根据权利要求3所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述编码器部分首先将输入图片经过resnet50进行特征提取，其中的三个接口层的输出将保留并用于后续跳跃连接，接着将resnet50输出的特征图进行序列化，送入transformer网络模型中进行序列预测，输出一个序列，然后将该输出序列合并、重塑成一个新的特征图；

5.根据权利要求1所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述步骤三中，所述重构训练过程中的损失函数为：

6.根据权利要求1所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述步骤四中，所述预测网络模型由两个编码器eθ和以及一个解码器d构成，编码器将输入数据编码成潜在变量的分布参数，而解码器则将潜在变量解码为生成数据，网络的输入为重构后的光流以及原始帧图像的串联，eθ对光流y1：t进行编码得到eθ(y1：t)，由此得到先验分布p(z|y1：t)，允许x1：t和y1：t串联，输出特征后验分布q(x1：t，y1：t)。

7.根据权利要求6所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述预测网络模型训练过程中，从后验分布中采样z，并将z与条件eθ(y1：t)连接起来，最后发送给解码器d，生成未来帧

8.根据权利要求1所述的一种基于流重构和帧预测结合的视频异常检测方法，其特征在于：所述步骤五中，异常分数的计算公式为：

技术总结
本发明公开一种基于流重构和帧预测结合的视频异常检测方法，包括以下步骤：获取训练样本、帧数据处理、重构网络模型训练、预测网络训练以及使用训练好的模型进行测试并判断当前帧图像是否为异常帧；本发明基于流重构和帧预测结合的视频异常检测方法，分别使用基于TransUNet改进的多级记忆网络和条件变分自编码器训练，首先，捕获了视频帧和光流之间的高度相关性，其次，重构的正常流通常具有较高的质量，预测模块能够以较小的预测误差成功预测未来框架，最后，重构误差扩大了预测误差，使异常更容易被发现，从而能获得准确性和鲁棒性较高的异常检测结果。

技术研发人员：王金卓,王晓宇
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/1/16