用于视频异常检测的两阶端存储器及视频异常检测装置的制作方法

本发明涉及视频异常检测，特别是涉及一种用于视频异常检测的两阶端存储器及视频异常检测装置。

背景技术：

1、视频异常检测通常被认为是一种无监督任务，现有的无监督视频异常检测方法在无监督模型的基础上融合存储器网络或双分支网络。其中，通过融合存储器网络可以记录正常事件的原型，从而降低网络对异常事件的泛化能力，提高视频异常检测的性能，但是通常不足以捕捉正常事件的全部运动。通过融合双分支网络可以采用单独运动分支来捕获运动信息，但两个分支同时训练不可避免地导致运动分支和外观分支相互影响，限制运动原型的表示能力。

2、此外，现有的无监督视频异常检测方法侧重于特征提取，而忽略了视频的双向一致性，即使利用了双向一致性，如“z.fang,j.liang,j.t.zhou,y.xiao,and f.yang,“anomaly detection with bidirectional consistency in videos,”ieeetrans.neural netw.learn.syst.,vol.33,no.3,pp.1079–1092,2022”，通常也需要多个预测未来帧作为输入，但是这在实时情况下是不可能实现的。

技术实现思路

1、基于此，本发明提供一种用于视频异常检测的两阶端存储器及视频异常检测装置，以解决现有的无监督视频异常检测方法所使用的无监督模型不能捕捉正常事件的全部运动，且无法灵活利用视频的双向一致性的问题。

2、第一方面，提供种用于视频异常检测的两阶端存储器，包括一阶网络和二阶网络；

3、所述一阶网络，用于接收输入视频分解后的运动部分；

4、所述一阶网络包括依次连接的一阶编码器、运动存储器和一阶解码器，用于对运动部分进行运动重建，获得运动原型；所述运动原型为一次更新永久原型；

5、所述二阶网络包括串联的前向过程网络和反向过程网络；

6、所述前向过程网络用于实现前向过程，所述前向过程网络包括二阶编码器和二阶解码器，所述二阶编码器用于接收输入视频分解后的场景部分和对象部分并融合场景部分和对象部分的特征，所述二阶解码器用于预测所述输入视频的预测未来帧；

7、所述反向过程网络与所述前向过程网络级联，实现反向过程，所述反向过程网络包括依次连接的二阶反向编码器、时空存储器和二阶反向解码器，用于基于所述预测未来帧、所述输入视频和所述运动原型重构所述输入视频的预测初始帧；

8、其中，所述预测未来帧和所述预测初始帧用于进行无监督异常检测，输出输入视频的异常检测结果。

9、可选地，所述前向过程网络为对称结构，一阶编码器包括前向外观编码器和前向运动编码器，二阶解码器为前向外观解码器；

10、所述反向过程网络为对称结构，二阶反向编码器包括反向外观编码器和反向运动编码器，二阶反向解码器为反向外观解码器。

11、可选地，所述前向外观编码器提取场景部分的细颗粒度特征，所述前向运动编码器提取对象部分的细颗粒度特征；

12、场景部分的细颗粒度特征和对象部分的细颗粒度特征进行特征融合后，输入到所述前向外观解码器预测所述输入视频的预测未来帧。

13、可选地，所述反向外观编码器获取中间视频的反向序列，所述中间视频为基于所述输入视频的原始初始帧删除并合并所述预测未来帧的视频数据；

14、所述反向运动编码器计算所述中间视频和所述反向序列的rgb差值；

15、所述反向外观解码器获取所述运动原型，所述反向外观解码器包括预测初始帧的网络，所述中间视频和所述反向序列的rgb差值及所述运动原型作为所述预测初始帧的网络的输入，以获得预测初始帧。

16、可选地，所述时空存储器学习并记录视频时空原型，并通过基于所述中间视频和所述反向序列的rgb差值更新所述视频时空原型；

17、所述反向外观解码器将运动原型的运动特征和视频时空原型学习的运动特征融合，作为预测初始帧的网络的输入。

18、可选地，所述时空存储器实现为一个矩阵，通过相似度计算更新后的视频时空原型。

19、可选地，反向外观编码器和反向运动编码器并联后与所述时空存储器连接，所述时空存储器再与反向外观解码器连接。

20、可选地，所述所述时空存储器和运动存储器的容量均为30。

21、可选地，所述二阶编码器和所述二阶解码器为基于unet结构的改进结构，采用步长卷积代替池化层，所述所述二阶编码器和所述二阶解码器之间引入跳连接；

22、所述二阶反向编码器和所述二阶反向解码器，与所述二阶编码器和所述二阶解码器结构相同。

23、第二方面，提供一种视频异常检测装置，包括如权利要求1至9任一项所述的用于视频异常检测的两阶端存储器和无监督异常检测模块；

24、所述无监督异常检测模块，用于根据预测未来帧和预测初始帧进行无监督异常检测，输出输入视频的异常检测结果。

25、上述用于视频异常检测的两阶端存储器及视频异常检测装置，将视频异常检测分为两个大阶段，分别为基于运动部分的一阶网络，以及基于场景部分和对象部分的二阶网络，这种方式将运动部分和场景部分及对象部分分开处理。其中，基于运动部分的阶段单独记录运动部分的运动原型，克服融合原型中的运动原型部分通常不足以捕捉正常事件的全部运动，整体的融合原型的表示不足的问题；基于场景部分和对象部分的阶段又包括前向过程网络和反向过程网络，反向过程网络与前向过程网络级联，用于预测预测未来帧和预测初始帧，最后使用预测未来帧和预测初始帧的异常评分来共同评估异常。在前向过程网络中通过融合场景部分和对象部分的特征预测输入视频的预测未来帧，其并不对输入视频的原始帧进行编码，而是将场景和对象分别编码并融合以获得预测未来帧，有助于提取细粒度的视频特征，从而使得预测的未来帧包含更多细节；在反向过程网络中，基于预测未来帧和输入视频进行编码，并通过运动原型增强来预测初始帧，充分利用了视频的固有属性，即双向一致性，显著提高视频帧预测的准确性，从而提高视频异常检测的性能，此外，前向过程网络和反向过程网络的级联处理增加了异常的积累，降低了对异常帧的预测能力，从而增大了正常帧和异常帧之间的预测差距，提高了用于视频异常检测的两阶端存储器的性能，包括不限于视频异常检测的准确性。

技术特征：

1.一种用于视频异常检测的两阶端存储器，其特征在于，包括一阶网络和二阶网络；

2.如权利要求1所述的用于视频异常检测的两阶端存储器，其特征在于，所述前向过程网络为对称结构，一阶编码器包括前向外观编码器和前向运动编码器，二阶解码器为前向外观解码器；

3.如权利要求2所述的用于视频异常检测的两阶端存储器，其特征在于，所述前向外观编码器提取场景部分的细颗粒度特征，所述前向运动编码器提取对象部分的细颗粒度特征；

4.如权利要求2所述的用于视频异常检测的两阶端存储器，其特征在于，所述反向外观编码器获取中间视频的反向序列，所述中间视频为基于所述输入视频的原始初始帧删除并合并所述预测未来帧的视频数据；

5.如权利要求3所述的用于视频异常检测的两阶端存储器，其特征在于，所述时空存储器学习并记录视频时空原型，并通过基于所述中间视频和所述反向序列的rgb差值更新所述视频时空原型；

6.如权利要求5所述的用于视频异常检测的两阶端存储器，其特征在于，所述时空存储器实现为一个矩阵，通过相似度计算更新后的视频时空原型。

7.如权利要求2所述的用于视频异常检测的两阶端存储器，其特征在于，反向外观编码器和反向运动编码器并联后与所述时空存储器连接，所述时空存储器再与反向外观解码器连接。

8.如权利要求1所述的用于视频异常检测的两阶端存储器，其特征在于，所述时空存储器和运动存储器的容量均为30。

9.如权利要求1所述的用于视频异常检测的两阶端存储器，其特征在于，所述二阶编码器和所述二阶解码器为基于unet结构的改进结构，采用步长卷积代替池化层，所述二阶编码器和所述二阶解码器之间引入跳连接；

10.一种视频异常检测装置，其特征在于，包括如权利要求1至9任一项所述的用于视频异常检测的两阶端存储器和无监督异常检测模块；

技术总结
本发明实施例公开了一种用于视频异常检测的两阶端存储器及视频异常检测装置，包括一阶网络和二阶网络；一阶网络包括依次连接的一阶编码器、运动存储器和一阶解码器，用于对运动部分进行运动重建，获得运动原型；二阶网络包括串联的前向过程网络和反向过程网络；前向过程网络用于实现前向过程，前向过程网络包括二阶编码器和二阶解码器，预测输入视频的预测未来帧；反向过程网络与前向过程网络级联，实现反向过程，重构输入视频的预测初始帧；预测未来帧和预测初始帧用于进行无监督异常检测，输出输入视频的异常检测结果。该两阶端存储器，运动表示完整，且充分利用视频的双向一致性，提高异常检测的准确性。

技术研发人员：朱冬,宋雯,方向明,唐国梅,张建
受保护的技术使用者：七腾机器人有限公司
技术研发日：
技术公布日：2024/2/25