基于无监督下帧相关性的视频时间序列的异常帧探测方法

1.本发明涉及的是一种视频处理领域的技术，具体是一种基于无监督下帧相关性的视频时间序列的异常帧探测方法。


背景技术：

2.近年来，随着越来越多的监控摄像机的部署，视频异常检测在智能监控系统中发挥着越来越重要的作用，以减少现场监控的人工工作。然而在大多数情况下，由于异常在现实数据中的占比极小，所以收集到的数据往往正常数据占大多数。在大多数方案中，对于样本的使用仅停留于正常样本，即无监督学习，通过获取正常样本的规律来定义正常模式，远离正常模式的样本被定义为异常。而由于异常样本监督信号的缺失，导致模型很难对异常足够敏感。改进方案是仍保持符合现实数据收集条件的无监督的模式下，在实例相关性异常定义模式下通过由正常样本构建的伪异常样本，实现由伪异常样本代替无法获取的真异常样本为模型贡献监督信号，同时使用伪异常样本和正常样本联合训练，从而解决模型训练过程中异常样本缺失的问题。
3.经过对现有技术的检索发现，中国专利文献号cn112084887a公开日20201215，公开一种基于注意力机制的自适应视频分类方法及系统，先获取无监督视频流作为目标域视频流；再获取有有标注的图像数据和视频数据作为源域数据集；然后利用预设的领域自适应模型对目标域视频流和源域数据集进行特征训练，以输出目标域视频流的特征参数；最后基于目标域视频流的特征参数对目标域视频流进行分类，生成目标域视频流的类别标签。但该技术仍需要获取完全的标注数据作为训练集，而在大多数场景下异常样本很难获得，导致数据集中只有正常样本，无法解决无监督下的训练任务。同时在对于目标域视频流和源域视频流提取特征时，仍保持学习像素语义的姿态，导致模型在训练过程中未学习到时序相关性的信息。此外该技术学习目标是通过类别标签判断正常和异常，无法解决当测试集出现类别外事件时的异常判断。


技术实现要素：

4.本发明针对现有技术存在的上述不足，提出一种基于无监督下帧相关性的视频时间序列的异常帧探测方法，通过两种注意力分布图，通过类比人类判断异常的过程，实现一种基于视频窗口内部的同类类比的异常检测流程，通过对比注意力分布图进而得到目标序列的每一帧的异常分数。其中：在每种目标分布图中根据实际特点，构造两类em算法式的单循环内迭代更新，再用重建损失和k-min-max规则对异常模型进行修正，从而获得正常样本所具有和隐含模式，当推理阶段输入是异常时，可以实现精准异常值检测。
5.本发明是通过以下技术方案实现的：
6.本发明涉及一种基于无监督下帧相关性的视频时间序列的异常帧探测方法，构建包含正常视频和伪异常视频的训练对；对训练对中的视频帧进行语义编码和位置编码，得到具有时序信息的降维特征，根据编码后的特征进行相关性计算得到视频帧的全局相关性
和局部相关性；对于正常视频和伪异常视频的局部相关性特征构造相关性约束避免局部相关性收敛过快导致模型失效，对于正常视频和伪异常视频的全局相关性分别构造和使全局相关性特征着重关注远距离帧相关性；对于正常视频和伪异常视频组成的训练对，构造k-min-max规则对全局相关性特征使用铰链损失函数进行进一步约束，同时对于k-min-max策略选出的视频帧送入实例打分模型计算打分损失。
7.所述的训练集，通过以下方式得到：将输入的原始视频通过ffmpeg分解成若干帧作为原数据，对原数据删除过曝，幻影等图像质量较差的图片；对原始图片按照预设的时间窗口和步长分解成若干时间窗口，每一个视频片段将会产生个视频片段，达到数据增广的作用，单视频所得视频片段为f＝[[x1，x2，x3，...，xk]，[x
1+s
，x
2+s
，x
3+s
，...，x
k+s
]，...，[x
t-k+1
，x
t-k+2
，x
t-k+3
，...，x
t
]]；通过正常视频段构造异常视频段：使用其他场景下的正常视频片段替换当前场景下的视频片段，构造伪异常视频f＝[x1，x2，x3，...，x
j-1
，g1，g2，g3，...，gm，x
j+m
，...，xk]，其中：k为正常视频长度，其中：第j帧到j+m-1帧被替换为，[g1，g2，g3，...，gm]，记录异常的位置。
[0008]
所述的进行语义编码和位置编码以获得降维后的具有位置信息的特征，具体为：的特征，具体为：其中：tk为视频帧xk输入网络得到，即xk经过语义编码后的结果，为卷积层，pk为位置编码器的结果，与xk具体向量值无关。实现方式为一个三角函数特征编码器，具体的，其中s是帧的编号，i是特征的序号，标识第s帧特征第i维向量的值。k从1顺序增加到d/2，d表示xk的特征维度，得到终提取出的特征为fk＝pk+tk。
[0009]
所述的视频帧的全局相关性和局部相关性，使用计算q，k，vσ的方式为：所述的视频帧的全局相关性和局部相关性，使用计算q，k，vσ的方式为：其中：f
l
和上述表述相同为第l层模型的特征输出，和上述表述相同为第l层模型的特征输出，n为视频段窗口大小，q，k，v分别为注意力模型中的query，key，value，σ为第i帧通过模型学到的正态分布的方差，为第l层对应未知项的模型参数，l为模型层数。
[0010]
所述的异常帧探测方法，具体包括以下步骤：
[0011]
第一步、利用注意力模型中注意力图的部分计算帧和帧之间的全局相关性第一步、利用注意力模型中注意力图的部分计算帧和帧之间的全局相关性其中：n为视频窗口的大小。
[0012]
第二步、求解局部相关性其中：exp为指数函数，i和j为帧号，n为视频窗口的大小。σi为模型求解出的第i个视频帧在正态分布下的方差。
[0013]
第三步、通过重建项计算全局相关性和局部相关性的差异计算全局相关性和局部相关性的差异其中：kl为kl散度计算，为第l的i帧和视频窗口内全局相关性，为第l层模型的i帧和视频窗口内局部相关性score(g，c；f)为当前视频窗口内每一帧得到的异常评价的集合。作为第l+1层模型的输入，继续进行上述计算，得到第l+1层的全局相关性特征和局部相关性特征
[0014]
当输入是正常视频时，f＝[x1，x2，x3，...，xk]中每一个xi都是正常的，所以综合重建误差考虑，构造局部相关性约束损失对c进行约束，score(g
detach
，c)||1，其中：||
·
||1为1范数计算。f为原视频序列特征输入，为视频序列重建，||
·
||
fro
为frobenius范数，λ用来平衡重建误差和异常分数评价。
[0015]
类似地，构造正常视频全局相关性约束损失对g进行约束，类似地，构造正常视频全局相关性约束损失对g进行约束，设伪异常视频为f＝[x1，x2，x3，...，x
j-1
，g1，g2，g3，...，gm，x
j+m
，...，xk]，其中：k为正常视频长度，其中：第j帧到j+m-1帧被替换为，[g1，g2，g3，...，gm]，此时仍计算全局相关性和局部相关性，]，此时仍计算全局相关性和局部相关性，对于伪异常视频中的正常帧xi，对于g，c的优化和正常视频中的帧相同。对于伪异常视频中的异常帧gi，对于c，的优化和正常视频中的帧同样使用局部相关性约束损失对于g，构造伪异常视频全局相关性约束损失进行约束，其中：e(
·
)为指定特征类型的所有帧号在全局相关性中的值。
[0016]
对于伪异常视频全局相关性g
ab
和正常视频的全局相关性g
no
，计算视频中每一帧的二范数值，并且设置min-max规则，对于伪异常视频g
ab
中，选取前k个二范数较小的视频帧的全局特征，对于正常视频的全局相关性g
no
，选取前k个二范数较大的视频帧的全局特征。计算铰链损失函数loss
dis
＝d-(g
score
(g
ab
)-g
score
(g
no
))，其中：d为预设值，保证loss
dis
大于0。||
·
||2为二范数，γk(g
ab
)为前k个二范数较小的视频帧的全局特征的集合，n是视频帧数。
[0017]
类似地，ωk(g
ab
)为前k个二范数较大的视频帧的全局特征的集合。
[0018]
对于实例分类，设伪异常视频为f＝[x1，x2，x3，...，x
j-1
，g1，g2，g3，...，gm，x
j+m
，...，xk]，对于正常视频帧xi，设置标注为0，对于伪异常视频帧gi，设置标注为1。计算分类损失。
其中：f
γ
为线性层计算异常分数。为上述针对不同视频帧的标注，其他标识与上文含义相同。
[0019]
本发明涉及一种实现上述方法的系统，包括：伪异常生成模块、特征编码模块、相关性计算模块、相关性约束模块、k-min-max约束模块和异常打分模块，其中：伪异常生成模块根据不同场景下的正常视频信息，进行视频重组处理，得到伪异常视频和正常视频训练对及其标注结果，特征编码模块根据伪异常视频和正常视频，进行语义编码和位置编码处理，得到具有时序位置信息和语义信息的伪异常视频特征和正常视频特征，相关性计算模块根据编码后的特征，利用注意力模型得到全局相关性特征，通过拟合高斯分布得到局部相关性特征，相关性约束模块根据全局相关性特征和局部相关性特征，进行局部相关性特征约束，正常视频全局相关性约束和伪异常视频全局相关性约束，得到更关注邻域的局部相关性特征和更关注全域的全局相关性特征，k-min-max约束模块根据相关性计算模块得到的全局相关性特征，使用铰链损失函数，得到对伪异常敏感的全局相关性计算模型，异常打分模块根据根据正常视频和伪异常视频的全局相关性特征，使用异常打分模型，利用伪异常生成模块获得的标注结果作为模型约束，得到每一个视频帧的异常打分。技术效果
[0020]
本发明将无监督视频异常检测通过构造伪异常的方式，转化为类有监督模式下的异常检测问题，通过帧处于全局视频条件下的相关性分析定义异常，并在全局相关性根据正常和伪异常的不同特性定义了不同的相关性损失约束，构造k-min-max规则对提取出的特征进行范数约束，提高了在模型未知异常信号时的检测准确率，与现有方法相比异常检测识别率调高了3.8％。
附图说明
[0021]
图1为本发明流程图；
[0022]
图2为实施例示意图；
[0023]
图3为伪异常构造模块示意图。
具体实施方式
[0024]
本实施例数据来自于公开的视频异常检测数据集shanghaitech，在训练过程中，训练集由175个正常视频组成；测试集由199个视频组成，其中包含155个正常视频和44个异常视频。视频的窗口大小设为20，模型层数l设为3，步长设为1，k-min-max规则中k设置为3，λ设为3，批处理数目设为16。语义特征提取器为2048*512。在训练过程中，选取adam作为优化器，设置训练轮次为100，通过反向传播得到模型参数。在测试阶段，输入为长度为视频窗口值的视频序列，计算出全局相关性特征后经过实例打分模型fγ得到每个视频帧的异常分数。
[0025]
如图1所示，为本实施例涉及一种基于无监督下帧相关性的视频时间序列的异常帧探测方法，包括：
[0026]
步骤一：获取多个连续的正常视频序列作为训练集，剔除其中过曝，幻影等质量不佳的片段；
[0027]
步骤二：对于步骤一处理后的正常视频，抽取其中与其场景不同的其他正常视频
中的片段，替换为正常视频中的同长度片段，构成伪异常视频，形成的伪异常视频和正常视频组成训练对；
[0028]
步骤三：使用卷积网络分别提取伪异常视频和正常视频的语义特征，并计算位置特征，将语义特征和位置特征相加得到伪异常视频和正常视频的训练特征。
[0029]
步骤四：将伪异常训练特征和正常训练特征输入全局特征和局部特征模型得到全局特征，通过相关性约束损失函数约束伪异常视频和正常视频的局部特征，通过正常视频的全局相关性损失函数约束正常视频的全局特征，通过伪异常视频全局相关性损失函数约束伪异常视频的全局特征。
[0030]
步骤五：使用k-min-max规则筛选伪异常视频和正常视频的全局特征，将选出的视频帧的特征通过铰链损失函数loss
dis
约束全局特征。
[0031]
步骤六：将步骤五选出的视频帧的特征输入训练打分器模型fγ，得到全局特征。
[0032]
步骤七：通过全局特征构建正常视频和伪异常视频的重建项，将重建项输入全局特征和局部特征模型并重复步骤四-步骤六，直到循环次数达到预设模型层数l，实现全局特征和局部特征模型的训练。
[0033]
步骤八：在在线阶段，采用训练后的全局特征和局部特征模型进行异常帧探测。
[0034]
如图2所示，为本实施例实现上述方法的异常帧探测系统，包括：伪异常生成模块、特征编码模块、相关性计算模块、相关性约束模块、k-min-max约束模块和异常打分模块，其中：伪异常生成模块根据不同场景下的正常视频信息，进行视频重组处理，得到伪异常视频和正常视频训练对及其标注结果，特征编码模块根据伪异常视频和正常视频，进行语义编码和位置编码处理，得到具有时序位置信息和语义信息的伪异常视频特征和正常视频特征，相关性计算模块根据编码后的特征，利用注意力模型得到全局相关性特征，通过拟合高斯分布得到局部相关性特征，相关性约束模块根据全局相关性特征和局部相关性特征，进行局部相关性特征约束，正常视频全局相关性约束和伪异常视频全局相关性约束，得到更关注邻域的局部相关性特征和更关注全域的全局相关性特征，k-min-max约束模块根据相关性计算模块得到的全局相关性特征，使用铰链损失函数，得到对伪异常敏感的全局相关性计算模型，异常打分模块根据根据正常视频和伪异常视频的全局相关性特征，使用异常打分模型，利用伪异常生成模块获得的标注结果作为模型约束，得到每一个视频帧的异常打分。
[0035]
所述的异常帧探测系统通过定义异常为视频窗口中与其他帧相关性低的视频帧的方式，使得使用正常视频帧构造伪异常具有可行性，同时对正常视频和伪异常视频使用不同的约束条件，最终使得模型对于全局特征的学习可以通用于不同视频中，实现对于视频帧的异常判断，与其他无监督视频异常检测方法比对及各模块贡献效果见表，指标为异常检测通用指标auc。
[0036]
经过具体实际实验可见，本方法优于常见的无监督视频异常检测算法，上表中，none loss项表示当对模型的全局相关性不加任何约束时的效果，表示只使用局部相关性对全局相关性进行约束，only(loss
dis
)表示只使用k-min-max规则对全局相关性进行约束，从上述实验可以看出项，即同时进行两种约束达到的效果为最佳水平且优于其他无监督视频异常检测方法，同时任意一种约束均对于none loss项有优化效果。
[0037]
与现有技术相比，本发明只使用正常样本进行训练，降低了数据集的获取难度。对于异常的定义与传统方法中对于像素异常或光流异常不同，本方法将异常定义为在视频窗口内全局相关性异于其他样本的视频帧，这样的定义方法将时序信息充分融合到特征中。而当测试集中出现训练集外的事件时，仍然可以通过相关性特征进行异常样本的判断。
[0038]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。