1.一种基于tsn网络的视频画面抖动检测方法,其特征在于,包括步骤:
1)基于tsn网络结构,利用tvl1光流算法提取正常光流场和扭曲光流场;
2)将所述正常光流场和扭曲光流场输入到tsn网络中;
3)通过tsn网络判断视频是否抖动,并输出抖动的帧号。
2.根据权利要求1所述的基于tsn网络的视频画面抖动检测方法,其特征在于,所述tsn网络由空间流卷积网络和时间流卷积网络构成。
3.根据权利要求1所述的基于tsn网络的视频画面抖动检测方法,其特征在于,将所述正常光流场和扭曲光流场作为输入,用于捕获运动信息,当实时拍摄的视频中移动物体过多时,通过所述扭曲光流场抑制物体运动,使其专注于视频中的背景运动。
4.根据权利要求1所述的基于tsn网络的视频画面抖动检测方法,其特征在于,在所述步骤3)中,所述tsn网络判断包括:给定一段视频v,将v按相等间隔分为k段{s1,s2,...,sk}之后,tsn网络按如下方式对一系列片段建模:
tsn(t1,t2,...,tk)=h(g(f(t1;w),f(t2;w),...,f(tk;w)))
其中:(t1,t2,...,tk)代表片段序列,每个片段tk从其对应的段sk中随机采样得到;f(tk;w)函数代表采用w作为参数的卷积网络作用于片段tk,该函数返回tk相对于抖动类别的得分;g()为段共识函数;h()为概率预测函数。
5.根据权利要求4所述的基于tsn网络的视频画面抖动检测方法,其特征在于,段共识函数g()结合多个片段的类别得分输出以获得关于类别假设的共识,基于该假设的共识,概率预测函数h()预测整段视频属于抖动类别的概率;结合标准分类交叉熵损失,关于部分共识的最终损失函数的形式为:
其中,c是行为总类别数;yi是类别i的groundtruth,gi为采用聚合函数g从所有片段中相同类别的得分中推断出的抖动类别分数。
6.根据权利要求5所述的基于tsn网络的视频画面抖动检测方法,其特征在于,c=1,即抖动一种类别。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6任一所述的基于tsn网络的视频画面抖动检测方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一所述的基于tsn网络的视频画面抖动检测方法的步骤。