一种基于SegNeXt的深度视频修复检测方法

本发明属于多媒体信息安全领域，具体涉及一种基于segnext的深度视频修复检测方法。

背景技术：

1、数字视频修复作为计算机视觉研究领域方向之一，是一种常见的视频编辑技术。其目的是用视觉上可信的像素来修复、填补视频中缺失或受损的区域，以保持视频内容的时空一致性。由于可以制作逼真的视频内容，该技术被广泛运用于视频恢复、虚拟现实、电影后期制作等领域。近年来，深度学习技术在计算机视觉研究上发展迅速，被广泛使用。当前，基于深度学习的视频修复算法已经取得了出色的修复结果，肉眼难辨其修复痕迹。视频在人们的日常沟通交流中承担着重要的信息传播功能。视频遭到恶意修复篡改后，其语义信息可能发生改变，通过互联网传播可能会扰乱社会秩序，甚至影响社会稳定。因此，对深度视频修复篡改的检测研究对取证领域有重要意义。

2、传统视频修复篡改检测方法针对传统视频修复技术提出，面对深度视频修复技术时检测能力下降。目前，使用深度学习技术的深度视频修复篡改检测研究正处于起步阶段，一些方法未针对视频时空维度提出独特的痕迹特征学习模块，时空信息利用不足。同时，这些方法在特征解码阶段仅使用深层语义特征，忽视了浅层特征的几何细节，检测结果的位置和轮廓不够准确。因此，有必要提供一种新的深度视频修复篡改检测方法及系统解决上述问题。

技术实现思路

1、针对上述问题，本发明的目的是提供一种基于segnext的深度视频修复检测方法。

2、本发明方法依次读入被修复的视频序列的每一帧，通过深度修复检测网络得到视频帧的修复区域像素级检测结果。具体步骤包括：

3、步骤1.依次读入被修复视频序列的每一帧：视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像为该视频序列的一帧；称视频的每一待检测帧为目标帧，检测网络将利用目标帧及其前后相邻帧对该目标帧进行检测。

4、步骤2.使用光流感知模块提取目标帧及其前后相邻帧的光流感知残差特征，得到三种不同尺度的残差特征。

5、步骤3.使用编码网络提取目标帧及其前后相邻帧的修复痕迹特征；所述编码网络共有四个阶段，第二、三、四阶段分别接收步骤2中的三种不同尺度的光流感知残差特征，第二、三、四阶段的输出即修复痕迹特征。

6、步骤4.将步骤3中编码网络第二、三、四阶段的输出修复痕迹特征连接后，通过解码网络得到对目标帧的像素级修复检测结果。

7、进一步地，所述步骤2包括：

8、步骤2.1，采用深度光流估计模型raft构成光流感知模块，利用深度光流估计模型raft分别计算目标帧与其前一帧以及后一帧的光流场。

9、步骤2.2，利用步骤2.1得到目标帧与其前一帧以及后一帧的光流场，分别将目标帧的前一帧和后一帧映射(是指图像中的像素根据光流的引导运动到指定位置后生成新的图片的过程)到目标帧时刻，得到相邻帧对目标帧的预测；分别将相邻帧对目标帧的预测与目标帧相减，得到光流感知残差，并将光流感知残差进行通道连接。

10、步骤2.3，通过三个顺序连接的卷积网络，将通道连接后的光流感知残差下采样，分别对应得到三种不同尺度的残差特征。

11、进一步地，所述步骤3包括：

12、编码网络为segnext的编码器，由若干mscan块组成

13、步骤3.1，输入帧通过编码网络第一阶段：将目标帧及其相邻帧输入一个时间mscan块得到输出第一时间特征，再将该特征输入一个空间mscan块中得到编码网络第一阶段输出第一时空特征。

14、步骤3.2，第一时空特征通过编码网络第二阶段：将步骤3.1得到的第一时空特征下采样后输入到一个时间mscan块得到输出第二时间特征，再将第二时间特征和步骤2.3中得到的第一个残差特征同时输入一个空间mscan块中得到编码网络第二阶段输出第二时空特征。

15、步骤3.3，第二时空通过编码网络第三阶段：将步骤3.2得到的第二时空特征下采样后输入到一个时间mscan块得到输出第三一时间特征，再将该特征和步骤2.3中得到的第二个残差特征同时输入一个空间mscan块中得到输出第三一时空特征；将上一步得到的第三一时空特征输入到一个时间mscan块得到输出第三二时间特征，再将该特征和步骤2.3中得到的第二个残差特征同时输入到一个空间mscan块中得到输出第三二时空特征；将上一步得到的第三二时空特征输入到一个时间mscan块得到输出第三三时间特征，再将该特征和步骤2.3中得到的第二个残差特征同时输入到一个空间mscan块中得到编码网络第三阶段输出第三时空特征。

16、步骤3.4，第三时空特征通过编码网络第四阶段：将步骤3.3得到的第三时空特征下采样后输入到一个时间mscan块得到输出第四时间特征，再将该特征和步骤2.3中得到的第三个残差特征同时输入一个空间mscan块中得到编码网络第四阶段输出第四时空特征。

17、进一步地，所述步骤4包括：

18、步骤4.1，根据步骤3所述的编码网络输出，先将第三、四阶段输出修复痕迹特征上采样到第二阶段输出修复痕迹特征大小，再将三个修复痕迹特征进行通道连接得到多尺度特征。

19、步骤4.2，解码网络采用segnext的解码器，通过解码网络，将步骤4.1得到的多尺度特征解码得到像素级修复检测结果。

20、与现有技术相比，本发明具有的有益效果如下：

21、本发明将segnext中的mscan改进为时间mscan和空间mscan，并使用时间-空间mscan块堆叠组成特征编码网络，弥补了图像分割网络无法利用视频时间信息的不足。同时设计光流感知残差提取模块，捕获目标帧与其相邻帧的运动信息，并将不同尺度残差输入到编码网络不同编码阶段的空间mscan中，增强编码网络对视频帧的修复痕迹特征提取能力。本发明能够利用输入目标帧及其相邻帧的时空信息，经过编解码网络得到对视频修复痕迹的像素级定位结果。

技术特征：

1.一种基于segnext的深度视频修复检测方法，其特征在于，包括如下具体步骤：

2.根据权利要求1所述的一种基于segnext的深度视频修复检测方法，其特征在于，所述步骤2具体过程如下：

3.根据权利要求2所述的一种基于segnext的深度视频修复检测方法，其特征在于，步骤2.2中所述映射为：图像中的像素根据光流的引导运动到指定位置后生成新的图片的过程。

4.根据权利要求3所述的一种基于segnext的深度视频修复检测方法，其特征在于，步骤3所述编码网络为segnext的编码器，由若干mscan块组成。

5.根据权利要求4所述的一种基于segnext的深度视频修复检测方法，其特征在于，所述步骤3具体过程如下：

6.根据权利要求5所述的一种基于segnext的深度视频修复检测方法，其特征在于，所述步骤4具体过程包括：

7.根据权利要求6所述的一种基于segnext的深度视频修复检测方法，其特征在于，在对光流感知模块以及其后的卷积网络、编码网络与解码网络进行训练时使用的损失函数具体如下：

技术总结
本发明公开了一种基于SegNeXt的深度视频修复检测方法，包括：首先依次读入被修复视频序列的每一帧，并使用光流感知模块提取目标帧及其前后相邻帧的光流感知残差特征，得到三种不同尺度的残差特征。其次使用编码网络提取目标帧及其前后相邻帧的修复痕迹特征，同时编码网络的第二、三、四阶段分别接收三种不同尺度的光流感知残差特征。最后将编码网络第二、三、四阶段的输出特征连接后，通过解码网络得到对目标帧的像素级修复检测结果。本发明弥补了图像分割网络无法利用视频时间信息的不足，增强编码网络对视频帧的修复痕迹特征提取能力，能够得到对视频修复痕迹的像素级定位结果。

技术研发人员：沈张一,高旭东,常琪,姚晔
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/14