一种基于改进贝叶斯神经网络的伪造人脸视频检测方法与流程

本发明涉及计算机视听觉，具体涉及一种基于改进贝叶斯神经网络的伪造人脸视频检测方法。

背景技术：

1、近年来，随着视频技术和生成技术的飞速发展，伪造人脸视频，即在视频中插入伪造的人脸，在网络上越来越普遍。它们可以被用于虚假宣传、误导公众、欺骗公众、干扰公正、损害公共利益等，对社会和政治造成了严重的威胁。因此，如何判别一个视频中的人物是否是真实的，变得越来越重要了。目前，大量的检测伪造人脸视频算法层出不穷，其中主流的方式有如下几种：

2、(1)基于人脸匹配的算法：通过对比视频中的人脸与已知人物的面部特征，来检测是否存在伪造人脸。

3、(2)基于光学流的算法：使用计算机视觉技术来分析视频帧之间的运动，通过比较真实视频和伪造视频中的光学流来检测伪造视频。

4、(3)基于频域分析的算法：通过对伪造视频进行频域分析，检测图像中的不连续性。

5、但是以上主流的检测方式中，都有如下几个的问题：(1)检测效率高的检测效果差；(2)检测效果好的检测效率低；(3)在未知域上表现的非常脆弱，一旦使用一张没有经过模型训练的伪造人脸图片，将会导致模型发生错误的鉴别，因此很难在实际中进行使用。

技术实现思路

1、为了解决上述目前伪造人脸视频检测方式中存在的问题，本发明提供了一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，通过引入不确定性预测以及检测网络结构的重设计，提升伪造人脸检测效率与准确率。

2、本发明的一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，包括如下步骤：

3、步骤一：采用阈值动态采样法对输入视频抽取帧，对抽取的视频帧提取人脸信息。

4、所述的阈值动态采样法是指：设置步长k和位置阈值lt(location threshold)，以输入视频中检测到的第一个人脸位置作为起始位置，根据步长抽取视频帧进行检测检测，若视频帧中未检测到人脸，继续进行抽帧检测；若视频帧中检测到人脸，计算当前人脸位置与前一个人脸位置的差值，如果差值小于位置阈值lt，则通过插值法计算前后检测到人脸的两视频帧的中间帧的人脸位置，继续进行抽帧检测。

5、步骤二：从检测的人脸图像中提取人脸信息五元组，并进行归一化处理；

6、所述的人脸信息五元组包含人脸的左眼睛、右眼睛、鼻子、嘴巴和整张人脸对应的图像；五元组内的五张图像统一缩放到人脸图像的大小，并进行像素归一化，归一化后的每张图像中的像素值都满足正态分布。

7、步骤三：使用改进的贝叶斯神经网络构建伪造人脸检测模型，进行真伪人脸鉴别；

8、所述的伪造人脸检测模型包含人脸特征融合模块和改进的贝叶斯网络；人脸特征融合模块对输入的人脸信息五元组提取对应的五张特征图，使用通道注意力系数计算特征图的各通道注意力系数，对特征图的各通道进行自适应加权，将各特征图进行特征连接获得对应的人脸特征，输入改进的贝叶斯网络；改进的贝叶斯网络对人脸特征处理，输出人脸识别结果以及结果的不确定数值。

9、步骤四：设由步骤1抽取n帧图像，经步骤2和3处理后获得n个人脸真伪识别结果，对n个结果进行帧后处理，矫正识别结果；n为正整数；

10、所述的帧后处理先根据视频帧是否连续将n个结果分段，再对每段中包含的每帧人脸真伪识别结果进行平滑与不确定判断，设置不确定数值的阈值ut，若人脸真伪识别结果的不确定数值大于ut，则不改变该帧的人脸真伪识别结果，否则将更新该帧的人脸真伪识别结果。

11、相比现有技术，本发明方法的优点和积极效果在于：

12、(1)本发明方法采用阈值动态采样法对输入视频抽帧，进行人脸位置信息采集，由原来提取每一帧变成了间隔多帧提取一次，在不降低人脸信息的同时，加快了视频检测的速度。本发明方法根据获取到的人脸关键点信息，抽取人脸信息五元组并归一化，丰富了人脸特征，以利于提高伪造人脸检测模型的准确率和泛化能力。

13、(2)本发明方法通过改进贝叶斯神经网络构建伪造人脸检测模型，重构原始的贝叶斯架构，减少至引入一个贝叶斯模块，在降低模型复杂度的同时，也引入了贝叶斯网络的非参数概率模型思想，解决模型对于不认识图片的不确定性问题。本发明检测模型中加入人脸特征融合模块，由原始的一个全局人脸特征，转变成现有的人脸信息五元组，将五种特征融合成一个人脸的特征，极大的丰富了需要鉴伪的人脸特征；还采用通道注意力机制，对特征图进行加权融合以提高网络的表达能力和识别性能，让模型在伪造的部分重点关注，降低其他部分对于模型的干扰，以提升模型的鲁棒性与泛化性。

14、(3)有的人脸因为光照、抖动、模糊等干扰因素会导致模型产生误判，因此为了解决这种不确定的干扰因素，本发明方法通过帧后处理，采用平滑机制与不确定判断机制；通过对帧后的人脸真伪数据进行平滑，降低模型误差，提升伪造人脸模型识别的准确率；引入不确定判断机制，对给予的人脸信息加上不确定性，然后根据不确定性判断最终这个人脸是否属于真的，从而提高模型的泛化能力。采用本发明方法提升了伪造人脸检测的效率与准确率。

技术特征：

1.一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的方法，其特征在于，所述的步骤1包括如下步骤：

3.如权利要求1所述的方法，其特征在于，所述的步骤2包括如下步骤：

4.如权利要求1所述的方法，其特征在于，所述的步骤3中，人脸特征融合模块由3层2d卷积层+自适应最大池化层+连接层构成，通过卷积层提取人脸信息五元组中每张图像的特征并经自适应最大池化层处理后，得到5张模型最感兴趣的特征图，对第三层2d卷积层输出的各特征图使用通道注意力模块计算通道注意力系数，使用通道注意力系数对最感兴趣的特征图的各通道进行自适应加权，最后将加权后的特征图通过连接层连接在一起，形成一张人脸对应的特征图。

5.如权利要求1或4所述的方法，其特征在于，所述的步骤3中，改进的贝叶斯网络包括：将原始贝叶斯网络的resnet-50的全连接层去除，在平均池化层后加入一个贝叶斯模块，贝叶斯模块由repeat+三层bayesconv2d+mean组成，repeat为重复层，bayesconv2d为贝叶斯卷积层，mean为均值层；repeat将特征复制n份并行送入bayesconv2d，经三层bayesconv2d输出n份结果，再通过mean对n份结果取平均值，作为最终输出结果；n为大于2的整数。

6.如权利要求1所述的方法，其特征在于，所述的步骤4中，帧后处理的方式为：

7.如权利要求1或6所述的方法，其特征在于，所述的步骤4中，在进行帧后处理更新n帧图像的识别结果后，通过占比法确定视频每一秒的人脸真伪结果及对应的置信度；

技术总结
本发明公开了一种基于改进贝叶斯神经网络的伪造人脸视频检测方法，属于计算机视听觉技术领域。本发明方法包括：利用二分法的思想采用阈值动态采样法对视频进行人脸抽取；引入全局特征与局部特征相结合，从图像中提取人脸信息五元组；构建伪造人脸检测模型，模型包含人脸特征融合模块和改进的贝叶斯网络，模型输出人脸真伪及不确定性；引入平滑机制与不确定机制进行帧后处理，矫正人脸真伪识别结果。采用本发明方法提升了伪造人脸的检测效率与准确率，同时增加了对未知伪造方法的不确定预测，大幅度的提升了伪造人脸视频的工业实用性。

技术研发人员：吴林涛,董建武,郑博文,索帅,黄萌
受保护的技术使用者：北京赛思信安技术股份有限公司
技术研发日：
技术公布日：2024/1/15