一种基于深度学习伪造人脸视频的检测方法与流程

[0001]
本发明涉及电子信息技术领域，特别涉及一种基于深度学习伪造人脸视 频的检测方法。


背景技术：

[0002]
在伪造人脸图像检测的相关领域，目前主要采用的是基于循环卷积神经 网络的方法。其中，卷积神经网络主要用于分析图像纹理特征、人脸边缘特 征、头部姿态特征等伪造特征。在这些特征中，大部分针对传统的伪造手段 进行检测，如ps图像特征、翻拍屏幕的摩尔纹特征等等，但这些传统的检测 方法面对目前最新的伪造手段：利用对抗生成网络生成伪造人脸图像，已经 不具备有效的检测能力。其余少部分针对最新的生成伪造人脸图像的手段进 行检测，但目前，这类检测方法仍然不够成熟，检测准确率较低，且鲁棒性 较差。


技术实现要素：

[0003]
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于深度学 习伪造人脸视频的检测方法。
[0004]
为了解决上述技术问题，本发明提供了如下的技术方案：
[0005]
本发明一种基于深度学习伪造人脸视频的检测方法，包括以下步骤：
[0006]
s1：使用人脸检测模型，对需要检测的图像进行人脸检测，获取包含人 脸及小范围背景区域的图像，简称为人脸图像；
[0007]
s2：使用特征滤波模型，对人脸图像进行滤波，得到滤波人脸图像；
[0008]
s3：使用胶囊网络模型，首先对滤波人脸图像提取特征，随后对提取的 特征进行预测，给出图像是生成伪造人脸图像的概率，最后判断图像是否是 生成伪造人脸图像；
[0009]
其中步骤s1中包含以下：
[0010]
s1.1：使用人脸检测模型对需要检测的图像进行人脸检测，得到图像中 人脸的坐标信息；
[0011]
s1.2：根据步骤s1.1中得到的人脸坐标信息，得到人脸中心的坐标，以 该坐标为中心，截取包含人脸及小范围背景区域的正方形图像，简称为人脸 图像；
[0012]
步骤s2中包含以下：
[0013]
s2.1：将步骤1.1中得到的人脸图像送入滤波器，得到滤波后的人脸图 像；
[0014]
步骤s3中包含以下：
[0015]
s3.1：将步骤s2.1中得到的滤波后的人脸图像，送入卷积神经网络，得 到纹理特征；
[0016]
s3.2：将步骤3.1中得到的纹理特征，以复制的形式将特征送入十个输 入胶囊，经过输入胶囊的计算之后，得到十个输出特征向量；
[0017]
s3.3：对十个输出特征向量进行动态路由运算，得到一个输出向量，送 入输出胶囊，经运算之后得到预测概率；
[0018]
s3.4：将s3.3得到的预测概率和阈值进行比较，得到预测结果。
[0019]
与现有技术相比，本发明的有益效果如下：
[0020]
1.本发明的主要工作模块为胶囊网络模块，这是本发明有别于其他类似 发明的核心，也是本发明检测性能优于其他类似发明的根本所在；
[0021]
2.本发明主要针对通过对抗生成网络得到的生成伪造人脸图像进行检 测，针对一种较新型的伪造方式得到的图片进行检测，是其它类似发明所不 具备的，具有较高的准确率和较好的鲁棒性。
附图说明
[0022]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本 发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0023]
图1是本发明的系统总体示意图；
[0024]
图2是本发明的人脸获取模型示意图；
[0025]
图3是本发明的特征滤波模型示意图；
[0026]
图4是本发明的胶囊网络模块示意图；
[0027]
图5是滤波器获得噪声图片示意图。
具体实施方式
[0028]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述 的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0029]
实施例1
[0030]
如图1-5所示，本发明提供一种基于深度学习伪造人脸视频的检测方法， 包括以下步骤：
[0031]
s1：使用人脸检测模型，对需要检测的图像进行人脸检测，获取包含人 脸及小范围背景区域的图像，简称为人脸图像；
[0032]
s2：使用特征滤波模型，对人脸图像进行滤波，得到滤波人脸图像；
[0033]
s3：使用胶囊网络模型，首先对滤波人脸图像提取特征，随后对提取的 特征进行预测，给出图像是生成伪造人脸图像的概率，最后判断图像是否是 生成伪造人脸图像；
[0034]
其中步骤s1中包含以下：
[0035]
s1.1：使用人脸检测模型对需要检测的图像进行人脸检测，得到图像中 人脸的坐标信息；
[0036]
s1.2：根据步骤s1.1中得到的人脸坐标信息，得到人脸中心的坐标，以 该坐标为中心，截取包含人脸及小范围背景区域的正方形图像，简称为人脸 图像；
[0037]
步骤s2中包含以下：
[0038]
s2.1：将步骤1.1中得到的人脸图像送入滤波器，得到滤波后的人脸图 像；
[0039]
步骤s3中包含以下：
[0040]
s3.1：将步骤s2.1中得到的滤波后的人脸图像，送入卷积神经网络，得 到纹理特征；
[0041]
s3.2：将步骤3.1中得到的纹理特征，以复制的形式将特征送入十个输 入胶囊，经
过输入胶囊的计算之后，得到十个输出特征向量；
[0042]
s3.3：对十个输出特征向量进行动态路由运算，得到一个输出向量，送 入输出胶囊，经运算之后得到预测概率；
[0043]
s3.4：将s3.3得到的预测概率和阈值进行比较，得到预测结果。
[0044]
实施例提供的基于胶囊网络的伪造人脸图像的检测方法，将人脸图像是 否为伪造图像看成是一个图像分类问题，提出一种采用胶囊网络预测人脸图 像是否经过伪造的概率，并最终确定是否为伪造图片。具体实施时，由于伪 造的人脸图像中，人脸区域与图像背景区域的纹理不完全一致，因此可以通 过对图像隐含的纹理信息进行提取，再用胶囊网络提取相应的深度特征，然 后对相应的预测概率进行阈值化分，分成伪造或真实，将预测概率与阈值进 行比较，最终判定人脸图像是否为伪造图像。
[0045]
图1是根据一示例性实施例示出的基于胶囊网络的伪造人脸图像的检测 方法的流程图，参照图1所示，该方法包括如下步骤：
[0046]
s1：使用人脸获取模块，对需要检测的图像进行人脸检测，获取包含人 脸及小范围背景区域的图像，简称为人脸图像；
[0047]
具体的，对需鉴定的图像进行适当裁剪是一个非常重要的过程。本发明 主要针对图像中的人俩区域是否经过伪造进行检测，不关注图像中其余区域。 如果直接对整张图像进行检测，人脸区域所占的比例太小，检测模型可能会 无法关注到人脸区域以提取合适的特征。因此截取合适大小的人脸区域和小 范围背景区域，能够提升检测模型的有效性。
[0048]
图2是根据一示例性实施例示出的使用人脸获取模型，对需要检测的图 像进行人脸检测，获取包含人脸及小范围背景区域的图像的流程图，参照图2 所示，其包括如下步骤：
[0049]
s1.1：使用人脸检测模块对需要检测的图像进行人脸检测，得到图像中 人脸的坐标信息；
[0050]
具体的，步骤s1.1中的人脸检测模块，使用开源的face_recognition 模型，对人脸进行检测。face_recognition模型主要通过调用dlib库中的人 脸检测模型，对人脸图像中的人脸关键点进行检测，实现对图像中的人脸的 定位功能。具体的，dlib库中的人脸检测模型本身会对人脸图像中的68个人 脸关键点进行检测，给出这68个关键点的坐标信息。在本实施例中，只采用 上、下、左、右四个方向上最外侧的四个关键点用于定位人脸区域，采用这 四个点的坐标作为人脸的坐标信息。
[0051]
本发明实施例中，作为一种较优的实施方式，步骤s1.1中所使用的人脸 检测模型，采用开源的face_recognition模型。在其他实施例中，也可采用 dlib库中的基于cnn的人脸检测模型，或其他方式训练得到的模型。
[0052]
s1.2：根据步骤s1.1中得到的人脸坐标信息，得到人脸中心的坐标。以 该坐标为中心，截取包含人脸及小范围背景区域的正方形图像，简称为人脸 图像；
[0053]
具体的，人脸坐标信息包含上下左右四个关键点的坐标，以这四个关键 点的坐标构成一个矩形，该矩形区域的中心即认定为人脸中心。
[0054]
具体的，步骤s1.2中截取人脸区域的大小，在本实施例中，作为一种较 优的实施方式，由于人脸区域在256*256的区域中所占面积大致为一半，故 采用256*256的像素大小。在其他实施例中，也可以为其他与实际应用场景 相适应的大小。
[0055]
具体的，由于在一些图像中存在人脸尺寸较大或人脸位置靠近图像边缘 的情况，步骤s1.2具体包含以下情况：
[0056]
若256*256的正方形区域无法完全覆盖人脸区域，则对图像进行一次或 多次降采样，直到能够完全覆盖人脸区域，随后截取得到像素大小为256*256 的正方形区域；
[0057]
若以人脸中心为像素大小为256*256的正方形区域的中心，超出图像像 素范围，则对其进行适当平移之后进行截取。
[0058]
s2：使用特征滤波模型，对人脸图像进行滤波，得到滤波人脸图像。
[0059]
具体的，对待检测图像进行特征提取是一个非常重要的过程。直接对未 经处理的rgb图像进行检测，往往没法很好地提取出伪造人脸的特征信息。 因此使用一定方式进行特征提取能够有效检测模型的有效性。
[0060]
图3是根据一示例性实施例示出的使用特征提取模块，对人脸图像进行 特征提取，得到纹理特征的流程图，参照图3所示，其包括如下步骤：
[0061]
s2.1：将步骤s1.1中得到的人脸图像送入滤波器，得到滤波后的人脸图 像；
[0062]
具体的，步骤s2.1采用srm滤波器进行滤波。srm滤波器是
[0063]
《richmodelsforsteganalysisofdigitalimages》中提出来的，是 steganalysisrichmodel的缩写，富隐写分析模型的意思。论文中使用图5中 3个滤波器获得噪声图片(如图5所示)。
[0064]
srm滤波器收集基本的噪声特征，量化并截断这些过滤器的输出，并提取 附近的共现信息作为最终特征，能够有效地提取出人脸区域与背景区域的特 征。
[0065]
在本实施例中，作为一种较优的实施方式，步骤s2.1中所使用的滤波器， 采用的是srm滤波器。在其他实施例中，也可以采用其他形式的滤波器，如 lbp滤波器，sobel滤波器等。
[0066]
s3：使用胶囊网络模型，首先对滤波人脸图像提取特征，随后对提取的 特征进行预测，给出图像是生成伪造人脸图像的概率，最后判断图像是否是 生成伪造人脸图像。
[0067]
具体的，由于传统的卷积神经网络无法有效地对图像中不同区域有效地 分别加以学习。进而言之，无法有效地区分出人脸区域和背景区域的纹理特 征差异。相反，胶囊网络由于其独特的结构设计，不同的输入胶囊由于采用 随机的不同初始值，可以逐步学习到图像中不同位置的信息。随后，通过动 态路由算法，胶囊网络能够识别出人脸区域和背景区域的纹理不一致性，最 终有效地检测出伪造人脸图像。
[0068]
具体的，步骤s3中的胶囊网络模型，是通过预先训练的方式得到的。预 训练通过获取数据集和梯度下降更新参数的形式实现。其中，数据集是指包 含普通人脸图像和生成篡改人脸图像的一批图像的集合，其中，普通人脸图 像和生成篡改人脸图像的比例大致为一比一。在获取数据集之后，将其划分 为训练集，验证集和测试集三个部分，三者比例约为70:15:15，其中，将训 练集按照步骤s3所属的步骤输入到预设一定参数的初始模型，通过梯度下降 法更新模型的参数，最后在达到一定的预设条件之后停止梯度下降。随后， 将验证集输入到更新参数后的模型中，根据模型给出的预测结果对参数进行 微调，微调参数后的模型即为最终具体实施过程中采用的模型。
[0069]
图4是根据一示例性实施例示出的使用胶囊网络模块，对提取特征后的 人脸图像预测，给出图像是生成伪造人脸图像的概率的流程图，参照图4所 示，其包括如下步骤：
[0070]
s3.1：将步骤s2.1中得到的滤波后的人脸图像，送入卷积神经网络，得 到纹理特征。
[0071]
具体的，步骤s3.1中所使用的卷积神经网络，在本发明中采用vgg19网 络模型。其网络权重，是vgg19在imagenet训练出的神经网络模型作为预训 练基础权重，并进一步训练得到的。
[0072]
具体的，由于随后的胶囊网络模型需要输入经过提取后的特征，同时也 只需要对特征进行初步提取，因此选用较为简单的vgg19网络模型进行提取。
[0073]
在本实施例中，作为一种较优的实施方式，步骤s3.1中所使用的卷积神 经网络，采用的是vgg19网络。在其他实施例中，也可以采用resnet等其他 形式的卷积神经网络。
[0074]
s3.2：将步骤s3.1中得到的特征向量，以复制的形式将特征向量送入十 个输入胶囊，经过输入胶囊的计算之后，得到十个输出特征；
[0075]
具体的，在本实施例中，输入胶囊的个数采用的是十个，这是在考虑到 模型大小合适的情况下，用足够多的输入胶囊的个数保证检测模型的有效性。 但由于过多的输入胶囊个数对模型的有效性的提升也比较有限，因此本实施 例中选取十个作为输入胶囊的个数。在其他实施例中，也可以根据模型大小 的需求或者检测模型准确率的需求，减少或增多输入胶囊的个数。
[0076]
具体的，在本实施例中，输入胶囊采用特征提取模块和特征压缩模块的 形式，其中特征提取模块用于将步骤s3.2输入的纹理特征进一步提取，降低 维度，减少之后动态路由模块的矩阵参数量，同时，特征提取模块也具有使 得二维的特征矩阵转换为一维的特征向量的功能。最后，通过特征压缩模块， 使得一维的特征向量进行非线性变换，同时保证它的最大长度为1，最小长度 为0，并保持其方向不变。最终得到的即为输出的特征向量。
[0077]
s3.3：对十个输出特征向量进行动态路由运算，得到一个输出向量，送 入输出胶囊，经运算之后得到预测概率。
[0078]
具体的，动态路由主要由转换矩阵模块、向量压缩模块和概率预测模块 构成。在得到十个输入胶囊所给出的特征向量之后，转换矩阵模块首先将其 堆叠成为一个二维的特征矩阵。随后，通过矩阵相乘的形式，将堆叠得到的 特征矩阵，进行权重分配，并再次从二维的矩阵转换为一维的向量。随后， 通过向量压缩模块对其进行压缩，使得一维的特征向量进行非线性变换，同 时保证它的最大长度为1，最小长度为0，并保持其方向不变。最终，通过概 率预测模块的全连接网络，将压缩后的特征向量，转换为最终的预测概率。
[0079]
s3.4：将步骤s3.3得到的预测概率和阈值进行比较，得到预测结果。
[0080]
具体的，在步骤s3.3中所用于比较的阈值，是在训练模型的过程中，选 取的使得训练数据预测结果的相等错误率最小的一个数值。
[0081]
在本实施例中，作为一种较优的实施方式，步骤s3.1中选取阈值以相等 错误率最小作为评价标准。在其他实施例中，也可以根据实际应用需求，采 用其他评价标准。
[0082]
本发明主要使用胶囊网络对生成伪造人脸图片进行检测，其技术要点主 要有如下两点：
[0083]
1.本发明的主要工作模块为胶囊网络模块，这是本发明有别于其他类似 发明的核心，也是本发明检测性能优于其他类似发明的根本所在。
[0084]
2.本发明主要针对通过对抗生成网络得到的生成伪造人脸图像进行检 测，针对
一种较新型的伪造方式得到的图片进行检测，是其它类似发明所不 具备的，具有较高的准确率和较好的鲁棒性。
[0085]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限 制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的 技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作 的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。