基于深度伪造视频检测的模型的评价方法及系统与流程

本发明涉及深度伪造视频检测技术领域，特别涉及一种基于深度伪造视频检测的模型的评价方法及系统。

背景技术：

深度伪造（deepfake）技术不仅能实现换脸，更可以创造出现实不存在的人物。通过该技术在理论上可以制作出指定任何人、说任何话、做任何事的虚假音视频。尽管深度伪造技术有其积极的一面,如在电影制作中创建虚拟角色、声音模拟;“复活”历史人物或已逝的亲朋好友等。但恶意的深度伪造内容可以用于误导舆论、扰乱社会秩序,甚至可能会干预政府选举和颠覆国家政权,已成为当前新一轮信息战的武器,给国家网络安全、数据安全、信息安全和国防安全带来了巨大威胁。

因此发展深度伪造检测检测技术是关系到国家信息安全的大事，目前各企业各科研机构和院校正在集中力量进行这方面的研究。但是如何相对客观的评价各个团队研发出来的深度伪造检测模型在真实场景下的检测能力水平高低，如何从中筛选出高价值模型应用到实战中服务于国家安全的防御，这个在目前市面上并没有一个比较有效的手段和方法。通常的做法是各个团队通过一些开放的或私有的局部样本集来训练和测试自己的模型，然后对比准确率得出模型的能力，比如名称为《深度伪造图像检测方法及装置》（申请号：202011352811.x）和名称为《基于时序不一致性的深度伪造视频检测方法及系统》（申请号：202011417127.5）的专利。

实战中所需要的模型往往是一些泛化性较高的模型，能够对大部分的深度伪造视频进行有效的检测和拦截。但是目前的深度伪造视频的检测模型的性能和能力评价一般是由模型研究者在有限的特定样本集或特定的场景下的通过logloss等算法评估出来的。这样评估出来的模型能力在实际应用场景中的效果和能力无法得到较为客观的评价，且无法与其他算法进行对比或有效协同，使得最终模型的实际落地应用意义大为降低。

技术实现要素：

本发明的首要目的在于提供一种基于深度伪造视频检测的模型的评价方法，可以方便的对待测模型进行评分。

为实现以上目的，本发明采用的技术方案为：一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：s100、将待评分模型导入；s200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；s300、将样本集输入待评分模型中进行真伪识别；s400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值p1；s500、根据测量值p1进行自动评分得到待评分模型的得分并输出。

与现有技术相比，本发明存在以下技术效果：通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

本发明的另一个目的在于提供一种基于深度伪造视频检测的模型的评价系统，可以方便的对待测模型进行评分。

为实现以上目的，本发明采用的技术方案为：一种基于深度伪造视频检测的模型的评价系统，包括视频样本库、智能检测评分模块以及任务智能调度模块；所述的视频样本库中存储有视频以及该视频的真伪标记；任务智能调度模块对自动评分的任务进行设置，且从视频样本库中抽样出指定数量样本的样本集并执行评分任务的调度工作；智能检测评分模块预设评价指标并根据任务执行结果依照步骤s100-s500自动计算模型得分。

与现有技术相比，本发明存在以下技术效果：通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

附图说明

图1是本发明的系统架构图；

图2是本发明运行流程图；

图3是视频样本库的抽样流程图；

图4是本发明的评分流程图。

具体实施方式

下面结合图1至图4，对本发明做进一步详细叙述。

本发明公开了一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：s100、将待评分模型导入；s200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；s300、将样本集输入待评分模型中进行真伪识别；s400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值p1；s500、根据测量值p1进行自动评分得到待评分模型的得分并输出。通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

参阅图4，由于视频样本库中的样本非常多，所以我们上面需要从库中随机挑出指定数量的样本，考虑到样本挑选的随机性，当挑选不同的样本时，所得到的评分也会有所差异，为了让评分结果更加稳定可靠，本案中优选地，引入了评分校正流程，具体步骤如下：内置一个参考模型，步骤s300和s400中，同时将样本输入参考模型中得到参考模型的测量值p0，步骤s500中，待评分模型的得分等于a+k*(b-a)*(p1-p0)/p0，式中：k为激励系数，分别表示该项评价指标是正激励还是负激励，分别用1和-1来表示，正激励即测量值越大评分越高，负激励即测量值越小评分越高，以检测速度为例，检测时间越小，模型的评分应当越高，此时p1-p0为负值，故此时的k取-1，其为负激励。

这里的a为参考模型的预设分值，b为得分的满分数值，参考模型可以用更多的样本进行更充分的检测，这样就可以对参考模型的实际能力有更加直观的判断，然后根据参考模型的表现为其分配一个预设分值，这个分值a相当于一个参考基准，以后所有其他的待评分模型的评分都是根据该基准来的，如果待评分模型比参考模型的的测量值更优，其评分就高于a，如果待评分模型比参考模型的测量值更劣势，其评分就低于a，这样最后对所有模型进行的评分更具参考价值，最重要的是，该评分结果不会随着样本集的不同而产生较大差异，这样就可以保证评分结果浮动小、更具参考价值。

当然，这里的参考模型可以不止一个，我们可以设置多个参考模型，并为每个参考模型都设置一个预设分值，然后我们针对每个参考模型都可以为待评分模型进行打分，最后将所有打分求均值也可以实现更为合理的打分。

对于待评分模型来说，我们一般有几个维度来对其进行评价，故本案中优选地，所述的测量值包括检测速度、检测正确率、假阳率、假阴率中的一种或多种，智能检测评分模块输出的是每项得分和/或多项得分加权平均后的最终得分。我们可以根据实际需要，选择上述测量值中的一种或多种，也可以根据其他要求增加其他的测量值。同时，我们最后对待评分模型的打分，可以是针对每个测量值进行独立打分，从而得到多个分值，也可以对所有分值进行加权平均得到综合得分，也可以全部都体现出来，这个一般根据实际需要进行选择即可。

进一步地，所述的参考模型得分a取值为[50,90]，满分数值b等于100，测量值包括检测速度、检测正确率、假阳率、假阴率四种且它们对应的k分别为-1、1、-1、-1。参考模型因为所选模型的不同，以及主观打分的原因，其分值a会有浮动，比如本实施例中，我们对检测速度50s、检测正确率90%、假阳率5%、假阴率5%的模型，认为其评分表现较好，可以打80分，在执行评分步骤时，a的值是确定的，这上面a的取值范围表示我们在对所选的参考模型进行主观评分时的可选范围。对于测量速度而言，其时间越小，最后的得分越高，故其是负激励；检测正确率越高，最后的得分越高，故其是正激励；假阳率和假阴率同理，都是越低越好，故其是负激励。

以上实施例中，我们可以对待评分模型的各项参数进行单独评分，但这不利于两个模型的综合比较，故这里优选地，所述智能检测评分模块输出的是多项得分加权平均后的最终得分，检测速度、检测正确率、假阳率、假阴率对应的权值分别是10%、60%、10%、20%。这个权值，我们可以根据实际情况进行调节，比如我们对检测速度要求高，那么我们可以提高检测速度的权值；如果我们对假阳率要求高，那么我们可以提高假阳率的权值，具体可根据实际情况进行取值，上述权值仅供参考。

下面通过具体的实例来对上面的评分进行说明，参见下表：

上表中，参考模型的各项分值及综合评分均为80分；待检模型的各项评分可以根据公式算出，其待检模型按照权值算出来的综合得分是：79.868分。

参与图3，从视频样本库中挑选出n个样本构成样本集，有很多中随机方式。本发明中优选地，所述的步骤s200中，包括如下步骤：s201、从1~m中随机取出一个数x1，其中m为视频样本库中的视频总数；s202、以第xn的值作为种子根据公式xn+1=(xn×c＋d）modm＋1计算得出一个新的随机数，式中，c和d为设定好的整数，mod为取余操作；s203、每次计算出的xn+1的值如果之前出现过则舍弃并重新随机一个数，最终生成指定数量的不重复数值集合{x1、x2、…、xn}，式中n为样本集数量；s204、取出x1、x2、…、xn对应的视频作为样本集。更优选地，所述的c等于1103515245，d等于12345。采用这些步骤随机得到的样本集，随机性更强，这样得到的评分结果更具参考价值。

参阅图1和图2，一种基于深度伪造视频检测的模型的评价系统，包括视频样本库、智能检测评分模块以及任务智能调度模块；所述的视频样本库中存储有视频以及该视频的真伪标记；任务智能调度模块对自动评分的任务进行设置，且从视频样本库中抽样出指定数量样本的样本集并执行评分任务的调度工作；智能检测评分模块预设评价指标并根据任务执行结果依照步骤s100-s500自动计算模型得分。这里采用模块化的方式进行描述，表示能实现相应功能的软件或硬件都可以组成本系统，本系统实际使用时，由软件+硬件组成，其系统架构图如图1所示。

其中，硬件部分主要由带gpu运算能力的服务器集群所组成，并具备一定的存储和算力扩展性。软件部分主要由视频样本库、智能检测评分模块和任务智能调度模块所组成，各个待评分模型通过给定封装标准封装成可接口调用的形式接入本系统中。

整个系统的对接及运行原理可描述为图2所示的流程图，基本流程描述如下：

1、研究团队通过系统提供的标准接口文档对模型调用进行封装，然后将封装包上传到本系统，完成模型的入驻过程。

2、模型入驻成功后，系统可以对模型的功能进行测试，为后续自动评分做功能验证，同时支持模型的更新及下架功能。

3、通过任务智能调度模块的配置，对自动评分的任务进行设置，主要设置任务开始时间、样本集数量、每个样本集样本数量等参数，然后交由智能检测评分模块进行检测评分任务的执行。

4、任务智能调度模块会自动从视频样本库中抽样出含指定数量样本的样本集，然后根据gpu的负载决定同时执行的任务数量。

5、视频样本库可以接受研究团队对样本库的补充和更新。

6、所有样本集检测评分任务结束后，智能检测评分模块通过加权平均的方法完成模型的自动评分。

7、支持评分报告的展现和导出，让研发团队了解模型在模拟现实情况样本环境下的性能。

本发明通过定制化自主录制和开放式广泛采集的方式，形成包含各种深度伪造算法生成的伪造视频和真实视频混合的大规模视频样本库，在一定程度上的模拟了现实情况下的存在的伪造视频环境。辅以与模型分类和对应分类的评价指标体系，从多样本、多维度对模型的检测效果做综合评判打分，从而评估深度伪造检测模型在实战情况下的能力水平。通过本系统可以打造一个第三方深度伪造视频检测平台，通过提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到本发明系统样本库的不断完善中，达到一种良性循环。