一种前端视频图像智能分析内容防伪方法与流程

1.本发明属于计算机视觉技术领域，涉及针对前端视频图像智能分析内容防伪技术。


背景技术：

2.近些年，计算机视觉技术突飞猛进，随之也带来了视觉技术数据模型可能被滥用的问题。由于深度伪造技术的飞速发展，产生了潜在风险和隐患。
3.如何快速、准确地鉴别深度伪造视频和保护数据模型隐私是国际前沿热点，也是世界性难题。
4.可通过建立前端视频图像内容防伪鉴别的技术基础，并形成专用技术工具，不仅可以提升对深度伪造视频的侦察和取证效率，还可以为产品检测机构提供有效的方案支撑，从而达到保障视图取证的可靠性目的。
5.但是现有前端视频图像内容防伪技术大部分聚焦于视频图像防伪鉴定算法的研究，在数据处理的准确性以及安全性方面都存在问题，无法满足当前的需求。


技术实现要素：

6.针对现有前端视频图像内容防伪技术在数据处理的准确性以及安全性方面所存在的问题，本发明的目的在于提供一种前端视频图像智能分析内容防伪方法，该方法基于同态加密机制对卷积神经网络中的加密数据进行操作，有效的提高数据处理的准确性与安全性。
7.为了达到上述目的，本发明提供的前端视频图像智能分析内容防伪方法，包括：
8.步骤1：基于同态加密算法对将输入密文深度卷积神经网络鉴定模型的训练数据，进行同态加密；
9.步骤2：构建密文深度卷积神经网络鉴定模型；
10.步骤3：利用步骤2构建的密文深度卷积神经网络鉴定模型对步骤1中经过同态加密得到的密文数据进行有监督训练，得到经过训练的可用密文深度卷积神经网络鉴定模型；
11.步骤4：分别将面向相同对象的真实与伪造的前端视频图像内容，输入训练后的密文深度卷积神经网络鉴定模型，利用训练后的密文深度卷积神经网络鉴定模型参数，提取出前端视频图像真实和深度伪造内容特征分布向量；
12.步骤5：针对待测真伪的前端视频图像内容数据进行同态加密，并将加密形成的密文数据输入训练后的密文深度卷积神经网络鉴定模型，提取出相应的内容特征分布向量；并将提取出的内容特征分布向量输入到svm分类网络，对加密后的前端视频图像内容进行分类处理。
13.在本发明的一些实例中，所述防伪方法在步骤(1)中采用paillier同态加密算法进行同态加密。
14.在本发明的一些实例中，所述防伪方法的步骤(2)中基于pytorch框架构建7层密文深度卷积神经网络鉴定模型，对训练数据进行多次卷积、激活和池化操作。
15.在本发明的一些实例中，构建的7层密文深度卷积神经网络鉴定模型中，激活函数使用切比雪夫多项式零点作为拉格朗日多项式的插值来近似表示进行近似替换。
16.在本发明的一些实例中，构建的7层密文深度卷积神经网络鉴定模型中，平均池化层采用的是标量均值池化层进行替换。
17.在本发明的一些实例中，所述防伪方法的步骤(3)中对密文数据进行标签化处理。
18.在本发明的一些实例中，所述防伪方法的步骤(5)包括以下子步骤：
19.步骤5.1：将待测真伪的前端视频图像内容数据基于paillier同态加密算法进行同态加密操作；
20.步骤5.2：将加密后的待测真伪的前端视频图像内容数据传输至经过训练的密文深度神经网络鉴定模型，提取出内容特征分布向量，得到待测真伪的前端视频图像真实内容特征分布向量和伪造内容特征分布向量；
21.步骤5.3：计算前端视频图像内容特征分布向量的余弦相似度；
22.步骤5.4：首先利用作为样本的前端视频图像真实内容特征分布向量和伪造内容特征分布向量的分布特征的余弦相似度对支持向量机进行训练，得到分类超平面；再利用训练完成后的支持向量机分类模型对待测前端视频图像内容特征分布向量的余弦相似度按照内容特征分布向量分类超平面进行分类。
23.本发明提供的方案能够实现针对前端视频图像进行安全的智能分析内容防伪处理，相对于与现有前端视频图像智能分析方案，具有以下的优点与积极效果：
24.(1)本发明方案基于同态加密协议对卷积神经网络中的训练数据进行加密操作，保护了用户的数据隐私；
25.(2)本发明方案利用同态加密机制，对神经网络模型进行加密操作，保护了神经网络模型在预测阶段的隐私。
附图说明
26.以下结合附图和具体实施方式来进一步说明本发明。
27.图1为本发明提供的前端视频图像智能分析内容防伪方法的流程图。
具体实施方式
28.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
29.针对现有前端视频图像内容防伪系统大部分聚焦于视频图像防伪鉴定算法的研究，在数据与相关模型的安全性方面所存在的问题，本发明给出安全型的前端视频图像智能分析内容防伪方案，通过对前端视频图像数据进行加密和防伪鉴定模型进行加密，同时配合使用神经网络对数据进行训练和预测分类，这样不仅能够有效提高预测分类的准确性，还有效提高数据和模型的安全性。
30.具体的，本发明给出的前端视频图像智能分析内容防伪方法，具体通过如下步骤方案来实现：
31.步骤1：基于同态加密算法对将输入密文深度卷积神经网络鉴定模型的训练数据，进行同态加密；
32.步骤2：构建密文深度卷积神经网络鉴定模型；
33.作为举例，这里可基于明文图像训练数据的同态加密密文来进行密文深度卷积神经网络鉴定模型的构建。
34.步骤3：利用步骤2构建的密文深度卷积神经网络鉴定模型对步骤(1)中经过同态加密得到的密文数据进行有监督训练，得到经过训练的可用密文深度卷积神经网络鉴定模型；
35.步骤4：分别将面向相同对象的真实与伪造的前端视频图像内容，输入训练后的密文深度卷积神经网络鉴定模型，利用训练后的密文深度卷积神经网络鉴定模型参数，提取出前端视频图像真实和深度伪造内容特征分布向量；
36.作为举例，这里的面向相同对象的真实与伪造的前端视频图像内容可以为同一场景真实视频图像和伪造视频图像。
37.这里的前端视频图像可以为来自于前端摄像机的视频帧或图像。
38.步骤5：针对待测真伪的前端视频图像内容数据进行同态加密，并将加密形成的密文数据输入训练后的密文深度卷积神经网络鉴定模型，提取出相应的内容特征分布向量；并将提取出的内容特征分布向量输入到svm分类网络，对加密后的前端视频图像内容进行分类处理。
39.针对本发明提供的前端视频图像智能分析内容防伪方法，在具体应用时，可构成相应的软件程序，形成相应的前端视频图像智能分析内容防伪系统。该软件程序在运行时，将执行前述的前端视频图像智能分析内容防伪方法，同时存储于相应的存储介质中，以供处理器调取执行。
40.针对本发明提供的方案，以下通过具体实例来说明本方案的实现过程。
41.参见图1，本发明实例在实施本前端视频图像智能分析内容防伪方法时，主要包括以下步骤：
42.步骤1：通过paillier同态加密算法对将输入密文深度卷积神经网络鉴定模型的训练数据，进行同态加密。
43.这里训练数据存储于相应的数据库中，具体的内容与形式此处不加以限定。
44.进一步的，本步骤中对训练数据进行同态加密，在实际应用时，能够使得明文视频图像有加密保护，实现不改变内容特征可提取相应的基本属性。
45.作为举例，本步骤1的具体实现包括以下子步骤：
46.步骤1.1：密钥生成。
47.随机选择两个大质数p和q满足gcd(pq，(p-1)(q-1))＝1；
48.这个属性保证两个质数长度相等，计算n＝pq和λ＝lcm(p-1，q-1)，选择随机整数使得满足n整除g的阶，公钥为(n，g)，私钥为λ；gcd(l(g
λ
modn2)，n)＝1；
49.其中，gcd()函数是求最大公因数函数，lcm()为最小公倍数函数，g为随机选取的且满足g的阶(modn2)是n的非零倍数，表示不大于n2与n2互素的整数的个数。
50.步骤1.2：加密计算
51.具体的，本步骤中选择随机数r∈zn，基于步骤1.1生成的密钥计算密文：
52.c＝e(m，r)＝g
mrn
modn2；
53.本步骤中基于该加密公示实现对明文数据进行加密，其中c是密文，m是明文，e()为加密函数，r是从r∈zn中挑选的随机数，mod是求余计算。
54.步骤1.3：解密
55.该步骤基于步骤1.1生成的λ为私钥来对相应的密文进行解密计算。
56.具体的，本步骤通过如下公式完成对密文c进行解密计算：
57.m＝d(c，λ)＝(l(c
λ
modn2/l(g
λ
modn2))modn；
58.基于该解密公式，本步骤中将密文c与私钥λ代入其中来解密计算明文m。其中，函数其它参数的含义同将步骤1.1中的参数。
59.步骤2：构建密文深度卷积神经网络模型；
60.本实例中具体利用pytorch框架来构建密文深度神卷积经网络鉴定模型。
61.作为举例，本步骤利用pytorch框架来构建密文深度神卷积经网络鉴定模型时，利用pytorch框架构建7层密文深度神卷积经网络鉴定模型，基于构建的7层密文深度神卷积经网络鉴定模型对训练数据进行多次卷积、激活和池化操作。
62.本实例中通过构建7层密文深度神卷积经网络鉴定模型，并据此实现对训练数据进行多次卷积、激活和池化操作，从而能够有效提取视频图像内容特征向量提供条件。
63.进一步的优化方案，该密文深度神卷积经网络鉴定模型中激活函数使用切比雪夫多项式零点作为拉格朗日多项式的插值来近似表示进行近似替换，平均池化层采用标量均值池化层进行替换，由此来进一步增强池化有效性，提高既提高模型对视频图像内容特征提取特征向量的效果。
64.步骤3：利用步骤2构建的密文深度神卷积经网络鉴定模型对步骤1中生成的密文数据进行有监督训练，得到经过训练后的密文深度卷积神经网络鉴定模型。
65.作为举例，本实施例在实现本步骤时，具体包括以下子步骤：
66.步骤3.1：对待处理的密文数据(即步骤1中生成的密文数据)进行标签化处理。通过该步骤的标签化处理，能够为后续的监督训练提供数据分类先验知识。
67.步骤3.2：利用步骤2构建的密文深度神卷积经网络鉴定模型对标签化处理的密文数据进行有监督训练，完成对密文深度卷积神经网络鉴定模型的训练。
68.步骤4：利用训练得到的密文深度卷积神经网络鉴定模型参数，提取出作为样本的前端视频图像真实和深度伪造内容特征分布向量。
69.该步骤中分别将面向相同对象真实和伪造的前端视频图像内容，输入训练得到的密文深度卷积神经网络鉴定模型，利用该模型参数，来提取出前端视频图像真实和深度伪造内容特征分布向量。
70.作为举例，本实施例在实现本步骤4时，具体包括以下子步骤：
71.步骤4.1：基于训练后的密文深度卷积神经网络鉴定模型，提取相应的参数。
72.该步骤中通过训练完成的密文深度卷积神经网络鉴定模型所提取的参数为针对训练的结果参数，该参数可以有效的标识出内容特征。
73.步骤4.2：提取出作为样本的前端视频图像真实与深度伪造内容特征分布向量，并
存储下来，以用于后续步骤5的模型推理训练，即用于对待测的前端视频图像的加密鉴别。
74.步骤5：将处于明文区域的待测真伪的前端视频图像内容数据进行同态加密，并将加密后的待测真伪的前端视频图像输入至训练得到的密文深度卷积神经网络鉴定模型中，提取出对应的内容特征分布向量，并输入到svm分类网络模型，由svm分类网络模型对密文前端视频内容进行分类处理，并输出鉴别结果。
75.作为举例，本实施例在实现本步骤5时，具体包括以下子步骤：
76.步骤5.1：将位于明文域的待测真伪的前端视频图像内容数据利用paillier同态加密算法，进行同态加密操作；
77.步骤5.2：将加密后的待测真伪的前端视频图像内容数据传输至经过训练的密文深度神经网络鉴定模型，提取出内容特征分布向量，得到待测真伪的前端视频图像真实内容特征分布向量和伪造内容特征分布向量；
78.本步骤中采用pailier算法为加法同态加密算法，使得密文相乘等于明文相加，本步骤中据此直接对密文数据进行分析，以得到对应明文分析的结果，由此实现保护数据本身的私密性。
79.步骤5.3：计算前端视频图像内容分布特征的余弦相似度；
80.本步骤中通过如下公式来计算前端视频图像内容分布特征的余弦相似度：
81.s(sa,sb)＝cos(sa,sb)；
82.其中，cos(sa,sb)表示鉴定模型分布特征的余弦相似度；sa为前端视频图像真实内容特征分布向量；sb表示前端视频图像伪造内容特征分布向量；
83.据此，本步骤针对步骤(4)中提取出作为样本的前端视频图像真实与深度伪造内容特征分布向量，计算出作为样本的前端视频图像内容分布特征的余弦相似度；
84.同时，针对步骤5.2中得到待测真伪的前端视频图像真实内容特征分布向量和伪造内容特征分布向量，计算出待测真伪的前端视频图像内容分布特征的余弦相似度。
85.步骤5.4：利用步骤5.3中得到的作为样本的前端视频图像真实内容特征分布向量和伪造内容特征分布向量的分布特征的余弦相似度对支持向量机进行训练，得到支持向量机分类模型，并得到分类超平面；
86.再利用训练完成后的支持向量机分类模型对待测前端视频图像内容特征分布向量处理后的余弦相似度，按照内容特征分布向量分类超平面进行分类，得到鉴定结果。
87.由上实例可知，本发明提供的前端视频图像智能分析内容防伪方法利用同态加密技术对前端视频图像内容数据和训练模型进行加密，形成对隐私数据保护的密文深度卷积神经网络模型，因而具有较强的鲁棒性和对前端视频图像内容鉴定的泛化能力，可以更有效的对前端视频图像内容深度伪造进行鉴定。
88.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。