基于Transformer特征交互的人脸融合攻击协助者面部溯源方法

本发明属于人脸融合攻击协助者面部溯源领域，涉及一种基于transformer特征交互的人脸融合攻击协助者面部溯源方法。

背景技术：

1、人脸识别已成为一种常用的身份验证技术，在手机支付、出入境管理等领域广泛应用。然而，目前人脸识别系统在应对多种类型的欺骗攻击时表现较差，其中包括人脸融合攻击。人脸融合攻击的目的是创建一张能够与两个或多个身份相匹配的人脸图像，从而导致人脸识别系统匹配到错误的身份。如果融合人脸成功注册为身份证件，该证件将能够与多个身份进行验证；这种错误的身份匹配关系可能会导致一些违法行为，例如非法越境等。

2、人脸融合攻击最早由费拉拉等人提出。根据生成方式的不同，人脸融合攻击可以分为基于人脸关键点的方法和基于深度学习的方法。基于人脸关键点的方法是在图像级别对人脸图像进行融合操作，而基于深度学习的方法是在特征级别上对身份特征进行插值操作，然后通过生成模块生成融合人脸。这两种生成方式所生成的融合人脸都能够欺骗人脸识别系统。随后，一系列研究进一步证明了人脸融合攻击对人脸识别系统具有严重的威胁性，甚至相关专家也难以区分融合人脸与真实人脸。因此，提高人脸融合攻击的抵御能力对于保护身份验证的安全性至关重要。

3、随着人脸融合攻击的不断发展，人脸融合攻击检测受到了极大的关注。根据检测手法的不同，可以分为基于手工特征的人脸融合攻击检测和基于深度学习的人脸融合攻击检测。基于手工特征的人脸融合检测主要依赖于传统的特征提取器来提取人脸特征，需要人类知识的支持。随着深度学习模型应用于人脸融合攻击检测，检测性能得到了显著提升。然而，人脸融合检测技术只能够区分融合人脸和真实人脸，无法恢复出人脸融合攻击协助者的人脸图像。因此，人脸融合攻击协助者面部溯源研究仍然是一个具有挑战性的问题。

4、现有的溯源方法主要包括基于人脸关键点的方法和基于深度学习的方法。基于人脸关键点的方法采用基于关键点融合的逆过程来恢复协助者的人脸。然而，该方法依赖于融合过程和融合参数等先验知识。基于深度学习的方法采用双端对称网络结构、身份解纠缠等方法恢复协助者面部图像。然而，这些方法存在生成图像质量不高以及模型复杂度较高等问题。对于人脸融合攻击协助者面部溯源，仍然需要更有效且可靠的方法来提高溯源的准确性和图像质量。

技术实现思路

1、为实现上述目的，本发明提供了一种基于transformer特征交互的人脸融合攻击协助者面部溯源方法。该方法旨在利用transformer强大的交互能力，以有效提取协助者的身份特征，并通过多尺度特征提高模型的细节保护能力，从而提升恢复的人脸图像质量和恢复准确率。

2、本发明所采用的技术方案是：一种基于transformer特征交互的人脸融合攻击协助者面部溯源模型，包括多层次身份特征提取模块、基于transformer的特征分离模块和协助者面部生成模块。

3、所述多层次身份特征提取模块用于提取融合人脸和参考人脸的不同尺度的特征；

4、所述基于transformer的特征分离模块通过对特征提取模块输出的两种身份特征进行交互，进而分离出协助者的身份特征；

5、所述协助者面部生成模块引入注意力模块使分离模块输出的特征与生成模块的特征相契合，以便于提升协助者面部图像的恢复质量。

6、本方案通过提取人脸图像的多层次特征，旨在获得更多的空间信息，减少在提取特征过程中由于不断压缩特征尺寸而导致的细节信息丢失；同时通过引入transformer模块构建特征分离模块，利用transformer中的交叉注意力模块对融合人脸和参考人脸的身份特征进行信息交互，以重塑融合人脸的身份特征，并从重塑后的融合人脸的身份特征中分离出协助者的身份特征；再利用分离模块实现特征提取模块和生成模块的跳跃连接，为生成模块输入不同层级的特征，给生成模块补充细节信息，使其能够生成更准确、更具细节的协助者人脸图像。该协助者人脸图像既保留与原始人脸一致的身份特征，同时对人脸的细节信息进行补充。综上所述，本方案能够恢复出协助者的面部图像，同时对人脸图像的细节信息进行有效补充，从而提升协助者面部图像的恢复准确率和图像质量。

技术特征：

1.一种基于transformer特征交互的人脸融合攻击协助者面部溯源方法，其特征在于：通过采用多层transformer块构建分离模块，利用transformer模块对融合人脸和参考人脸的身份特征进行信息交互，实现对协助者身份特征的提取，从而恢复出协助者人脸图像；首先利用特征提取模块提取多层次的身份特征，然后分离模块利用参考人脸的身份特征对融合人脸的身份特征进行重构，并从中提取出协助者的身份特征，最后生成模块通过不同层次的协助者身份特征恢复出协助者的人脸图像。

2.根据权利要求1所述的基于transformer特征交互的人脸融合攻击协助者面部溯源方法，其特征在于：基于transformer特征交互的人脸融合攻击协助者面部溯源模型包括多层次身份特征提取模块、基于transformer的特征分离模块和协助者面部生成模块。

3.根据权利要求2所述的基于transformer特征交互的人脸融合攻击协助者面部溯源方法，其特征在于：所述多层次身份特征提取模块通过提取不同层次的身份特征，捕捉更全面的身份信息，保留图像细节，从而减少在特征提取过程中可能产生的细节信息丢失，该模块用于从融合人脸和参考人脸中提取身份特征。

4.根据权利要求2所述的基于transformer特征交互的人脸融合攻击协助者面部溯源方法，其特征在于：所述基于transformer的特征分离模块通过利用transformer的多头注意力机制，实现对提取到的两种身份特征的有效交互，这有助于模块学习两种身份特征之间的相关性，更好地分离出协助者的身份特征；采用多层transformer块的堆叠使得模型能够更深入地学习两种身份特征之间的关系，更有效地从融合人脸中提取与参考人脸相关的特征，这有助于有效地重构融合人脸的特征，进而促进协助者身份特征的分离；通过像素级注意力进行特征交互，该模块能够在空间维度上实现对融合人脸和参考人脸的身份特征之间的交互，有助于更细致地分离身份特征，提高协助者身份的准确性；该模块优化了融合人脸和参考人脸的身份特征之间的信息处理，以便于更好地分离协助者的身份特征。

5.根据权利要求2所述的基于transformer特征交互的人脸融合攻击协助者面部溯源方法，其特征在于：所述协助者面部生成模块主要由残差块、反卷积和注意力模块所组成；通过将分离模块提取的不同层级特征输入到生成模块中，为生成模块补充细节信息，同时在生成模块中引入注意力机制，关注生成模块的特征和分离模块提取的相对应层级特征中的重要信息，从而优化生成过程中的细节保护和信息聚焦；整体而言，该模块通过残差块、反卷积和注意力模块的协同作用，实现对分离模块提取到的特征的合理整合和优化，从而提高生成的协助者面部图像质量。

技术总结
本发明涉及一种基于Transformer特征交互的人脸融合攻击协助者面部溯源方法。本发明的溯源模型包含多层次身份特征提取模块、基于Transformer的特征分离模块和协助者面部生成模块。首先，通过多层次身份特征提取模块提取融合人脸和参考人脸的多层次身份特征，然后利用基于Transformer的特征分离模块恢复出协助者的身份特征，最后协助者面部生成模块合成协助者的人脸图像。该方法利用Transformer实现融合人脸的身份特征和参考人脸的身份特征之间的信息交互，以促进协助者身份特征的分离，并利用多尺度特征来提高模型的细节保护能力。本发明能够恢复出协助者的人脸图像，同时提高了溯源准确率以及恢复图像的质量。

技术研发人员：段强强,龙敏
受保护的技术使用者：长沙理工大学
技术研发日：
技术公布日：2024/2/8