图像处理方法、装置、图像处理设备及存储介质与流程

文档序号：24620464发布日期：2021-04-09 20:25阅读：84来源：国知局

本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、图像处理设备及存储介质。

背景技术：

随着计算机技术的不断深入发展，为了提升用户在日常生产和生活中的效率，各种特征识别模型应运而生，如将刷脸模型或者指纹识别模型应用到支付类产品中，可有效提升用户在采用支付类产品进行支付时的效率，但是，在将特征识别模型应用到各类产品之前，需要先对特征识别模型的识别精准度进行测试，而当前在对特征识别模型的识别精准度进行测试时，通常采用生成基准图像的对抗图像，并联合该基准图像和对抗图像对待测试模型进行训练测试的方式。而当前在生成基准图像的对抗图像时，将基于待测试模型的不同，采用不同的方式生成相应的对抗图像，由此可见，如何更好地生成对抗图像成为了当前的研究热点。

技术实现要素：

本发明实施例提供了一种图像处理方法、装置、图像处理设备及存储介质，可更好地生成对抗图像，从而提升该生成的对抗图像的适用性。

一方面，本发明实施例提供了一种图像处理方法，包括：

获取攻击图像和基准图像，并调用第一识别模型识别所述攻击图像的第一特征数据和所述基准图像的第二特征数据；

根据所述第一特征数据和所述第二特征数据之间的特征差异，确定针对所述攻击图像的调整信息，并采用所述调整信息对所述攻击图像进行调整得到所述攻击图像的调整图像；所述攻击图像的调整图像和所述基准图像之间的相似度大于相似度阈值；

调用第二识别模型对所述调整信息，所述攻击图像的调整图像，以及所述基准图像进行识别处理，得到所述基准图像的对抗图像。

再一方面，本发明实施例提供了一种图像处理装置，包括：

获取单元，用于获取攻击图像和基准图像；

识别单元，用于调用第一识别模型识别所述攻击图像的第一特征数据和所述基准图像的第二特征数据；

确定单元，用于根据所述第一特征数据和所述第二特征数据之间的特征差异，确定针对所述攻击图像的调整信息；

调整单元，用于采用所述调整信息对所述攻击图像进行调整得到所述攻击图像的调整图像；所述攻击图像的调整图像和所述基准图像之间的相似度大于相似度阈值；

所述识别单元，还用于调用第二识别模型对所述调整信息，所述攻击图像的调整图像，以及所述基准图像进行识别处理，得到所述基准图像的对抗图像。

再一方面，本发明实施例提供了一种图像处理设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持图像处理设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：

获取攻击图像和基准图像，并调用第一识别模型识别所述攻击图像的第一特征数据和所述基准图像的第二特征数据；

调用第二识别模型对所述调整信息，所述攻击图像的调整图像，以及所述基准图像进行识别处理，得到所述基准图像的对抗图像。

再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时，所述程序指令被处理器执行时，用于执行如第一方面所述的图像处理方法。

在本发明实施例中，图像处理设备可在获取到攻击图像和基准图像后，调用第一识别模型分别对该攻击图像和基准图像进行识别处理，得到该攻击图像对应的第一特征数据，以及该基准图像对应的第二特征数据，进一步地，该图像处理设备可根据该第一特征数据和第二特征数据之间的特征差异，确定对该攻击图像的调整信息，并采用该调整信息对该攻击图像进行调整，在得到该攻击图像的调整信息后，则可将该调整信息作为先验知识指导第二识别模型，以使第二识别模型根据该调整信息生成基准图像的对抗图像，那么也就使得图像处理设备获取到的基准图像的对抗图像，与该基准图像之间的相似度更加靠近，从而可提升图像处理设备获取得到的对抗图像的满意度，而且，通过先采用第一识别模型生成调整图像过程中学习到的调整信息，来对第二识别模型生成对抗图像进行指导，可避免生成的对抗图像和识别模型过拟合的问题，可提升生成的对抗图像的适用性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种针对第一识别模型和第二识别模型的连接示意图；

图2是本发明实施例提供的一种图像处理方法的示意流程图；

图3是本发明实施例提供的一种获取攻击图像和基准图像的示意图；

图4是本发明实施例提供的一种图像处理方法的示意流程图；

图5是本发明实施例提供的一种图像处理方法的示意图；

图6是本发明实施例提供的一种图像处理装置的示意性框图；

图7是本发明实施例提供的一种图像处理设备的示意性框图。

具体实施方式

本发明实施例提出了一种图像处理方法，利用元学习的思想，并采用多模型对攻击图像和基准图像进行联合训练，从而可使图像处理设备获得的基准图像的对抗样本（或对抗图像）的迁移性更强，进而则可采用获得的具备更强迁移性的对抗图像，以及该对抗图像对应的基准图像对待测试模型的识别精准度进行训练，可以理解的是，由于该图像处理设备通过元学习的思想获取的对抗图像的迁移性更强，所以，采用本发明实施例提出的图像处理方法不仅可以缓解生成的对抗图像的过拟合问题，还能同时应用于小扰动和基于物理场景的贴纸攻击上，提升了对生成的对抗图像的可推广性（即该对抗图像的适应性）。在一个实施例中，元学习有别于传统的进行机器学习的方式，传统的机器学习通常是采用一组训练数据（或训练样本）对模型进行训练，以使被训练的模型学习到一个分界面或者一组判别性特征，那么该训练完成的模型就将基于学习到的分界面（或判别性特征）对输入数据进行识别，那么显而易见，采用传统的机器学习训练得到的模型在泛化到未知数据集时，由于不同未知数据集之间存在域差异（domaingap），从而导致泛化性不好。而在人类在进行学习的过程中，却并不需要太多的数据就能有很好的泛化性，因此元学习正好是模拟了人类学习的这一特点，即教会模型如何更快更好地进行学习，其中，元学习的主要思路就是如何利用少量样本或者同一个域的数据去挖掘先验知识，然后通过该先验知识教会模型在其他未知域的数据上进一步学习，经研究表明，元学习不仅加速了在训练模型过程中模型的收敛，同时也增强了对模型进行学习训练的泛化性。

在一个实施例中，图像处理设备在采用元学习的思想，并通过多模型对基准图像和攻击图像进行联合训练时，可在该图像处理设备中预置至少两个不同的识别模型，可以理解的是，不同的识别模型对基准图像和攻击图像进行识别处理后，所确定出的对抗图像在其他模型上的泛化性更强，也就使得生成的对抗图像具有更强的攻击迁移性。其中，在该图像处理设备中预置的不同识别模型是指：模型参数，模型结构和训练数据中的一项或多项不同，可以理解的是，在图像处理设备中预置的识别模型的数量越多，通过该图像识别设备生成的对抗图像的泛化性也就更强，在本发明实施例中，以该图像处理设备中预置的识别模型为第一识别模型和第二识别模型为例进行详细说明，在该图像处理设备中还包括其他预置的识别模型时，预置的其他识别模型可作为第一识别模型参见本发明实施例。在一个实施例中，该图像处理设备可以是服务器，或者，该图像处理设备也可以是终端设备，在本发明实施例中不做限定，其中，在该图像处理设备为服务器时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（contentdeliverynetwork，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器，该终端设备则可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。在一个实施例中，该图像处理设备可以是区块链网络中的节点设备，进而可将该图像处理设备生成的基准图像和对应的对抗图像存储到区块链网络中，那么，在后续对待测试模型进行训练时，该待测试模型则可从该区块链网络中获取相应的基准图像和对抗图像，并采用从区块链网络中获取的基准图像和对抗图像对待测试模型的识别准确度进行测试。

该图像处理设备中的第一识别模型和第二识别模型可如图1所示依次连接，该图像处理设备在获取到基准图像和攻击图像后，则可分别调用该第一识别模分别对该基准图像和攻击图像进行识别处理，从而得到该攻击图像的第一特征数据和基准图像的第二特征数据。在一个实施例中，该基准图像是任一图像，攻击图像是与基准图像存在相同类别下特征的图像，如该基准图像为用户的人脸图像，那么，该攻击图像则可以是另一用户的人脸图像，其中，基准图像的特征数据作为图像处理设备的特征参考基准，并基于该特征参考基准对攻击图像的特征数据进行调整，从而将调整特征后的攻击图像作为基准图像的对抗图像，该对抗图像用于迷惑识别模型，如果对抗图像成功迷惑识别模型，使得识别模型将对抗图像判别为基准图像，那么则说明该识别模型的识别能力较低，仍需要进行优化训练，而如果对抗图像对识别模型迷惑失败，则说明该识别模型的识别能力较高，则可投入产品使用。也就是说，该基准图像和攻击图像是任意两个不同，并用于描述同一特征的图像，如该基准图像和攻击图像可分别是不同用户的脸部图像，指纹图像，或者瞳孔图像等，那么分别采用第一识别模型得到的该攻击图像和基准图像的第一特征数据和第二特征数据可分别为不同用户的脸部特征数据，指纹特征数据或者瞳孔特征数据，在本发明实施例，对图像处理设备获取到的基准图像和攻击图像的类别不作限定。此外，该图像处理设备包括的第一识别模型和第二识别模型的模型结构，模型参数和训练数据不同，也就是说，该第一识别模型和第二识别模型对输入图像进行识别的能力差异较大，那么可以理解，由两个能力不同的识别模型生成的基准图像的对抗图像的可迁移性是较大的，也就使得可采用基于本发明实施例生成的对抗图像，以及相应的基准图像对待测试模型的模型能力进行训练。

在图像处理设备调用第一识别模型得到攻击图像的第一特征数据，以及基准图像的第二特征数据后，则可根据该第一特征数据和第二特征数据之间的特征差异生成该基准图像的对抗图像。在具体实现中，该图像处理设备可根据该第一特征数据和第二特征数据之间的特征差异，生成针对攻击图像的调整信息，并根据该调整信息对该攻击图像进行调整，得到该攻击图像的调整图像，在一个实施例中，基于该调整信息生成的攻击图像的调整图像与基准图像之间的相似度大于相似度阈值，其中，识别模型在对相似度大于相似度阈值的不同图像进行识别处理时，如果该识别模型能对该相似度大于相似度阈值的不同图像进行区分，则说明该识别模型的识别精准度较高，而如果识别模型不能对相似度大于相似度阈值的不同图像进行区分，则说明该识别模型的识别精准度较低。也即，如果识别模型能区别识别出该图像处理设备根据调整信息生成的攻击图像的调整图像，以及基准图像，那么说明该识别模型的识别精准度较高，而如果该识别模型不能区别识别出该攻击图像的调整图像和基准图像，则说明该识别模型的识别精准度较低。由此可见，该调整信息中也就是记录的如何将攻击图像调整为与基准图像相似的图像的先验知识，所以，在该图像处理方法生成该攻击图像的调整信息，并获取到针对该攻击图像的调整信息后，则可将该调整信息进一步输入到第二识别模型，从而使得该第二识别模型可基于该调整信息确定对输入图像的调整方式。

在一个实施中，图像处理设备在将该调整信息输入到第二识别模型时，还将进一步输入该攻击图像的调整图像，那么该第二模型则可按照该调整信息对该攻击图像进行调整，得到该基准图像的对抗图像，可以理解的是，该对抗图像和基准图像之间的相似度，相比于该攻击图像的调整图像与基准图像之间的相似度而言，该对抗图像和基准图像之间的相似度更强，那么，则可采用该基准图像和对抗图像对待测试模型（即待测试的识别模型）进行测试处理，如果该待测试模型能对该基准图像和对抗图像进行区分，则说明该待测试模型的识别精准度较高，而如果该待测试模型无法对基准图像和对抗图像进行区分，则说明该待测试模型的识别精准度较低，也就需要对该待测试模型重新进行训练，直至该待测试模型能对该基准图像和对抗图像进行区分为止，基于生成与基准图像的相似度较高的对抗图像对待测试模型的识别能力的测试，可有效发现并修复目前基于深度模型的识别系统（或识别模型）的薄弱之处，从而加快提升识别模型的识别能力。

请参见图2，是本发明实施例提出的一种图像处理方法的示意流程图，该方法可由上述的图像处理设备执行，如图2所示，该方法可包括：

s201，获取攻击图像和基准图像，并调用第一识别模型识别攻击图像的第一特征数据和基准图像的第二特征数据。

在一个实施例中，攻击图像和基准图像是用于对待测试模型进行定向攻击（impersonationattack）的图像，其中，在采用攻击图像和基准图像对待测试模型进行定向攻击时，需要先根据攻击图像生成该基准图像的对抗图像，从而可采用该对抗图像对待测试模型进行识别，并在该待测试模型将生成的对抗图像误识别为基准图像时，达到对该待测试模型进行定向攻击的目的。需要说明的是，该攻击图像和基准图像是任意两个用于指示不同特征部位的特征图像，如该攻击图像和基准图像可以是任意两个不同的脸部图像，或者，也可以是任意两个不同的指纹图像，或者，还可以是任意两个不同的瞳孔图像等，在本发明实施例中，主要以该攻击图像和基准图像是两个不同的脸部图像为例进行详细说明，在该攻击图像和基准图像是其他特征图像时，可参见本发明实施例。

该图像处理设备是根据输入的样本图像组获取得到该攻击图像和基准图像的，其中，该样本图像组包括第一样本图像和第二样本图像，其中，该第一样本图像和第二样本图像是不同的两张图像，在将该第一样本图像和第二样本图像输入到图像处理设备时，可预先为该第一样本图像和第二样本图像添加身份编号，如为该第一样本图像添加的身份（identify，id）编号为id1，为第二样本图像添加的身份编号为id2，那么在将该第一样本图像和第二样本图像输入到图像处理设备后，该图像处理设备则可基于样本图像对应身份编号的差异，确定相应的样本图像为不同图像。该图像处理设备在获取到样本图像组后，为了使得图像处理设备后续可调用第一识别模型快速且精准地提取出输入的样本图像的特征数据，那么，该图像处理设备则可在获取到输入的样本图像组后，先对输入的样本图像组包括的第一样本图像和第二样本图像中的人脸进行关键点检测和配准，从而可使得该图像处理设备可从输入的样本图像组中获取出第一样本图像的人脸图像，并从输入的第二样本图像中获取出人脸图像，那么进一步地，该图像处理设备则可将从第一样本图像中抠出的人脸图像，以及将从第二样本图像中抠出的人脸图像，分别确定出获取的攻击图像和基准图像。

在一个实施例中，该第一识别模型也可称之为fr-net1模型（一种用于对人脸图像进行特征识别的模型），该第一识别模型例如可以是irse50（一种人脸识别模型），移动端人脸算法模型（mobile_face），facenet（一种人脸检测和比较的识别模型），而该图像处理设备在获取到样本图像组后，并在对该样本图像组包括的第一样本图像和第二样本图像中的人脸进行关键点检测和配准时，可基于该第一样本图像和第二样本图像中的人脸五官所在的坐标进行检测和配准。具体地，该图像处理设备可通过相应的算法对第一样本图像和第二样本图像中人脸五官所在的图像坐标位置进行检测，进而可基于该算法返回的五官的坐标，将第一样本图像和第二样本图像中的人脸图像抠出，可以理解的是，将该第一样本图像和第二样本图像中的人脸抠出，即是仅保留该第一样本图像和该第二样本图像中的人脸部分，而删除该第一样本图像和第二样本图像中的其他部分，如手部图像，或者环境图像等。如图3所示，由301标记的图像是输入到图像处理设备的样本图像，由于该图像处理设备仅需要将样本图像中的人脸图像抠出并输入到第一识别模型中，那么该图像处理设备在将由301标记的图像的人脸抠出后的图像，可如图3中由302标记的图像所示。

此外，该图像处理设备将第一样本图像和第二样本图像中的人脸图像抠出后，在基于该抠出的人脸图像确定攻击图像和基准图像时，该图像处理设备可将该第一样本图像对应抠出的人脸图像，以及该第二样本图像对应抠出的人脸图像的尺寸调整为相同的尺寸，并将调整为的相同尺寸的人脸图像作为攻击图像和基准图像，其中，调整为的相同尺寸例如可以是112毫米*112毫米的大小等，可以理解的是，基于对抠出的人脸图像的调整，可保证该图像处理设备获取到相同尺寸的攻击图像和基准图像，而尺寸的一致，也就说明相应图像的图像分辨率一致，那么也就使得该图像处理设备在后续调用第一识别模型对该攻击图像和基准图像的特征数据进行提取时，不会由于获取到的攻击图像和基准图像的尺寸问题而出现特征数据提取出错的问题。在一个实施例中，该图像处理设备在获取到攻击图像和基准图像后，并在调用第一识别模型获取到攻击图像的第一特征数据和基准图像的第二特征数据后，则可根据第一特征数据和第二特征数据之间的特征差异，对攻击图像进行调整，即转而执行步骤s202。

s202，根据第一特征数据和第二特征数据之间的特征差异，确定针对攻击图像的调整信息，并采用调整信息对攻击图像进行调整得到攻击图像的调整图像；攻击图像的调整图像和基准图像之间的相似度大于相似度阈值。

在图像处理设备根据攻击图像的第一特征数据，以及基准图像的第二特征数据对攻击图像进行调整以得到该攻击图像的调整图像时，可采用白盒攻击的思路生成该攻击图像的调整图像，其中，白盒攻击是指已知被攻击模型（如该第一识别模型）的内部参数和结构，从而可根据被攻击模型已知的内部参数和结构返回调整信息，并基于该调整信息对该攻击图像进行调整。具体地，如果该第一识别模型的内部参数和结构已知，那么在获取到第一特征数据和第二特征数据后，在根据白盒攻击的思想确定攻击图像的调整图像时，可根据该第一特征数据和第二特征数据计算对抗攻击损失，进而可通过后向传播获取该第一识别模型针对该对抗损失的下降调整梯度，其中，返回的用于调整抗损失，以使对抗损失下降的调整梯度即是针对该攻击图像的调整信息，然后该图像处理设备则可利用该梯度对攻击图像进行调整，从而得到该攻击图像的调整图像。在一个实施例中，由于该对抗损失是根据第一特征数据和第二特征数据计算得到的，那么该对抗损失可用于反应改第一特征数据和第二特征数据的特征差异，那么也就可以理解，该图像处理设备通过调整对抗损失，以使该对抗损失不断下降的过程，即可使得第一特征数据和第二特征数据不断接近，从而使得攻击图像和基准图像之间的相似程度越来越高。

在另一种实施方式中，该图像处理设备在对攻击图像进行调整，还可采用黑盒攻击的思路生成该攻击图像的调整图像时，其中，黑盒攻击是指被攻击模型（如上述的第一识别模型）内部参数和结构未知，从而可根据某种优化迭代策略，对攻击图像进行迭代调整，进而得到该攻击图像的调整图像。在图像处理设备未知第一识别模型的内部参数和结构时，在对该攻击图像进行迭代调整时，可对该攻击图像进行随机迭代调整，并在随机调整后的攻击图像和基准图像之间的相似度大于相似度阈值时，则停止对该攻击图像的随机迭代调整，并进而将停止该随机迭代调整时对应的调整图像，作为该攻击图像的调整图像。在一个实施例中，该图像处理设备在对该攻击图像进行调整时，是通过调整该攻击图像的像素进行的，而为了实现对攻击图像的像素的调整，该图像处理设备可为该攻击图像添加相应的噪声信息，那么添加了噪声信息的攻击图像即是该攻击图像对应的调整图像。

在一个实施例中，由于该图像处理设备在对攻击图像进行调整时，确定了针对该攻击图像的调整信息，那么其他识别设备则可基于该调整信息，确定出调整得到与基准图像之间的相似度大于相似度阈值的调整方式，也就是说，根据第一识别图像确定出的调整信息，可教会其他识别设备对图像进行调整的方式，那么，也就使得该图像处理设备确定的针对攻击图像的调整信息具备一定的迁移性，即该图像处理设备在确定出针对攻击图像的调整信息后，可将该调整信息发送给其他识别模型（如第二识别模型），并使得其他识别模型学习到输入图像的调整方式，即转而执行步骤s203。

s203，调用第二识别模型对调整信息，攻击图像的调整图像，以及基准图像进行识别处理，得到基准图像的对抗图像。

在图像处理设备确定出第一识别模型用于该对抗图像进行调整的调整信息后，该图像处理设备可将调整信息输入第二识别模型，以使该第二识别模型获取到第一识别模型生成对抗图像的调整图像的方式，此外，该图像处理设备还可将攻击图像的调整图像，以及基准图像输入到该第二识别模型中进行识别处理，从而可使得该图像处理设备获取到该基准图像的对抗图像，其中，该图像处理设备获取到的基准图像的对抗图像即是该第二识别模型的输出图像。在具体实现中，图像处理设备在调用第二识别模型对调整信息，攻击图像的调整图像，以及基准图像进行识别处理，并得到基准图像的对抗图像时，该图像处理设备可根据该调整信息对该攻击图像的调整图像进行调整，从而可将按照该调整信息对调整图像进行调整后的图像，作为该基准图像的对抗图像。可以理解的是，由于该调整图像和基准图像之间的相似度是大于等于相似度阈值的，也就是说，该调整图像和基准图像之间本就是相似度很高的图像，而该调整信息记录的又是如何将输入的图像（如该调整图像）调整为与该基准图像的相似度较高的图像，所以，在图像处理设备获取到该调整图像后，通过将该调整图像进一步输入到第二识别模型中进行训练，可进一步提高该调整图像和基准图像之间的相似度，降低该调整图像和基准图像之间的差异性。

本发明实施例所提出的不同图像之间的差异性，是指识别模型对不同图像进行识别时所参考的数据特征的差异大小，而不是指人眼能观察到的图像之间的差异，其中，该识别模型对图像进行识别提取出的特征数据可以用特征向量进行表示，那么特征数据之间的特征差异性也就是两个不同的特征向量之间的差异性。在一个实施例中，两个特征向量之间的差异性，可以由这两个特征向量进行余弦计算得到的余弦值确定出，或者，也可以由这两个特征向量进行正弦计算得到的正弦值确定出，或者，也可采用其他的差异算法确定出两个特征向量的差异，可以理解的是，基于两个特征向量进行余弦计算得到的余弦值越大，说明相应两个特征向量之间的差距也就越大，而计算得到的余弦值越小，则说明相应两个特征向量之间的差距越小。

请参见图4，是本发明实施例提出的一种图像处理方法的示意流程图，如图4所示，该方法可包括：

s401，获取攻击图像和基准图像，并调用第一识别模型识别攻击图像的第一特征数据和基准图像的第二特征数据。

在一个实施例中，步骤s401的具体实施方式可参见上述实施例中步骤s201的描述，本发明实施例不再赘述。

s402，根据第一特征数据和第二特征数据之间的特征差异，确定针对攻击图像的调整信息，并采用调整信息对攻击图像进行调整得到攻击图像的调整图像；攻击图像的调整图像和基准图像之间的相似度大于相似度阈值。

s403，调用第二识别模型对调整信息，攻击图像的调整图像，以及所述基准图像进行识别处理，得到基准图像的对抗图像。

在步骤s402和步骤s403中，图像处理设备在调用第一识别模型获取到该攻击图像的第一特征数据和基准图像的第二特征数据后，则可基于该第一特征数据和第二特征数据之间的特征差异对该攻击图像进行调整。在一个实施例中，该第一识别模型输出的攻击图像的第一特征数据可由第一特征向量f11进行表示，该第一识别模型输出的基准图像的第二特征数据可由第二特征向量f12进行表示，那么，该图像处理设备在基于第一特征数据和第二特征数据之间的特征差异对攻击图像进行调整，即是基于第一特征向量f11和第二特向量f12之间的差异对攻击图像进行调整，具体地，该图像处理设备可先计算第一特征向量f11和第二特向量f12之间的余弦值，并将计算得到的余弦值作为损失函数进行训练，即采用第一识别模型生成与基准图像相似的调整图像的过程，即是对由该第一特征向量f11和第二特向量f12计算得到的余弦损失cos_loss_（f11，f12）不断进行调整的过程。可以理解的是，由该第一特征向量f11和第二特征向量f12计算得到的余弦损失cos_loss_（f11，f12）的值越小，说明第一特征数据和第二特征数据之间的特征差异也就越小，那么，该图像处理设备即可不断缩小余弦损失cos_loss_（f11，f12）的值，并在该余弦损失cos_loss_（f11，f12）的值取得最小值时，根据最小余弦损失的取值确定攻击图像的调整图像。

在一个实施例中，图像处理设备在调整余弦损失cos_loss_（f11，f12）的值，以取得最小余弦损失时，可通过后向传播计算针对该余弦损失的调整梯度，从而可基于该调整梯度对攻击图像的像素值进行调整，并保持基准图像的像素值不变，进而则可将修改后的攻击图像和保持像素不变的基准图像，再次输入到第一识别模型，并计算重新识别得到的特征数据之间的特征差异，可以理解的是，基于修改后的攻击图像的特征数据，与保持像素不变的基准图像的特征数据之间的特征差异将变小，也就是说，按照该调整梯度对攻击图像进行不断地迭代修改，将使得修改后的攻击图像和基准图像之间的相似程度会不断变大，而与该基准图像之间的相似程度该与相似度阈值τ时，该图像处理设备可认为此时对应的调整后的攻击图像，为该攻击图像的调整图像。

在一个实施例中，图像处理设备在计算得到第一特征向量f11和第二特征向量f12之间的余弦损失cos_loss_（f11，f12）后，对余弦损失cos_loss_（f11，f12）的值进行调整的调整梯度是根据第一识别模型的模型结构确定的，根据第一识别模型的模型结构，该图像处理设备可确定出对余弦损失cos_loss_（f11，f12）进行调整，以使余弦损失cos_loss_（f11，f12）的值不断减小的调整梯度。那么，图像处理设备在根据第一特征数据和第二特征数据之间的特征差异，确定针对攻击图像的调整信息时，可先获取用于计算特征差异的损失函数（如上述的余弦损失），并进而可采用该损失函数计算第一特征数据和第二特征数据之间的特征差异值（如上述的余弦损失的值），在确定出该第一特征数据和第二特征数据之间的特征差异值后，该图像处理设备可根据第一识别模型的模型结构，确定对特征差异值进行调整时的调整梯度，并按照调整梯度对第一特征数据进行调整，得到调整后的第一特征数据，从而可根据调整后的第一特征数据和第二特征数据，确定为攻击图像添加的目标噪声信息，目标噪声信息为针对攻击图像的调整信息。那么，在图像处理设备按照调整梯度对第一特征数据和第二特征数据进行调整，得到调整后的第一特征数据时，则可按照该调整梯度对第一特征数据进行调整，并在该特征差异值（如上述的余弦损失的值）取得最小差异值时，将取得最小差异值时的第一特征数据作为调整后的第一特征数据。

在一个实施例中，该第一识别模型可以是单个的识别模型，或者该第一识别模型也可以是由两个或两个以上的模型关联得到的，其中，若第一识别模型是由第一关联模型和第二关联模型进行联合后得到的，第一关联模型中用于计算特征差异的损失函数为第一损失函数，第二关联模型中用于计算特征差异的损失函数为第二损失函数。那么，该图像处理设备在采用损失函数计算第一特征数据和第二特征数据之间的特征差异值时，可根据第一特征数据和第二特征数据确定第一损失函数的函数值，并根据第一特征数据和第二特征数据确定第二损失函数的函数值，进而该图像处理设备可确定第一损失函数的函数值与第二损失函数的函数值之间的函数均值，并将函数均值作为第一特征数据和第二特征数据之间的特征差异值，在一个实施例中，该第一关联模型中的第一损失函数和该第二关联模型中的第二损失函数可以为同一算法（如上述的余弦损失）进行计算，或者，该第一关联模型中的第一损失函数和该第二关联模型中的第二损失函数也可以采用不同的算法计算进行计算的。在图像处理设备确定出第一损失函数的函数值与第二损失函数的函数值之后，计算该第一损失函数的函数值与第二损失函数的函数值之间的函数均值时，可采用算术平均的方式计算该第一损失函数的函数值与第二损失函数的函数值之间的函数均值，或者，也可采用加权平均的方式计算，在本发明实施例中，对计算两个或多个损失函数的函数值之间的函数均值的方式不做限定。

在一个实施例中，在图像处理设备根据特征数据之间的特征差异，以及确定的针对攻击图像的调整信息对该攻击图像进行调整，得到该攻击图像的调整图像后，则可根据该调整信息对攻击图像进行调整，并得到该攻击图像的调整图像，那么，该图像处理设备在得到攻击图像的调整图像后，则可进一步调用第二识别模型生成该基准图像的对抗图像。具体地，该图像处理设备可调用第二识别模型对攻击图像的调整图像进行识别处理，得到调整图像的特征数据；那么该图像处理设备可进一步地按照调整信息对调整图像的特征数据进行调整处理，并根据调整后的调整图像的特征数据生成基准图像的对抗图像。其中，在该第一识别模型分别包括第一关联模型和第二关联模型时，可参见图5对该图像处理设备生成该基准图像的对抗图像的过程进行详细说明，具体地，该图像处理设备可具体执行如下步骤：

1）将对应图像标识为id1和id2的样本图像输入到第一识别模型（包括第一联合模型fr-net1和第二联合模型fr-net2），其中，输入到第一识别模型的样本图像分别作为攻击图像和基准图像，那么，该第一识别模型中的第一联合模型将对该攻击图像和基准图像进行识别处理，并输出该攻击图像的第一特征数据（假设表示为f11），并输出该基准图像的第二特征数据（假设表示为f12），同样的，该第一识别模型中的第二联合模型也将对该攻击图像和基准图像进行识别处理，并输出该攻击图像的第一特征数据（假设表示为f21），并输出该基准图像的第二特征数据（假设表示为f22）。

根据每个联合模型输出的攻击图像的第一特征数据和基准图像的第二特征数据，图像处理设备可分别计算每个联合模型输出的两个特征数据之间的特征差异，如计算由第一联合模型得到的特征数据之间的特征差异可以表示为cos_loss_1，并可计算由第二联合模型得到的特征数据之间的特征差异可以表示为cos_loss_2，其中，cos_loss_1具体为cos_loss_（f11，f12），cos_loss_2具体为cos_loss_（f21，f22）。

2）在图像处理设备分别计算得到第一联合模型得到的特征数据之间的特征差异cos_loss_1，以及第二联合模型得到的特征数据之间的数据差异cos_loss_2后，该图像处理设备可进一步计算cos_loss_1和cos_loss_2之间的损失均值，然后可调用后向传播操作计算损失均值对应的调整梯度，并运用该调整梯度对攻击图像进行更新，以达到定向攻击目的。

3）根据该调整梯度对攻击图像的更新，可将该攻击图像更新为调整图像，若该调整图像记为id1*，那么该图像处理设备进一步地可将调整图像id1*再次和基准图像id2一起输入到第二识别模型fr-net3中进行对抗样本的训练，最后得到基准图像的对抗图像，其中，生成的基准图像的对抗图像可由id1**进行标记。

4）在整个训练流程中，图像处理设备将会不断的交换三个识别模型之间的顺序，即每个模型都有可能被作为fr-net3去训练id1**，从而使得基准图像的对抗图像和基准图像之间的差异性不断减小，达到最优的攻击效果。

在一个实施例中，如果该第一识别模型的模型结构为未知的模型结构，那么，图像处理设备在根据第一特征数据和第二特征数据之间的特征差异，确定针对攻击图像的调整信息时，还可为攻击图像添加随机噪声信息，并调用第一识别模型识别添加了随机噪声信息的攻击图像的参考特征数据，从而使得该图像处理设备可根据参考特征数据和第二特征数据之间的特征差异，确定针对攻击图像的调整信息。具体地，该图像处理设备可先获取用于计算特征差异的损失函数（如上述的余弦损失），并采用损失函数计算参考特征数据和第二特征数据之间的特征差异值，进而可获取使特征差异值取得最小值时的目标噪声信息，并将目标噪声信息作为针对攻击图像的调整信息。

在图像处理设备得到基准图像的对抗图像后，该图像处理设备则可基于该基准图像和该基准图像的对抗图像对待测试模型进行模型训练，以得到该待测试模型的识别精准度，即转而执行步骤s404。

s404，调用待测试模型对基准图像和基准图像的对抗图像分别进行识别处理，得到识别结果。

s405，根据识别结果确定待测试模型的识别精准度。

在步骤s404和步骤s405中，该待测试模型可以是上述的第一识别模型或第二识别模型，或者，该待测试模型也可以是除上述的第一识别模型和第二识别模型之外的其他识别模型。在该图像处理设备基于该基准图像和该基准图像的对抗图像，对待测试模型进行测试时，可将该基准图像和该基准图像的对抗图像输入到待测试模型中，得到该待测试模型对该基准图像和对抗图像进行识别处理的识别结果，其中，若该识别结果指示该待测试模型将基准图像和基准图像的对抗图像识别为同一图像，则确定待测试模型的识别精准度低于预设精准度；或者，若该识别结果指示该待测试模型将基准图像和基准图像的对抗图像识别为不同图像，则确定待测试模型的识别精准度大于等于预设精准度。

在一个实施例中，在确定该待测试模型的识别精准度大于等于预设精准度时，说明该待测试模型被对抗攻击成功的概率较低，也就可将该待测试模型投入到实际产品中进行使用，而如果该待测试模型的识别精准度低于预设精准度，则说明该待测试模型存在较高的被对抗攻击成功的风险，那么则需要对该待测试模型重新进行模型训练，直至该待测试模型能对基准图像和该基准图像的对抗图像进行区分识别为止。具体地，在对该待测试模型重新进行模型训练时，可采用将该基准图像和基准图像的对抗图像分别标注为不同图像输入到该待测试模型中，从而可使得该待测试模型基于基准图像的标识和对抗图像的标识，对该待测试模型进行训练，如果重新训练后的待测试模型能对该基准图像和对抗图像进行区分，则停止训练，并将重新训练后的待测试模型应用到实际的产品中。通过对基准图像和该基准图像的对抗图像对待测试模型的识别精准度的测试，可有效识别该待测试模型的识别能力，进而可实现对待测试模型的识别能力的有效提升。

在本发明实施例中，图像处理设备在获取到攻击图像和基准图像后，可先调用第一识别模型确定出该攻击图像的第一特征数据，以及基准图像的第二特征数据，进而可基于该第一特征数据和该第二特征数据之间的特征差异，获取得到该攻击图像的调整信息，并按照该调整信息得到该攻击图像的调整图像。在图像处理设备得到攻击图像的调整图像后，可进一步基于该调整信息对调整图像进行调整，得到该基准图像的对抗图像，并进而采用得到的对抗图像和基准图像对待测试模型的识别精准度进行识别处理，该图像处理设备通过把不同的识别模型看作是一个个独立的域，然后通过在已有的多模型（即多个独立域）联合训练得到的对抗样本作为先验去指导未知人脸识别模型上对抗样本的学习。这样，最终获取的对抗样本不仅可以大大提升生成的对抗图像的攻击迁移性，还能够避免查询次数过多的缺陷，从而达到生成高迁移性对抗样本的目的，那么基于高迁移性的对抗样本的生成，有助于提升对待测试模型的识别精准度的确定速度，进而提升对待测试模型的优化效率。

基于上述图像处理方法实施例的描述，本发明实施例还提出了一种图像处理装置，该图像处理装置可以是运行于上述图像处理设备中的一个计算机程序（包括程序代码）。该图像处理装置可用于执行如图2和图4所述的图像处理方法，请参见图6，该图像处理装置包括：获取单元601，识别单元602，确定单元603和调整单元604。

获取单元601，用于获取攻击图像和基准图像；

识别单元602，用于调用第一识别模型识别所述攻击图像的第一特征数据和所述基准图像的第二特征数据；

确定单元603，用于根据所述第一特征数据和所述第二特征数据之间的特征差异，确定针对所述攻击图像的调整信息；

调整单元604，用于采用所述调整信息对所述攻击图像进行调整得到所述攻击图像的调整图像；所述攻击图像的调整图像和所述基准图像之间的相似度大于相似度阈值；

所述识别单元602，还用于调用第二识别模型对所述调整信息，所述攻击图像的调整图像，以及所述基准图像进行识别处理，得到所述基准图像的对抗图像。

在一个实施例中，所述识别单元602，还用于调用待测试模型对所述基准图像和所述基准图像的对抗图像分别进行识别处理，得到识别结果；

所述确定单元603，还用于根据所述识别结果确定所述待测试模型的识别精准度。

在一个实施例中，所述确定单元603，具体用于：

若所述识别结果指示所述待测试模型将所述基准图像和所述基准图像的对抗图像识别为同一图像，则确定所述待测试模型的识别精准度低于预设精准度；

若所述识别结果指示所述待测试模型将所述基准图像和所述基准图像的对抗图像识别为不同图像，则确定所述待测试模型的识别精准度大于等于预设精准度。

在一个实施例中，若已知所述第一识别模型的模型结构；所述确定单元603，具体用于：

获取用于计算特征差异的损失函数，并采用所述损失函数计算所述第一特征数据和所述第二特征数据之间的特征差异值；

根据所述第一识别模型的模型结构，确定对所述特征差异值进行调整时的调整梯度，并按照所述调整梯度对所述第一特征数据进行调整，得到调整后的第一特征数据；

根据所述调整后的第一特征数据和所述第二特征数据，确定为所述攻击图像添加的目标噪声信息，所述目标噪声信息为针对所述攻击图像的调整信息。

在一个实施例中，所述调整单元604，具体用于：

按照所述调整梯度对所述第一特征数据进行调整，并在所述特征差异值取得最小差异值时，将取得所述最小差异值时的第一特征数据作为调整后的第一特征数据。

在一个实施例中，若所述第一识别模型是由第一关联模型和第二关联模型进行联合后得到的，所述第一关联模型中用于计算特征差异的损失函数为第一损失函数，所述第二关联模型中用于计算特征差异的损失函数为第二损失函数；所述调整单元604，具体用于：

根据所述第一特征数据和所述第二特征数据确定所述第一损失函数的函数值，并根据所述第一特征数据和所述第二特征数据确定所述第二损失函数的函数值；

确定所述第一损失函数的函数值与所述第二损失函数的函数值之间的函数均值，并将所述函数均值作为所述第一特征数据和所述第二特征数据之间的特征差异值。

在一个实施例中，若所述第一识别模型的模型结构为未知结构；所述确定单元603，具体用于：

为所述攻击图像添加随机噪声信息，并调用所述第一识别模型识别添加了所述随机噪声信息的攻击图像的参考特征数据；

根据所述参考特征数据和所述第二特征数据之间的特征差异，确定针对所述攻击图像的调整信息。

在一个实施例中，所述确定单元603，具体用于：

获取用于计算特征差异的损失函数，并采用所述损失函数计算所述参考特征数据和所述第二特征数据之间的特征差异值；

获取使所述特征差异值取得最小值时的目标噪声信息，并将所述目标噪声信息作为针对攻击图像的调整信息。

在一个实施例中，所述调整单元604，具体用于：

调用所述第二识别模型对所述攻击图像的调整图像进行识别处理，得到所述调整图像的特征数据；

按照所述调整信息对所述调整图像的特征数据进行调整处理，并根据调整后的调整图像的特征数据生成所述基准图像的对抗图像。

在本发明实施例中，获取单元601可在获取到攻击图像和基准图像后，识别单元602可调用第一识别模型分别对该攻击图像和基准图像进行识别处理，得到该攻击图像对应的第一特征数据，以及该基准图像对应的第二特征数据，进一步地，确定单元603可根据该第一特征数据和第二特征数据之间的特征差异，确定对该攻击图像的调整信息，使得调整单元604采用该调整信息对该攻击图像进行调整，得到该攻击图像的调整信息后，则从而可将该调整信息作为先验知识指导第二识别模型，以使第二识别模型根据该调整信息生成基准图像的对抗图像，那么也就使得获取到的基准图像的对抗图像，与该基准图像之间的相似度更加靠近，从而可提升图像处理设备获取得到的对抗图像的满意度，而且，通过先采用第一识别模型生成调整图像过程中学习到的调整信息，来对第二识别模型生成对抗图像进行指导，可避免生成的对抗图像和识别模型过拟合的问题，可提升生成的对抗图像的适用性。

请参见图7，是本发明实施例提供的一种图像处理设备的结构示意性框图。如图7所示的本实施例中的图像处理设备可包括：一个或多个处理器701；一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行所述存储器704存储的程序指令。

所述存储器704可以包括易失性存储器（volatilememory），如随机存取存储器（random-accessmemory，ram）；存储器704也可以包括非易失性存储器（non-volatilememory），如快闪存储器（flashmemory），固态硬盘（solid-statedrive，ssd）等；存储器704还可以包括上述种类的存储器的组合。

所述处理器701可以是中央处理器（centralprocessingunit，cpu）。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（application-specificintegratedcircuit，asic），可编程逻辑器件（programmablelogicdevice，pld）等。该pld可以是现场可编程逻辑门阵列（field-programmablegatearray，fpga），通用阵列逻辑（genericarraylogic，gal）等。所述处理器701也可以为上述结构的组合。

本发明实施例中，所述存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器704存储的程序指令，用来实现上述如图2和图4中相应方法的步骤。