图像在线处理方法、装置、电子设备和计算机可读介质与流程

本公开的实施例涉及对抗防御，具体涉及图像在线处理方法、装置、电子设备和计算机可读介质。

背景技术：

1、近年来的研究表明，基于数据训练得到的ai(artificial intelligence，人工智能)模型容易遭受对抗性攻击，导致模型决策出现偏差。对抗性攻击即使用对抗样本对模型进行欺骗。对抗样本一般是指在模型输入样本中添加细微扰动干扰而恶意输入的样本。在不容易被人类察觉的情况下，导致模型做出错误决策。针对模型的对抗样本问题，目前主要以下有三类防御方法：一是输入预处理防御；二是对抗训练；三是特异性防御方法。

2、输入预处理一般是在样本输入模型前，对样本进行一定的处理，达到消除样本中的对抗性扰动的目的。对抗训练通常是一种较为直观的对抗样本防御方法，其主要的思路是将对抗样本和正常样本同时作为训练数据对模型进行训练，使得模型具备主动防御对抗攻击的能力。特异性防御方法与以上两类方法的不同之处在于，针对防御的改造与模型的特点相关。这类防御方法一般通过优化模型结构或算法，来增强对对抗性攻击的防御能力。

3、然而，发明人发现，对于处于线上对抗环境下的模型，上述防御方法都存在一定的问题，不太适用于实时性要求较高，对抗攻击手段不断变化的线上场景。

4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了图像在线处理方法、装置、电子设备、计算机可读介质和计算机程序产品，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种图像在线处理方法，包括：响应于检测到图像输入操作，通过识别模型，确定图像输入操作所指示的目标图像是否为对抗图像，其中，识别模型采用对抗训练得到；响应于确定目标图像不是对抗图像，输出目标图像；通过异常检测模型，对输出的目标图像进行检测，其中，异常检测模型用于检测输入的图像是否为异常图像，基于正向样本图像训练得到；响应于确定目标图像为异常图像，对目标图像进行拦截处理。

4、在一些实施例中，该方法还包括：将拦截到的目标图像作为对抗样本图像，得到对抗样本图像集；基于对抗样本图像集，对识别模型进行更新。

5、在一些实施例中，基于对抗样本图像集，对识别模型进行更新，包括：从识别模型的历史训练数据中选取部分训练数据，其中，历史训练数据中包括历史正向样本图像和历史对抗样本图像；根据对抗样本图像集和选取的历史训练数据，采用增量学习方法，对识别模型进行更新。

6、在一些实施例中，异常检测模型通过以下方法训练得到：提取正向样本图像的显著图；将提取的显著图作为自编码器的输入，通过半监督的训练方式，对自编码器进行训练，以及将训练完成的自编码器，确定为异常检测模型。

7、在一些实施例中，将提取的显著图作为自编码器的输入，通过半监督的训练方式，对自编码器进行训练，包括：对输入的显著图进行编码，得到降维特征；通过对称网络结构，对降维特征进行解码和重建，输出重建显著图；确定输入的显著图与重建显著图之间的距离，以作为损失函数的值，以及根据损失函数的值与预设阈值之间的比较结果，确定自编码器是否训练完成。

8、在一些实施例中，用于识别模型的对抗训练的初始对抗样本图像，通过以下方法得到：根据用于识别模型的对抗训练的初始正向样本图像，通过预设攻击算法，生成用于识别模型的对抗训练的初始对抗样本图像，其中，预设攻击算法包括以下至少一项：快速梯度算法、投影梯度下降法、基于优化的攻击方式。

9、在一些实施例中，响应于确定目标图像不是对抗图像，输出目标图像，包括：响应于在即时通讯应用的交流页面中检测到图像输入操作，在确定目标图像不是对抗图像的情况下，在交流页面中显示目标图像；以及对目标图像进行拦截处理，包括：将目标图像在交流页面中去除，以及在交流页面中显示提示信息，其中，提示信息用于表征图像无法显示。

10、在一些实施例中，该方法还包括：响应于确定目标图像是对抗图像，对目标图像进行拦截处理。

11、第二方面，本公开的一些实施例提供了一种图像在线处理装置，包括：识别单元，被配置成响应于检测到图像输入操作，通过识别模型，确定图像输入操作所指示的目标图像是否为对抗图像，其中，识别模型采用对抗训练得到；输出单元，被配置成响应于确定目标图像不是对抗图像，输出目标图像；检测单元，被配置成通过异常检测模型，对输出的目标图像进行检测，其中，异常检测模型用于检测输入的图像是否为异常图像，基于正向样本图像训练得到；拦截单元，被配置成响应于确定目标图像为异常图像，对目标图像进行拦截处理。

12、在一些实施例中，该装置还包括更新单元，被配置成将拦截到的目标图像作为对抗样本图像，得到对抗样本图像集；基于对抗样本图像集，对识别模型进行更新。

13、在一些实施例中，更新单元进一步被配置成从识别模型的历史训练数据中选取部分训练数据，其中，历史训练数据中包括历史正向样本图像和历史对抗样本图像；根据对抗样本图像集和选取的历史训练数据，采用增量学习方法，对识别模型进行更新。

14、在一些实施例中，该装置还包括异常检测模型训练单元，被配置成提取正向样本图像的显著图；将提取的显著图作为自编码器的输入，通过半监督的训练方式，对自编码器进行训练，以及将训练完成的自编码器，确定为异常检测模型。

15、在一些实施例中，异常检测模型训练单元还被配置成对输入的显著图进行编码，得到降维特征；通过对称网络结构，对降维特征进行解码和重建，输出重建显著图；确定输入的显著图与重建显著图之间的距离，以作为损失函数的值，以及根据损失函数的值与预设阈值之间的比较结果，确定自编码器是否训练完成。

16、在一些实施例中，该装置还包括初始对抗样本图像生成单元，被配置成根据用于识别模型的对抗训练的初始正向样本图像，通过预设攻击算法，生成用于识别模型的对抗训练的初始对抗样本图像，其中，预设攻击算法包括以下至少一项：快速梯度算法、投影梯度下降法、基于优化的攻击方式。

17、在一些实施例中，输出单元进一步被配置成响应于在即时通讯应用的交流页面中检测到图像输入操作，在确定目标图像不是对抗图像的情况下，在交流页面中显示目标图像；以及拦截单元进一步被配置成将目标图像在交流页面中去除，以及在交流页面中显示提示信息，其中，提示信息用于表征图像无法显示。

18、在一些实施例中，拦截单元还被配置成响应于确定目标图像是对抗图像，对目标图像进行拦截处理。

19、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面中任一实现方式所描述的方法。

20、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述第一方面中任一实现方式所描述的方法。

21、第五方面，本公开的一些实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面中任一实现方式所描述的方法。

22、本公开的上述各个实施例具有如下有益效果：本公开的一些实施例的图像在线处理方法，在提高模型对抗防御能力的同时，可以保证模型的处理时效，满足线上场景的使用需求。具体地，首先，虽然输入预处理是一种较为简单直接的思路，可以不修改原模型达到防御对抗样本的目的。但是通常会增加模型识别、分类全流程的耗时。尤其对于实时性要求高的场景，增加额外耗时的方法往往是不能接受的。其次，虽然对抗训练是目前公认较为有效的对抗样本防御方法，但仍存在一定缺陷。即对抗训练是一次性训练，目前尚不存在一种对抗训练方法可以使模型覆盖所有的决策漏洞。尤其对于线上对抗环境下的模型，模型在对抗训练后仍然会存在可被攻击的可能。另外，特异性方法一类的防御手段一般是针对某个或某些场景的特点专门设计的，因此其天然存在的问题就是不通用，使用场景受限，或者在一些场景防御效果好，而针对其他场景的防御效果较差。因此特异性防御方法一般不独立作为完整的对抗样本防御方案，而是与其他防御方法相结合才能真正达到防御的目的。

23、基于此，本公开的一些实施例的图像在线处理方法，通过两方面的措施增强对对抗样本的防御能力：一方面通过对抗训练增强模型的防御能力，在一般的识别流程中发现对抗样本，并进行前置的拦截处理。即通过识别模型，确定图像输入操作所指示的目标图像是否为对抗图像。其中，识别模型是采用对抗训练得到的。另一方面，在一般的识别流程后增加对抗样本检测流程，识别对抗样本并进行后置处理。即通过异常检测模型，对输出的目标图像进行检测。若确定目标图像为异常图像，则对目标图像进行拦截处理。

24、在这里，前置处理能够第一时间对攻击样本进行处理，防止其对正常的业务逻辑造成影响，但其允许的处理时间较短。同时，基于对抗训练的方法不能防御未经过训练学习的新对抗样本的攻击。而后置处理可以允许较长时间的识别逻辑，对突破第一层模型的对抗样本进行补救拦截。这样前置、后置相结合，能够保证最大程度地拦截对抗样本，同时不会增加一般识别流程的耗时。也就是说，通过双重拦截方式既可以提高图像在线处理方法的对抗防御能力，从而应对线上场景中多变的对抗攻击手段。同时可以保证图像的在线处理效率，满足线上场景的时效性要求。