一种识别对抗性图像的方法及终端与流程

本发明属于计算机技术领域，尤其涉及一种识别对抗性图像的方法及终端。

背景技术：

图像分类通常根据提取出的图像特征(如图像颜色、形状、纹理等视觉特征)来判断出图像属于预设类别中的哪一类，比如风景、人物、餐厅，礼堂等。

随着对图像分类精度要求越来越高，目前通常采用机器学习技术对图像进行分类。深度学习往往需要成千上万的样本图像训练图像分类模型，由于训练数据越好，训练效果越好，图像分类模型的分类精度越高，为了保证深度学习的效果以及确保图像分类模型能准确地进行分类，样本图像需要采用符合特定标准的图像。

然而，当样本图像或待检测的图像为恶意修改的对抗性图像时，对抗性图像会对基于机器学习的深度网神经络进行攻击，目前因无法识别对抗性图像，从而导致图像分类模型输出的分类结果为具有高置信度的错误分类，降低了分类结果的准确度。

技术实现要素：

有鉴于此，本发明实施例提供了一种识别对抗性图像的方法及终端，以解决现有技术中，因无法识别对抗性图像，从而导致图像分类模型输出的分类结果为具有高置信度的错误分类，降低了分类结果的准确度的问题。

本发明实施例的第一方面提供了一种识别对抗性图像的方法，包括：

将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集包含的样本图像符合预设的训练要求；

将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果，确定所述目标分类结果的置信度分数；

当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

本发明实施例的第二方面提供了一种终端，包括：

检测单元，用于将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集包含的样本图像符合预设的训练要求；

确定单元，用于将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果，确定所述目标分类结果的置信度分数；

识别单元，用于当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

本发明实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集包含的样本图像符合预设的训练要求；

将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果，确定所述目标分类结果的置信度分数；

当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集包含的样本图像符合预设的训练要求；

将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果，确定所述目标分类结果的置信度分数；

当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

实施本发明实施例提供的一种识别对抗性图像的方法及终端具有以下有益效果：

本发明实施例，使用预设的图像分类模型对待检测的目标图像进行处理，得到目标图像的目标特征信息以及目标图像对应的目标分类结果，并通过knn分类器基于样本图像训练集保护的样本图像的特征信息以及已知的分类标签、目标图像的目标特征信息以及目标图像对应的目标分类结果，确定目标分类结果的置信度分数；通过目标分类结果的置信度分数识别目标图像是否属于对抗性图像，从而避免不符合训练要求的对抗性图像对图像分类模型造成干扰，提高分类准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种识别对抗性图像的方法的实现流程图；

图2是本发明另一实施例提供的一种识别对抗性图像的方法的实现流程图；

图3是本发明一实施例提供的一种终端的示意图；

图4是本发明另一实施例提供的一种终端的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参见图1，图1是本发明实施例提供的一种识别对抗性图像的方法的实现流程图。本实施例中识别对抗性图像的方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是台式电脑等。如图所示的识别对抗性图像的方法可包括：

s101：将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集中包含的样本图像符合预设的训练要求。

终端获取待检测的目标图像，目标图像可以是在训练过程中，用于训练图像分类模型的样本图像，也可以是待分类的图像，此处不做限制。

终端将获取到的目标图像输入预设的图像分类模型进行处理，提取目标图像的目标特征信息，基于目标特征信息预测目标图像所属的分类，并输出目标图像对应的目标分类结果。目标特征信息为对目标图像进行深度特征提取后得到的特征向量或图像特征信息，目标分类结果标识目标图像所属的分类类别。分类类别具体可以按物种划分，但并不限于此。

图像分类模型是通过使用机器学习算法对样本图像训练集包含的多个样本图像进行训练得到，在训练过程中，图像分类模型的输入为样本图像训练集的图像信息，图像分类模型的输出为图像样本对应的分类结果。图像样本对应的分类结果标识图像样本所属的分类类别。样本图像训练集包含的样本图像的数量可以根据实际需求进行设置，此处不做限制。样本图像训练集包含的每个样本图像符合预设的训练要求，且每个图像样本具有预先标记的已知的分类标签。样本图像符合预设的训练要求是指：样本图像训练集包含的样本图像没有经过恶意修改调整，不会对图像分类模型产生对抗性攻击，导致图像分类模型分类错误。

其中，本实施例中的图像分类模型可以包括输入层、隐含层和输出层。其中，输入层包括至少一个输入层节点，用于从外部接收输入的图像信息。隐含层包括两个以上的隐含层节点，用于对图像信息进行处理，提取图像信息的特征信息。输出层包括一个输出层节点，用于输出分类结果。

s102：将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果进行处理，得到所述目标分类结果的置信度分数。

k最邻近(k-nearestneighborclassification，knn)分类器是基于knn算法进行分类的分类器。knn算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

终端将目标图像、目标特征信息以及目标分类结果导入预设的k最邻近knn分类器。由于样本图像训练集所包含的图像符合预设的训练要求，因此，终端可以控制knn分类器基于样本图像训练集包含的每个样本图像、目标图像以及目标图像的目标图像信息，采用knn算法对目标图像进行最邻近搜索处理；基于目标图像与样本图像之间的相似度或距离值，确定与目标图像最邻近的多个最邻近图像，基于多个最邻近图像各自对应的分类标签、目标图像对应的目标分类结果，计算目标分类结果的置信度分数。

其中，终端可以通过knn分类器逐一比对样本图像与目标图像中的每个像素，在样本图像训练集中对目标图像进行最邻近搜索处理，通过比较目标图像与样本图像之间的相似度，确定与目标图像最邻近的多个最邻近图像。其中，图像样本与目标图像越相似，两者之间的相似度越高。

或者，当目标特征信息为目标图像特征向量时，终端可以基于样本图像训练集包含的每个样本图像的图像特征向量、目标图像的目标图像特征向量，计算每个图像特征向量与目标图像特征向量之间的距离值，在样本图像训练集中对目标图像进行最邻近搜索处理，确定与目标图像最邻近的多个最邻近图像。样本图像的图像特征向量可以预先通过图像分类模型提取得到。其中，图像样本与目标图像越相似，两者的图像特征向量之间的距离值越小。其中，距离值为欧氏距离值或曼哈顿距离值。

进一步地，为了提高knn分类器的处理效率，s102可以具体包括s1021～s1023。具体如下：

s1021：将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，计算所述样本图像训练集中每个样本图像与所述目标图像之间的距离值。

终端将目标图像、目标特征信息以及目标分类结果导入预设的k最邻近knn分类器，控制knn分类器基于样本图像训练集包含的每个样本图像的图像特征向量、目标图像的目标图像特征向量，计算每个图像特征向量与目标图像特征向量之间的距离值，得到样本图像训练集中每个样本图像与所述目标图像之间的距离值。

进一步地，终端可以通过预设的距离公式计算样本图像训练集中每个样本图像与目标图像之间的距离值。其中，d(x,y)为距离值，为目标图像的目标图像特征向量，为样本图像的图像特征向量。需要说明的是，d(x,y)的值越小，目标图像与样本图像越相似。

需要说明的是，终端可以还可以通过曼哈顿距离公式d(x,y)＝|x-y|，计算得到样本图像训练集中每个样本图像与目标图像之间的距离值。其中x为目标图像的目标图像特征向量，y为样本图像的图像特征向量。

需要说明的是，曼哈顿距离d(x,y)的值越小，目标图像与样本图像越相似。

s1022：基于所述距离值确定所述目标图像的至少两个最邻近图像。

终端基于每个样本图像与所述目标图像之间的距离值，在样本图像训练集中对目标图像进行最邻近搜索处理，将所有距离值按从小到大或从大到小的顺序进行排序，并基于排序后的距离值，按照距离值从小到大的顺序挑选至少两个距离值，将挑选出来的距离值对应的样本图像识别为最邻近图像。

s1023：基于每个所述最邻近图像的分类标签以及所述目标图像的目标分类结果，确定所述目标分类结果的置信度分数。

基于上述提及的knn算法的核心思想，终端在确定至少两个最近邻图像时，预测目标图像所属的分类类别为最近邻图像对应的分类标签。

终端将每个最邻近图像对应的分类标签与目标图像的目标分类结果进行比较分析，以确定目标图像的目标分类结果与最邻近图像对应的分类标签是否属于同一分类类别，并基于所有的比较结果确定目标图像的目标分类结果的置信度分数。其中，终端可以基于目标分类结果与最邻近图像对应的分类标签属于同一分类类别所占的百分比，确定目标图像的目标分类结果的置信度分数。

进一步地，为了提高评价置信度分数的准确度，s1023可以具体包括：基于每个所述最邻近图像的分类标签以及所述目标图像的目标分类结果，采用预设的公式计算所述目标分类结果的置信度分数；所述预设的公式为：

s(q,c)为置信度分数；c为所述目标分类结果，q为所述最邻近图像，ci为所述样本图像训练集中第i个样本图像的分类标签，i的取值为1到k，k为正整数；wi为所述最邻近图像对应的置信度权重；1{ci＝c}为基于所述最邻近图像的分类标签与所述目标分类结果确定的值，当所述最邻近图像的分类标签与所述目标分类结果一致时，则1{ci＝c}取值为1；当所述最邻近图像的分类标签与所述目标分类结果不一致时，则1{ci＝c}取值为0。

在本实施方式中，终端将每个最邻近图像对应的分类标签与目标图像的目标分类结果进行比较分析，确定每个最邻近图像与目标图像的置信度分数1{ci＝c}。其中，当最邻近图像的分类标签与目标分类结果一致时，则其对应的置信度分数1{ci＝c}取值为1；当最邻近图像的分类标签与目标分类结果不一致时，则其对应的置信度分数1{ci＝c}取值为0。

之后，基于上述预设的公式、每个最邻近图像与目标图像的置信度分数、每个最邻近图像对应的置信度权重，对所有的置信度分数进行加权平均运算，得到目标分类结果的置信度分数。

需要说明的是，由于当目标图像是符合训练要求的图像时，目标图像对应的目标的置信度分数分类通常较高，因此，可以基于符合训练要求的样本图像的置信度分数来设定预设的置信度分数阈值，以通过预设的置信度分数阈值判断检测图像是否符合预设的训练要求。

可选地，终端在通过预设的公式计算目标分类结果的置信度分数之前，还可以包括：确定每个所述最邻近图像对应的置信度权重。

对于每个最邻近图像对应的置信度权重wi，终端可以将将每个最邻近图像对应的置信度权重wi设置为相同的常数，也可以根据每个最邻近图像对应的距离值进行设置，距离值越小，其对应的置信度权重越大。

进一步地，在一实施方式中，确定每个所述最邻近图像对应的置信度权重的方法可以为：基于所述距离值的排序确定每个所述最邻近图像对应的置信度权重。

例如，终端可以根据每个最邻近图像与目标图像确定的距离值按从小到大的顺序，对所有最邻近图像进行排序；基于每个最邻近图像的排序编号i，设置每个最邻近图像的置信度权重设置为

进一步地，在另一实施方式中，确定每个所述最邻近图像对应的置信度权重的方法可以为：基于计算每个所述最邻近图像对应的置信度权重；其中，d(q,xi)²为所述最邻近图像与所述目标图像之间的距离值的平方。

s103：当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

终端在确定目标图像的目标分类结果的置信度分数小于或等于预设的置信度分数阈值时，判定目标图像不符合预设的训练要求，目标图像经过恶意修改，目标图像为对抗性图像，会欺骗预设的图像分类模型，进而导致预设的图像分类模型输出的目标图像的分类结果发生误判。

本发明实施例，使用预设的图像分类模型对待检测的目标图像进行处理，得到目标图像的目标特征信息以及目标图像对应的目标分类结果，并通过knn分类器基于样本图像训练集保护的样本图像的特征信息以及已知的分类标签、目标图像的目标特征信息以及目标图像对应的目标分类结果，确定目标分类结果的置信度分数；通过目标分类结果的置信度分数识别目标图像是否属于对抗性图像，从而避免不符合训练要求的对抗性图像对图像分类模型造成干扰，提高分类准确度。

请参见图2，图2是本发明另一实施例提供的一种识别对抗性图像的方法的实现流程图。本实施例中s201～s203与上一实施例中s101～s103相同，具体请参阅上一实施例中s101～s103的相关描述，此处不赘述。本实施例与图1对应的实施例的区别在于，本实施例中识别对抗性图像的方法在s203之后，还包括s204：当所述置信度分数大于所述预设的置信度分数阈值时，判定所述目标图像为非对抗性图像。

终端在确定目标图像的目标分类结果的置信度分数大于预设的置信度分数阈值时，判定目标图像符合预设的训练要求，目标图像为非对抗性图像。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

请参阅图3，图3是本发明一实施例提供的一种终端的示意图。终端包括的各单元用于执行图1～图2对应的实施例中的各步骤。具体请参阅图1～图2各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图3，终端3包括：

检测单元310，用于将待检测的目标图像输入预设的图像分类模型进行处理，得到所述目标图像的目标特征信息以及所述目标图像对应的目标分类结果；其中，所述图像分类模型是通过使用机器学习算法对样本图像训练集进行训练得到，在训练过程中，所述图像分类模型的输入为所述样本图像训练集的图像信息，所述图像分类模型的输出为所述图像样本对应的分类结果；所述样本图像训练集包含的样本图像符合预设的训练要求；

确定单元320，用于将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，基于所述样本图像训练集对所述目标图像、所述目标特征信息以及所述目标分类结果，确定所述目标分类结果的置信度分数；

识别单元330，用于当所述置信度分数小于或等于预设的置信度分数阈值时，判定所述目标图像为对抗性图像。

进一步地，确定单元包括：

距离值计算单元，用于将所述目标图像、所述目标特征信息以及所述目标分类结果导入预设的knn分类器，计算所述样本图像训练集中每个样本图像与所述目标图像之间的距离值；

筛选单元，用于基于所述距离值确定所述目标图像的至少两个最邻近图像；

置信度分数确定单元，用于基于每个所述最邻近图像的分类标签以及所述目标图像的目标分类结果，确定所述目标分类结果的置信度分数。

进一步地，置信度分数确定单元具体用于：基于每个所述最邻近图像的分类标签以及所述目标图像的目标分类结果，采用预设的公式计算所述目标分类结果的置信度分数；所述预设的公式为：

s(q,c)为置信度分数；c为所述目标分类结果，q为所述最邻近图像，ci为所述样本图像训练集中第i个样本图像的分类标签，i的取值为1到k，k为正整数；wi为所述最邻近图像对应的置信度权重；1{ci＝c}为基于所述最邻近图像的分类标签与所述目标分类结果确定的值，当所述最邻近图像的分类标签与所述目标分类结果一致时，则1{ci＝c}取值为1；当所述最邻近图像的分类标签与所述目标分类结果不一致时，则1{ci＝c}取值为0。

可选地，终端还包括：

权重确定单元，用于确定每个所述最邻近图像对应的置信度权重。

进一步地，权重确定单元具体用于：基于所述距离值的排序确定每个所述最邻近图像对应的置信度权重。

进一步地，权重确定单元具体用于：基于计算每个所述最邻近图像对应的置信度权重；其中，d(q,xi)²为所述最邻近图像与所述目标图像之间的距离值的平方。

图4是本发明另一实施例提供的一种终端的示意图。如图4所示，该实施例的终端4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个终端的识别对抗性图像的方法实施例中的步骤，例如图1所示的s101至s103。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元310至330功能。

示例性的，所述计算机程序42可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端4中的执行过程。例如，所述计算机程序42可以被分割成检测单元、确定单元以及识别单元，各单元具体功能如上所述。

所述终端可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端4的示例，并不构成对终端4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出终端、网络接入终端、总线等。

所称处理器40可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端4的内部存储单元，例如终端4的硬盘或内存。所述存储器41也可以是所述终端4的外部存储终端，例如所述终端4上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储器41还可以既包括所述终端4的内部存储单元也包括外部存储终端。所述存储器41用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。