对抗图像样本的生成方法、装置、电子设备以及存储介质与流程

1.本公开涉及目标识别领域，尤其涉及一种对抗图像样本的生成方法、装置电子设备以及存储介质。


背景技术：

2.目前，在生成对抗图像样本时，通常是通过增加扰动幅度的方法来突出对抗样本中的可以干扰模型预测结果的特征，比如，当对抗样本为图片时，通过使得目标检测模型对图片某个物体进行误分类，但同时又不影响人眼对图像的识别，来突出该图片中的可以干扰目标检测模型预测结果的特征。


技术实现要素：

3.本公开提供了一种用于对抗图像样本的生成方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种对抗图像样本的生成方法，包括：获取原始图像样本；对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本；基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果；基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
5.根据本公开的一方面，提供了一种对抗图像样本的检测方法，包括：获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果。
6.根据本公开的一方面，提供了一种模型确定方法，包括：获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；基于对抗图像样本训练目标模型；输出训练后的目标模型。
7.根据本公开的另一方面，提供了一种对抗图像样本的生成装置，包括：第一获取单元，用于获取原始图像样本；变换单元，用于对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本；第一检测单元，用于基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果；生成单元，用于基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
8.根据本公开的另一方面，提供了一种对抗图像样本的检测装置，包括：第二获取单元，用于获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；第二检测单元，用于基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结
果。
9.根据本公开的另一方面，提供了一种模型确定装置，包括：第三获取单元，用于获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；训练单元，用于基于对抗图像样本训练目标模型；输出单元，用于输出训练后的目标模型。
10.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的对抗图像样本的生成方法、对抗图像样本的检测方法和模型确定方法。
11.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例的对抗图像样本的生成方法、对抗图像样本的检测方法和模型确定方法。
12.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开实施例的对抗图像样本的生成方法、对抗图像样本的检测方法和模型确定方法。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开实施例的一种对抗图像样本的生成方法的流程图；
16.图2是根据本公开实施例的一种对抗图像样本的检测方法的流程图；
17.图3是根据本公开实施例的一种对抗图像样本的检测方法的流程图；
18.图4是相关技术中的一种梯度攻击算法的流程图；
19.图5是根据本公开实施例的一种基于梯度下降的攻击算法的流程图；
20.图6是根据本公开实施例的一种目标模型对未经鲁棒性增强训练的对抗样本进行检测的示意图；
21.图7是根据本公开实施例的一种将经过jpeg压缩后的对抗样本输入目标检测模型进行检测的示意图；
22.图8是根据本公开实施例的一种目标模型对经过本发明中鲁棒性增强训练的对抗样本进行检测的示意图；
23.图9是根据本公开实施例的一种将经过jpeg压缩的对抗样本输入至目标模型进行检测的示意图；
24.图10是根据本公开实施例的一种对抗图像样本的生成装置的示意图；
25.图11是根据本公开实施例的一种对抗图像样本的检测装置的示意图；
26.图12是根据本公开实施例的一种模型确定装置的示意图；
27.图13是根据本公开实施例的一种电子设备的示意性框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.下面对本公开实施例的对抗图像样本的生成方法进行进一步地介绍。
30.在相关技术中，是通过增加扰动幅度的方法来突出对抗样本中的可以干扰模型预测结果的特征，但该方法可能造成生成的对抗样本过度失真，这违背了对抗样本的最初目的，存在对抗图像样本的鲁棒性低的技术问题。
31.本公开提出了一种对抗图像样本的生成方法，通过对图像样本和经过图像变换后的图像样本同时进行检测，生成包括对目标模型造成干扰的特征的对抗图像样本，以达到在不增加扰动幅度的条件下学习到最有效的特征的目的，提高了对抗图像样本的鲁棒性。
32.图1是根据本公开实施例的一种对抗图像样本的生成方法的流程图，如图1所示，该方法可以包括以下步骤：
33.步骤s102，获取原始图像样本。
34.在本公开上述步骤s102提供的技术方案中，在生成对抗图像样本时，可以获取想要扰动的原始图像样本。
35.在该实施例中，在获取原始图像样本时，可以是通过手工挑选的方式获取，也可以是通过智能推荐算法获取，在此不做具体限制。
36.步骤s104，对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本。
37.在本公开上述步骤s104提供的技术方案中，在生成对抗图像样本的过程中，可以对获取到的原始图像样本进行图像变换来得到一系列变换后的图像样本。
38.在该实施例中，图像变换可以包括但不限于裁剪，旋转，压缩，色彩反转等，在此不做具体限制。
39.优选地，对原始图像样本分别进行中值模糊和联合图像专家组(joint photo graphic experts group，简称为jpeg)压缩两种图像变换。
40.在该实施例中，可以根据具体的应用场景和人物要求来选择不同的图像变换方式。
41.举例而言，在自动驾驶场景中可以使用调节亮度，动态模糊等方式进行图像变换，而在针对网络上的模型进行攻击时，比如，对自动内容审查模型进行攻击时，则可以使用中值滤波，jpeg压缩等变换以适应在网络传输过程中可能发生的图片压缩，变形等操作。
42.在该实施例中，可以对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本，比如，对原始图像样本分别进行中值模糊和jpeg压缩，进而得到至少一个第一目标图像样本。
43.步骤s106，基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果。
44.在本公开上述步骤s106提供的技术方案中，对原始图像样本和经过图像变换后的图像样本同时进行检测，生成包括对目标模型造成干扰的特征的对抗图像样本。
45.在该实施例中，目标模型可以是针对某一特定目标进行检测的模型，比如，针对包
括行车和行人的图像中的行人进行检测的模型。
46.在该实施例中，可以基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，比如，用x'来表示原始图像样本，用x1'，x2'，
…
，xn'来表示对原始图像样本进行图像变换后的至少一个第一目标图像样本，在将原始图像样本x'以及至少一个第一目标图像样本x1'，x2'，
…
，xn'一起输入至目标模型进行预测，得到一组预测结果，其中，原始图像样本x'的预测结果可以用z(x')表示，至少一个第一目标图像样本x1'，x2'，
…
，xn'的预测结果可以用z(x1')，z(x2')，...，z(xn')表示。
47.步骤s108，基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
48.在本公开上述步骤s108提供的技术方案中，对抗图像样本组中每个对抗图像样本对目标模型造成干扰的特征，进而挑选出在图像变化前后都可以对目标模型造成干扰的特征，以达到在不增加扰动幅度的条件下学习到最有效的特征，增加对抗样本抗扰动能力的目的。
49.可选地，基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组。
50.在该实施例中，可以基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，比如，在对对抗样本和经过图像变换后的对抗样本同时进行预测并进行横向比较，从而挑选出在图像变化前后都可以对目标模型造成干扰的特征，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组。
51.通过上述步骤s102至步骤s108，获取原始图像样本；对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本；基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果；基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征，从而实现了在不增加扰动幅度的条件下学习到最有效的特征的目的，进而解决了对抗图像样本的鲁棒性低的技术问题的技术问题，达到了提高对抗图像样本的鲁棒性的技术效果。
52.下面对该实施例的上述方法进行进一步地详细介绍。
53.作为一种可选的实施方式，步骤s108，基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本包括：基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组。
54.在该实施例中，可以基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组，比如，当第一检测结果和至少一个第二检测结果用于表示原始图像样本和至少一个第一目标图像样本包括用于干扰目标模型的检测结果的特征时，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组。
55.在该实施例中，可以在生成对抗图像样本之前预先定义什么是成功的对抗图像样本，比如，可以是在利用目标模型对原始图像样本和至少一个第一目标图像样本进行检测时的误分类，也可以是在利用目标模型对原始图像样本和至少一个第一目标图像样本进行检测时未能检测到目标物体。
56.该实施例通过基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组，这样就可以在不增加扰动幅度的条件下学习到最有效的特征，从而达到对抗图像样本的鲁棒性的技术效果。
57.作为一种可选的实施方式，基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组包括：判断步骤，基于第一检测结果和至少一个第二检测结果，判断原始图像样本和至少一个第一目标图像样本是否为成功对抗图像样本，如果是，则执行第一确定步骤，如果否，则执行第二确定步骤，其中，成功对抗图像样本为成功干扰到目标模型的检测结果的样本；第一确定步骤，将原始图像样本和至少一个第一目标图像样本确定为对抗图像样本组；第二确定步骤，基于原始图像样本上的梯度和每个第一目标图像样本上的梯度，生成对抗图像样本组。
58.在该实施例中，可以基于第一检测结果和至少一个第二检测结果，判断原始图像样本和至少一个第一目标图像样本是否为成功对抗图像样本，如果是，则执行第一确定步骤，如果否，则执行第二确定步骤，比如，目标检测模型的输出，可以是一个列表，其中，每一行代表了输入图像中的一个物体，至少包括物体的类别和位置信息，可以预先设定若模型不能检测出输入图像中的行人即为成功的对抗样本，那么得到检测结果后，若列表中没有代表行人的物体，则认为输入样本为成功对抗样本，执行第一确定步骤，否则执行第二确定步骤。
59.在该实施例中，可以将原始图像样本和至少一个第一目标图像样本确定为对抗图像样本组，比如，预先设定若模型不能检测出输入图像中的行人即为成功的对抗样本，在根据目标模型输出的检测结果用于表示列表中没有代表行人的物体，则认为输入样本为成功对抗样本，将原始图像样本和至少一个第一目标图像样本确定为对抗图像样本组。
60.在该实施例中，可以基于原始图像样本上的梯度和每个第一目标图像样本上的梯度，生成对抗图像样本组，比如，预先设定若模型不能检测出输入图像中的行人即为成功的对抗样本，在根据目标模型输出的检测结果用于表示列表中有代表行人的物体，则认为输入样本不为成功对抗样本，则对第一检测结果和至少一个第二检测结果分别计算损失并进行反向传播，计算每一个输入目标模型的样本梯度，并基于样本梯度更新原始图像样本，将更新后的原始图像样本和转换后的更新图像样本重新输入至目标模型中再次进行检测，以生成新的对抗图像样本组。
61.该实施例通过判断步骤，基于第一检测结果和至少一个第二检测结果，判断原始图像样本和至少一个第一目标图像样本是否为成功对抗图像样本，如果是，则执行第一确定步骤，如果否，则执行第二确定步骤，其中，成功对抗图像样本为成功干扰到目标模型的检测结果的样本；第一确定步骤，将原始图像样本和至少一个第一目标图像样本确定为对抗图像样本组；第二确定步骤，基于原始图像样本上的梯度和每个第一目标图像样本上的梯度，生成对抗图像样本组，这样就可以生成成功的对抗图像样本组，从而达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
62.作为一种可选的实施方式，基于原始图像样本上的梯度和每个第一目标图像样本上的梯度，生成对抗图像样本组包括：基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新；对更新后的原始图像样本分别进行至少一种图像变换，得到至少一个第二目标图像样本；基于目标模型分别对至少一个第二目标图像样本进行检测，得到至少一个第三检测结果；将第三检测结果确定为第二检测结果，并执行判断步骤。
63.在该实施例中，可以基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新，比如，在目标模型输出第一检测结果和至少一个第二检测结果之后，当第一检测结果和至少一个第二检测结果用于表示原始图像样本和至少一个第一目标图像样本不为成功的对抗样本时，可以分别计算原始图像样本上的梯度和每个第一目标图像样本上的梯度，并根据这一组梯度的平均值，对原始图像样本进行更新。
64.在该实施例中，可以对更新后的原始图像样本分别进行至少一种图像变换，得到至少一个第二目标图像样本，比如，对更新后的原始图像样本可以分别进行中值模糊和jpeg压缩，得到至少一个第二目标图像样本。
65.在该实施例中，可以基于目标模型分别对至少一个第二目标图像样本进行检测，得到至少一个第三检测结果，比如，将至少第二目标图像样本输入值目标模型进行检测之后，得到至少一个第三检测结果。
66.在该实施例中，可以将第三检测结果确定为第二检测结果，并执行判断步骤，比如，在生成对抗样本的过程中，基于第一检测结果和至少一个第二检测结果，判断原始图像样本和至少一个第一目标图像样本是否为成功对抗图像样本。
67.该实施例通过基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新，对更新后的原始图像样本分别进行至少一种图像变换，得到至少一个第二目标图像样本，然后基于目标模型分别对至少一个第二目标图像样本进行检测，得到至少一个第三检测结果，将第三检测结果确定为第二检测结果，并执行判断步骤，这样就可以生成成功的对抗图像样本组，以达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
68.作为一种可选的实施方式，基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新包括：将原始图像样本上的梯度和每个第一目标图像样本上的梯度转换为目标梯度，其中，目标梯度用于使每个对抗图像样本包括用于干扰目标模型的检测结果的特征；基于目标梯度对原始图像样本进行更新。
69.在该实施例中，目标梯度可以是通过对原始图像样本上的梯度和每个第一目标图像样本上的梯度进行运算得到，比如，对原始图像样本上的梯度和每个第一目标图像样本上的梯度进行算术平均、加权平均数和最大值max函数等，在此不做具体限制。
70.在该实施例中，可以将原始图像样本上的梯度和每个第一目标图像样本上的梯度转换为目标梯度，比如，将原始图像样本上的梯度和每个第一目标图像样本上的梯度进行算术平均运算，得到梯度平均值。
71.在该实施例中，可以基于目标梯度对原始图像样本进行更新，比如，计算得到的平均梯度更新原始图像样本。
72.该实施例通过将原始图像样本上的梯度和每个第一目标图像样本上的梯度转换
为目标梯度，这样可以使得对抗样本学习到经过变换之后依旧可以对目标模型造成干扰的特征，进而达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
73.作为一种可选的实施方式，基于目标梯度对原始图像样本进行更新包括：在原始图像样本上增加目标梯度，得到更新后的原始图像样本。
74.在该实施例中，可以在原始图像样本上增加目标梯度，得到更新后的原始图像样本，比如，在原始图像样本上增加平均梯度，得到更新后的原始图像样本。
75.该实施例通过在原始图像样本上增加目标梯度，得到更新后的原始图像样本，这样就可以根据计算得到的平均梯度更新原始图像样本，从而达到了达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
76.作为一种可选的实施方式，该方法还包括：基于第一检测结果的损失函数和每个第二检测结果的损失函数，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度。
77.在该实施例中，损失函数可以是目标物体的类别置信度。
78.在该实施例中，可以基于第一检测结果的损失函数和每个第二检测结果的损失函数，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度，比如，在目标模型输出第一检测结果和至少一个第二检测结果后，可以对每一个检测结果分别计算目标物体的类别置信度，并进行反向传播，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度。
79.该实施例通过基于第一检测结果的损失函数和每个第二检测结果的损失函数，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度，这样可以计算得到对抗图像样本组的梯度，从而达到了达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
80.作为一种可选的实施方式，基于第一检测结果的损失函数和每个第二检测结果的损失函数，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度包括：对第一检测结果的损失函数进行反向传播，得到第一检测结果对应的反向传播结果；对每个第二检测结果的损失函数进行反向传播，得到每个第二检测结果对应的反向传播结果；基于第一检测结果对应的反向传播结果确定原始图像样本上的梯度，且基于每个第二检测结果对应的反向传播结果确定每个第一目标图像样本上的梯度。
81.在该实施例中，可以对第一检测结果的损失函数进行反向传播，得到第一检测结果对应的反向传播结果，比如，在将原始图像样本输入至目标模型后，通过目标模型对原始图像样本进行检测，得到第一检测结果，进而可以计算第一检测结果的损失，并进行反向传播，得到第一检测结果对应的反向传播结果。
82.在该实施例中，可以对每个第二检测结果的损失函数进行反向传播，得到每个第二检测结果对应的反向传播结果，比如，在将转换后的图像样本输入至目标模型后，通过目标模型对转换后的图像样本进行检测，得到第二检测结果，进而可以计算第二检测结果的损失，并进行反向传播，得到第二检测结果对应的反向传播结果。
83.在该实施例中，可以基于第一检测结果对应的反向传播结果确定原始图像样本上的梯度，且基于每个第二检测结果对应的反向传播结果确定每个第一目标图像样本上的梯度，比如，在得到第一检测结果对应的反向传播结果后，计算得到原始图像样本上的梯度，且在得到每个第二检测结果对应的反向传播结果后，计算得到每个第一目标图像样本上的
梯度。
84.该实施例通过对第一检测结果的损失函数进行反向传播，得到第一检测结果对应的反向传播结果，然后对每个第二检测结果的损失函数进行反向传播，得到每个第二检测结果对应的反向传播结果，再基于第一检测结果对应的反向传播结果确定原始图像样本上的梯度，且基于每个第二检测结果对应的反向传播结果确定每个第一目标图像样本上的梯度，这样可以确定原始图像样本上和每个第一目标图像样本上的梯度，从而达到了达到在不增加扰动幅度的条件下学习到最有效的特征的效果。
85.作为一种可选的实施方式，基于目标模型对原始图像样本进行检测，得到第一检测结果包括：将原始图像样本确定为目标模型的初始化对抗样本；基于目标模型对初始化对抗样本进行检测，得到第一检测结果。
86.在该实施例中，可以将原始图像样本确定为目标模型的初始化对抗样本，基于目标模型对初始化对抗样本进行检测，得到第一检测结果，比如，将原始图像样本作为输入至目标模型的初始化对抗样本，在将初始化对抗样本输入至目标模型之后，目标模型对初始化对抗样本进行检测，得到第一检测结果。
87.该实施例通过将原始图像样本确定为目标模型的初始化对抗样本，基于目标模型对初始化对抗样本进行检测，得到第一检测结果，这样可以通过目标模型对初始化样本进行检测得到第一检测结果，从而达到基于目标模型对原始图像样本进行检测的效果。
88.图2是根据本公开实施例的一种对抗图像样本的检测方法的流程图，如图2所示，该方法可以包括以下步骤：
89.步骤s202，获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到。
90.在本公开上述步骤s202提供的技术方案中，通过对抗图像样本的生成方法得到对抗图像样本后，可以获取该对抗图像样本。
91.步骤s204，基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果。
92.在本公开上述步骤s204提供的技术方案中，在使用对抗样本进行攻击场景下，可以基于目标模型对对抗图像样本进行检测。
93.在该实施例中，误检测结果可以是目标模型对对抗图像样本的目标对象进行检测的误识别结果和误分类结果，在此不做具体限制。
94.在该实施例中，可以基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果，比如，在获取对抗图像样本之后，将该对抗图像样本输入目标模型进行预测，可以看到模型对图像中的物体检测出现错误。
95.作为一种可选的实施方式，对对抗图像样本进行至少一种图像变换；基于目标模型对变换后的对抗图像样本进行检测，得到原始图像样本的误检测结果。
96.在该实施例中，可以对对抗图像样本进行至少一种图像变换，然后基于目标模型对变换后的对抗图像样本进行检测，得到原始图像样本的误检测结果，比如，对对抗图像样本进行裁剪、拉伸等图像变换，然后将经过图像变换后的对抗图像样本输入至目标模型中进行检测，得到原始图像样本的误识别和/或误分类结果。
97.该实施例通过对对抗图像样本进行至少一种图像变换，然后基于目标模型对变换
后的对抗图像样本进行检测，得到原始图像样本的误检测结果，这样就可以将生成好的对抗样本输入目标模型进行预测，可以看到模型对图像中的物体检测出现错误，以达到有效的增强对抗样本的鲁棒性的效果。
98.在本公开实施例中，通过获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到，基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果，从而解决了对抗图像样本的鲁棒性低的技术问题，达到了提高对抗图像样本的鲁棒性的技术效果。
99.图3是根据本公开实施例的一种对抗图像样本的检测方法的流程图，如图3所示，该方法可以包括以下步骤：
100.步骤s302，获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到。
101.在本公开上述步骤s302提供的技术方案中，可以获取对抗图像样本，比如，获取对抗图像样本的生成方法得到对抗图像样本，
102.步骤s304，基于对抗图像样本训练目标模型。
103.在本公开上述步骤s304提供的技术方案中，可以基于对抗图像样本训练目标模型，比如，可以将对抗图像样本输入至目标模型，对目标模型进行训练。
104.步骤s306，输出训练后的目标模型。
105.在本公开上述步骤s306提供的技术方案中，可以输出训练后的目标模型，比如，通过对目标模型进行训练后，可以是输出目标模型。
106.作为一种可选的实施方式，基于对抗图像样本训练目标模型包括：基于目标模型对对抗图像样本进行检测，得到目标模型的误检测结果；基于误检测结果和目标模型的正确检测结果调整目标模型的参数，得到训练后的目标模型。
107.在该实施例中，可以基于目标模型对对抗图像样本进行检测，得到目标模型的误检测结果，基于误检测结果和目标模型的正确检测结果调整目标模型的参数，得到训练后的目标模型，比如，在将对抗图像样本输入至目标模型进行检测后，得到误检测结果，则可以根据误检测结果和目标模型的正确检测结果的差异值调整目标模型的参数，得到训练后的目标模型。
108.该实施例通过基于目标模型对对抗图像样本进行检测，得到目标模型的误检测结果，基于误检测结果和目标模型的正确检测结果调整目标模型的参数，得到训练后的目标模型，这样可以得到用于对图像样本进行目标检测的目标模型，进而达到了基于对抗图像样本训练目标模型的效果。
109.在本公开上述实施例中，通过获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到，基于对抗图像样本训练目标模型，输出训练后的目标模型，进而解决了对抗图像样本的鲁棒性低的技术问题，达到了提高对抗图像样本的鲁棒性的技术效果。
110.下面结合优选的实施例对本公开的对抗图像样本的生成方法、对抗图像样本的检测方法和模型确定方法作进一步地介绍。
111.随着人工智能的发展，出现了针对目标检测模型的攻击算法(比如，fgsm，cw)，通过对原图添加一个微小的扰动就可以干扰模型对输入图片的检测结果，例如使图片中的某
个物体消失，或是造成模型对某个物体的误分类，但同时又不影响人眼对图像的识别。此技术如果被不正当使用，可能会干扰到自动驾驶汽车对于路况和道路上其他个体(如行人，其他车辆等)的判断，造成对道路上行人的检测失效，可能会造成严重的交通事故。
112.因此在模型的研发和测试阶段进行更加严格的鲁棒性测试就显得更为重要。通过模拟恶意攻击样本对目标模型进行攻击，能有效提升模型对恶意攻击的防御能力。但是通过传统的攻击算法生成的对抗样本普遍存在着泛化能力和变换鲁棒性不足的问题，对输入图像进行简单的变换处理即可以使大部分的对抗样本失效。这降低了对目标模型的鲁棒性训练的强度，可能会导致模型在实际部署中面对来自真正的恶意样本的时候鲁棒性不足的问题。需要注意的是，恶意攻击样本可以称为对抗样本，指的是人为生成的可以对目标模型造成干扰的输入图像，防御能力可以指目标模型在输入的图像是恶意对抗样本的时候也可以给出正确输出的能力。
113.本公开提供了一种生成对抗样本的方法，通过在训练对抗样本的阶段就加入对于变换鲁棒性的考量，可以有效的提高生成的对抗样本经过图像变换之后的鲁棒性。本发明可以用来模拟对于模型的恶意攻击，解决现有的模型鲁棒性测试对可能出现的攻击模拟强度较低，种类不够完备，不能很好的测试模型的安全性的问题。
114.如果想让生成的对抗样本具有更强的鲁棒性，常规的方法包括增加对抗样本的最大允许扰动幅度，或是加大梯度下降的步长等。但增大了最大扰动幅度后有可能造成生成的对抗样本过度失真，这违背了对抗样本的最初目的。本专利中提出的攻击方法在训练对抗样本时就加入了对变换鲁棒性的考量，可以在不增加扰动幅度的条件下找到更普适的攻击特征，从而使攻击样本在经过图像变换之后依旧保持成功干扰目标模型的能力。
115.需要注意的是，上述攻击目标模型也可以成为干扰目标模型，指能够对目标模型造成干扰导致模型对输入图片的识别出现错误，除了误分类的扰动之外，对于目标检测模型，对于目标物体的分类错误或未能检测到目标均可视为成功干扰。
116.相关技术中的增强对抗样本鲁棒性的方法大都是增加了最大的允许扰动幅度，在实际操作中存在着会导致生成的对抗样本图像过度失真的问题，极端情况下甚至会干扰到人眼对图像的识别。
117.经过图像变换之后模型对对抗样本的识别结果会发生变化，因此本发明在生成对抗样本的时候不仅会将对抗样本输入模型进行计算，并根据模型的梯度对图像进行更新，还会同时将经过变换之后的对抗样本输入模型进行预测，并计算预测结果在经过变换后的图像上的梯度，最后采用原对抗样本和转换后的对抗样本的梯度的平均值对图像进行更新。这样可以有效的筛选出并强调那些不会受到图像变换的影响的特征，使得生成的对抗样本即使在经过图像变换之后依旧具备攻击目标模型的能力。
118.图4是相关技术中的一种梯度攻击算法的流程图，如图4所示，该算法可以包括以下步骤：
119.步骤401，获取原始图像x。
120.步骤402，初始化对抗样本，令x’＝x。
121.步骤403，将初始化后的对抗样本输入至目标模型进行检测。
122.步骤404，判断对抗样本是否成功。
123.步骤405，计算损失函数。
124.步骤406，反向传播计算梯度。
125.步骤407，根据梯度更新对抗样本x’。
126.步骤408，输出成功的对抗样本x’。
127.上述攻击算法在迭代过程中只对对抗样本进行预测并反向计算梯度，该攻击方法没有考虑生成的对抗样本经过默写特定的图像变换之后是否还能成功的攻击目标模型。大部分现有的攻击算法，如pgd，cw等，都力求能够找到可以导致目标模型误分类的最小幅度的扰动。这些攻击算法大都过度利用了目标模型的梯度，虽然可以达到在人类无法察觉的情况下成功干扰目标模型的预测结果，但是这些对抗样本面对图像变换算法的时候十分脆弱，轻微的变换就有可能抹除掉对抗样本中可以造成模型误分类的特征，因此常规的对抗样本的鲁棒性较差。
128.图5是根据本公开实施例的一种基于梯度下降的攻击算法的流程图，如图5所示，上述攻击算法可以包括以下步骤：
129.步骤501，获取原始图像x。
130.步骤502，初始化对抗样本，令x’＝x。
131.步骤503，对对抗样本进行图像变换。
132.步骤504，将初始化后的对抗样本输入至目标模型进行检测。
133.，步骤505，判断对抗样本是否成功。
134.步骤506，同时计算z(x’),z(x1')，z(x2’),
…
，z(xn’)的损失函数。
135.步骤507，反向传播计算x’,x1'，x2’,
…
，xn’的梯度。
136.步骤508，取x’,x1'，x2’,
…
，xn’的平均梯度，并更新x’。
137.步骤509，输出成功的对抗样本x’。
138.在该实施例中，在每一步的迭代中，我们的算法会先对对抗样本x’进行一系列图像变换，得到一系列样本x1’，x2’，
…
，xn’，随后将这些经过变换的样本连同x’一起送入模型进行预测，得到一组预测结果z(x')，z(x1')，z(x2')，...，z(xn')。随后我们对每一个预测结果分别计算损失并进行反向传播，计算每一个输入x’，x1’，x2’，
…
，xn’上的梯度。我们将计算这一组梯度的平均值，并根据计算得到的平均梯度更新x’。
139.在该实施例中，在整个生成对抗样本的过程开始之前预先定义什么是成功的对抗样本。可以是目标物体的误分类，也可以是未能检测到目标物体。目标检测模型的输出，即z(x)，一般是一个列表，其中每一行代表了输入图像中的一个物体，包括物体的类别，以及位置信息。例如预先设定若模型不能检测出输入图像中的行人即为成功的对抗样本，那么得到检测结果z(x)后，若列表中没有代表行人的物体，则视输入样本为成功对抗样本。
140.在该实施例中，在计算损失时，对于单个预测结果计算损失函数的方法与图4所示的方法相同，在发明中是取的目标物体的类别置信度作为损失函数。
141.在该实施例中，去一组梯度的平均值，可以是算术平均值，加权平均数，最大值max函数，在此不做具体限制。
142.在该实施例中，传统的基于梯度的攻击算法会输入一个样本，计算损失函数，并反向传播得到样本上的梯度，随后会让输入样本沿梯度方向前进一个预先设定的步长。然后重复上述过程若干次，直到生成成功的对抗样本。本方法沿用了上述思路，但是在更新对抗样本的时候不仅计算了对抗样本本身的梯度，还计算了经过变换之后的对抗样本上的梯
度，并且在更新对抗样本的时候使用了这一组梯度的平均值。
143.本公开的攻击算法和传统梯度攻击算法最大的区别在于计算梯度的方法不同，传统方法只使用单一输入上的梯度，而本方法使用一组输入的平均梯度。而在已经得到梯度后，根据梯度更新对抗样本x’的时候，本方法沿用了传统攻击的算法。
144.在该实施例中，流程图中的图像变换可以指任何常见的图像变换方法，包括但不限于裁剪，旋转，压缩，色彩反转等。本发明中提供的实例采用了中值模糊和jpeg压缩两种变换，在实际应用中可以根据具体场景和人物要求选择不同的变换。
145.举例而言，在自动驾驶场景中可以使用调节亮度，动态模糊等变换；而在针对网络上的模型进行攻击时，比如针对自动内容审查模型进行攻击时，则可以使用中值滤波，jpeg压缩等变换以适应在网络传输过程中可能发生的图片压缩，变形等操作。
146.在该实施例中对经过变换后的图像计算梯度，并且使用一组梯度的平均值的过程就是为了找到并强调在变换后依旧能够有效攻击目标模型的特征。
147.下面对中值模糊进行介绍。
148.中值模糊法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值模糊可以用如下公式表示：
149.g(x，y)＝median{f(x-k，y-l)，(k，l∈w)}
150.其中，f(x，y)，g(x，y)分别为原始图像和处理后图像。w为二维模板，通常为3*3，5*5区域，也可以是不同的形状，如线状，圆形，十字形，圆环形等。
151.下面对jpeg压缩进行介绍。
152.首先对图像进行色彩空间转换，将影像由rgb(红绿蓝)转换为一种称为yuv的不同色彩空间，其中y成分表示一个像素的亮度，u和v成分一起表示色调与饱和度。经过rgb到yuv颜色空间的转换后，开始进行缩减采样来减少u和v的成分(称为"缩减取样"或"色度抽样"(chromasubsampling)。下一步，将影像中的每个成分(y，u，v)生成三个区域，每一个区域再划分成如瓷砖般排列的一个个的8
×
8子区域，每一子区域使用二维的离散余弦变换(dct)转换到频率空间。之后简单地把频率领域上每个成分，除以一个对于该成分的常量，且接着舍位取最接近的整数。接着对图像进行熵编码。熵编码是无损资料压缩的一个特别形式。它牵涉到将影像成分以z字体(zigzag)排列，把相似频率组群在一起(矩阵中往左上方向是越低频率之系数，往右下较方向是较高频率之系数)，插入长度编码的零，且接着对剩下的使用霍夫曼编码。最后一步是解码，解码来显示影像，包含反向作以上所有的过程。
153.下面生成的成功的对抗样本的应用进行介绍。
154.在使用阶段，使用者首先需要根据具体任务的特性选择合适的图像变换算法，确定算法后就可以将想要扰动的图片输入攻击算法，算法会自动生成并返回对抗样本，之后将生成好的对抗样本输入目标模型进行预测，可以看到模型对图像中的物体检测出现错误，可以尝试对生成好的对抗样本进行一些干扰，如添加一些随机噪声等，可以看到对抗样本依旧可以有效的造成目标模型的预测错误。
155.图6是根据本公开实施例的一种目标模型对未经鲁棒性增强训练的对抗样本进行检测的示意图，如图6所示，在交通场景下，将一张未经鲁棒性增强训练的对抗样本输入目标检测网络进行预测造成模型误分类可以看到模型对图像中物体的分类出现错误，将图片中的公交车误识别为火车。
156.图7是根据本公开实施例的一种将经过jpeg压缩后的对抗样本输入目标检测模型进行检测的示意图，如图7所示，在交通场景下，可以看到在经过jpeg压缩后，对抗样本无法对目标模型的预测结果造成干扰，模型对压缩后的对抗样本识别正确，为公交车，说明传统梯度攻击生成的对抗样本对于图像变换的鲁棒性较差。
157.图8是根据本公开实施例的一种目标模型对经过本发明中鲁棒性增强训练的对抗样本进行检测的示意图，如图8所示，在交通场景下，将一张经过本发明中鲁棒性增强训练的对抗样本输入目标检测网络进行预测造成模型误分类，可以看到模型对图像中物体的分类出现错误，将图片中的公交车误识别为火车。
158.图9是根据本公开实施例的一种将经过jpeg压缩的对抗样本输入至目标模型进行检测的示意图，如图9所示，在交通场景下，可以看到即使在图片经过jpeg压缩处理后，经过鲁棒性增强训练的对抗样本为火车，从而依然成功干扰了目标模型的检测结果，说明本发明中的鲁棒性增强训练增强了对抗样本的鲁棒性。
159.在本公开上述实施例中，在生成对抗样本的过程中就加入了对对抗样本抗扰动能力的考量，通过增加扰动幅度的方法来突出对抗样本中的可以干扰模型预测结果的特征，通过在训练阶段对对抗样本和经过图像变换后的对抗样本同时进行预测并进行横向比较，从而挑选出在图像变化前后都可以对目标模型造成干扰的特征，以达到在不增加扰动幅度的条件下学习到最有效的特征，增加对抗样本抗扰动能力的目的，进而解决了对抗图像样本的鲁棒性低的技术问题，达到了提高对抗图像样本的鲁棒性。
160.本公开实施例还提供了一种用于执行图1所示实施例的对抗图像样本的生成方法的对抗图像样本的生成装置。
161.图10是根据本公开实施例的一种对抗图像样本的生成装置的示意图，如图10所示，该对抗图像样本的生成装置100可以包括：第一获取单元101、变换单元102、第一检测单元103和生成单元104。
162.第一获取单元101，用于获取原始图像样本。
163.变换单元102，用于对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本。
164.第一检测单103元，用于基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果。
165.生成单元104，用于基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
166.可选地，生成单元104包括：生成模块，用于基于第一检测结果和至少一个第二检测结果，将原始图像样本和至少一个第一目标图像样本生成为对抗图像样本组。
167.可选地，生成模块包括：判断子模块，用于判断步骤，基于第一检测结果和至少一个第二检测结果，判断原始图像样本和至少一个第一目标图像样本是否为成功对抗图像样本，如果是，则执行第一确定步骤，如果否，则执行第二确定步骤，其中，成功对抗图像样本为成功干扰到目标模型的检测结果的样本；第一确定子模块，用于第一确定步骤，将原始图
像样本和至少一个第一目标图像样本确定为对抗图像样本组；第二确定子模块，用于第二确定步骤，基于原始图像样本上的梯度和每个第一目标图像样本上的梯度，生成对抗图像样本组。
168.可选地，第二确定子模块包括：更新子单元，用于基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新；变换子单元，用于对更新后的原始图像样本分别进行至少一种图像变换，得到至少一个第二目标图像样本；检测子单元，用于基于目标模型分别对至少一个第二目标图像样本进行检测，得到至少一个第三检测结果；确定子单元，用于将第三检测结果确定为第二检测结果，并执行判断步骤。
169.可选地，更新子单元通过以下步骤来基于原始图像样本上的梯度和每个第一目标图像样本上的梯度对原始图像样本进行更新：将原始图像样本上的梯度和每个第一目标图像样本上的梯度转换为目标梯度，其中，目标梯度用于使每个对抗图像样本包括用于干扰目标模型的检测结果的特征；基于目标梯度对原始图像样本进行更新。
170.可选地，更新子单元还用于执行以下步骤来基于目标梯度对原始图像样本进行更新：在原始图像样本上增加目标梯度，得到更新后的原始图像样本。
171.可选地，生成模块还包括：第三确定子模块，用于基于第一检测结果的损失函数和每个第二检测结果的损失函数，确定原始图像样本上的梯度和每个第一目标图像样本上的梯度。
172.可选地，第三确定子模块包括：第一传播子单元，用于对第一检测结果的损失函数进行反向传播，得到第一检测结果对应的反向传播结果；第二传播子单元，用于对每个第二检测结果的损失函数进行反向传播，得到每个第二检测结果对应的反向传播结果；确定子单元，用于基于第一检测结果对应的反向传播结果确定原始图像样本上的梯度，且基于每个第二检测结果对应的反向传播结果确定每个第一目标图像样本上的梯度。
173.可选地，所述装置还包括：确定模块，用于将原始图像样本确定为目标模型的初始化对抗样本；第一检测模块，用于基于目标模型对初始化对抗样本进行检测，得到第一检测结果。
174.本公开实施例还提供了一种用于执行图2所示实施例的对抗图像样本的检测方法的对抗图像样本的检测装置。
175.图11是根据本公开实施例的一种对抗图像样本的检测装置的示意图，如图11所示，该对抗图像样本的检测装置110可以包括：第二获取单元111、第二检测单元112。
176.第二获取单元111，用于获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；
177.第二检测单元112，用于基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果。
178.可选地，上述对抗图像样本的检测装置还包括：第一变换单元，用于对对抗图像样本进行至少一图像变换；第三检测单元，用于基于目标模型对变换后的对抗图像样本进行检测，得到原始图像样本的误检测结果。
179.本公开实施例还提供了一种用于执行图3所示实施例的模型确定方法的模型确定装置。
180.图12是根据本公开实施例的一种模型确定装置的示意图，如图12所示，该模型确
定装置120可以包括：第三获取单元121、训练单元122和输出单元123。
181.第三获取单元121，用于获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；
182.训练单元122，用于基于对抗图像样本训练目标模型；
183.输出单元123，用于输出训练后的目标模型。
184.可选地，训练单元122包括：第二检测模块，用于基于目标模型对对抗图像样本进行检测，得到目标模型的误检测结果；调整模块，用于基于误检测结果和目标模型的正确检测结果调整目标模型的参数，得到训练后的目标模型。
185.本公开实施例中，通过本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
186.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
187.本公开的实施例提供了一种电子设备，该电子设备可以包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的对抗图像样本的生成方法、对抗图像样本的检测方法和模型确定方法。
188.可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
189.可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：
190.步骤s11，获取原始图像样本；
191.步骤s12，对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本；
192.步骤s13，基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果。
193.步骤s14，基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
194.可选地，在本实施例中，上述非易失性存储介质还可以被设置为存储用于执行以下步骤的计算机程序：
195.步骤s21，获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；
196.步骤s22，针基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果。
197.可选地，在本实施例中，上述非易失性存储介质还可以被设置为存储用于执行以下步骤的计算机程序：
198.步骤s31，获取对抗图像样本，其中，对抗图像样本为基于权利要求1至9中任意一项对抗图像样本的生成方法得到；
199.步骤s32，基于对抗图像样本训练目标模型；
200.步骤s33，输出训练后的目标模型。
201.可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
202.根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现以下步骤：
203.步骤s11，获取原始图像样本；
204.步骤s12，对原始图像样本分别进行至少一种图像变换，得到至少一个第一目标图像样本；
205.步骤s13，基于目标模型分别对原始图像样本和至少一个第一目标图像样本进行检测，得到第一检测结果和至少一个第二检测结果，其中，第一检测结果用于表征原始图像样本的检测结果，每个第二检测结果用于表征对应的一个第一目标图像样本的检测结果。
206.步骤s14，基于第一检测结果和至少一个第二检测结果生成目标模型的对抗图像样本组，其中，对抗图像样本组中每个对抗图像样本包括用于干扰目标模型的检测结果的特征。
207.可选地，在本实施例中，该计算机程序在被处理器执行时还可以实现以下步骤：
208.步骤s21，获取对抗图像样本，其中，对抗图像样本为基于对抗图像样本的生成方法得到；
209.步骤s22，针基于目标模型对对抗图像样本进行检测，得到原始图像样本的误检测结果。
210.可选地，在本实施例中，该计算机程序在被处理器执行时还可以实现以下步骤：
211.步骤s31，获取对抗图像样本，其中，对抗图像样本为基于权利要求1至9中任意一项对抗图像样本的生成方法得到；
212.步骤s32，基于对抗图像样本训练目标模型；
213.步骤s33，输出训练后的目标模型。
214.图13是根据本公开实施例的一种电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
215.图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计
算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
216.如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(rom)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(ram)1303中的计算机程序，来执行各种适当的动作和处理。在ram1303中，还可存储设备操作所需的各种程序和数据。计算单元1301、rom1302以及ram1303通过总线1304彼此相连。输入/输出(i/o)接口1305也连接至总线1304。
217.设备1300中的多个部件连接至i/o接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
218.计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如方法获取目标模型的多个目标算子。例如，在一些实施例中，方法获取目标模型的多个目标算子可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由rom1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到ram1303并由计算单元1301执行时，可以执行上文描述的方法获取目标模型的多个目标算子的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法获取目标模型的多个目标算子。
219.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
220.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
221.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
222.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
223.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
224.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
225.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
226.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。