针对多个扰动类型稳健的分类的制作方法

本发明涉及一种用于将分类模型、例如图像分类器训练成针对多个扰动类型的扰动而言是稳健的系统和经计算机实现的方法。本发明此外涉及一种用于执行针对多个扰动类型的扰动而言稳健的分类的系统和经计算机实现的方法。本发明此外涉及一种包括分类系统的汽车控制系统。本发明此外涉及一种计算机可读介质，其包括用于执行方法的指令或对分类模型进行参数化的参数。

发明背景

自主设备必须基于所观察的环境来做出决定。这可以例如通过对输入数据进行分类、例如通过将交通标志标识为停止标志而进行。在许多情况中，这样的分类模型可以基于高品质数据来被训练，所述高品质数据例如在相对良好的条件中被获得。然而，在现实使用中，经常在不达理想的情形中应用分类模型。例如，在图像分类中，与在训练数据中相比，光照条件在现实生活中可能不同，或者图片可能模糊不清，或受污垢、雨或雪等等影响。因为表示这样的情形的数据典型地在训练数据集中没有被很好地表示，所以与预期相比，分类模型在实践中可能不太准确或不太可预测。更重要的是，具有对分类模型的内部的认知的、带恶意意图的某人可以能够设计扰动，所述扰动难以被人类识别但是仍然引起误分类。因而至关重要的是确保分类模型在各种种类的扰动被施加到其输入的时候仍然起作用。

在a.mądry等人的论文“towardsdeeplearningmodelsresistanttoadversarialattacks”（其在https://arxiv.org/abs/1706.06083处可得到并且通过引用被并入本文中）中，呈现了一种技术来训练神经网络，所述神经网络针对所谓的“一阶对抗者”而言是稳健的，所述“一阶对抗者”限定了通过在数据点周围的-球而给出的所允许的扰动的集合。通过在外部优化中关于受扰动的训练实例而最小化损失函数来执行神经网络的训练。所述受扰动的训练实例在内部优化中被确定，以最大化该损失。使用所投影的梯度下降来执行内部优化。通过应用随机梯度下降来执行外部优化问题，所述随机梯度下降使用在受扰动的训练实例处的损失的梯度。

技术实现要素：

发明人意识到：合期望的是将分类模型训练成针对多个扰动类型的扰动而言是稳健的。当在实践中应用分类器、例如用于对自主设备的传感器读数进行分类的时候，失真可起源于不同的源，并且因此至关重要的是关于多个威胁类型、例如扰动类型是稳健的。例如，可以合期望的是提供针对传感器噪声和运动模糊二者的稳健性。特别地，可能需要提供针对不能被描述为经限界的凸域的扰动集合、例如非凸集合的稳健性。通过保护免受多个扰动类型，例如，可以使得自主设备的决定更稳健和可靠。

存在对于改进分类模型的训练和使用以便解决这些和其它问题的需要。

根据本发明的第一方面，提出了一种用于将分类模型训练成针对多个扰动类型的扰动而言是稳健的系统，如通过权利要求1所限定的。根据本发明的另一方面，提出了一种用于执行针对多个扰动类型的扰动而言稳健的分类的系统，如通过权利要求10所限定的。根据本发明的另一方面，提出了一种自主控制系统，如通过权利要求11所限定的。根据本发明的另外的方面，提出了一种经计算机实现的方法，如通过权利要求12和13所限定的。根据仍另外的方面，提出了一种计算机可读介质，如通过权利要求14和15所限定的。

以上方面涉及基于训练数据集来训练分类模型，并且使用所述分类模型来对实例进行分类。所述分类模型可以是二元分类器或多类分类器。所述分类模型可以通过参数集合而被参数化。各种类型的分类模型本身是已知的。例如，分类模型可以包括诸如深度神经网络之类的神经网络，所述神经网络例如包括输入层、输出层、以及在输入层与输出层之间的多个中间层的神经网络。每个层可以包括一个或多个节点。例如，神经网络可以具有至少2、5、10、15、20或40个层、或更多等等。在这样的情况中，分类模型的参数集合可以包括神经网络的一个或多个节点的权重。然而，可以使用各种其它类型的分类模型，例如，分类模型可以包括支持向量机或随机森林。典型地，实例被表示为数的向量，例如向量可以表示图像、一个或多个传感器读数、声音信号等等。

分类模型可以被训练成针对多个扰动类型的扰动而言是稳健的。扰动类型可以限定所允许的扰动的集合，例如给定一实例，扰动类型可以限定可根据扰动类型从所述实例获得的受扰动的实例的集合。例如，扰动类型可允许在点周围例如根据欧几里得距离在-球中的点的扰动等等。贯穿全文提供各种其它示例。

通过把模型训练成是“稳健”的，并且因而获得“稳健”的模型，所意指的是当与没有被训练成是稳健的分类模型相比，受扰动的实例愈发有可能被分类有它们从中被扰动的实例的标签和/或分类。例如，代替于训练分类模型以在训练实例之上最小化损失函数，可以训练分类模型以在受扰动的训练实例之上最小化损失函数。在该意义上，扰动一般对通过模型的分类具有较小的影响。

将理解的是，在并非所有扰动都可以被恰当地分类的意义上，稳健性是全局性质，并且对于训练数据集的特定实例，该实例的受扰动的实例可能实际上不太有可能被恰当地分类。的确，如同更一般的分类模型，稳健的分类模型可以被视为被选择以优化总体性能的训练数据集的抽象。

为了把分类模型训练成是稳健的，训练可以包括针对训练实例来最小化分类模型的损失，所述训练实例根据多个扰动类型、例如通过被多个扰动类型中的至少一个所允许的扰动而被扰动。因而，实际上，可以关于相应的扰动类型的所允许的扰动的集合的联合、例如根据多个范数的球的联合来训练分类模型。损失典型地指示在例如针对受扰动的训练实例而通过分类模型所预测的输出与通过训练数据集所给出的输出标签之间的差异。例如，损失函数可以包括交叉熵、损失、kullback-leibler发散等等。损失函数的最小化可以是启发式的和/或可以抵达局部最小值。

最小化分类模型的损失可以通过以下来被执行：迭代地选择训练数据集的训练实例的集合、例如迷你批次；确定用于扰动所选训练实例的集合的一个或多个扰动；以及更新参数集合来减小针对受扰动的所选训练实例的分类模型的损失。例如，每个所选训练实例可以受相同的扰动或受分离的扰动所扰动。所述一个或多个扰动可以被选择成针对所选训练实例的集合当受所述一个或多个扰动所扰动的时候最大化分类模型的损失。因而，实际上，通过求解内部最大化问题并且然后通过解来后向传播，可以执行通过在受扰动的训练实例之上使最大损失最小化的稳健优化问题的后向传播。例如，内部最大化问题可以通过所投影的最陡上升来被求解，并且外部最小化问题可以通过随机梯度下降来被求解。

令人感兴趣地，在内部最大化中，扰动可以通过如下来被确定：确定被相应的扰动类型允许的经更新的扰动，以及选择使分类模型的损失增大最多的经更新的扰动。例如，可以针对每个扰动类型确定经更新的扰动和结果得到的损失，并且所选的经更新的扰动使损失增大最多。通过在内迭代中根据扰动类型来选择经更新的扰动，实际上，在最陡下降操作的水平处可以并入不同的威胁模型。例如，代替于为单个扰动类型生成扰动，可以为若干扰动类型生成一个扰动，例如可以在多个威胁模型之上使最坏情况的损失最大化。发明人发现是特别有利的该过程贯穿全文被称为“多最陡下降”或msd。

确定被相应扰动类型允许的经更新的扰动并且在内迭代中根据其而做出选择不是严格必要的。例如，还有可能的是在外迭代中，针对各种扰动类型、例如独立地针对每个扰动类型来确定独立的扰动；选择使分类模型的损失增大最多的扰动；以及优化针对所选扰动的损失。在该意义上，可以选择最坏情况的扰动。代替于选择一个扰动，还可以有可能的是优化针对根据多个扰动类型的扰动的组合的损失，例如对抗性扰动可以用于形成较大的对抗性数据集。然而，如所提及的，已经发现基于多最陡下降的实施例是特别有利的。

因此，以上讨论的各种措施可以使得能够训练稳健的分类器：多个扰动类型的扰动对分类有较小影响，从而导致分类是更稳健且可靠的。令人感兴趣地，发明人已经发现了：与被训练成没有稳健性或被训练成针对另一扰动类型是稳健的分类模型相比，使用本文中所述的技术被训练的分类模型可以不仅提供针对给定扰动类型的更好的稳健性。实际上，在各种情况中，已经发现使用本文中所述的技术被训练的分类模型针对一特定扰动类型与特别地使用mądry等人的技术被训练成针对该特定类型是稳健的分类模型相比正如那样稳健、或甚至更稳健。例如，这已经在mnist数据集上针对-类型、-类型和-类型攻击者被观察到，如稍后更详细地讨论的。

此外，可以通过扰动类型的限定、例如通过为由范数所限定的扰动类型选择较大或较小的限界等等来控制所期望的稳健性水平。本文中所述的技术可适用于宽范围的分类模型以及对应类型的实例，例如，不仅有灰度图像而且还有彩色图像或其它类型的传感器数据，例如，实例可以包括视频、雷达、lidar（光探测和测距）、运动或超声传感器数据；可以通过神经网络被分类的任何类型的数据等等。

可选地，确定用于扰动所选训练实例的集合的所述一个或多个扰动包括确定用于扰动每个相应的所选训练实例的相应扰动，和/或包括确定用于扰动所选训练实例的单个扰动。在第一情况中，可以确定一扰动，所述扰动最大化针对每个相应训练实例的损失。这被称为msd的“强版本”。所述强版本可以提供对于分类模型的最佳改进。在第二情况中，可以确定一扰动，所述扰动最大化针对多个训练实例的损失，例如，即，当相同的扰动被应用到每个相应的训练实例的时候，在多个训练实例之上的总体损失被最大化。这被称为msd的“弱版本”。所述弱版本可以是更资源高效的。

所述强版本和弱版本可以被组合，例如，强版本可以被应用在一个或多个迭代中，并且弱版本可以被应用在一个或多个其它迭代中。另外，可以确定扰动的数目，扰动的数目在弱版本的单个扰动与强版本的所选训练实例的数目中间，从而提供在每个外迭代所花费的计算资源与所做出的进展之间的折衷。

可选地，处理器子系统被配置成通过如下来训练分类模型：执行至少一个或多个第一外迭代，继之以一个或多个第二外迭代。可以在每个第一外迭代中选择单个扰动，并且可以在每个第二外迭代中确定针对每个训练实例的相应迭代。这样，可以在第一外迭代中做出特别高效的进展，在此之后，第二外迭代可以用于对参数集合进行精细调谐。这可以允许以相对少的迭代达到高品质的参数集合。

可选地，处理器子系统被配置成通过如下来确定被相应的扰动类型允许的经更新的扰动：确定对于扰动的更新以增大针对训练实例的集合的分类模型的损失，以及将利用所述更新而被更新的扰动投影到扰动类型的所允许的扰动的集合。这样，能够在最适合于增大分类模型损失的方向上更新置换（permutation），而同时仍然确保结果得到的扰动被扰动类型所允许。

可选地，处理器子系统被配置成通过梯度上升或最陡上升来确定对于扰动的更新。梯度上升允许确定特别适合于增大损失的方向。在其中梯度相对小的情况中、例如在训练实例本身处，最陡上升的使用可以是特别有利的。在这样的情况中，最陡上升允许做出特别高效的进展。

可选地，所述多个扰动类型中的一扰动类型通过范数和限界、例如半径来被限定。扰动类型的所允许的扰动的集合可以被包括在针对其而言范数不超过限界的扰动的集合中。受范数限界的扰动允许表述各种有意义的类型的扰动，而同时还允许确定经更新的扰动来用于相对高效地增大损失函数，例如，对于各种范数而言有可能的是：高效地应用梯度上升或最陡上升，和/或将扰动投影到由范数和限界而被限定的所允许的扰动的集合。例如，范数可以包括范数、范数、范数或范数。范数可以限定所允许的扰动类型的一集合，其指定将被扰动的实例的条目的最大数目。范数可以指定对于实例的条目的修改的总和的最大值。范数可以指定在实例及其扰动之间的最大欧几里得距离。范数可以指定将被应用到每个实例的最大修改。

可选地，多个扰动的扰动类型通过最大wasserstein距离来被限定。例如，扰动类型的所允许的扰动的集合可以被包括在针对其而言对于实例的wasserstein距离不超过最大wasserstein距离的实例的扰动的集合中。wasserstein距离可以在各种设置中限定扰动的有意义的集合，例如，在图像分类设置中，wasserstein距离可以被视为测量移动像素块的成本，例如，所允许的扰动的集合可以包括缩放、旋转、平移和/或扭曲。wasserstein对抗性示例可以使用本身在本领域中已知的技术来被生成，诸如在e.wong等人的“wassersteinadversarialexamplesviaprojectedsinkhorniterations”（其通过引用被并入本文中并且在https://arxiv.org/abs/1902.07906处可得到）中所公开的技术。

可选地，分类模型是图像分类器。训练数据集可以包括作为训练实例的多个训练图像。各种类型的图像分类器本身是已知的并且可以被应用，例如卷积神经网络或其它类型的神经网络。如所讨论的，图像分类是重要的构建块，例如用于各种自主设备，并且因此，改进其稳健性和可靠性特别地在对抗性设置中是特别显著的。

可选地，处理器子系统被配置成：在内迭代中通过确定受经更新的扰动所扰动的训练实例的分类来确定扰动；以及如果所述受扰动的训练实例的分类不同于训练实例的分类，则将所述扰动确定为经更新的扰动。换言之，如果发现了受扰动的实例被不同地分类，则对扰动的确定可被打断（cutshort）。这样，需要用于确定扰动的较少的优化操作，其可导致与执行附加的迭代以便抵达经更新的扰动相比在性能上的总体改进，即使继续优化可导致更优的参数选择。

各种实施例涉及一种系统，其执行针对多个扰动类型的扰动而言稳健的分类，例如作为用于控制车辆的汽车控制系统的子系统。在这样的情况中，汽车控制系统可以从相机获得车辆的环境的图像，对它们进行分类，并且使用它们来确定致动器数据，所述致动器数据用于使得致动器实现动作来控制车辆。在汽车控制系统中使用图像分类本身是已知的。考虑到针对安全性和可靠性的高需求、其中车辆可以运作的环境的不可预测性、以及还有对于抵抗对抗性和非对抗性扰动二者的期望，本文中所呈现的技术在这样的设置中是特别有利的。

使用如本文中所述的分类模型的分类可以更一般地被应用到计算用于控制宽范围的物理系统的控制信号，包括经计算机控制的机器，诸如机器人、家用器具、电力工具、制造机器、构造工厂、个人助理或访问控制系统。通常，用于控制这样的物理系统的控制信号可以至少部分地基于传感器读数的分类来被确定，所述传感器读数的分类通过使用如本文中所述的分类模型，以便基于所感知的环境而做出决定。

在各种实施例中，执行分类的系统可以不直接地生成控制系统本身，但是可以更间接地与物理系统交互。在实施例中，执行稳健分类的系统可以被包括在光学检查系统中，例如用于检查在制造过程中所生产的产品或类似物。例如，所制造的产品的图像可以被分类成有故障或无故障，和/或被分类成异常现象的预定集合等等。尽管，对于这样的光学检查系统而言有可能直接地控制物理系统，例如调节制造系统/构造工厂的控制参数，但是对此不需要，例如，光学检查系统还可以取决于所确定的分类来对产品加标志以用于手动检查，可以将所确定的分类传递到物理系统的分离的控制系统等等。

本领域技术人员将领会到，可以用被认为有用的任何方式来组合本发明的以上提及的实施例、实现方式和/或可选方面中的两个或更多。

本领域技术人员基于本描述可以实施对任何经计算机实现的方法和/或任何计算机可读介质的修改和变型，其对应于对应系统的所述修改和变型。

附图说明

本发明的这些和其它方面将从实施例和附图中清楚并且此外参考实施例并且参考附图来被阐明，所述实施例在以下描述中作为示例被描述，在所述附图中：

图1示出了用于将分类模型训练成针对多个扰动类型的扰动而言是稳健的系统；

图2示出了用于执行针对多个扰动类型的扰动而言稳健的分类的系统；

图3示出了用于控制车辆的汽车系统；

图4示出了如何可以使用被多个扰动类型之一允许的扰动来训练分类模型的详细示例；

图5示出了如何通过最陡上升来确定对扰动的更新的详细示例；

图6示出了如何将扰动投影到扰动类型的所允许的扰动的集合的详细示例；

图7示出了用于将分类模型训练成针对多个扰动类型的扰动而言是稳健的经计算机实现的方法；

图8示出了用于执行针对多个扰动类型的扰动而言稳健的分类的经计算机实现的方法；

图9示出了包括数据的计算机可读介质；

图10示出了当被若干类型的对抗者攻击的时候的各种模型的误差率。

应当注意到，各图纯粹是图解性的并且不按比例绘制。在各图中，与已经描述的元素相对应的元素可以具有相同的参考标号。

具体实施方式

图1示出了用于将分类模型训练成针对多个扰动类型的扰动而言是稳健的系统100。扰动类型可以限定所允许的扰动的集合。系统100可以包括数据接口120和处理器子系统140，所述数据接口120和处理器子系统140可以经由数据通信124而在内部通信。处理器子系统140可以被配置成在系统100的操作期间并且通过使用数据接口120来访问训练数据集030以及对分类模型进行参数化的参数集合050。训练数据集030可以包括多个训练实例。例如，如图1中所示，数据接口120可以提供对于外部数据存储装置020的访问122，所述外部数据存储装置020可以包括所述数据030、050。可替换地，可以从作为系统100的部分的内部数据存储装置访问数据030、050。可替换地，可以经由网络而从另一实体接收数据030、050。通常，数据接口120可以采取各种形式，诸如对于局域网或广域网、例如因特网的网络接口，对于内部或外部数据存储装置的数据接口等等。数据存储装置020可以采取任何已知并且合适的形式。

处理器子系统140可以此外被配置成在系统100的操作期间训练分类模型。训练分类模型可以包括执行一个或多个外迭代。处理器子系统140可以被配置成在外迭代中选择训练数据集030的训练实例的集合。处理器子系统140可以被配置成在外迭代中确定用于扰动所述一个或多个所选训练实例的一个或多个扰动。所述一个或多个扰动可以在多个扰动类型的所允许的扰动的集合之中被选择，用于针对所选训练实例的集合当受所述扰动而扰动的时候最大化分类模型的损失。处理器子系统140还可以被配置成在外迭代中更新分类模型的参数集合050，用于针对所述受扰动的一个或多个所选训练实例减小分类模型的损失。处理器子系统140可以被配置成在内迭代中通过如下来确定扰动：确定被多个扰动类型中的相应扰动类型所允许的经更新的扰动，以及选择使分类模型的损失增大最多的经更新的扰动。

作为可选的组件，系统100可以包括图像输入接口（未被示出），或任何其它类型的输入接口，以用于从诸如相机（未被示出）之类的传感器获得传感器数据。处理器子系统140可以被配置成获得训练数据集的一个或多个训练实例作为从传感器获得的传感器数据。

将参考图4来进一步阐明系统100的操作的各种细节和方面，包括其可选方面。

通常，系统100可以被具体化为单个设备或装置或被具体化在单个设备或装置中，所述单个设备或装置诸如工作站、例如基于膝上型或台式的工作站，或服务器。所述设备或装置可以包括执行适当软件的一个或多个微处理器。例如，处理器子系统可以通过单个中央处理单元（cpu）、而且还通过这样的cpu和/或其它类型的处理单元的系统或组合来被具体化。软件可能已被下载和/或存储在对应的存储器中，所述对应的存储器例如诸如ram的易失性存储器，或诸如闪速存储器的非易失性存储器。可替换地，系统的功能单元、例如数据接口和处理器子系统可以被实现在以可编程逻辑的形式的设备或装置、例如如同现场可编程门阵列（fpga）中。通常，可以用电路形式来实现系统的每个功能单元。注意到，系统100还可以用分布式方式来被实现，例如涉及例如以云计算的形式的、诸如分布式服务器之类的不同的设备或装置。

图2示出了系统200，其用于执行针对多个扰动类型的扰动而言稳健的分类。扰动类型可以限定所允许的扰动的集合。系统200可以包括数据接口220和处理器子系统240，其可以经由数据通信224而在内部通信。处理器子系统240可以被配置成在系统200的操作期间并且通过使用数据接口220来访问对分类模型进行参数化的参数集合050。所述参数集合可以根据本文中所述的方法、例如通过系统100来被训练。例如，如图2中所示，数据接口220可以提供对于外部数据存储装置022的访问222，所述外部数据存储装置022可以包括所述参数集合050。可替换地，可以从作为系统200的部分的内部数据存储装置访问参数集合050。可替换地，可以经由网络而从另一实体接收参数集合050。通常，数据接口220可以采取各种形式，诸如对于局域网或广域网、例如因特网的网络接口，对于内部或外部数据存储装置的数据接口等等。数据存储装置022可以采取任何已知并且合适的形式。

处理器子系统240可以此外被配置成在系统200的操作期间获得实例并且基于参数集合050、根据分类模型来对实例进行分类。

作为可选的组件，系统200可以包括图像输入接口260，或任何其它类型的输入接口，以用于从诸如相机280之类的传感器获得传感器数据。传感器数据可以被包括在待被分类的实例中。例如，相机可以被配置成捕获图像数据262，处理器子系统240被配置成从经由输入接口260获得的图像数据262中获得实例。

作为可选的组件，系统200可以包括致动器接口（未被示出），所述致动器接口（未被示出）用于向致动器提供致动器数据，所述致动器数据使得致动器在系统200的环境中实现动作。例如，处理器子系统240可以被配置成至少部分地基于实例的分类来确定致动器数据，并且经由致动器接口而将致动器数据提供到致动器。

将参考图4来进一步阐明系统200的操作的各种细节和方面，包括其可选方面。

通常，系统200可以被具体化为单个设备或装置或被具体化在单个设备或装置中，所述单个设备或装置诸如工作站、例如基于膝上型或台式的工作站，或服务器。所述设备或装置可以包括执行适当软件的一个或多个微处理器。例如，处理器子系统可以通过单个中央处理单元（cpu）、而且还通过这样的cpu和/或其它类型的处理单元的系统或组合来被具体化。软件可能已被下载和/或存储在对应的存储器中，所述对应的存储器例如诸如ram的易失性存储器，或诸如闪速存储器的非易失性存储器。可替换地，系统的功能单元、例如数据接口和处理器子系统可以被实现在以可编程逻辑的形式的设备或装置、例如如同现场可编程门阵列（fpga）中。通常，可以用电路形式来实现系统的每个功能单元。注意到，系统200还可以用分布式方式来被实现，例如涉及例如以云计算的形式的、诸如分布式服务器之类的不同的设备或装置。

图3示出了以上的示例，其中示出了用于控制车辆62的汽车控制系统300，该汽车控制系统300包括用于通过使用根据实施例的分类模型来执行分类的系统，例如图2的系统200（没有被分离地示出）。所述分类模型在该示例中可以是图像分类器。车辆62可以是自主或半自主车辆，但是这不是必要的，例如系统300也可以是非自主设备62的驾驶员辅助系统。

例如，车辆62可以并入分类系统，以基于从相机22获得的图像来控制车辆。例如，汽车控制系统300可以包括相机接口（没有被分离地示出），用于从相机22获得车辆的环境50的图像。

分类系统可以被配置成根据分类模型来对从相机22获得的图像进行分类，以检测车辆的环境50中的对象，例如车辆有与其碰撞的风险的交通标志或障碍。在实施例中，多个扰动中的至少一个通过最大wasserstein距离来被限定；考虑到车辆环境的不可预测性以及诸如部分旋转、部分平移、运动模糊、传感器拖尾效应等之类的扰动的可能性，这样的扰动类型的使用可以尤其有助于改进分类的可靠性并且因而改进汽车控制和/或安全性。

控制系统300可以此外包括致动器接口（没有被分离地示出），以用于向致动器提供致动器数据，所述致动器数据使得致动器实现用于控制车辆62的动作。汽车控制系统300可以被配置成：至少部分地基于该检测来确定用于控制车辆62的致动器数据；并且经由致动器接口将所述致动器数据提供到致动器。例如，可以使得致动器控制车辆的转向和/或制动。例如，在检测到障碍的情况中，控制系统可以控制电动机42以执行（再生）制动。

图4示出了如何可以将分类模型训练成针对多个扰动类型的扰动而言是稳健的详细但非限制性的示例。将分类模型训练成针对扰动而言是稳健的也可以被称为“对抗性训练”，而根据扰动类型的扰动也可以被称为通过“对抗者”的“攻击”。

在该示例中，分类模型是神经网络，但是也可以使用各种其它类型的分类模型。分类模型可以通过例如多个参数的参数par、450的集合来被参数化。例如，在神经网络的情况中，参数par的集合可以包括神经网络的一个或多个节点的权重。参数集合可以包括附加的参数，例如超参数、模型选择参数等等。在数学上，通过参数、par的集合而被参数化的分类模型可以被标示为函数。给定实例，值可以表示一个或多个分类评分，其指示实例根据分类模型而属于相应的类的概率，例如针对二元分类器的一个这样的概率或针对多类分类器的多个概率。

训练分类模型典型地包括基于训练数据集td、430来确定参数par的集合。训练数据集td可以包括多个训练实例（没有被分离地示出），例如至多或至少1000个、至多或至少10000个、或者至多或至少100000个训练实例。训练实例典型地被加标签为实例，例如训练实例可以包括特征向量、例如实值向量，以及标签、例如二元或以其它方式的类别标签。在一些实施例中，训练实例包括传感器数据，例如从相机获得的图像或视频、雷达数据、lidar（光探测和测距）数据、超声数据、运动数据等等。特别地，在一些实施例中，分类模型是图像分类器，并且训练数据集td包括作为训练实例的多个训练图像。例如，训练图像的特征可以表示训练图像的像素值。例如在图像分类的情况中，分类模型可以是卷积神经网络或其它合适类型的神经网络。

训练分类模型可以涉及最小化针对实例集合的分类模型的损失。通常，针对具有相应标签的实例集合的损失指示：在用一个或多个实例的相应标签对所述一个或多个实例进行分类中的分类模型的准确性。损失可以通过损失函数来被给出，所述损失函数例如针对实例和标签的分类模型的分类评分的函数。可以使用各种已知的损失函数，例如交叉熵、均值绝对误差等等。例如，在二元分类的情况中，交叉熵损失可以被定义为。在多类分类器的情况中，例如，可以基于概率来确定损失，所述概率即根据在分类评分之上的softmax分布而通过标签来对实例进行分类的概率。例如，对于多个实例，损失可以被定义为相应实例的损失的总和。贯穿全文，记号可以用于标示针对具有标签的实例的分类模型的损失。

图4的分类模型可以被训练成针对多个扰动类型的扰动而言是稳健的。图中所示出的是扰动类型pt1、461直到ptn、462。扰动类型的数目可以例如是至少两个、至少三个、或者至多或至少五个。扰动类型可以限定所允许的扰动的集合。

在各种实施例中，一个或多个扰动类型、例如扰动类型pt1可以通过范数和限界来被限定。扰动类型的所允许的扰动的集合可以被包括在针对其而言范数不超过限界的扰动的集合中。例如，范数可以是-范数，例如范数、范数、范数或范数，在所述情况中，所允许的扰动的集合可以被限定为。通过范数所给出的扰动类型捕获所允许的扰动的各种自然集合。贯穿全文，所允许的扰动的集合一般可以被标示为，其中理解到该记号还包括不一定通过范数和限界来被限定的扰动类型。

代替于或附加于-类型的扰动，多个扰动的一个或多个扰动类型、例如扰动类型ptn可以通过最大wasserstein距离来被限定，其例如允许捕获图像或其它类型的传感器数据的缩放、旋转、平移和/或扭曲。wasserstein距离可以如在e.wong等人的“wassersteinadversarialexamplesviaprojectedsinkhorniterations”（其在涉及章节3中wasserstein距离的定义的范围内通过引用被并入本文中，并且在https://arxiv.org/abs/1902.07906处可得到）中所定义的那样。

将分类模型训练成针对多个扰动类型的扰动而言是稳健的可以包括最小化——例如启发式地——针对训练数据集td的受扰动的实例的损失，其中受扰动的实例被扰动以最大化在被所述多个扰动类型允许的扰动之中的损失。在数学上，优化可以被表达为：

此处，标示训练数据集td；标示损失函数；并且标示被至少一个扰动类型pti允许的扰动的集合，换言之，被相应的扰动类型pt1,…,ptn允许的扰动的集合的联合。集合有时还被称为“扰动区”或“威胁模型”。

如图4中所示出的，以上损失可以启发式地被最小化，并且因此，分类模型可以用迭代的方式、例如在多个迭代中被训练。例如，这样的外迭代的数目可以是至多或至少5个，或者至多或至少10个。在外迭代中，在操作dsel、431中，可以选择训练实例ti、432的集合。用于扰动训练实例ti的（一个或多个）扰动up、491可以在多个扰动类型的所允许的扰动的集合之中被选择，以最大化针对训练实例ti的分类模型的损失。在图4的示例中，该选择包括可以在内迭代中被重复的操作desc.、470；proj.、480；以及psel、490。基于所选的（一个或多个）扰动up，参数par的集合可以在操作popt、451中被更新，以减小针对被扰动up所扰动的训练实例ti的分类模型的损失。

换言之，训练分类模型可以包括通过优化问题来后向传播训练实例，其中可以通过如下来后向传播训练实例：对内部最大化进行求解以获得经更新的（一个或多个）扰动up，以及通过外部优化来后向传播受扰动的输入实例。注意到，该途径可以受到danskin的定理支持，所述danskin的定理声明了：最大化问题的梯度等于在最优时所求值的目标的梯度。该定理被应用到表达式，可以隐含：

其中表示在多个扰动类型之上的最坏情况的对抗性损失。在以下进一步描述的各种实施例中，对内部最大化问题进行求解可以包括通过所投影的梯度下降或类似物来确定经更新的（一个或多个）扰动up。

现在聚焦于外迭代上，在操作dsel、431中，可以选择训练数据集td的训练实例ti、432的集合。训练实例ti的集合可以是随机优化的迷你批次，例如随机梯度下降或类似物。例如，训练实例的数目可以是至多或至少10个，或者至多或至少100个。可以用针对梯度下降或类似方法的本身已知的各种方式来选择训练实例ti，所述各种方式例如随机地、顺序地等等。然而，对于训练实例ti的集合而言还有可能的是包括全数据集td或由单个训练实例组成。

给定训练实例ti的集合，一个或多个扰动up、491可以被确定，以用于扰动所选训练实例的集合。

在图中作为示例被示出的是用于扰动所选训练实例ti中每一个的单个置换up。使用单个迭代可以被称为多最陡下降的弱版本。在其它实施例中，确定用于扰动每个相应的所选训练实例的相应扰动，其可以被称为多最陡下降的强版本。其它选择也是可能的，例如针对训练实例的集合ti的子集的扰动等等。在各种实施例中，在一个或多个第一外迭代中，可以确定单个扰动up，并且在一个或多个稍后的第二外迭代中，可以针对每个所选的训练实例ti确定扰动up。例如，可以执行单个第二外迭代，例如作为优化的最终操作。第一外迭代的数目可以是例如至多或至少5个，或者至多或至少10个。

通常，扰动up可以在多个扰动类型pt1,…,ptn的所允许的扰动的集合之中被选择，以最大化针对训练实例ti当受扰动up所扰动的时候的分类模型的损失。

如图4中所示，扰动up本身可以在内迭代优化中被确定。例如，内部优化的迭代的数目可以是至多或至少50个，至多或至少100个，或者至多或至少200个。实例示出了导致单个扰动up的msd的弱版本，但是例如通过重复地执行操作470-490，可以针对相应的训练实例确定更多的扰动。在内迭代中，针对训练实例ti中的一个或多个的经更新的扰动up可以通过如下来被确定：通过相应的扰动类型pt1,…,ptn来针对那些训练实例确定经更新的扰动up1、481,…,upn、482，例如针对每个扰动类型、pti的经更新的扰动、upi。在每个内迭代中考虑每个扰动类型不是严格可能的，但是在至少一个内迭代中可以考虑多个扰动类型中的每个扰动类型pt1,…,ptn，并且在各种实施例中，在至少一个内迭代中，考虑多个扰动类型。在这样的情况中，选择psel、490可以由使分类模型的损失增大最多的经更新的扰动up1,…,upn构成，例如，在使损失增大较少的经更新的扰动之上偏爱使分类模型的损失增大更多的经更新的扰动。例如，经更新的扰动up可以在经更新的扰动up1,…,upn之中被选择作为

例如，作为使在应用扰动的一个或多个所选训练实例之上的损失最大化的扰动。例如，总和可以在弱版本中的所选训练实例之上，或者在强版本中的单个训练实例之上。

在操作desc.、470中，为了确定被扰动类型pti所允许的经更新的扰动upi，可以确定对于扰动up的相应更新u1、471,…,un、472，用于增大针对训练实例ti的集合的分类模型的损失。对于当前扰动的更新可以被标示为，例如其导致经更新的扰动。例如，可以被确定为增大当前损失。

在一些实施例中，操作desc.可以包括通过梯度下降或上升、例如通过在梯度方向上更新扰动以增大损失来更新扰动。

在一些实施例中，操作desc.可以包括通过最陡上升、例如最陡下降来更新扰动，以用于增大损失。尤其是在训练实例ti本身处，例如如果，则与梯度上升相比，最陡上升可以提供更大的并且因此更有效的更新。在数学上，通过最陡上升、关于范数和步进大小所确定的经更新的扰动upi可以通过如下而被给出：

。

用于确定关于各种范数的最陡上升的技术本身是已知的并且可以被应用在此处。

作为说明性示例，关于范数的对于扰动的更新ui可以被确定为。关于范数的对于扰动的更新可以被确定为：

。

关于范数的对于扰动的更新可以被确定为：

其中

并且是在定位中具有1的单位向量。对于技术人员而言，各种可替换方案将是清楚的。

在针对其而确定经更新的扰动upi的扰动类型pti通过范数来被限定的情况中，可以关于相同的范数来执行最陡上升。然而，这不是严格必要的。在通过最大wasserstein距离所限定的扰动类型的情况中，例如，可以通过最陡上升、关于wasserstein距离或关于范数来确定经更新的扰动。有可能使用相同的更新ui来确定多个经更新的扰动upi，例如通过使用如以下详述的不同投影。

注意到，用于确定经更新的扰动upi的最陡下降方向可以不对应于实际梯度。这在图5中作为示例来被可视化。图5中所示的是梯度501。针对范数、范数和-范数的半径的步进大小相应地被示出为510、520和530。与相应的范数相对应的最陡下降方向相应地被示出为511、521和531。在该情况中，梯度方向501对应于范数的最陡下降方向521，但是不对应于针对范数和范数的方向。

继续图4，示出的是操作proj、480，其可以通过如下来确定经更新的扰动upi：将利用所确定的更新、ui而被更新的扰动、up投影到扰动类型pti的所允许的扰动的集合。这样的投影可以被标示为。例如，可以确定一投影，所述投影找到在欧几里得空间中最靠近于输入的扰动，例如

。

例如，图5示出了如下的示例：最陡下降，其继之以往针对对抗者的扰动区上的投影。图中所示出的是在最陡下降步骤之后向在-范数中通过限界、601而被限界的子空间600的投影。所示出的是最陡下降步骤603，其中扰动、602被更新成扰动、604。投影605将经更新的扰动604向后投影到-球600上的点606。

返回到图4，用于投影到扰动类型pti的所允许的扰动的集合的各种方式本身是已知的并且可以容易地被应用。例如，将利用所确定的更新ui而被更新的扰动up投影到在数据点周围的所允许的扰动的-球可以通过确定如下来被执行：

其中标示将输入裁剪成位于范围内。向-球的投影可以被执行为：

向-球的投影可以如在j.duchi等人的“efficientprojectionsontothel1-ballforlearninginhighdimensions”（proceedings（会议录）icml’08）（通过引用被并入本文中）中所公开的那样被执行。向通过最大wasserstein距离所限定的扰动的wasserstein球的投影可以如在e.wong等人的“wassersteinadversarialexamplesviaprojectedsinkhorniterations”（其在涉及章节4.1的投影方法的范围内通过引用被并入本文中，并且在https://arxiv.org/abs/1902.07906处可得到）中所公开的那样被执行。

在操作popt、451中，基于训练实例ti的所选集合以及所确定的扰动up，分类模型的参数par的集合可以被更新以减小针对受所确定的扰动up所扰动的训练实例ti的分类模型的损失。例如，可以例如利用随机梯度下降来执行后向传播，以利用如下梯度来更新参数par的集合：

其中在所选的训练实例ti之上求和，并且标示受所确定的扰动up所扰动的所选训练实例。例如，在多最陡下降的强版本中，每个所选训练实例可受相应的扰动所扰动；在弱版本中，每个所选训练实例可受相同的扰动所扰动。

可选地，作为内迭代desc.、proj.、psel的部分，可以确定受经更新的扰动up所扰动的训练实例ti的分类（没有被显式地示出）。如果受扰动的训练实例的分类不同于例如根据训练数据集td或根据分类模型的训练实例的分类，则所述扰动可以被确定为当前经更新的扰动up，例如不再有内迭代可以被执行以确定经更新的扰动。例如，如果与训练数据集或分类模型相比，每个训练实例ti的分类改变，则可以停止内部优化。这样，如果发现了足够良好以改变分类的扰动，则可以停止内部优化，在所述情况中，可能不预期对扰动的进一步的优化仍然很大地改进扰动。

作为示例，以下描述根据实施例的用于训练分类模型的过程。置换类型的集合被标示为。扰动类型通过对来被给出，该对包括在所允许的扰动的集合上的范数和限界。因此，被这样的扰动类型所允许的实例的扰动的集合可以被限定为。例如，多个扰动类型的所允许的扰动的集合可以是。在该示例中，针对单个训练实例来确定扰动。训练分类模型可以包括在训练过程的外迭代中执行以下操作：

1.(dsel)选择经注释的数据对

2.确定受扰动的数据训练实例

a.如果：返回

b.令并且

c.经由最陡上升来更新扰动：

i.对于所有，计算最坏情况的对抗性扰动，例如经由最陡下降（desc）来增大损失函数以及向-球的投影（proj）

ii.(psel)返回

d.如果：返回

e.如果：重复

3.(popt)更新参数以减小针对受扰动的实例的损失

如在步骤2d中的该示例过程中所示出的，如果受扰动的训练实例的分类不同于根据训练数据集的分类，则所述扰动可以被确定为当前扰动，并且当前受扰动的实例可以用于优化参数的集合。

如将理解的，以上过程可以被适配使得在第一步骤中，选择多个经注释的数据对，例如迷你批次。在强变体中，可以通过针对每个扰动确定分离的扰动、例如分离地执行步骤2来扰动所选的经注释的数据对。在弱变体中，可以通过如下来扰动所选的经注释的数据对：通过在所组合的经注释的数据对之上执行所投影的梯度下降和最大化，例如通过执行步骤2来确定要应用到每个所选的经注释的数据对的单个扰动。例如，在步骤2a和2d中，一旦扰动使得所选的经注释的数据对中的每一个被不同地分类，或者一旦扰动使得所选的经注释的数据对中的至少一个被不同地分类等等，就可以返回扰动的集合。

以下呈现根据实施例的多最陡下降过程的另一描述。

算法。

用于学习分类器的多最陡下降，所述分类器对于、例如同时对于多个攻击而言是稳健的。

。

令人感兴趣地，如从该算法中可以观察到的，在其中确定对于扰动的更新的多最陡下降的迭代之后，可以选择所投影的下降方向，其最大化针对受所投影的更新所扰动的训练实例的分类模型的损失。因此，可以同时考虑多个扰动类型。

图7示出了用于将分类模型训练成针对多个扰动类型的扰动而言是稳健的经计算机实现的方法700的框图。扰动类型可以限定所允许的扰动的集合。方法700可以对应于图1的系统100的操作。然而，这不是限制，因为还可以使用另一系统、装置或设备来执行方法700。

方法700可以在题为“访问数据集、参数（accessingdataset）”的操作中包括访问710训练数据集以及对分类模型进行参数化的参数集合，其中所述训练数据集包括多个训练实例。所述方法可以此外在题为“训练分类模型（trainingclassificationmodel）”的操作中包括训练720分类模型。训练分类模型可以包括执行一个或多个外迭代。方法700可以在外迭代中、在题为“选择训练实例（selectingtraininginstances）”的操作中包括选择730训练数据集的训练实例的集合。方法700可以此外在外迭代中、在题为“确定扰动（determiningperturbations）”的操作中包括确定740用于扰动所选训练实例的集合的一个或多个扰动。所述一个或多个扰动可以在多个扰动类型的所允许的扰动的集合之中被选择，用于针对所选训练实例的集合当受所述一个或多个扰动所扰动的时候最大化分类模型的损失。方法700还可以在外迭代中、在题为“更新参数（updatingparameters）”的操作中包括更新770分类模型的参数集合，用于减小针对所述受扰动的一个或多个所选训练实例的分类模型的损失。

作为操作740的部分的确定扰动可以包括执行一个或多个内迭代。方法700可以在内迭代中、在题为“确定经更新的扰动（determiningupdatedperturbations）”的操作中包括确定750被多个扰动类型中的相应扰动类型所允许的经更新的扰动。方法700还可以在内迭代中、在题为“选择经更新的扰动（selectingupdatedperturbation）”的操作中包括选择760使分类模型的损失增大最多的经更新的扰动。

图8示出了用于执行针对多个扰动类型的扰动而言稳健的分类的经计算机实现的方法800的框图。扰动类型可以限定所允许的扰动的集合。方法800可以对应于图2的系统200或图3的系统300的操作。然而，这不是限制，因为还可以使用另一系统、装置或设备来执行方法800。

方法800可以在题为“访问参数（accessingparameters）”的操作中包括访问810对分类模型进行参数化的参数集合。分类模型可以在外迭代中通过如下来被训练：

-选择训练数据集的训练实例的集合；

-确定用于扰动所选训练实例的集合的一个或多个扰动，所述一个或多个扰动在多个扰动类型的所允许的扰动的集合之中被选择，用于针对所选训练实例的集合当受所述一个或多个扰动所扰动的时候最大化分类模型的损失；以及

-更新分类模型的参数集合以减小针对所述受扰动的一个或多个所选训练实例的分类模型的损失。

可以在内迭代中通过如下来确定扰动：确定被多个扰动类型中的相应扰动类型所允许的经更新的扰动，以及选择使分类模型的损失增大最多的经更新的扰动。

方法800可以此外在题为“获得实例（obtaininginstance）”的操作中包括获得820实例。方法800可以此外在题为“对实例进行分类（classifyinginstance）”的操作中包括根据分类模型来对实例进行分类830。

将领会到，通常，图7的方法700和图8的方法800的操作可以用任何合适的次序来被执行，所述任何合适的次序例如相继地、同时地或其组合，其在可适用的情况中服从例如通过输入/输出关系所必需的特定次序。

（一个或多个）方法可以被实现在计算机上作为经计算机实现的方法、如专用硬件或如二者的组合。如还在图9中所图示的，用于计算机的指令、例如可执行代码可以被存储在计算机可读介质900上，例如以一系列910机器可读物理标记的形式和/或作为一系列具有不同的电学（例如磁性）或光学性质或值的元素。可执行代码可以用暂时性或非暂时性方式来被存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等等。图9示出了光盘900。可替换地，计算机可读介质900可以包括暂时性或非暂时性数据910，所述暂时性或非暂时性数据910表示如在本说明书中在别处所描述的分类模型的参数集合。

图10示出了用于将本文中所呈现的技术应用在mnist数据集（http://yann.lecun.com/exdb/mnist/）上的实验结果。实验结果是根据实施例被训练成针对、和类型的扰动而言是稳健的分类模型。发明人已经发现了所训练的分类模型胜过被训练成针对单个扰动类型而言是稳健的分类模型。令人感兴趣地，甚至在相比于针对模型的单独攻击的性能的时候——所述模型针对该特定的攻击而被训练，发明人也发现了根据实施例的分类模型防护得正一样好或甚至更好。

在实验中，分类模型是图像分类器，其包括四层卷积网络，所述四层卷积网络具有两个卷积层，所述两个卷积层具有32和64个5×5滤波器以及2个填补单元，继之以具有1024个隐藏单元的全连接的层。两个卷积层都继之以2×2最大池化（maxpooling）层和relu激活。用于所有实验的优化器是adam，并且学习速率以0.001被发起，并且周期性地每5个时期减小到1/10。为了避免陷入局部最小值中，的减小的值用于训练的第一时期，并且它然后直接地被增大到最终值。

分类模型使用如本文中所述的多最陡下降来被训练。针对总共8个时期、在每个迷你批次上使用msd的100个迭代来训练网络。第一时期以减小的来被训练，并且然后针对接下来的6个时期以被训练。这些时期利用msd的较弱版本来被训练，并且最终时期然后利用msd的较强版本来被训练以用于精细调谐。针对模型的标准测试误差是1.32%。

作为比较，还单独地使用三个威胁模型中的每一个来训练三个典型的经对抗性训练的分类模型。与用于msd模型的相同参数被使用；然而，这些模型被更久地训练，观察到在过度拟合之前花费多达30个时期，并且没有发生在一般化中的实质性改进。

为了评估分类模型的稳健性，利用对抗者的100个所投影的梯度下降pgd迭代、以及和对抗者的2000个迭代来攻击它们。还针对对抗者来评估模型，其中对抗者可以每个迭代改变一个像素，直到个迭代。注意到，攻击形成攻击的超集。

图表1000示出了当被对抗者攻击的时候的各种分类模型的误差率。曲线1001、1002和1003是相应地针对、和对抗者所训练的分类模型的误差率。曲线1004是使用本文中所呈现的技术被训练成针对多个扰动类型而言是稳健的分类模型的误差率，所述多个扰动类型包括、和对抗者。

图表1010示出了当被对抗者攻击的时候的各种分类模型的误差率。曲线1011、1012和1013是相应地针对、和对抗者所训练的分类模型的误差率。曲线1014是使用本文中所呈现的技术被训练成针对多个扰动类型而言是稳健的分类模型的误差率，所述多个扰动类型包括、和对抗者。

图表1020示出了当被对抗者攻击的时候的各种分类模型的误差率。曲线1021、1022和1023是相应地针对、和对抗者所训练的分类模型的误差率。曲线1024是使用本文中所呈现的技术被训练成针对多个扰动类型而言是稳健的分类模型的误差率，所述多个扰动类型包括、和对抗者。

图表1030示出了当被对抗者攻击的时候的各种分类模型的误差率。曲线1031、1032和1033是相应地针对、和对抗者所训练的分类模型的误差率。曲线1034是使用本文中所呈现的技术被训练成针对多个扰动类型而言是稳健的分类模型的误差率，所述多个扰动类型包括、和对抗者。注意到，误差模型中没有任何一个已经被显式地训练成针对该类型的对抗者而言是稳健的。

从图表1000-1020的对抗性曲线中观察到：根据实施例所训练的对抗性模型已经获得了针对它被训练所针对的所有威胁模型的相对强的稳健性程度。根据实施例的模型至少与其它模型执行得一样好，并且在大多数情况中执行得更好。还在图表1030中观察到针对攻击的强稳健性程度。总体而言，我们看到：所提出的训练技术在实现针对在mnist数据集上的攻击的联合而言的显著稳健性方面是成功的。例如，对于，我们的模型的对抗性误差相应地是7.1%、13.5%和11.4%。

令人感兴趣地，观察到，针对单独的攻击，与特别地针对该特定攻击而被训练的模型相比，针对扰动模型的联合而被训练的模型实际上等同地稳健或更稳健。例如，这通过比较曲线1003和1004；曲线1011和1014；以及曲线1022和1024而被观察到。因此，本训练技术和结果得到的分类模型可以不仅提供经改进的总体稳健性，而且还提供针对特定扰动类型的经改进的稳健性。

示例、实施例或可选特征——无论是否被指示为非限制性的——都不要被理解为对如所要求保护的本发明进行限制。

应当注意到，以上提及的实施例说明而不是限制本发明，并且本领域技术人员将能够在不偏离所附权利要求书的范围的情况下设计许多可替换的实施例。在权利要求书中，被置于括号之间的任何参考标记不应被解释为限制权利要求。使用动词“包括”及其变位不排除存在除了在权利要求中所陈述的那些元素或阶段之外的元素或阶段。在元素之前的冠词“一”或“一个”不排除存在多个这样的元素。诸如“其中至少一个”之类的表述当在元素列表或群组之前的时候表示从该列表或群组中选择全部元素或元素的任何子集。例如，表述“a、b和c中的至少一个”应当被理解为包括仅a、仅b、仅c、a和b二者、a和c二者、b和c二者或者全部a、b和c。本发明可以借助于包括若干不同元件的硬件、以及借助于合适编程的计算机来被实现。在列举了若干构件的设备权利要求中，这些构件中的若干个可以通过硬件的同一项来被具体化。仅有的事实即在相互不同的从属权利要求中记载了某些措施不指示这些措施的组合不能被有利地使用。