本发明涉及一种系统，其用于为通过分类模型的分类确定掩模，例如用于获得对于分类模型是否已经学习了输入/输出关系的理解。本发明还涉及对应的计算机实现的方法。本发明此外涉及包括用于执行所述方法的指令的计算机可读介质。发明背景分类模型越来越多地被使用在诸如自动化控制系统之类的环境中。例如，自主载具的控制系统可以使用图像分类来检测在它们附近的对象、诸如交通标志和障碍，并且使用该检测来控制载具。然而，还有非自主载具当今具有驾驶员辅助系统，所述驾驶员辅助系统使用图像分类，例如用于如果载具处于与对象碰撞的危险中则制动。图像分类也被使用在诸如医学图像分类的各种其它关键的情境中。除了图像之外，还有其它类型的传感器数据可以被用作对于分类模型的输入，例如，音频数据、视频数据、雷达数据、lidar数据、超声数据或各种单独的传感器读数或它们的历史。基于分类，可以生成控制信号，例如用于控制机器人、载具、家用器具、电力工具、制造机器、个人助理、访问控制系统等等。然而，分类还发生在诸如医学图像分析之类的各种其它情境中。各种类型的分类模型是已知的，例如神经网络、深度神经网络、支持向量机等等。分类模型有时还被称为鉴别模型。为了确保分类模型的稳健性和可靠性，重要的是确立分类模型已经学习了所期望的输入-输出关系所至的程度。对于更复杂的模型、诸如神经网络而言尤其是这种情况，所述更复杂的模型可以被视为黑箱，其提供分类、但是独自提供对于如何获得该分类的很少的洞察。例如，这样的模型可以在受限的、并且因而固有地偏置的数据集上被训练，从而导致与可用数据的量相比被过度参数化的模型。作为结果，这样的模型可能看似在测试中很好地起作用，但是在部署中可能提供拙劣的结果。例如，在针对良好天气状况的数据上所训练的用于载具的图像分类器可能不很好地一般化到拙劣的天气状况。此外，已知各种现有技术机器学习模型、例如神经网络可被欺骗而提供具有潜在危险的结果的假的、高置信度预测。例如，确定用裸眼难以看到的对图像的修改可以是可能的，但是尽管如此仍使得图像分类器从做出往一类、例如碰撞对象中的高置信度分类改变其主意至往另一类、例如无危险中的高置信度分类。而且在该情况中，可能对分类模型的真实一般化性能提出疑问。为了获得对于分类模型是否已经学习了输入/输出关系的理解，已知使用扰动掩模。例如，在r.fong和a.vedaldi的“interpretableexplanationsofblackboxesbymeaningfulperturbation”（在https://arxiv.org/abs/1704.03296处可得并且通过引用被并入本文中）中，提出了一框架，所述框架在图像中给出，确定与所述图像相同大小的掩模，并且突出对于分类器决定最有责任的图像的部分。技术实现要素：各种实施例旨在确定指示扰动的掩模，所述扰动干扰通过分类模型对输入实例的分类。可以有利的是标识在以下意义上临界的扰动：即它们干扰分类，例如将图像分类从“交通标志”改变成“广告牌”，或减小分类为“交通标志”的确定性。还可以有益的是标识在以下意义上最小限度的扰动：即改变旨在尽可能好地保持输入实例。此外可以有利的是确定直观的扰动，例如包含语义含义、而不是突出导致特定分类的分类模型的伪像。例如，给定被训练成在猫和狗的图像之间进行区分的分类器，如果掩模可以突出改变狗的鼻口部、尾巴或鼻子的外观或存在如何减小模型针对狗类的输出评分和/或何时用猫的相对物取代每一个增大猫类的评分，则所述分类器可以是有用的。注意到，确定掩模使得它们对应于有意义的改变优选地排除对抗性生成的掩模，例如，小的、局部化的改变，其被设计成难以识别但是仍使得分类模型改变其分类。换言之，对于掩模而言可以有益的是提供针对给定分类模型的有意义的反设事实，或者换言之，提供改变模型关于输入实例的观点的受控并且语义的扰动。这样的扰动可以被置于如在以下各种示例中所示出的各种使用。扰动和/或受扰动的输入实例是在它们自己中以及对于它们自己的有用输出，例如，用于呈现给模型开发者作为调试分类模型的方式，或者呈现给终端用户用于测定模型是否看向输入实例的正确方面。如本文中所述的扰动可以保持其可解释性，并且允许终端用户更好地理解模型的判定边界，例如分类模型对于其输入中的改变的灵敏性，其在执行模型核查/验证的时候是重要的。扰动和/或输入实例还可以此外被使用在例如使用图像分类的控制系统中。例如，扰动和/或输入实例可以用于量化模型灵敏性，以便获得验证度量，用于执行另外的分类等等。根据本发明的第一方面，提出了一种用于确定掩模的系统，如通过权利要求1所限定的。根据本发明的另外的方面，提出了一种用于确定掩模的方法，如通过权利要求14所限定的。根据本发明的另外的方面，提供了一种计算机可读介质，如通过权利要求15所限定的。各种实施例涉及确定指示扰动的掩模，所述扰动干扰通过分类模型对输入实例、例如输入图像的分类。受扰动的输入实例因而可以被视为针对分类模型是反事实的。干扰分类可以包括使得分类模型对输入实例不同地分类，或至少引起分类评分中的显著下降。例如，交通标志可以被扰动成宣传广告牌。干扰分类还可以包括将输入实例移动到分类模型的判定边界、或至少接近于分类模型的判定边界，例如，其中不能信赖分类模型做出正确分类的输入空间的区域。例如，图像中的交通标志可变成广告牌，其仍具有交通标志的特性，例如红色边界和白色背景。指示扰动的掩模贯穿本说明书被称为扰动掩模。通过指示干扰分类的扰动，掩模可以提供对于分类模型为什么以某种方式对输入实例进行分类的解释。令人感兴趣地，发明人意识到：代替于确定直接掩蔽输入实例的掩模，代替地，可以确定如下掩模：所述掩模指示对于针对生成型模型的输入实例的隐空间表示的扰动。所述生成型模型可以被配置成生成对于分类模型的合成输入实例。换言之，生成型模型可以被配置用于根据隐空间表示来生成分类模型的输入类型的合成实例。各种生成型模型、以及以这样的方式训练它们使得它们可以生成代表性合成实例的方式在本领域中是已知的。例如，生成型模型可以包括变分自动编码器（vae）的解码器部分。这样的vae典型地包括编码器部分和解码器部分。编码器部分可以根据给定类型的实例来生成隐空间表示。解码器部分可以根据隐空间表示、例如相同长度的特征向量来生成所述类型的合成实例。vae可以被训练成最大化解码器部分的似然性，从而根据其隐空间表示来重构输入实例。然而，还可以使用各种其它类型的生成型模型，例如生成型对抗性网络（gan）、流模型或自回归模型。通常，生成型模型可以被训练使得所述生成型模型根据来自隐空间的隐表示而生成对分类模型的输入实例进行表示的输入实例。例如，一般可以通过隐空间表示来近似输入实例。生成型模型与分类模型分离，尽管二者典型地都在相同或相似的数据集上被训练。例如，生成型模型可以被训练成最佳地生成该训练数据集的代表性输入实例。生成型模型然后可以与分类模型一起使用以诊断其行为。隐空间表示来自隐空间，并且典型地具有比它们生成的输入实例更小的维度，例如，具有输入实例的特征数目的至多1%或至多0.1%。因此，对输入实例进行近似的隐空间表示可以实际上被视为该输入实例的压缩表示。凭借对生成型模型进行训练以最佳地重现训练数据集，语义含义可以被归于隐特征表示的特征，例如，在用于生成交通情形的图像的生成型模型中，特定的特征可以指示交通灯的存在以及它示出的颜色、天气状况等等。因此，掩模可以指示针对输入实例的隐空间表示的扰动。隐空间表示可以是如下隐空间表示：其当被用作对于生成型模型的输入的时候，使得生成型模型生成例如根据范数在视觉外观和/或距离方面近似输入实例的合成实例。掩模可在以下意义上干扰输入实例的分类：即，如果隐空间表示如通过掩模所指示的那样被修改，并且结果被输入到生成型模型，则这导致针对其而言分类被干扰的合成实例。该合成实例可以被视为受扰动的输入实例。例如，合成实例可以与原始输入实例不同地被分类，它可以相同地被分类但是具有更小的确定性，它可以接近于分类模型的判定边界等等。掩模可以用各种方式来指示扰动。例如，掩模可以指示将被应用到隐空间表示的单独特征的扰动，例如将被应用到每个特征的分离的扰动。掩模可以例如指示对于数字特征的加法或减法；对于二元特征的位翻转、设置或重置等等。例如，掩模可以是热图，所述热图指示要设置或重置的隐空间表示的位。掩模还可以指示各种其它类型的修改，例如同时将诸如阈值或sigmoid之类的非线性函数应用到一个或多个特征等等。对于掩模而言没有必要在存储器中被显式地表示，例如，确定掩模可以包括基于输入实例的隐空间表示来确定被掩蔽的隐空间表示，所述掩模被隐式地限定为在原始的和经掩蔽的隐空间表示之间的差异。掩模还可以包括接连的扰动，例如掩模可以在迭代过程中被确定为用于逐渐地更新隐空间表示的构成性掩模的序列。如发明人所意识到的，由于隐空间表示本质上是输入实例的压缩表示，所以隐空间表示的掩模还可以允许相对简明地表示对于输入实例的扰动。典型地，扰动隐空间表示的特定特征分量导致对应输入实例的多个特征分量中的改变。此外，这样的改变典型地与彼此有关，并且可以表示通过分类模型而影响分类的较高级别的特征。在许多情况中，隐空间表示的特定特征分量可以具有人类可解释的含义，因此在该意义上，用于扰动它们的掩模可以提供对于输入实例的哪些特征被分类模型在其分类中使用的解释。因此，涉及的所述各种措施可以包括对可以如何修改隐空间表示进行学习，例如，它可以如何生长或收缩并且在哪些方向上，以便让诊断之下的分类模型以期望的方式表现。因而，结构化的途径可以被提供，用于发现将输入实例转变成针对分类模型的有意义的反设事实的对输入实例的最小限度、直观和/或临界的扰动。通过确定用于干扰分类的掩模，可以用受控的方式来获得掩模，其提供改变模型关于输入实例的观点的语义扰动。这样的掩模可以是有价值的，例如因为它们保持其可解释性，并且允许终端用户更好地理解模型的判定边界。例如，理解扰动可以有助于理解模型对于其输入中的改变有多么灵敏，这在模型核查/验证中可以是合期望的。这些灵敏性可以被量化并且被开发成标准化的验证度量。由于可以由隐空间表示、而不是直接由输入实例来确定掩模，所以也可以减小对输入实例的对抗性类型修改的易感性。如所讨论的，对于各种分类模型而言已知的是对抗者可以确定对于输入实例的微小、例如不可见的修改，其导致不同的分类。这样的微小修改不是典型地作为用于解释分类模型如何抵达分类的掩模而有用，因为它们典型地表示分类模型的伪像而不是有意义的改变。直接确定输入实例的掩模可导致表示这样的对抗性改变的掩模。用于基于特定的特性来减轻该效应的各种方式可能不充分地排除对抗性改变和/或排除有意义的掩模，所述特定的特性例如高频或低强度掩模激活。然而，通过代替地确定对隐空间表示进行修改的掩模，可以确定对更有意义的扰动进行指示的掩模，所述更有意义的扰动例如承载语义含义和/或导致输入实例中通过分类模型而影响分类的较大改变的扰动。事实上，可以并入输入语义的在先认知。由于掩模承载更多含义，所以它们可能不太有可能表示对抗性类型的、例如是更有意义的伪像。所确定的掩模还可以有益地被用作度量，所述度量指示对于将输入实例变换成分类的干扰而言所需要的改变的量。换言之，所确定的掩模可以指示对于干扰分类而言所需要的“能量”的量，并且因此指示分类模型的分类中的置信度。在该意义上，掩模可以提供分类的解释，其不仅是可解释的而且还是可量化的，例如以模型的行为为根据。特别地，可以基于针对受扰动的输入实例的分类模型的分类评分来确定掩模。各种分类模型提供分类评分，所述分类评分指示输入实例属于给定类的概率。分类评分有时还被称为预测评分。分类评分可以是概率评分，但是还可以更一般地指示概率，例如，分类评分越高，概率越高。例如，在神经网络的情况中，这样的分类评分可以包括神经网络的softmax输出层的输出。在多类分类器的情况中，可以为相应的类提供分离的分类评分。通过利用掩模来掩蔽隐空间表示并且使用生成型模型来从受掩蔽的隐空间表示中生成受扰动的输入实例，可以使用掩模来确定受扰动的实例。换言之，开始于固定的起始隐空间表示，可以执行一种类型的隐空间内插，其中受掩蔽的隐空间表示被确定，其导致分类评分，所述分类评分指示输入实例的分类被干扰、例如被改变或被使得更不确定，并且可以因而揭露原始分类模型的一些感兴趣的性质。例如，基于分类评分来确定掩模可以产生模型为其进行的输入空间的区不是很好地表现、例如具有有噪分类边界的实例，和/或使用对输入实例的最小量的改变的所生成的对立类的实例。在各种实施例中，确定掩模可以包括基于分类评分来优化掩模，例如选择使包括分类评分的损失最小化的掩模。这样的优化可以使用已知的优化方法、例如诸如随机梯度下降之类的迭代方法来被执行。将领会的是：优化可以是启发式的和/或可以抵达局部最优。优化不必是迭代的，例如它可以如下来被执行：通过隐空间的强力搜索，通过从隐空间的随机样本中选择具有最小分类评分的掩模，通过使用闭合形式的表达式来确定掩模等等。如还讨论的，优化掩模可以包括优化受掩蔽的隐空间表示，所述掩模通过受掩蔽的隐空间表示来被隐式地限定。例如，先前提及的优化技术可以等同地被应用以获得受掩蔽的隐空间表示。代替于或附加于掩模或受掩蔽的隐空间表示，还可以有益地提供所确定的针对掩模的受扰动的输入实例作为输出。例如，受扰动的输入实例例如尤其是当在原始输入实例的旁边被呈现的时候，可以示出对于原始输入实例的分类而言相关的特征。此外，分类模型可能在对输入实例进行分类中不太确定，其指示分类模型对其有困难的一种实例，使得将该种类的训练实例添加到针对分类模型的训练数据集可以改进其性能。可选地，处理器子系统被配置成通过至少最小化在分类评分与分类阈值之间的差异来确定掩模。例如，可以通过最小化损失函数来确定掩模，所述损失函数包括所述差异或至少在所述差异中有增大。损失函数可以包括其它项，例如在此处和别处，“至少最小化”应当被解释成意指：在其它事物相等的情况下优化偏爱具有较低差异的掩模。例如，分类阈值可以是针对原始输入实例被分类在其中的类的分类阈值。在阈值以上的分类评分可导致被分类到该类中。最小化所述差异可导致一掩模，所述掩模用于将输入实例移动得更接近于分类模型的判定边界和/或将受扰动的输入实例移动得接近于判定边界，突出分类模型使用来抵达其对输入实例的分类的隐空间表示的方面。可选地，处理器子系统被配置成通过至少最大化分类评分关于掩模的梯度来确定掩模。例如，类似于在分类与阈值之间的差异，损失函数可以用这样的方式包括梯度使得在其它事物相等的情况下偏爱较高的梯度。例如，可以最大化梯度的范数。使用梯度可以将优化聚焦于隐特征空间的不规则的部分上，例如接近于判定边界的部分和/或其中分类模型展现非均匀或不可预测的行为的部分。这样的部分可以指示模型发现特别难以分类的训练实例的类型，和/或可以指示使得分类模型特别不确定的对于输入实例的修改。使用梯度对于多类分类而言可以是特别有用的，在所述情况中，扰动评分中的改变可以比关于特定类的特定分类评分更有信息性。可选地，处理器子系统被配置成通过至少最小化鉴别器评分来确定掩模，所述鉴别器评分对在受扰动的输入实例与用于训练生成型模型的训练数据集之间的相异度进行量化。例如，如以上那样，损失函数可以包括鉴别器评分，使得在其它事物相等的情况下偏爱较小的相异度。包括鉴别器评分可以鼓励优化排除看起来不自然的解，因而提供更有意义的结果。例如，如果使用生成型对抗性网络（gan）的生成型部分，则鉴别器评分可以通过被用于以其训练生成型模型的gan的鉴别部分来被给出。在变分自动编码器或各种其它类型的生成型模型的情况中，合适的优化目标函数可以用于确定鉴别评分，例如，训练生成型模型以产生对训练数据集进行表示的实例的重构损失。可选地，处理器子系统被配置成通过至少最小化掩模的范数来确定掩模。例如，如以上那样，损失函数可以包括所述范数，使得在其它事物相等的情况下偏爱较小的范数。最小化所述范数可以激励相对小的掩模，例如导致输入实例的相对小的扰动。可以合期望的是确定使用最小量的能量来对分类产生最大可能的影响的掩模，因此基于所述范数，可以惩罚掩模的不必要的激活。所述范数优选地是范数，这是由于其稀疏性引发的品质，但是这不是必需的。可选地，生成型模型包括生成型对抗性网络（gan）的生成型部分。gan典型地包括生成型部分和鉴别部分。生成型部分可以被训练以根据隐特征表示来生成实例，并且鉴别部分可以被训练以从训练实例中区分通过生成型部分而被生成的实例。例如，所述两个部分可以被重复地并且交替地训练。这可导致生成型部分能够生成与训练实例类似的宽范围的输入实例，包括对训练实例本身以及它们的变型进行近似的实例。因此，生成型部分作为用于本文中所述的技术的生成型模型可以是合适的。可选地，生成型模型包括自动编码器、例如变分自动编码器（vae）的解码器部分。自动编码器典型地包括编码器和解码器。编码器可以被训练成根据实例来生成隐空间表示，并且解码器可以被训练成根据隐空间表示来生成实例。二者都可以例如在联合优化中被训练，以用于它们重现原始实例的能力。诸如vae之类的自动编码器是特别合适的，因为编码器部分可以用于确定对输入实例进行近似的合成实例，如所描述的那样。可选地，分类模型可以是图像分类器。处理器子系统可以被配置成获得输入图像作为输入实例，并且确定受扰动的输入图像作为受扰动的输入实例。分类的可解释性对于图像分类是特别显著的，因为图像分类任务典型地相对复杂，并且作为结果，相对复杂的分类模型、诸如卷积神经网络以及类似物可以被使用。此外，对于图像，能够使受扰动的实例图像可视化提供用于用户解释所确定的掩模的特别有吸引力并且直观的方式。注意到，各种种类的传感器输入可以实际上被表示为图像并且作为图像来被处理，如所公开的那样，例如对于在chrisdonahue等人的“adversarialaudiosynthesis”（在https://arxiv.org/abs/1802.04208处可得并且通过引用被并入本文中）中的声音数据。可选地，所确定的掩模和/或由生成型模型基于所确定的掩模而生成的受扰动的输入实例以感觉上可感知的方式被输出给用户，例如被示出在显示器上。例如，受扰动的输入实例可以被呈现在原始输入实例旁边以用于比较。用户可以是分类模型的终端用户，在所述情况中，所述掩模和/或受扰动的输入实例可以用作分类模型的决定的理由。例如，在医学图像分类中，受扰动的输入实例可以突出用于做出决定的器官的图像的部分，和/或掩模可以突出例如关于体积、颜色、形状等等的语义特征，基于所述语义特征而做出决定。类似地，输出可以向用户、例如模型设计者或用户告知可以收集接近于判定边界的什么数据来改进模型。可选地，处理器子系统被配置成确定针对输入实例的隐空间表示的多个掩模，并且基于所述多个掩模来确定一稳定性值，所述稳定性值指示通过分类模型对输入实例的分类的稳定性。连同分类一起提供稳定性值在控制系统中是特别相关的，例如在获得具有低稳定性值的分类时，系统可以请求用户确认，存记分类以及与它相关联的结果，激活安全子系统等等。稳定性值可以指示对于修改输入实例的分类而言一般需要的能量的量，其中能量测量在掩模中所包含的信息的量，其例如，如通过掩模上的范数所计算的信息的量。更多的能量可以指示更高的稳定性，因为可能需要更多的改变来干扰分类。范数可以是当确定掩模的时候也被最小化的相同范数。确定多个掩模——例如对应于在多个方向上移动到分类模型的判定边界——可导致获得稳定性的更准确的评定，例如，判定边界可以在一个方向上接近但是在另一方向上远离。例如，处理器子系统可以被配置成通过如下来确定多个掩模中的掩模：随机生成针对掩模的初始值，并且基于所述初始值来迭代地更新掩模，因而使得优化在各种方向上移动到判定边界。可选地，处理器子系统此外被配置成获得受扰动的输入实例的分类。处理器子系统可以至少使用受扰动的输入实例和分类来重新训练分类模型。如所讨论的，掩模可干扰输入实例的分类，例如，受扰动的实例可位于分类模型的判定边界上或接近于所述判定边界。位于判定边界近旁的受扰动的实例可以指示：与该受扰动的实例类似的不足的训练实例被用于训练分类模型。因而，使用受扰动的实例及其分类来重新训练模型可以改进其准确性。可选地，基于掩模来确定多个受扰动的实例和相应的分类，用于进一步改进在判定边界近旁的分类。例如，随机噪声可以被添加到受掩蔽的隐空间表示，并且可以根据相应的经噪声掩蔽的隐空间表示来生成经噪声扰动的实例。可选地，输入接口用于进一步访问另外的分类模型。所述另外的分类模型可以被配置用于确定针对隐空间表示的掩模的分类，例如被分类到两个或更多个预定义的类中。处理器子系统可以此外被配置成通过所确定的掩模的所述另外的分类模型来确定分类。发明人意识到；由于隐空间表示本质上提供输入实例的压缩表示，所以掩模可以被视为以压缩形式来提供与分类模型如何确定其分类相关的信息。在实施例中，分类模型用于检测例如在控制系统中的异常，并且所述另外的分类模型用于将异常分类到多个类型中。通过以更压缩和/或语义上结构化的方式来提供信息，可以获得特别准确的另外的分类器。通常，所述另外的分类器可以将掩模分类到用于通过原始分类模型的分类的多个根本原因中。本领域技术人员将领会到，可以用被认为有用的任何方式来组合本发明的以上提及的实施例、实现方式和/或可选方面中的两个或更多。本领域技术人员基于本描述可以实施对任何经计算机实现的方法和/或任何计算机可读介质的修改和变型，其对应于对应系统的所述修改和变型。附图说明本发明的这些和其它方面将从实施例和附图中清楚并且此外参考实施例并且参考附图来被阐明，所述实施例在以下描述中作为示例被描述，在所述附图中：图1示出了用于确定扰动掩模的系统；图2示出了可以如何确定扰动掩模的详细示例；图3示出了确定扰动掩模的方法；图4示出了包括数据的计算机可读介质。应当注意到，各图纯粹是图解性的并且不按比例绘制。在各图中，与已经描述的元素相对应的元素可以具有相同的参考标号。具体实施方式图1示出了用于确定扰动掩模的系统100。扰动掩模可以为对于分类模型的输入实例指示扰动，所述扰动干扰通过分类模型对输入实例的分类。系统100可以包括可以经由数据通信124而在内部通信的输入接口120和处理器子系统140。处理器子系统140可以被配置成在系统100的操作期间并且使用输入接口120来访问分类模型040和生成型模型060。分类模型040可以被配置用于确定某种类型的输入实例的分类。生成型模型060可以被配置用于根据隐空间表示来生成该类型的合成实例。例如，如图1中所示，数据接口120可以提供对于外部数据存储装置020的访问122，所述外部数据存储装置020可以包括所述模型040、060。可替换地，可以从作为系统100的部分的内部数据存储装置访问模型040、060。可替换地，可以经由网络而从另一实体接收模型040、060。通常，数据接口120可以采取各种形式，诸如对于局域网或广域网、例如因特网的网络接口，对于内部或外部数据存储装置的存储接口等等。数据存储装置020可以采取任何已知并且合适的形式。处理器子系统140可以此外被配置成在系统100的操作期间获得针对分类模型040的输入实例、根据分类模型040而对输入实例的分类以及针对输入实例的隐空间表示。例如，处理器子系统140可以通过使用分类模型040来对输入实例进行分类而获得分类。例如，例如通过使用生成型对抗性网络的编码器部分，处理器子系统140可以基于输入实例来确定隐空间表示。隐空间表示当被用作对于生成型模型060的输入的时候，可以使得生成型模型生成合成实例，所述合成实例近似输入实例，例如在范数中和/或在视觉外观中接近于输入实例。处理器子系统140可以此外被配置成在系统100的操作期间确定掩模，所述掩模对干扰通过分类模型040而对输入实例的分类的扰动进行指示。掩模可以指示对于针对输入实例的隐空间表示的扰动。可以基于针对受扰动的输入实例的分类模型040的分类评分来确定掩模。通过利用掩模来掩蔽隐空间表示并且使用生成型模型060来从受掩蔽的隐空间表示中生成受扰动的输入实例，可以使用掩模来确定受扰动的实例。作为可选组件，系统100可以包括图像输入接口150，或任何其它类型的输入接口，以用于从诸如相机170之类的传感器获得传感器数据。传感器数据可以被包括在输入实例中。例如，相机可以被配置成捕获图像数据172，处理器子系统140被配置成从经由输入接口150获得的图像数据172中获得输入实例152。作为可选组件，系统100可以包括显示输出接口160或任何其它类型的输出接口，以用于将所确定的掩模和/或受扰动的输入实例输出到呈递设备、诸如显示器180。例如，显示输出接口160可以为显示器180生成显示数据162，其使得显示器180以感觉上可感知的方式呈递所确定的掩模和/或受扰动的实例142，例如，作为屏幕上可视化182。将参考图2来进一步阐明系统100的操作的各种细节和方面，包括其可选方面。通常，系统100可以被具体化为单个设备或装置或被具体化在单个设备或装置中，所述单个设备或装置诸如工作站、例如基于膝上型或台式的工作站，或服务器。所述设备或装置可以包括执行适当软件的一个或多个微处理器。例如，处理器子系统可以通过单个中央处理单元（cpu）、而且还通过这样的cpu和/或其它类型的处理单元的系统或组合来被具体化。软件可能已被下载和/或存储在对应的存储器中，所述对应的存储器例如诸如ram的易失性存储器，或诸如闪速存储器的非易失性存储器。可替换地，系统的功能单元、例如数据接口和处理器子系统可以被实现在以可编程逻辑的形式的设备或装置、例如如同现场可编程门阵列（fpga）中。通常，可以用电路形式来实现系统的每个功能单元。注意到，系统100还可以用分布式方式来被实现，例如涉及不同的设备或装置，诸如例如以云计算的形式的分布式服务器。图2示出了如何可以例如通过图1的系统100来为输入实例确定掩模的详细但非限制性的示例。图中所示出的是分类模型cm、240。分类模型cm可以被配置用于确定输入实例的分类。分类模型cm可以将数据分类到一个或多个预定义的类、例如两个（二元分类器）或多于两个（多类分类器）类中。为了简单起见，以下描述将聚焦于图像数据上，所述图像数据作为在二元分类场景中对于图像分类模型的输入。可以使用各种已知种类的分类模型，但是为了说明的目的，在该示例中使用神经网络。通常，分类模型可以允许确定分类评分、例如概率评分，其指示输入实例属于给定类的概率，例如神经网络cm可以提供softmax评分。图中所示出的是分类操作ci、242，其使用分类模型来确定受扰动的输入实例的分类评分，如稍后更详细地讨论的那样。可以在训练操作（未被示出）中基于经加标签的训练数据集来训练分类模型cm。在图中还示出的是对于分类模型cm的输入实例ii、210。表示传感器数据的输入实例可以被表示为特征向量，但是这不是必要的，例如，还可以使用图结构化的数据。可以用各种方式来获得输入实例ii，例如从或基于传感器接口的数据，从用户，从不同的子系统等等。该图图示了确定一掩模m、222，所述掩模m、222指示扰动，所述扰动干扰通过分类模型cm对输入实例ii的分类。在各种实施例中，例如通过使用分类模型cm来对输入实例ii进行分类、通过接收分类作为输入等等，获得（未被示出）根据分类模型cm对输入实例ii的分类。图中还示出的是生成型模型gm、260。生成型模型gm可以被配置用于根据隐空间表示来生成被输入到分类模型cm的相同类型的合成实例，换言之，生成型模型gm输出适合作为对于分类模型cm的输入的实例。隐空间表示典型地小于根据它们而被生成的实例。作为具体的示例，输入实例ii可以是例如具有256x256大小的图像，对于其而言，隐空间表示可以包括100个特征。生成型模型通常可以被分解成编码器部分和解码器部分，其中解码器部分可以根据隐空间表示来生成合成实例，并且编码器部分可以根据合成实例来生成隐空间表示。可以在训练操作（未被示出）中例如在其上训练分类模型cm的相同数据集上、或在类似的数据集上训练生成型模型。当使用数据集来训练生成型模型的时候，数据集典型地未加标签。典型地，生成型模型被训练以最小化损失函数，所述损失函数对通过生成型模型来重现训练数据集的实例的损失进行量化。生成型模型gm可以是变分自动编码器（vae）。在vae的情况中，隐空间可以通过选择其隐分布而被显式地建模，例如作为具有所学习的均值和标准差的正态分布。vae可以通过编码器和解码器部分的权重和偏置、均值和/或标准差来被参数化。然而，其它类型的生成型模型、例如生成型对抗性网络（gan）和类似物也是可能的。在gan的情况中，可以与鉴别器网络一起训练生成器部分。生成器部分可以被训练以生成合成实例，并且鉴别器网络可以被训练以确定鉴别器评分，所述鉴别器评分对在所生成的实例与来自训练数据集的实例之间的相异度进行量化。训练可以继续进行直到达到nash（纳什）平衡为止，使得生成器部分可以产生样本，高度鉴别性的鉴别器不再能够区分所述样本与来自训练数据集的实际样本。这样，生成器可以学习以对输入数据分布进行建模。还示出的是操作enc、262，其中针对输入实例ii的隐空间表示lsr、220通过根据输入实例ii来确定它而被获得。隐空间表示lsr当被用作对于生成型模型gm的输入的时候，使得生成型模型gm生成合成实例，所述合成实例近似输入实例ii，例如在范数和/或视觉外观中接近输入实例ii。在该示例中，enc可以通过应用变分自动编码器gm的编码器部分来获得隐空间表示lsr。对于其它类型的生成型模型，本领域中还已知的是确定给出对于输入实例的近似的隐空间表示，例如，确定隐空间表示可以被表述为优化问题，所述优化问题能够使用已知技术来被求解。这被公开，例如针对在zacharyc.lipton和subarnatripathi的“preciserecoveryoflatentvectorsfromgenerativeadversarialnetworks”（在https://arxiv.org/abs/1702.04782处可得并且通过引用被并入本文中）中的图像gan。给定所训练的生成型模型gm，在该图中示出的是一优化过程，所述优化过程例如在对分类模型的判定边界的搜索中对用于扰动输入实例ii以干扰通过分类模型cm对输入实例的分类的掩模m进行学习。判定边界在以下意义上可以是“临界的”：即可以找到非平滑和/或过度拟合的判定边界，其中模型的预测是非均匀和/或不可预测的，并且因此不太值得信任。掩模m可以指示对于隐空间表示lsr的扰动。掩模m可以具有与隐空间表示lsr相同的形状和大小以及在范围中的值，其中是用户指定的参数并且表示搜索空间的大小。掩模m可以基于针对受扰动的输入实例pii、212的分类评分cs来被确定，所述受扰动的输入实例pii、212如通过掩模m所指示的那样被扰动。为了确定受扰动的输入实例pii，在操作ma、224中，隐空间表示lsr可以利用掩模m来被掩蔽。例如，操作ma可以向隐空间表示lsr应用通过掩模m所指示的扰动。操作ma可导致受掩蔽的隐空间表示mls、226。通过向量来标示隐空间表示lsr并且通过向量来标示掩模m，结果可以被标示为。可以使用宽泛组的可能的函数，例如在该示例中，操作ma可以执行按元素的加法。在操作dec、264中，可以使用生成型模型、gm而根据受掩蔽的隐空间表示mls来生成受扰动的输入实例pii，其例如导致。例如，可以应用变分自动编码器的解码器部分，或gan的生成型部分等等。在操作ci、242中，分类模型cm可以被应用到受扰动的输入实例pii，以获得分类评分cs、244，其指示受扰动的输入实例pii属于输入实例ii的类的概率。例如，可以通过应用分类模型cm来获得类。例如，分类评分cs可以是用以为类进行诊断的分类模型cm的softmax输出，其导致。在该示例中，在优化操作opt、250中基于分类评分cs来确定掩模m，所述优化操作opt、250基于分类评分来最小化损失函数。在此处示出的示例中，优化是迭代优化，例如，可以例如随机地初始化掩模m，并且然后例如使用随机梯度下降或类似物来基于分类评分cs逐渐地更新掩模m。然而，这不是必要的，例如还可以使用对于优化的强力搜索或闭式解。作为具体的示例，可以使用组合各种项的以下损失函数，所述各种项各自贡献于掩模，其提供干扰输入实例ii的分类的扰动：将理解到，变型是可能的，例如，可以使用以上项的子集，可以包括附加的项，可以由超参数来控制各种项等等。如通过以上损失函数的第一项所例示的，掩模可以被优化以最小化在分类评分与分类阈值之间的差异。例如，对于神经网络cm，分类阈值可以表示分类模型的目标softmax输出，其用以为输入实例ii的类进行诊断。例如，在二元分类中，可以被设置成先前基于roc曲线所确定的分类阈值，或以另一方式被设置成表示softmax边界，所述softmax边界将一个类的样本与另一个类的样本进行划分。在优化中包括差异项可以有助于确保对掩模m进行了学习，所述掩模m影响输入实例的隐空间表示lsr用于抵达接近模型的判定边界的受扰动的实例pii。如通过以上损失函数的第二项所例示的，掩模可以进一步被优化以最小化鉴别器评分、例如，其量化在受扰动的输入实例与用于训练生成型模型gm的训练数据集之间的相异度。例如，如果生成型模型gm是gan，则gan的鉴别器部分可以用于获得鉴别器评分，所述鉴别器评分例如被训练以在如果输入是所生成的示例的情况下返回1，并且在如果输入是真实的情况下返回0。对于其它类型的生成型模型，该项可以被省略或被另一适当的鉴别器项所取代。包括鉴别器评分可以有助于确保受扰动的输入实例pii保持输入实例ii的语义品质。作为结果，可以鼓励排除看起来不自然的解。如通过以上损失函数的第三项所例示的，掩模可以进一步被优化以最大化分类评分——例如关于掩模的softmax输出——的梯度、例如。包括梯度可以有效地安置关于分类模型cm在输入实例ii的类的判定边界处如何反应的约束。通过包括梯度，可以偏爱掩模以获得受扰动的输入实例ii，针对所述受扰动的输入实例ii，模型表现得非均匀和/或不可预测。为了控制该效应，例如，超参数可以被应用到分类评分。在学习优化过程的历史方面，包括梯度可以偏爱具有有噪和/或高频softmax曲线的解。如最后通过以上损失函数的第四项所例示的，掩模可以进一步被优化以最小化掩模的范数、例如。对范数进行最小化可以约束对于隐空间表示lsr所做出的修改的量。可以合期望的是找到具有相对小的修改的掩模，所述掩模例如具有最大可能的影响的最小量的能量。在示例中，范数被选择以用于最小化修改的数目，例如偏爱稀疏掩模，但是其它范数也是可能的。如所示出的，超参数可以用于控制包括范数的效应。通过上述各种措施，可以确定受扰动的输入实例pii和/或指示其扰动的掩模m。二者可以有益地用各种方式来被使用。在一些实施例中，所确定的掩模m和/或受扰动的输入实例pii可以用感觉上可感知的方式被输出给用户，从而向用户提供涉及分类模型cm已对输入实例ii进行分类的方式的洞察。例如，掩模m和/或受扰动的实例pii可以由模型开发者使用以用于模型验证和/或调试，例如，用以获得对模型预测的稳定性的洞察以及获得对模型的一般行为的理解，或者由用户使用以理解如何做出特定的分类。在一些实施例中，为输入实例的隐空间表示lsr确定多个掩模m。基于多个掩模m，可以确定稳定性值（未被示出），其指示通过分类模型cm对输入实例ii的分类的稳定性。稳定性值可以基于如以下所述的掩模的能量值、例如范数。实际上，这可以在某种程度上允许使以上讨论的模型验证自动化。更详细地，多个掩模中的掩模m可以通过如下来被确定：随机生成针对掩模的初始值，并且例如使用以上讨论的操作ma、dec、cl和/或opt来基于所述初始值迭代地更新掩模。实际上，这提供在以上详述的过程的若干迭代之上的优化过程之后保持掩模能量的类蒙特卡罗评定。可以利用已知的预期能量来随机地生成初始掩模，例如通过从具有固定标准差的正态分布中采样。这样，可以鼓励优化opt探索解空间的不同区。噪声模型的参数、例如还可以至少部分地基于掩模生成过程的先前的迭代，例如，如果确定了对于掩模的缓慢收敛，则可以使用较大的初始值。在成功地完成了用于确定掩模m的优化时，可以存储掩模m的能量。可以基于范数、范数、熵等等来确定能量。还可以存储相关联的受扰动的输入实例pii。基于所确定的掩模和相应的能量，可以确定一个或多个稳定性值。通常，较高的能量值指示输入实例ii的分类的较高稳定性。例如，高掩模能量可以对应于在输入实例上所做出的显著改变。因此，针对其而言仅有这样的高能量改变使其决定改变的模型可以被认为比针对其而言已经很小的能量可引起通过模型的分类中的差异的模型更稳定。因此，稳定性值可以基于例如平均能量、能量的置信区间等等。例如，可以对稳定性值发布告警，其指示分类的低稳定性，例如在某个阈值以下。除了所确定的稳定性值之外，还可以有益地输出所生成的受扰动的输入实例pii，例如，用于用作数据集中的数据的代表性变型的可视验证，和/或扩增数据集或以其它方式改进分类模型cm，如也在以下所讨论的那样。在各种实施例中，可以获得受扰动的输入实例pii的分类，并且可以至少使用受扰动的输入实例pii和所获得的分类在重新训练操作（未被示出）中重新训练分类模型cm。例如，受扰动的输入实例可以被添加到原始训练数据集，在此之后，用于训练分类模型cm的训练过程可以被重复，或者分类模型cm可以基于一个或多个受扰动的输入实例pii及其分类来被更新。由于受扰动的输入图像pii可以用这样的方式被确定使得分类模型cm发现其难以对它们进行分类，因此使用它们作为训练数据可导致对模型的特别高效和/或成本有效的细化。还可以基于受扰动的输入实例来重新训练生成型模型gm。在各种实施例中，可以在另外的分类操作（未被示出）中使用另外的分类模型，用于确定所确定的掩模m的分类，例如，用于找到针对通过分类模型cm的分类的根本原因。由于所确定的掩模m可以本质上以压缩形式来提供对通过模型cm的分类的解释，因此这样的另外的分类可以是特别有效的。例如，在各种实施例中，所确定的掩模m的分类可以被用作控制系统的控制信号。例如，分类模型cm可以被训练以作为制造过程中的品质检查组件的部分来检测所制造的产品中的缺陷。例如，分类模型cm可以将输入实例、例如图像分类成“ok（行）”和“不ok（不行）”类。所述另外的分类模型然后可以使用掩模m来确定“不ok”分类的根本原因，例如各种异常、故障等等。例如，模型可以在样本中的物理缺陷、诸如制造过程期间的光照之类的控制条件中的改变等等之间进行区分。基于分类、例如分类成解释/异常，可以确定控制信号，例如，基于掩模m的分类，制造过程的操作参数可以被调节和/或可以将系统带进安全模式中。因而，对如在掩模m中被具体化的输入实例ii的分类的洞察可以用于改进由控制系统提供的控制信号的品质。图3示出了用于为对于分类模型的输入实例来确定掩模的经计算机实现的方法300的框图，所述掩模对干扰通过分类模型而对输入实例的分类的扰动进行指示。方法300可以对应于图1的系统100的操作。然而，这不是限制，因为方法300还可以使用另一系统、装置或设备来被执行。所述方法可以包括在题为“访问分类模型和生成型模型（accessingclassificationmodelandgenerativemodel）”的操作中访问310分类模型和生成型模型。分类模型可以被配置用于确定输入实例的分类。输入实例可以具有一类型。生成型模型可以被配置用于根据隐空间表示来生成所述类型的合成实例。所述方法可以此外包括在题为“获得输入实例、分类、隐空间表示（obtaininginputinstance，classification，latentspacerepresentation）”的操作中获得320针对分类模型的输入实例、根据分类模型而对输入实例的分类以及针对输入实例的隐空间表示。隐空间表示当被用作对于生成型模型的输入的时候，可以使得生成型模型生成近似输入实例的合成实例。所述方法还可以包括在题为“确定掩模（determiningmask）”的操作中确定330一掩模，所述掩模对干扰通过分类模型而对输入实例的分类的扰动进行指示。掩模可以指示对于针对输入实例的隐空间表示的扰动。可以基于针对受扰动的输入实例的分类模型的分类评分来确定掩模。作为操作330的部分，通过在题为“掩蔽隐空间表示（maskinglatentspacerepresentation）”的操作中利用掩模来掩蔽332隐空间表示，可以使用掩模来确定受扰动的实例。作为操作330的部分，为了确定受扰动的实例，在题为“生成受扰动的输入实例（generatingperturbedinputinstance）”的操作中，可以此外使用生成型模型、根据受掩蔽的隐空间表示来生成334受扰动的输入实例。将领会到，通常，图3的方法300的操作可以用任何合适的次序来被执行，所述任何合适的次序例如相继地、同时地或其组合，其在可适用的情况中服从例如通过输入/输出关系所必需的特定次序。（一个或多个）方法可以被实现在计算机上作为经计算机实现的方法、作为专用硬件或作为二者的组合。如还在图4中所图示的，用于计算机的指令、例如可执行代码可以被存储在计算机可读介质400上，例如以一系列410机器可读物理标记的形式和/或作为一系列具有不同的电学（例如磁性）或光学性质或值的元素。可执行代码可以用暂时性或非暂时性方式来被存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等等。图4示出了光盘400。示例、实施例或可选特征——无论是否被指示为非限制性的——都不要被理解为对如所要求保护的本发明进行限制。应当注意到，以上提及的实施例说明而不是限制本发明，并且本领域技术人员将能够在不偏离所附权利要求书的范围的情况下设计许多可替换的实施例。在权利要求书中，被置于括号之间的任何参考标记不应被解释为限制权利要求。使用动词“包括”及其变位不排除存在除了在权利要求中所陈述的那些元素或阶段之外的元素或阶段。在元素之前的冠词“一”或“一个”不排除存在多个这样的元素。诸如“其中至少一个”之类的表述当在元素列表或群组之前的时候表示从该列表或群组中选择全部元素或元素的任何子集。例如，表述“a、b和c中的至少一个”应当被理解为包括仅a、仅b、仅c、a和b二者、a和c二者、b和c二者或者全部a、b和c。本发明可以借助于包括若干不同元件的硬件、以及借助于合适编程的计算机来被实现。在列举了若干构件的设备权利要求中，这些构件中的若干个可以通过硬件的同一项来被具体化。仅有的事实即在相互不同的从属权利要求中记载了某些措施不指示这些措施的组合不能被有利地使用。当前第1页12当前第1页12