用于评估和认证基于AI的信息处理系统的鲁棒性的方法和装置与流程

用于评估和认证基于ai的信息处理系统的鲁棒性的方法和装置
1.本发明涉及一种评估和认证基于ai(人工智能)的信息处理系统的鲁棒性的方法和装置。
2.例如，基于神经网络的机器学习在现代驾驶员辅助系统和自动驾驶车辆中具有巨大的应用潜力。基于深度神经网络的函数处理传感器数据(例如来自摄像机，雷达或激光雷达传感器的数据)，以便从中导出相关信息。例如，该信息包括车辆环境中物体的类型和位置、物体的行为或道路几何形状或拓扑。
3.开发基于ai的信息处理系统(培训)的一个主要特点是纯数据驱动的参数拟合，而不需要专家的干预。例如，在深度神经网络的情况下，在其中确定神经网络的输出(对于给定的参数化)与基本真相(英文：ground truth)的偏差(所谓的损失)。在此使用的损失函数是以这样一种方式选择的，即神经网络的参数与其可微分地关联。在梯度下降法的框架内，神经网络的参数在每个训练步骤中根据偏差的推导(在几个例子中确定)进行调整。这些训练步骤经常重复，直到损失不再减少。
4.在这种方法中，基于ai的信息处理系统，特别是神经网络的参数是在没有专家评估或语义动机建模的情况下确定的。这可能对基于ai的信息处理系统、特别是神经网络的特性产生重大影响。
5.特别是，深度神经网络在很大程度上对人类来说是不透明的，其计算也是不可解释的。这对系统测试或形式验证构成了巨大的限制。
6.此外，深度神经网络特别容易受到有害干扰、即所谓的对抗干扰(英文：adversarial perturbations)的影响：对输入数据的微小操纵(人类几乎察觉不到或不改变语义内容)可能导致完全不同的输出数据。这种操纵既可以是故意引起的数据变化(“神经黑客”)，也可以是随机发生的图像变化(传感器噪声、天气影响、特定颜色或对比度)。
7.此外，还不清楚神经网络对哪些输入特征敏感。这使得合成产生的数据，例如通过模拟产生的数据，到目前为止很难成功地用于神经网络的训练：在模拟或其他合成数据上训练的神经网络在实际传感器数据上表现出惊人的较弱的性能。此外，在另一个数据域中执行神经网络(在夏季中训练，在冬季中执行等)会大大降低功能质量。这还导致了，从成本的角度来看，在模拟中(不需要昂贵的标签和复杂的真实测试)开发和发布神经网络的很有吸引力的可能性似乎并不现实。
8.特别是第二点对于在功能安全性领域中强大的神经网络的可能受到的限制具有重要意义。为了测量后者，必须测量网络执行对输入数据的微小变化(增强)的鲁棒性的评估。由于这种变化可以是多方面的(传感器噪声，天气影响，图像操纵，语义上不重要的内容变化，例如背景建筑的墙壁颜色)，因此没有明确和公认的鲁棒性度量。相反，必须测量许多针对不同类型和强度的干扰(即增强)的鲁棒性值。此外，神经网络的鲁棒性不是一个绝对的量，而是取决于当前的输入数据。
9.因此，一种用于自动评估和认证基于ai的信息处理系统的鲁棒性的方法和装置是期待的，该方法和装置可以在基于ai的功能的开发过程中已经能够验证鲁棒性值并能够评
估鲁棒性措施的有效性。
10.从de 10 201 8 218 586 a1中已知一种用于生成鲁棒的自动学习系统和测试训练的自动学习系统的方法。
11.本发明所要解决的技术问题在于，提供一种用于评估和认证基于ai的信息处理系统的鲁棒性的方法和装置的任务。
12.根据本发明，通过具有权利要求1的特征的方法和具有权利要求10的特征的装置来解决该问题。本发明的有利设计来自从属权利要求。
13.具体地，提供了一种用于评估和认证基于ai的信息处理系统的鲁棒性的方法，其中，基于ai的信息处理系统提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知或用于其他应用的功能，其中，配属于基于ai的信息处理系统地接收或生成至少一个多维数据结构，其中，至少根据维度：数据集、(多个)数据增强定义和(多个)差异度量定义，将至少借助至少一个差异度量(differenzmaβ，或称为差异测度、差分尺度)确定的、在基于ai的信息处理系统的输出数据之间的差异值(其被获取用于数据和增强的数据)分别存储在至少一个多维数据结构中，其中，从至少一个差异值的选择中确定基于ai的信息处理系统的至少一个鲁棒性并与至少一个鲁棒性要求进行比较，并且其中，基于比较结果，基于ai的信息处理系统要么被丢弃，或者用改变的多维数据结构重新评估，要么被认证为鲁棒的。
14.此外，尤其提供一种用于评估和认证基于ai的信息处理系统的鲁棒性的装置，其中，基于ai的信息处理系统提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知或用于其他应用的功能，该装置包括数据处理设备，其中数据处理设备设置为，配属于基于ai的信息处理系统地、接收或生成至少一个多维数据结构，其中，至少根据维度：数据集、(多个)数据增强定义和(多个)差异度量定义，将至少借助至少一个差异度量确定的、在基于ai的信息处理系统的输出数据之间的差异值(其被获取用于数据和增强的数据)分别存储在至少一个多维数据结构中，其中，从至少一个差异值的选择中确定基于ai的信息处理系统的至少一个鲁棒性并与至少一个鲁棒性要求进行比较，并且基于比较结果，基于ai的信息处理系统要么被丢弃，要么用改变的多维数据结构重新评估，要么被认证为鲁棒的。
15.该方法和装置使得能够自动评估和认证基于ai的信息处理系统的鲁棒性。这是通过接收或生成多维数据结构来完成的。至少根据维度：数据集、(多个)数据增强定义和(多个)差异度量定义，将至少借助至少一个差异度量确定的、在基于ai的信息处理系统的输出数据之间的差异值分别存储在至少一个多维数据结构中，其中差异值被获得用于数据和增强数据。换句话说，多维数据结构的每个数据点包括一个差异值，该差异值反映出借助预设的差异度量所确定的基于ai的信息处理系统的结果对于(数据集的)数据和对于(数据集的)通过数据增强方法增强的数据的差异有多大。在这种情况下，数据增强方法可能已经向数据添加了例如对抗干扰或噪声。从多维数据结构中包含的差异值的至少一个选择(即子集)中，确定基于ai的信息处理系统的至少一个鲁棒性，并与至少一个鲁棒性要求进行比较。基于比较结果，基于ai的信息处理系统要么被丢弃，要么用改变了的多维数据结构重新评估，要么被认证为鲁棒的。
16.该方法和装置的一个优点是基于ai的信息处理系统可以全自动评估和/或认证。
17.尤其规定，为基于ai的信息处理系统(其将被检验、评估和/或认证鲁棒性)还相应地提供多维数据结构。所提供的多维数据结构可以在例如基于ai的信息处理系统的开发过程中提前创建用于不同的数据集、数据增强方法和/或差异度量。
18.在此规定，基于ai的信息处理系统提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知的功能。特别地规定，基于ai的信息处理系统，例如训练过的神经网络，被加载到至少一个控制器的存储器中，并在其中执行或应用，以评估和处理通过传感器捕获的传感器数据，并且例如产生和提供例如用于执行器的控制信号。另外，相关的至少一个多维数据结构也可以被存储或已存储在存储器中。
19.原则上，该方法和装置也可以作为替代或附加地用于其他应用。例如，这些可以是自动车队控制、内部监控、驾驶员观察、生产控制、视频监控、机器人应用、自动飞行、自动轨道车辆或空间飞行的应用。此外，在这些应用中尤其规定，将基于ai的信息处理系统加载到至少一个控制器的存储器中，借助至少一个控制器执行基于ai的信息处理系统，例如用于评估检测到的传感器数据并产生和提供控制信号，例如用于生产过程和/或至少一个执行器。另外，相关的至少一个多维数据结构也可以被存储或已存储在存储器中。
20.可以规定，仅在认证被证明时，例如通过鲁棒性认证的存在被验证，才在控制器中激活和/或执行基于ai的信息处理系统。或者，可以在控制器的存储器中修改或存储包含激活或使用基于ai的信息处理系统的许可的信息。在这种情况下可以规定，通过提供给控制器的包含认证的相应结果信号进行激活，该结果信号在控制器中执行激活。
21.具体而言，基于ai的信息处理系统是基于人工智能(ai)方法的信息处理系统。例如，基于ai的信息处理系统可以设计成深度神经网络，或者包括至少一个深度神经网络。然而，原则上，本公开中描述的方法也可用于其他基于ai的信息处理系统，例如基于规则的信息处理系统。所述至少一个基于ai的信息处理系统被特别训练和/或最终参数化。例如，基于ai的信息处理系统可能是经过训练的神经网络。一种基于ai的信息处理系统特别包括结构描述和参数和/或由结构描述和参数定义。
22.尤其至少通过基于ai的信息处理系统、数据集、数据增强定义和差异度量定义这些维度来定义多维数据结构。基于ai的信息处理系统维度特别包括所有计划中的基于ai的信息处理系统(如果存在或将要测试一个以上基于ai的信息处理系统)。如果只有一个基于ai的信息处理系统存在或者需要被检验，那么基于ai的信息处理系统这个维度也可以省略。数据集维度包括所有规定的数据集，特别是作为值范围。维度数据增强定义特别包括所有规定的数据增强方法(作为值范围)。维度差异度量定义特别包括所有提供的差异度量作为值范围。这些维度内的值的每个组合都与一个数据点相关联，该数据点包括至少一个差异值。
23.数据集特别包括数据。数据尤其可以是一维的或多维的，特别是二维的。例如，数据可以是来自相机或激光雷达传感器的图像。然而，原则上可以使用任何传感器数据。
24.数据增强定义尤其定义了数据增强或数据增强方法。数据增强定义表明应如何更改数据集的数据。在此可以提供许多改变。例如，添加噪声，添加一个或多个对抗性干扰和/或传感器干扰、改变对比度、改变亮度、改变颜色、改变天气条件(例如，在夏季阳光下拍摄的相机图像中添加雪或雨)。特别是根据传感器的物理特性(干扰等)和/或传感器系统的可能的物理和/或技术干扰和/或可能的对抗干扰来设计或定义数据增强或数据增强方法。
25.差异度量定义特别定义了差异度量。差异度量特别表明应如何将针对数据集的(非增强)数据生成的、基于ai的信息处理系统的输出数据与针对增强数据生成的、基于ai的信息处理系统的输出数据进行比较。例如，如果基于ai的信息处理系统输出向量作为输出数据，则差异度量可以包括向量的比较，例如其方式在于确定向量之间的差异。另一个差异度量的简单例子如下：例如，如果基于ai的信息处理系统输出检测的相机图像中有多少行人并将其作为输出数据，则可以相互比较针对数据和增强数据分别输出的数字(例如，3个行人对5个行人，因此差异值等于2个行人)。
26.如果在数据集中存储了时间顺序数据，则差异度量也可以涉及时间顺序数据，即在时间上相邻的数据。由此，可生成并提供用于由基于ai的信息处理系统处理视频序列(或其它时序数据)时鲁棒性判断的数据库。例如，在鲁棒性判断范畴中可以检验，在视频序列中跨多个视频帧的的行人是否被基于ai的信息处理系统可靠地识别为行人。
27.在多维数据结构中，特别是在生成多维数据结构时相关的所有伪迹也作为元数据和/或标头存储在多维数据结构中。这些伪迹例如包括：所使用的软件代码的引用、对至少一个基于ai的信息处理系统和用于训练的超参数的引用、对所使用的一个或多个数据集(可能包括描述数据)的引用和/或对所使用的随机生成器(随机种子)的初始值的引用。
28.数据处理设备的部分可以单独地或组合地形成为硬件和软件的组合，例如，作为在微控制器或微处理器上执行的程序代码。
29.在一个实施例中规定，至少一个基于ai的信息处理系统是神经网络和/或包括至少一个神经网络。特别是，神经网络可以是深度神经网络，例如卷积网络。神经网络特别包括神经网络的结构描述和参数(例如过滤器参数，权重，激活函数等)。特别是，神经网络是一种经过训练的神经网络。
30.在一个实施例中规定，基于ai的信息处理系统在认证之后被加载到至少一个控制器的存储器中。具体地，将基于ai的信息处理系统的结构描述和参数加载到至少一个控制器的存储器中，使得基于ai的信息处理系统随后可以由至少一个控制器执行或应用。控制器特别是汽车的控制器。因此，被认证为鲁棒的基于ai的信息处理系统随后可以直接和/或自动地在至少一个控制器中使用。例如，所述控制器可以是例如评估传感器数据并例如通过基于ai的信息处理系统执行环境感知(例如物体识别)的汽车的控制器，并且特别地生成和提供例如至少一个执行器的控制数据。
31.在一个实施例中规定，为了提供改变的多维数据结构，改变和/或扩展以下维度中的至少一个：数据集、数据增强定义、差异度量定义。因此，可以修改用于鲁棒性评估的数据库。特别是，这使得有可能逐步提高对基于ai的信息处理系统的评估和认证的鲁棒性要求。特别是，在基于ai的信息处理系统的开发期间，基于ai的信息处理系统的鲁棒性已经可以(逐步)增强，例如，在基于ai的信息处理系统的开发之初，将基于ai的信息处理系统的低鲁棒性变体丢弃，而基于ai的信息处理系统的鲁棒性变体可以根据进一步的鲁棒性要求逐步地进一步评估和/或认证。例如，在修改和/或扩展时，可以考虑记录中的其他数据和/或其他数据域。此外，还可以用其他数据扩展数据集。还可以为进一步的数据增强方法添加更多的数据增强定义。备选或补充地，可以在数据增强定义中更改数据增强方法的参数。该差异度量可以修改或用其他差异度量来补充。
32.在一个实施例中规定，基于比较结果改变基于ai的信息处理系统的结构和/或参
数和/或训练，其中改变后的基于ai的信息处理系统被重新评估和/或认证。因此，鲁棒性评估可以直接用作基于ai的信息处理系统开发中的反馈，例如通过automl(自动机器学习)，其中可以生成自动修改的神经网络或神经网络的变体，并对鲁棒性进行评估。因此，基于人工智能的鲁棒信息处理系统的开发和优化可以自动化进行。
33.在一个实施例中规定，一组多个不同的基于ai的信息处理系统被评估，选择最能满足关于至少一个优化标准的至少一个鲁棒性要求的基于ai的信息处理系统，特别是用于在控制器，特别是汽车的控制器中的加载和/或应用。由此，可以通过生成基于ai的信息处理系统的变体并随后选择最鲁棒的变体来实现基于ai的鲁棒信息处理系统的开发。对于每个基于ai的信息处理系统，在此使用与所考虑的基于ai的信息处理系统相对应的多维数据结构。
34.在一个实施例中规定，针对至少一个鲁棒性要求中的每一个输出比较结果。由此，可以生成和提供详细的报告，从而可以详细记录基于ai的信息处理系统的鲁棒性的评估和/或认证的结果。
35.在一个实施例中，提供另外评估至少一个修改后的基于ai的信息处理系统，其中，分别确定的基于ai的信息处理系统的鲁棒性和至少一个修改后的基于ai的信息处理系统的鲁棒性被相互比较，并且基于鲁棒性的比较结果，对基于ai的信息处理系统或至少一个修改后的基于ai的信息处理系统做出选择决策。由此，可以实现基于ai的信息处理系统的逐步调整，其中，直接评估基于ai的信息处理系统的任何变化和/或调整对鲁棒性的影响，并根据结果进行保留或丢弃。由此，可以以有效的方式进行基于人工智能的鲁棒信息处理系统的开发。
36.在一个实施例中规定，属于基于ai的信息处理系统的至少一个多维数据结构借助于控制器提供，在控制器的存储器中存储了多维数据结构，其中，通过从控制器的存储器查询和/或检索(abrufen或称为调用)确定的差异值来接收确定的差异值。特别地，至少根据维度：数据集、数据增强定义和差异度量定义来查询和/或检索和接收确定的差异值。特别是，该装置可以包括这样的控制器，或者在必要时连接到这样的控制器。
37.装置设计的其他特征来自方法设计的描述。该装置的优点与该方法设计中的优点相同。
38.此外还推荐一种基于ai的信息处理系统的应用，其使用本公开中描述的方法或使用本公开中描述的装置被评估为、尤其被认证为鲁棒的，用于鲁棒地评估至少一个传感器、特别是汽车的至少一个传感器的传感器数据。
39.此外，还特别提供了一个控制器，其包括存储器，其中存储了至少一个通过所述实施例之一的方法被评估为、尤其被认证为鲁棒的基于ai的信息处理系统，其用于对至少一个传感器的传感器数据进行鲁棒评估。
40.此外，尤其还提供了一种包括命令的计算机程序，当计算机执行计算机程序时，该命令使计算机根据所描述的任何实施例执行所述方法的方法步骤。
41.此外，还提供了传输这种计算机程序的数据载体信号。
42.如果不存在或无法提供用于待评估和/或认证的基于ai的信息处理系统的多维数据结构，则可特别通过如下所述的提供用于至少一个基于ai的信息处理系统的鲁棒性评估的数据库的方法来生成用于基于ai的信息处理系统的多维数据结构。
43.通过提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法实现所述生成，其中，至少一个基于ai的信息处理系统、至少一个数据集、至少一个数据增强定义和至少一个差异度量定义作为输入参数被接收，其中，基于输入参数生成多维数据结构，其中，多维数据结构的维度和维度的数值范围由接收到的输入参数确定，并且，所述多维数据结构的每个数据点包括通过至少一个定义的差异度量来确定的差异值，通过在输出数据之间构成定义的差异度量确定所述差异值，所述输出数据由至少一个基于ai的信息处理系统生成，分别用于所述至少一个数据集的数据和用于所述相同的借助至少一个定义的数据增强来增强的数据，并且其中生成的多维数据结构被提供，使得可以基于所述多维数据结构所包含的差异值来判断所述至少一个基于ai的信息处理系统的鲁棒性。
44.为了实现所述生成，例如借助于提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的装置来执行该方法，该装置包括数据处理设备，其中数据处理设备设置用于，作为输入参数接收至少一个基于ai的信息处理系统、至少一个数据集、至少一个数据增强定义和至少一个差异度量定义，并基于输入参数生成多维数据结构，其中，多维数据结构的维度和维度的数值范围由接收到的输入参数确定，并且，所述多维数据结构的每个数据点包括通过至少一个定义的差异度量来确定的差异值，通过在输出数据之间构成定义的差异度量确定所述差异值，所述输出数据由至少一个基于ai的信息处理系统生成，分别用于所述至少一个数据集的数据和用于所述相同的借助至少一个定义的数据增强来增强的数据，并且其中生成的多维数据结构被提供，使得可以基于所述多维数据结构所包含的差异值来判断所述至少一个基于ai的信息处理系统的鲁棒性。
45.提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置使得提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库成为可能。为此，生成多维数据结构，分别将差异值作为数据点存储在多维数据结构中。多维数据结构的维度(尤其也可称为超立方体)至少包括：基于ai的信息处理系统、数据集、数据增强和差异度量等维度。因此，为了产生多维数据结构，接收至少一个基于ai的信息处理系统、至少一个数据集、至少一个数据增强定义和至少一个差异度量定义。对于这些维度的每一种组合，即对于维度内的每一个可能的特征，使用相应的差异度量来计算一个差异值，并为相关的数据点存储一个差异值。由此，从至少一个基于ai的信息处理系统分别为数据集的(非增强)数据和增强数据生成的输出数据确定由各自的差异度量定义所定义的差异值。借助于通过数据增强定义为数据点定义的数据增强来生成增强数据。换句话说，对于多维数据结构内的每个数据点，产生至少基于ai的信息处理系统、数据集、数据增强定义和差异度量定义的维度的组合，即对于每个数据点，定义基于ai的信息处理系统、数据集、数据增强(或数据增强方法)和差异度量。在此基础上，对于数据点，数据集的数据通过数据增强被增强(例如被干扰)，并且通过基于ai的信息处理系统在数据上的应用借助差异度量来确定数据集的未增强数据和增强数据之间的差异值。确定的差异值存储在数据点中。对于所有数据点执行该过程，直到对于多维数据结构内的每个数据点确定并存储了差异值。差异值可以在以后的任何时候从数据结构中有针对性地(即通过规定至少基于ai的信息处理系统、数据集、数据增强定义和差异度量定义的组合)被查询或者说检索，从而可以基于多维数据结构所包含的差异值来判断至少一个基于ai的信息处理系统的鲁棒性。这使得在任何时候，即在事后，确定鲁棒性成为可能，并且例如只考虑多维数据结构的子集。由此，确定和评估至少一个基
于ai的信息处理系统的鲁棒性，特别是在灵活性方面，可以得到改进。
46.提供用于评估至少一个基于ai的信息处理系统的鲁棒性的数据库的方法和装置的优点是，即使没有基于ai的信息处理系统，即没有模型描述(结构、参数、激活函数等)，并且没有至少一个数据集，也可以测量和评估基于ai的信息处理系统的鲁棒性。如果不打算公布或提供基于ai的信息处理系统和/或在适当情况下不公布或提供敏感数据本身，这尤其有利。例如，提供数据库的方法允许对基于ai的信息处理系统进行认证，而不需要基于ai的信息处理系统本身成为认证方法的一部分。为此，只需要提供多维数据结构。
47.提供用于评估至少一个基于ai的信息处理系统的鲁棒性的数据库的方法也可以是评估和认证基于ai的信息处理系统的鲁棒性的方法的一部分。
48.在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法框架内，在接收时，尤其接收基于ai的信息处理系统的结构描述和参数。然后借助数据处理设备在数据和增强数据上执行基于ai的信息处理系统。
49.提供用于至少一个基于ai的信息处理系统的鲁棒性评估的数据库的装置的数据处理设备的多个部分可以单独地或组合地形成为硬件和软件的组合，例如作为在微控制器或微处理器上执行的程序代码。
50.在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，提供包括提供用于有针对性地检索多维数据结构的数据点的接口。这种接口特别允许根据至少一个基于ai的信息处理系统、数据集、数据增强定义和差异度量定义的组合来检索或查询单个数据点或区域或数据点集。因此，可以灵活地确定鲁棒性(特别是鲁棒性值)，并且例如在多个数据点或多个数据增强或数据增强方法上平均。评估和认证基于ai的信息处理系统的鲁棒性的方法可以特别地借助于该接口来工作。
51.在此可以进一步规定，接口被设置为，能够有针对性地通过其他参数限制查询。例如，在给定相应参数的情况下，可能的查询可以如下：
[0052]-查询多维数据结构的具体条目(差异值)，
[0053]-查询多维数据结构的片段上的最大值、最小值或平均值，
[0054]-查询多维数据结构片段中的差异值的方差，带宽等，
[0055]-查询多维数据结构片段上的加权和(积分)，
[0056]-查询关于差异值和/或上述值的直方图，
[0057]-查询差异值和/或上述值在改变片段参数时的函数曲线，
[0058]-查询关于差异值和/或上述值或曲线的热图或其他数据可视化方法，
[0059]-在时间顺序的数据集的情况下，查询差异值和/或上述值的时间曲线。
[0060]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，所述提供包括将多维数据结构提交给认证服务提供商和/或基于ai的信息处理系统的用户和/或将多维数据结构加载到至少一个控制器的存储器中。因此，即使在事后，即在交付和使用之后，或者在至少一个基于ai的信息处理系统的整个使用寿命期间，例如通过新的或修改的鲁棒性度量，也可以在现场进一步或再次确定鲁棒性，而不必为此再次确定差异值。
[0061]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，另外接收一组用于至少一个数据增强定义的子参数作为输入参数，
其中，在考虑到接收到的一组子参数的情况下来生成多维数据结构和/或增强数据。因此，可以进一步具体化或参数化数据增强或数据增强方法。例如，在相机图像的亮度变化的情况下，可以指定亮度值的范围，在该范围内相机图像将被增强，即在其亮度方面变化。对于要考虑的每一个子参数，多维数据结构都相应扩展。在具有三个子参数(例如-20％，0和+20％)的亮度变化的情况下，在维度数据增强定义中的亮度变化相应地有三个值。另一个例子是给定不同的噪声参数(例如，信噪比的目标值等)。
[0062]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的一个实施方式中规定，另外接收用于输入参数的单个的一组过滤标准作为输入参数，其中，在考虑接收到的一组过滤标准的情况下来生成多维数据结构。通过这种方式，可以有针对性地创建考虑了过滤标准的多维数据结构。这特别允许描绘或准备特定的测试场景。例如，过滤标准可以是数据上的标签，其允许按照标准进行特定的鲁棒性的分箱(binning)和/或解析。例如，它们可以是情景值(例如针对城市、乡村、边缘场景、节日、附近的大型活动、天气
……
的情景)或数据属性(例如污染、运动模糊、设盲
……
)。
[0063]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，另外接收用于至少一个数据增强定义的参数分布的统计分布函数的选择作为输入参数，其中，在考虑到参数分布的统计分布函数的选择的情况下来生成多维数据结构。这允许在数据集数据的增强(例如干扰)时考虑统计分布。例如，对于包含图像中亮度变化的数据增强，可以传递分布函数，在生成多维数据结构时从该分布函数进行统计采样(例如，来自以下分布的10个样本：[-30％至-10％]，p＝0.3，[-10％至+10％]，p＝0.5和[+10％至+30％]，p＝0.2)。
[0064]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的一个实施方式中规定，另外接收对数据增强定义的参数和数据集的数据的组合的分布的选择作为输入参数，其中在考虑到接收的大量用于参数组合的分布的情况下来生成多维数据结构。由此允许考虑组合的分布。例如，分布可以是对单个输入数据流或标记的“曝光”，允许“针对”分布进行聚合(即通过(单个数据)x(曝光)进行求和)。这样，就可以计算出“现实可预期的鲁棒性风险
″
。
[0065]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，接收对单个数据点相关性的选择作为输入参数，其中在考虑到接收到的相关性的情况下生成多维数据结构。因此，可以标记特别相关的数据点，即输入参数的特别相关组合，以便为这些组合生成或确定数据点和差异值。例如，如果对输入参数的某些组合进行鲁棒性测试是法律要求的，或者如果在鲁棒性评估中证明是有效的，则这是特别有利的。
[0066]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装置的实施方式中规定，作为对每个数据点的补充，从至少一个基于ai的信息处理系统分别获得的结果存储在多维数据结构中。由此也允许以后仍能使用为数据和增强数据生成的结果。特别是，如果多维数据结构被进一步的数据增强所扩展，则不必再次为未增强的数据生成结果，而是可以直接使用已经存储在多维数据结构中的结果。这可以节省计算功率和计算时间。
[0067]
在提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法和装
置的实施方式中规定，多维数据结构在提供之后通过补入至少一个进一步的维度和/或通过扩展至少一个维度的值范围来扩展，其中，提供扩展的多维数据结构。因此，可以随后考虑进一步的或新的数据增强方法、进一步的或新的数据集和/或进一步的或新的差异度量。特别是，已经存在的数据点可以继续使用，并且不需要再次计算，因为多维数据结构的扩展很容易实现。
[0068]
在提供用于至少一个基于ai的信息处理系统的鲁棒性评估的数据基础的方法和装置的实施方式中规定，至少一个基于ai的信息处理系统提供用于汽车自动驾驶和/或汽车驾驶员辅助和/或环境检测和/或环境感知的功能。
[0069]
然而，原则上也可以规定，该方法和装置用于其他应用。例如，这些可以是自动车队控制、内部监控、驾驶员观察、生产控制、视频监控、机器人应用、自动飞行、自动轨道车辆或空间飞行的应用。
[0070]
以下通过参考附图的优选实施例对本发明进行更详细的说明。在附图中：
[0071]
图1示出用于评估和认证基于ai的信息处理系统的鲁棒性的装置的实施例的示意图；
[0072]
图2示出提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的装置的实施例的示意图，利用该数据库可以生成用于所公开的方法的多维数据结构；
[0073]
图3示出示意的流程图，其说明了提供用于至少一个基于ai的信息处理系统的鲁棒性判断的数据库的方法的实施例，利用该方法可以生成用于所公开的方法的多维数据结构；
[0074]
图4示出用于评估和认证基于ai的信息处理系统的鲁棒性的方法的实施例的流程图示意图。
[0075]
图1示出了用于评估和认证基于ai的信息处理系统的鲁棒性的装置1的实施例的示意图。例如，基于ai的信息处理系统可以是经过训练的深度神经网络。装置1包括数据处理设备2。数据处理设备2包括计算装置3和存储器4。具体地，装置1被设置为执行本公开内容中描述的用于评估和认证基于ai的信息处理系统的鲁棒性的方法。
[0076]
根据规定，基于ai的信息处理系统提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知或用于其他应用的功能。
[0077]
数据处理设备2被设置为，与要检查的、即要评估和/或要认证的基于ai的信息处理系统相关联地接收至少一个多维数据结构20。尤其接收到多维数据结构20。接收到的多维数据结构20存储在存储器4中(示意性地表示为立方体)。至少根据维度“数据集、(多个)数据增强定义和(多个)差异度量定义”，将分别至少借助至少通过至少一个差异度量确定的、在基于ai的信息处理系统的输出数据之间的差异的差异值22(其被获取用于数据或增强数据)存储在至少一个多维数据结构20中。
[0078]
为了评估和/或认证基于ai的信息处理系统，计算装置3可以追溯到存储在多维数据结构20的各个数据点21中的差异值22，这些数据点21分别对应于上述维度的组合。
[0079]
数据处理设备2，特别是计算装置3从差异值22的至少一个选择，即子集，确定基于ai的信息处理系统的至少一个鲁棒性25。例如，最大值或加权或未加权的平均值可以从单个的差异值22中确定。此外，可以通过例如确定分布或直方图等的统计度量并将其用作鲁棒性25的度量，沿上述的单个或多个维度对差异值22进行统计评估。
[0080]
至少一个确定的鲁棒性25特别地以至少一个鲁棒性值的形式表示。借助于数据处理设备2，特别是借助于计算装置3，将至少一个特定的鲁棒性25与至少一个鲁棒性要求26进行比较。至少一个鲁棒性要求26分别被提供给装置1，并由数据处理设备2，特别是计算装置3接收，并存储在存储器4中。
[0081]
基于比较结果，由数据处理设备2，特别是由计算装置3执行各种动作。要么丢弃基于ai的信息处理系统，用改变了的多维数据结构20+重新评估，要么认证为鲁棒的。在第一情况下，例如，输出包含基于ai的信息处理系统正在被丢弃或将要被丢弃的信息的相应结果信号27。结果信号27可以被提供给例如系统60，该系统60在鲁棒性方面优化基于ai的信息处理系统，例如神经网络(例如通过automl)。在第二种情况下，还输出相应的结果信号27，该结果信号27包括基于ai的信息处理系统应该利用改变的多维数据结构20+被重新评估的信息。随后，向装置1提供这种改变的多维数据结构20+，并且用改变的多维数据结构20+重复前述的措施。在第三种情况下，还输出相应的结果信号27，其中包括关于基于ai的信息处理系统的认证的信息。该结果信号27或关于基于ai的信息处理系统的认证的信息可以例如加载到至少一个控制器30的存储器中，在该控制器30中要执行基于ai的信息处理系统。
[0082]
可以规定，关于基于ai的信息处理系统的认证的信息包括诸如代码或密钥形式的真实性证书。
[0083]
可以规定，仅在证明认证时，例如通过验证鲁棒性认证的存在，才在控制器中激活或执行基于ai的信息处理系统。备选地，可以修改或存储在控制器的存储器中的信息，所述信息包含激活或使用基于ai的信息处理系统的许可。在这种情况下，可以规定通过提供给控制器30的包含认证的相应结果信号27来实现激活，并且该结果信号27在控制器中实现激活。
[0084]
还可以规定，基于ai的信息处理系统，例如以结构描述和/或参数的形式，在认证之后被加载到至少一个控制器30的存储器中。控制器30是例如汽车的控制器30。
[0085]
可以规定，为了提供改变的多维数据结构20+，改变和/或扩展以下维度中的至少一个：数据集、数据增强定义、差异度量定义。
[0086]
可以规定，基于比较结果改变基于ai的信息处理系统的结构和/或参数和/或训练，其中改变的基于ai的信息处理系统被重新评估和/或认证。
[0087]
可以规定，评估来自多个不同的基于ai的信息处理系统的集合，选择出最符合关于至少一个优化标准28的至少一个鲁棒性要求26的基于ai的信息处理系统，其特别是用于在控制器、特别是汽车的控制器中的加载和/或应用。在此可以规定，向装置1输入针对多个不同的基于ai的信息处理系统生成的多维数据结构20，即一个维度额外包括“基于ai的信息处理系统”，该维度具有对应于多个基于ai的信息处理系统的数量的值范围。优化标准28也输入装置1。优化标准28的示例例如是比较结果29与至少一个鲁棒性要求26的最大距离。
[0088]
可以规定，对于至少一个鲁棒性要求26中的每一个输出比较结果29。
[0089]
可以规定，另外评估至少一个修改的基于ai的信息处理系统，其中基于ai的信息处理系统和至少一个修改的基于ai的信息处理系统的分别确定的鲁棒性25被相互比较，以及其中，基于鲁棒性的比较结果，对基于ai的信息处理系统或至少一个修改后的基于ai的信息处理系统做出选择决策。为此，提供并提供给装置1的多维数据结构20包括用于基于ai
的信息处理系统和至少一个修改后的基于ai的信息处理系统两者的差异值22。特别地，为了比较鲁棒性25，将确定的鲁棒性值相互比较。例如，如果增强的鲁棒性25以较大的鲁棒性值表示，则选择具有较大鲁棒性值的基于ai的信息处理系统。
[0090]
如果不存在或不能提供用于待评估和/或认证的基于ai的信息处理系统的多维数据结构，则可替代地，特别是通过下文参照图2描述的装置和参照图3描述的方法来实现用于基于ai的信息处理系统的多维数据结构20的生成。
[0091]
图2示出了用于提供数据库的装置1000的实施例的示意图，用于至少一个例如设计为已训练的神经网络的基于ai的信息处理系统10的鲁棒性判断。然而，原则上，装置1000也可用于其它基于ai的信息处理系统10。在此规定，基于ai的信息处理系统10提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知或其它应用的功能。装置1000包括数据处理设备2。数据处理设备2包括计算装置3和存储器4。
[0092]
至少一个基于ai的信息处理系统10(即在示例中至少一个神经网络)、至少一个数据集11、至少一个数据增强定义12和至少一个差异度量定义13作为输入参数9提供给数据处理设备2，这些由数据处理设备2接收。
[0093]
一种基于ai的信息处理系统10特别包括基于ai的信息处理系统10的结构描述以及参数(权重、激活函数、过滤参数等)。数据集11包括数据，例如，来自至少一个传感器(照相机、激光雷达、雷达、超声波等)的二维照相机图像和/或其它一维或多维传感器数据。至少一个数据增强定义12特别包括至少一个数据增强方法的描述，即关于如何在本公开中所描述的方法的框架内增强(例如干扰)数据的描述。至少一个差异度量定义特别包括至少一个差异度量的描述，即关于如何在本公开所述方法的框架内将未增强的数据与增强的数据进行比较，或者如何确定差异值22的描述。
[0094]
基于输入参数9，借助于数据处理设备2、特别是借助于计算装置3，生成多维数据结构20并将其存储在图2中示意性地表示为立方体的存储器4中。多维数据结构20的维度和维度的值范围分别由接收到的输入参数10、11、12、13确定(在所描述的示例中，多维数据结构20特别包括四个维度)。为了产生多维数据结构20，对于输入参数10、11、12、13的每个组合，分别产生和确定数据点21。在此，多维数据结构20的每个数据点21包括借助于通过至少一个差异度量定义13定义的差异度量来确定的差异值22。借助于数据处理设备2，特别是借助于计算装置3确定差异值22，方法是生成输出数据之间的至少一个定义的差异度量，所述输出数据由至少一个基于ai的信息处理系统10、分别为至少一个数据集11的数据和为借助至少一个数据增强定义12定义的数据增强的相同数据生成。为此，数据处理设备2，特别是计算装置3，分别在所述数据和增强数据上执行基于ai的信息处理系统10。在基于ai的信息处理系统10例如提供数字作为输出数据的简单示例中，差异度量例如可以是所提供的数字之间的差。如果输出向量，则可以(例如通过使用标量乘积)在向量之间形成差异。
[0095]
如果针对多维数据结构20的所有数据点21确定了差异值22，则提供生成的多维数据结构20。具体地，输出多维数据结构20。借助于所提供的多维数据结构20，借助于本公开中描述的评估和认证的方法，可以基于多维数据结构20包括的差异值22来判断至少一个基于ai的信息处理系统10的鲁棒性。
[0096]
借助于图2所示的装置1000和图3所示的方法，对于不同的数据集11、不同的数据增强方法和不同的差异度量，可以分别确定差异值22。此外，还可以比较各种基于ai的信息
处理系统10。输入参数9的任何可能组合在此对应于确定差异值22的数据点21。因此，装置1000和相关方法允许提供用于至少一个基于ai的信息处理系统10的鲁棒性评估的广泛且可灵活扩展的数据库。
[0097]
可以规定，所述提供包括提供用于目标检索多维数据结构20的数据点21的接口5。接口5可以涉及为硬件和/或软件。
[0098]
可以规定，所述提供包括向认证服务提供商和/或基于ai的信息处理系统10的用户发送多维数据结构20和/或将多维数据结构20加载到至少一个控制器30的存储器中。因此，以后也可以评估和/或认证鲁棒性。
[0099]
可以规定，另外接收用于至少一个数据增强定义12的一组子参数14用作输入参数9，其中考虑到接收到的子参数14的数量来生成多维数据结构20和/或增强数据。子参数14包括例如作为数据增强函数的输入参数9的值范围。
[0100]
可以规定，另外接收用于输入参数9中的单个的一组过滤标准15作为输入参数9，其中，考虑到接收到的一组过滤标准15来生成多维数据结构20。
[0101]
可以规定，另外接收用于至少一个数据增强定义12的参数分布的统计分布函数16的选择作为输入参数9，其中考虑用于参数分布的统计分布函数16的选择来生成多维数据结构20。
[0102]
可以规定，另外接收用于数据增强定义12的参数和数据集11的数据的组合的分布17的选择作为输入参数9，其中考虑到用于参数组合的分布17的接收量来生成多维数据结构20。
[0103]
可以规定，接收针对单个数据点21的相关性18的选择作为输入参数9，其中，考虑到接收到的相关性18，实现多维数据结构20的生成。
[0104]
可以规定，另外，对于每个数据点21，在多维数据结构20中存储由至少一个基于ai的信息处理系统10分别生成的结果23。
[0105]
可以规定，在提供多维数据结构20之后，通过插入至少一个进一步的维度和/或通过扩展至少一个维度的值范围来扩展多维数据结构20，其中提供扩展的多维数据结构20+。
[0106]
尤其规定，至少一个基于ai的信息处理系统10提供用于汽车自动驾驶和/或用于汽车驾驶员辅助和/或用于环境检测和/或环境感知的功能。
[0107]
图3示出了用于阐明提供用于至少一个基于ai的信息处理系统10的鲁棒性判断的数据库的方法的实施例的流程图示意图。
[0108]
作为输入参数9，给出至少一个基于ai的信息处理系统10、例如训练的神经网络、至少一个数据集11、至少一个数据增强定义12和至少一个差异度量定义13。由此，预规定了至少一个基于ai的信息处理系统10a、来自至少一个数据集11的数据11a、至少一个数据增强方法12a和至少一个差异度量13a。
[0109]
在方法步骤100中，借助至少一种数据增强方法12a对数据11a进行增强，例如，通过添加噪声或至少一种对抗干扰对数据11a进行干扰。在此可以规定，在前述方法步骤90中，随机选择用于数据增强的参数。
[0110]
在方法步骤101中，至少一个基于ai的信息处理系统10应用于未增强数据11a和各自相关的增强数据。在方法步骤102中数据化地相互比较各自获得的结果，并且借助于每个数据的至少一个差异度量13a确定差异值。在多个基于ai的信息处理系统10、多个数据集
11、多个数据增强方法12a和/或多个差异度量13a中，对每个可能的组合执行，因此对于每个组合确定差异值。从该差异值生成多维数据结构20，其中该差异值分别与各个数据点相关联，这些数据点分别与输入参数9的可能组合相关联。
[0111]
以这种方式生成的多维数据结构20被提供，例如以接口5的形式，借助其可以查询或检索输入参数9的任意组合的差异值，从而可以基于多维数据结构20所包含的差异值来判断至少一个基于ai的信息处理系统10的鲁棒性。
[0112]
鲁棒性的确定在方法步骤200至202中示意性地表示。在此，在一个方法步骤中，根据不同的过滤标准检索200个差异值，其中过滤标准由给定的鲁棒性度量产生。在方法步骤201中聚合所检索的差异值，例如通过统计地或以其他方式评估所检索的差异值，使得(统计)特征值(例如以关键性能指标40的形式，例如以聚合差异度量的形式，例如“平均误差”＝0.5或0.4等)可以被计算和提供(分布参数等)。在这种情况下，例如跨越多维数据结构20的一个或多个维轴地进行聚合，例如跨越完整的数据集11和/或跨越所有数据增强方法12a和/或跨越所有差异度量13a。然后可以形成并提供例如最大值和/或未加权或加权平均值。
[0113]
在方法步骤202中，通过例如将结果表示为图41、形成直方图43、表示标量值44、生成热图45和/或表示饼图46，可以可视化以这种方式生成的度量和/或聚合值。由此，可以改进地评估和认证至少一个基于ai的信息处理系统10的鲁棒性25。此外，可以生成和输出包含鲁棒性评估和/或认证结果的报告42。
[0114]
特别地，提供多维数据结构20包括提供用于目标检索多维数据结构20的数据点的接口5是可能的。在这种情况下，查询可以特别包括以下参数：期望的过滤标准50，期望的轴或尺寸选择51，期望的聚合方法52，期望的可视化方法53。
[0115]
以这种方式，可以特别地创建度量生成器300，通过该度量生成器300，可比地且可重复地评估和认证基于ai的信息处理系统10、例如经训练的神经网络的鲁棒性25。
[0116]
具体地，多维数据结构20的提供允许即使在没有数据11a和没有基于ai的信息处理系统10本身的情况下也能够判断基于ai的信息处理系统10的鲁棒性25。这对于敏感数据尤其有利。
[0117]
图4示出了用于评估和认证例如(训练的)神经网络的基于ai的信息处理系统10的鲁棒性25的方法的实施例的流程图示意图。该方法在此示例性地嵌入到用于自动生成和评估或认证基于ai的信息处理系统10的方法中。
[0118]
起点是基于ai的信息处理系统10，例如在生成过程70(“模型工厂
″
)中生成和训练的(训练的)神经网络。基于ai的信息处理系统10的生成和训练可以自动进行(例如通过automl)，或者由开发团队“手动
″
进行。
[0119]
此外设置检验要求80。特别是，检验要求80定义了以何种方式评估基于ai的信息处理系统10，即考虑哪些数据11a、数据增强方法12a和/或哪些差异度量13a，以及通过报告定义81，评估的哪些结果应该是输出或报告的内容。此外，检验要求80包括鲁棒性要求26，即，例如如果要认证基于ai的信息处理系统10为鲁棒的，则不得超过鲁棒性25阈值25。
[0120]
将基于ai的信息处理系统10、数据11a、数据增强方法12a和/或差异度量13a和报告定义81交给参考图3已经描述的度量发生器300。度量发生器300通过评估多维数据结构20(图1，2和3)中包含的差异值22，提供基于ai的信息处理系统10的至少一个鲁棒性25作为结果(例如以图3所示的关键性能指标40的形式)。
[0121]
在方法步骤400中，将确定的至少一个鲁棒性25与至少一个鲁棒性要求26进行比较。基于比较结果，基于ai的信息处理系统10要么被丢弃，要么由度量生成器300用改变的多维数据结构重新评估，要么被认证为鲁棒。作为方法步骤400的结果，结果信号27为此返回到生成过程70，以便基于ai的信息处理系统10要么被丢弃，要么被重新评估，要么被认证。
[0122]
尤其规定，基于ai的信息处理系统10在认证之后被加载到至少一个控制器的存储器中。此外，可以规定将多维数据结构加载到控制器的存储器中。
[0123]
借助于本公开中描述的评估和认证基于ai的信息处理系统10的鲁棒性的方法，允许全自动开发、评估和/或认证和提供例如神经网络的基于ai的信息处理系统10。自动化的可能性可以节省时间，精力和成本。此外，通过在评估中使用多维数据结构，可以在可重复性、文档性和可比性方面改进评估和认证过程。
[0124]
附图标记清单
[0125]1ꢀꢀꢀꢀꢀꢀꢀ
装置
[0126]2ꢀꢀꢀꢀꢀꢀꢀ
数据处理设备
[0127]3ꢀꢀꢀꢀꢀꢀꢀ
计算设备
[0128]4ꢀꢀꢀꢀꢀꢀꢀ
存储器
[0129]5ꢀꢀꢀꢀꢀꢀꢀ
接口
[0130]9ꢀꢀꢀꢀꢀꢀꢀ
输入参数
[0131]
10
ꢀꢀꢀꢀꢀꢀ
基于ai的信息处理系统
[0132]
11
ꢀꢀꢀꢀꢀꢀ
数据集
[0133]
11a
ꢀꢀꢀꢀꢀ
数据
[0134]
12
ꢀꢀꢀꢀꢀꢀ
数据增强定义
[0135]
12a
ꢀꢀꢀꢀꢀ
数据增强方法
[0136]
13
ꢀꢀꢀꢀꢀꢀ
差异度量定义
[0137]
13a
ꢀꢀꢀꢀꢀ
差异度量
[0138]
14
ꢀꢀꢀꢀꢀꢀ
子参数
[0139]
15
ꢀꢀꢀꢀꢀꢀ
过滤标准
[0140]
16
ꢀꢀꢀꢀꢀꢀ
分布函数
[0141]
17
ꢀꢀꢀꢀꢀꢀ
分布
[0142]
18
ꢀꢀꢀꢀꢀꢀ
相关性
[0143]
20
ꢀꢀꢀꢀꢀꢀ
多维数据结构
[0144]
20+
ꢀꢀꢀꢀꢀ
修改/扩展的多维数据结构
[0145]
21
ꢀꢀꢀꢀꢀꢀ
数据点
[0146]
22
ꢀꢀꢀꢀꢀꢀ
差异值
[0147]
23
ꢀꢀꢀꢀꢀꢀ
推断结果
[0148]
25
ꢀꢀꢀꢀꢀꢀ
鲁棒性
[0149]
26
ꢀꢀꢀꢀꢀꢀ
鲁棒性要求
[0150]
27
ꢀꢀꢀꢀꢀꢀ
结果信号
[0151]
28
ꢀꢀꢀꢀꢀꢀ
优化标准
[0152]
29
ꢀꢀꢀꢀꢀꢀ
对比结果
[0153]
30
ꢀꢀꢀꢀꢀꢀ
控制器
[0154]
40
ꢀꢀꢀꢀꢀꢀ
关键性能指标
[0155]
41
ꢀꢀꢀꢀꢀꢀ
图
[0156]
42
ꢀꢀꢀꢀꢀꢀ
报告
[0157]
43
ꢀꢀꢀꢀꢀꢀ
直方图
[0158]
44
ꢀꢀꢀꢀꢀꢀ
标量值
[0159]
45
ꢀꢀꢀꢀꢀꢀ
热图
[0160]
46
ꢀꢀꢀꢀꢀꢀ
饼图
[0161]
50
ꢀꢀꢀꢀꢀꢀ
期望的筛选标准
[0162]
51
ꢀꢀꢀꢀꢀꢀ
期望的轴或尺寸选择
[0163]
52
ꢀꢀꢀꢀꢀꢀ
期望的聚合方法
[0164]
53
ꢀꢀꢀꢀꢀꢀ
期望的可视化方法
[0165]
60
ꢀꢀꢀꢀꢀꢀ
系统
[0166]
70
ꢀꢀꢀꢀꢀꢀ
生成过程
[0167]
80
ꢀꢀꢀꢀꢀꢀ
检验要求
[0168]
81
ꢀꢀꢀꢀꢀꢀ
报告定义
[0169]
90
ꢀꢀꢀꢀꢀꢀ
方法步骤
[0170]
100-102 方法步骤
[0171]
200-202 方法步骤
[0172]
300
ꢀꢀꢀꢀ
度量生成器
[0173]
400
ꢀꢀꢀꢀ
方法步骤
[0174]
1000
ꢀꢀꢀ
装置