用于借助于机器学习系统来确定输出信号的方法与流程

1.本发明涉及一种用于借助于机器学习系统来确定输出信号的方法、一种用于训练机器学习系统的方法、一种训练系统、一种计算机程序和一种机器可读存储介质。


背景技术：

2.marta garnelo等人的“conditional neural processes”，https://arxiv.org/abs/1807.01613v1，2018年7月4日公开了一种用于借助于条件神经过程（英文conditional neural process）来确定输出信号的方法。
3.本发明的优点很多至少部分自动化设备或者至少部分自动化系统为了自动化运行而使用机器学习系统。机器人例如可以使用机器学习系统来对该机器人的周围环境进行分类，比如以便介于该周围环境的摄像机图像来对该周围环境中的对象进行分类。此外，也可设想的是：该机器人替代分类而将机器学习系统用于回归，例如以便借助于该周围环境的摄像机图像来确定距被分类的对象的距离。
4.机器学习系统通常被构造为：基于输入信号（例如输入图像）来确定关于该输入图像的预测（例如对象的类型和位置或者距对象的距离）。在下文，机器学习系统的性能可以被理解成表征该机器学习系统用来正确预测所希望的结果的平均能力的值。
5.现代机器学习系统通常基于神经网络，因为神经网络通常在不同的技术问题的情况下都能够实现非常高的性能。神经网络的缺点在于：这些神经网络通常无法确定关于这些神经网络的预测的经过良好校准的不确定性。这意味着：即使在预测错误或不精确的情况下，神经网络也常常输出该预测是正确的高的确定性。
6.被设立为执行具有独立权利要求1的特征的方法的机器学习系统的优点在于：该机器学习系统可以通过该方法来确定关于预测的经过良好校准的不确定性。有利地，该方法通过高斯过程（英文gaussian processes）和神经网络的特征的组合来获得该特性。相比于高斯过程和神经网络的其它组合，诸如条件神经过程，被设立为执行具有独立权利要求1的特征的方法的机器学习系统实现了更好的性能。


技术实现要素：

7.在第一方面，本发明涉及一种用于借助于机器学习系统来确定第一输出信号的计算机实现的方法，其中该第一输出信号表征第一输入信号的分类和/或回归并且该输出信号包括：第一表示，该第一表示表征该分类和/或该回归的期望值；和第二表示，该第二表示表征该分类和/或该回归的方差，其中该方法为了该确定而包括如下步骤：
•ꢀ
借助于该机器学习系统的编码器来确定多个潜在表示，其中所述多个潜在表示中的潜在表示基于至少一个第二输入信号和与该第二输入信号对应的第二输出信号来被确定，其中该第二输入信号和该第二输出信号表征第一输入信号的上下文并且该潜在表示包括第一表示和第二表示，其中第一表示表征期望值而且第二表示表征方差；
•ꢀ
基于所述多个潜在表示中的潜在表示的第一表示来确定第三表示，其中第三表示表征这些第一表示的累积；
•ꢀ
基于所述多个潜在表示中的潜在表示的第二表示来确定第四表示，其中第四表示表征这些第二表示的累积；
•ꢀ
借助于该机器学习系统的解码器来确定该第一输出信号，其中该解码器基于该第三表示和该第四表示和该第一输入信号来确定该第一输出信号。
8.该方法可以被理解为使得该方法通过第一输出信号来确定至少一个第一输入信号的分类和/或回归，其中第一输出信号不仅基于第一输入信号来被确定而且在至少一个其它的第二输入信号和与该第二输入信号对应的第二输出信号的上下文中被确定。但是，优选地，尤其可以使用多个第二输入信号以及相对应地多个与之对应的第二输出信号作为上下文。在这种情况下，该第二输入信号或者这些第二输入信号可以被视为与第一输入信号保持上下文关系。
9.第二输出信号可以被理解为使得该第二输出信号表征对应的第二输入信号的分类和/或回归。因而，提供给机器学习系统的上下文可以被理解为使得针对特定的输入信号向该机器学习系统表明：怎样的输出信号正确或符合期望或可以被接受。
10.与仅基于第一输入信号来确定第一输出信号的其它机器学习系统相比，通过将第二输入信号和第二输出信号包含在内，向该机器学习系统输送明显更多的信息。因而，第二输入信号和对应的第二输出信号可以被理解成定向点，基于这些定向点，该机器学习系统针对第一输入信号来确定第一输出信号。
11.在这种情况下，术语“上下文”可以被理解成关系，在该关系中，该第二输入信号和第二输出信号或者这些第二输入信号和第二输出信号与第一输入信号有关。
12.例如可设想的是：多个第二输入信号表征相对应的多个时间点，而第二输出信号分别表征音频信号的在相应的时间点的采样点。第一输入信号例如可以表征不存在采样点并且应该由该机器学习系统来预测采样点的时间点。接着，第一输入信号可以由该机器学习系统在第二输入信号和第二输出信号的上下文中确定。
13.在另一示例中，可设想的是：应该基于图像的视频序列和在这些图像上分别探测到的对象来确定在图像中所探测到的对象将来向哪里移动。在这种情况下，视频序列的图像或其拍摄时间点可以被理解成第二输入信号，其中对象的位置是相应第二输出信号。例如可能会选择将来的时间点作为第一输入信号，并且第一输出信号接着可以在该将来的时间点并且在借助于该上下文（即第二输入信号和第二输出信号）的情况下被确定。
14.第一和第二输入信号的上下文可以以各种方式来被设计。例如可设想的是：第二输入信号包括图像的其像素值已知的像素、即图像的其像素值已知的部分，而第一输入信号包含该图像的其像素值未知的像素。可设想的是：机器学习系统在这种情况下被设立为：基于第二输入信号、即已知的像素和像素值来确定第一输入信号、即未知的像素值。
15.尤其也可设想的是：关于多个第一输入信号的多个第一输出信号基于相同的上下文来被确定。在视频序列的示例中，例如可设想的是：对象的在不同的将来时间点的位置可以基于相同数目的到目前为止的时间点来被确定。
16.第一输出信号可表征至少一个实数值的回归的期望值以及方差。替选地，可设想的是：该输出信号也可表征分类以及与该分类相关的不确定性。例如，第一输出信号的第一
表示可包括向量，该向量包括针对相对应的多个类别的多个logit值。第二表示可包括实数值的向量，其中这些实数值中的每个实数值都表征这些logit值之一的方差、即不确定性。
17.第一输入信号和第二输入信号尤其可以是序列的部分，如上文在这些示例中所描述的那样。通常，第一输入信号和第二输入信号可以被理解成由随机过程生成。
18.因而，该方法能够根据与第一输入信号保持上下文关系的第二输入信号和第二输出信号来确定关于第一输入信号的第一输出信号。由此，该方法有利地能够不仅从第一输入信号中提取信息而且从与第一输入信号保持上下文关系的第二输入信号和第二输出信号中提取信息。
19.可设想的是：第一输入信号和/或第二输入信号至少包括图像的部分，尤其是借助于传感器、例如摄像机传感器、激光雷达（lidar）传感器、雷达传感器、超声传感器或热像仪所确定的图像的部分。替选地，该图像也可以借助于基于计算机的方法来人工生成，例如借助于已在计算机中建模的虚拟世界或者基于机器学习方法来人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号至少包括音频信号的部分，尤其是借助于麦克风所确定的音频信号的部分。替选地，可设想的是：该音频信号被人工生成，例如通过借助于计算机的数字合成或者通过机器学习方法来被人工生成。替选地或附加地，可设想的是：第一输入信号和/或第二输入信号包括机器的传感器的传感器记录、尤其是如下传感器的传感器记录，这些传感器确定功耗和/或电压和/或转速和/或速度和/或温度和/或压力和/或力。
20.表示通常可以被理解成单个或多个数值。尤其是，表示可以是标量、向量、矩阵或张量。也可设想的是：表示由多个标量和/或多个向量和/或多个矩阵和/或多个张量组成。潜在表示例如包括第一和第二表示。
21.潜在表示可以被理解为使得该潜在表示表征包含在第二输入信号和与该第二输入信号对应的第二输出信号中的信息。该信息可以被理解成至少部分地表征该上下文。在此，该潜在表示的形式可以由编码器来确定。例如可设想的是：第一表示和第二表示分别是向量或张量。
22.第三和第四表示可以被理解为使得两个表示共同表征上下文表示，即该上下文的累积信息。
23.机器学习系统的编码器可以被理解为使得该编码器分别针对第二输入信号和第二输出信号来确定潜在表示。
24.相对于其它基于上下文的机器学习系统而言的一个重要优点在于：通过该方法可以将潜在表示理解成来自随机变量。经此，可以表达关于潜在表示的精确值的不确定性的形式。例如，潜在表示的第二表示可表征高方差。这可以被理解为使得编码器关于第二输入信号和第二输出信号的精确的潜在表示不确定。
25.与已知方法相比，包含不确定性允许对潜在表示的明显更好的累积。这是因为基于所确定的不确定性可以执行对所确定的潜在表示的加权，以便确定第三和第四表示、即上下文表示。由此，表征高方差并且借此表征高不确定性的潜在表示可以有利地不被包含在该累积中或者以低权重被包含在该累积中。经此，该上下文表示包含明显更多的信息。发明人可以发现：所描述的方法引起机器学习系统的性能改善。
26.还可设想的是：第四表示按照第一公式
来被确定，其中是第四表示，是关于第四表示的先验假设，是多个第二输入信号和第二输出信号中的第个输入信号和第个输出信号的潜在表示的由编码器所确定的第二表示，而且表明逐元素的倒数值。
27.逐元素的倒数值可以被理解为使得在表示中的每个值都被其倒数值所更换。
28.第一公式还可以被理解为使得首先确定第二表示的逐元素的倒数值，将这些逐元素的倒数值相加，将先验表示加到总和中并且从结果中重新确定逐元素的倒数值。
29.按照第一公式对第四表示的确定能够实现：第二表示的累积基于通过这些第二表示所表征的不确定性。经此，与表征高的确定性的第二表示相比，表征高不确定性的第二表示可以有利地在更小的程度上被考虑。
30.按照第一公式来确定第四表示的另一优点在于：除了所确定的第二表示之外，可以将先验知识、即关于第四表示的先验表示一并包含在对第四表示的确定中。这引起第四表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
31.还可设想的是：第三表示按照第二公式来被确定，其中是第三表示，是关于第三表示的先验假设，是多个第二输入信号和第二输出信号中的第个输入信号和第个输出信号的潜在表示的由编码器所确定的第一表示，是第三表示，是多个第二输入信号和第二输出信号中的第个输入信号和第个输出信号的潜在表示的由编码器所确定的第二表示，表明逐元素的乘法并且表明逐元素的除法。
32.第二公式可以被理解为使得确定潜在表示的第一表示的加权和，其中第二表示被用作加权因子。此外，关于第三值的先验假设、即预假设被加到该总和，以便确定第三表示。
33.按照第二公式来确定第四表示能够实现：第一表示的累积基于通过第二表示所表征的不确定性。经此，与表征高的确定性的第一表示相比，表征高不确定性的第一表示可以有利地在更小的程度上被考虑。
34.按照所提到的公式来确定第三表示的另一优点在于：除了所确定的第一表示之外，可以将先验知识、即关于第三表示的先验表示一并包含在对第三表示的确定中。这引起第三表示的改善，因为可以将进一步的先验知识一并引入到机器学习系统的预测中。因而，该改善引起上下文表示的改善并且借此引起机器学习系统的性能改善。
35.还可设想的是：编码器包括神经网络，该神经网络被设立为：基于多个第二输入信号和第二输出信号来确定所述多个潜在表示中的潜在表示的第一表示和第二表示。
36.优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定第一和第二
表示。经此，进一步改善了机器学习系统的性能。
37.替选地，可设想的是：编码器包括第一神经网络，该第一神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第一表示；而且编码器包括第二神经网络，该第二神经网络被设立为基于多个第二输入信号来确定所述多个潜在表示中的潜在表示的第二表示。
38.发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定潜在表示的第一表示或第二表示引起了机器学习系统的性能改善。
39.还可设想的是：解码器包括神经网络，该神经网络被设立为基于第三表示和第四表示和第一输入信号来确定第一输出信号，其中该神经网络尤其被设立为确定第一表示和第二表示。
40.优点在于：神经网络可以比来自机器学习领域的其它方法更好地确定输出信号的第一和第二表示。经此，进一步改善了机器学习系统的性能。
41.替选地，可设想的是：解码器包括第一神经网络，该第一神经网络被设立为基于第三表示和第一输入信号来确定第一输出信号的第一表示；而且解码器包括第二神经网络，该第二神经网络被设立为基于第四表示和第一输入信号来确定第一输出信号的第二表示。
42.发明人可以令人吃惊地查明：所描述的将两个分开的神经网络用于确定第一输出信号的第一表示或第二表示引起了机器学习系统的性能改善。
43.还可设想的是：用于确定输出信号的方法包括对机器学习系统的训练，其中该训练包括如下步骤：
•ꢀ
确定多个训练输入信号，所述多个训练输入信号彼此保持上下文关系，其中每个训练输入信号都分配有对应的训练输出信号；
•ꢀ
将多个训练输入信号和训练输出信号划分成多个第二训练输入信号和对应的第二训练输出信号并且划分成至少一个第一训练输入信号和至少一个对应的第一训练输出信号；
•ꢀ
基于所述多个第二训练输入信号和这些第二训练输出信号来确定第三表示和第四表示；
•ꢀ
借助于机器学习系统的解码器并且基于所确定的第三表示和所确定的第四表示和第一训练输入信号来确定针对该至少一个第一训练输入信号的预测输出信号；
•ꢀ
确定损失值，该损失值表征在该预测输出信号与该第一训练输出信号之间的区别；
•ꢀ
确定该编码器和/或该解码器的多个参数关于该损失值的梯度；
•ꢀ
基于所确定的梯度来改变所述多个参数。
44.所述多个训练输入信号例如可以包含来自序列的输入信号，例如视频的各个图像和/或音频信号的采样点。训练输出信号可以表征该序列的输入信号的相对应的注释，例如在图像中的对象的位置。
45.优选地，所述多个训练输入信号可以随机地被划分成多个第二训练输入信号和多个第一训练输入信号。然而，也可以使用预先限定的划分。例如可设想的是：机器学习系统应该被用于预测第二输入信号和第二输出信号的序列的延续。在这种情况下，可以是有利的是：将训练输入信号的序列细分为使得该序列的第一部分被用作多个第二训练输入信号
并且其余的训练输入信号被用作多个第一训练输入信号。
46.由于训练输出信号被分配给训练输入信号，所以对训练输入信号的划分也可以被理解成对训练输出信号的划分。
47.优选地，训练方法的所描述的步骤迭代地被重复，以便对机器学习系统进行训练。在每次训练迭代中，针对机器学习系统可以优选地确定新的训练输入信号和新的训练输出信号，并且这样可以利用各种输入信号和输出信号来训练机器学习系统。
48.训练输入信号和对应的训练输出可以优选地由计算机实现的数据库来提供，对于每次训练迭代来说，可以从该数据库中随机调用相对应的训练输入信号和训练输出信号。
49.训练输入信号和对应的训练输出信号也可以共同被理解成训练数据。
50.由于机器学习系统可以被理解成可微函数的链（verkettung），所以为了训练该机器学习系统可以使用用于确定梯度的错误恢复算法（英文backpropagation algorithm（反向传播算法））。基于该错误恢复算法，机器学习系统可以优选地通过梯度下降法来被训练。
51.不同于基于变分推理（英文variational inference）的训练方法，所描述的训练方法可以被理解成确定性的。该特性减少了训练时间，原因在于不必针对相同的训练数据确定机器学习系统的不同的模型参数，而这比如在基于变分推理来进行训练时是必需的。训练时间的减少引起：在固定的时间间隔内，机器学习系统可以利用更多训练数据来被训练。反过来，因而通过该训练方法可以改善机器学习系统的性能。
52.尤其可设想的是：该损失值基于损失函数来被确定，其中该损失函数表征正态分布的概率密度函数或对数化概率密度函数，其中通过解码器所确定的预测输出信号的第一表示被用作该概率密度函数的期望值并且通过解码器所确定的预测输出信号的第二表示被用作该概率密度函数的方差或协方差矩阵。
53.尽管在该损失函数的这种特殊形式的情况下忽略了在第一训练输入信号的序列的元素之间的可能的相关，但是发明人可以令人吃惊地发现：在训练时利用该损失函数仍然并且有利地可以提高机器学习系统的性能。
54.尤其可设想的是：机器学习系统利用多个第一训练输入信号和训练输出信号来被训练，其中该损失值按照第三公式来被确定，其中是多个第一训练输入信号，是相应被分配给这些第一训练输入信号的训练输出信号，是正态分布的概率密度函数，是预测输出信号的借助于解码器所确定的第一表示，是预测输出信号的借助于解码器所确定的第二表示，其中所确定的第一表示被用作概率密度函数的期望值并且所确定的第二表示被用作概率密度函数的方差或协方差矩阵。
55.可以被理解成多个第一训练输入信号并且可以被理解成多个与这些第一训练输入信号对应的第一训练输出信号，其中可以被理解成第一训练输入信号或第一训练输出信号的数目。可以被理解成所述多个第一训练输入信号中的第个元素并且可以
被理解成与对应的第一训练输出信号。
56.对于仅使用一个第一训练输入信号和一个对应的第一训练输出信号的情况来说，可以使用相同的损失函数，其中在第三公式中省去总和。
57.按照第三公式来确定该损失值的优点在于：机器学习系统在每次训练迭代中都可以利用不同数目的第一训练输入信号或第二训练信号来被训练。经此，机器学习系统相对于不同数目的第二输入信号而言变得鲁棒，对于所述不同数目的第二输入信号来说，在推理时间应该确定上下文表示。经此，该机器学习系统的性能提高。
附图说明
58.随后，本发明的实施方式参考随附的附图更详细地予以阐述。在附图中：图1示意性示出了机器学习系统的构造；图2示意性示出了用于根据机器学习系统的输出信号来操控执行器的控制系统的构造；图3示意性示出了用于控制至少部分自主机器人的实施例；图4示意性示出了用于控制生产系统的实施例；图5示意性示出了用于控制访问系统的实施例；图6示意性示出了用于控制监控系统的实施例；图7示意性示出了用于控制私人助理的实施例；图8示意性示出了用于训练机器学习系统的训练系统的实施例。
具体实施方式
59.图1示出了机器学习系统（60），该机器学习系统被设立为基于多个（63）第二输入信号（）和被分配给这些第二输入信号的第二输出信号（）以及第一输入信号（）来确定第一输出信号（）。
60.在此，第二输出信号（）可以被理解成被分配给第二输入信号（）的注释。第二输出信号（）例如可以由人类分配给第二输入信号（）。替选地或附加地，可设想的是：第二输出信号（）表征通过机器学习系统（60）对第二输入信号（）的第一预测，其中该第一预测发生在对第一输出信号（）的确定之前。
61.第一输入信号（）和/或第二输入信号（）和/或第二输出信号（）尤其可以包括数值或者由这些数值组成，其中这些数值可以以标量、向量、矩阵或张量的形式存在。
62.机器学习系统在编码器（61）中接收多个（63）第二输入信号（）和被分配给这些第二输入信号的第二输出信号（）。编码器（61）优选地被设立为：针对每个第二
输入信号（）和与该第二输入信号对应的第二输出信号（）来确定潜在表示（），其中该潜在表示包括表征期望值的第一表示（），而且该潜在表示包括表征方差的第二表示（）。
63.编码器（61）优选地包括两个神经网络，其中编码器（61）的第一神经网络被设立为基于第二输入信号（）和第二输出信号（）来确定第一表示（），并且编码器（61）的第二神经网络被设立为基于第二输入信号（）和第二输出信号（）来确定第二表示（）。
64.为了处理第二输入信号（）和对应的第二输出信号（），这些数值例如可以被串接成向量，接着该向量可以被移交给编码器（61）。替选地，也可设想的是：解码器（61）的神经网络被设立为使得这些神经网络分别具有两个输入端并且第二输入信号（）和对应的第二输出信号（）可以通过这两个输入端分别单独地被移交。
65.这些潜在表示（）被累积以形成上下文表示（），其中该上下文表示（）包括表征该累积的期望值的第三表示（）而且包括表征该累积的方差的第四表示（）。优选地，第三表示（）按照公式来被确定，并且第四表示（）按照公式来被确定，其中是关于第三表示的先验假设，是关于第四表示的先验假设，是潜在表示的由编码器（61）所确定的第一表示，是第三表示，是潜在表示的由编码器（61）所确定的第二表示，表明逐元素的乘法，表明表示的逐元素的求逆（invertierung）并且表明第二表示的逐元素的除法。
66.第三表示（）和第四表示（）可以被理解成上下文表示（z）。
67.优选地，可以选择零元素，作为针对第三表示（）的先验假设。如果第三表示（）是标量，则该零元素可以是值零。对于第三表示（）是向量的情况来说，该零元素可以是零
向量，并且对于以矩阵或张量为形式的第三表示（）来说，该零元素可以是完全用零来填充的矩阵或张量。
68.优选地，可以选择一元素，作为针对第四表示（）的先验假设。如果第四表示（）是标量，则该一元素可以是值一。对于第四表示（）是向量的情况来说，该一元素可以是单位向量，并且对于以矩阵或张量为形式的第四表示（）来说，该一元素可以是完全用一来填充的矩阵或张量。
69.优选地，第三表示（）和第四表示（）的维数相同。这可以被理解为使得上下文表示（）的先验假设是标准正态分布，必要时是多元标准正态分布。
70.接着，上下文表示（）和第一输入信号（）被移交给机器学习系统（60）的解码器（62）。解码器（62）被设立为根据第一输入信号（）和上下文表示（）来确定第一输出信号（）。第一输出信号（）包括：第一表示，该第一表示表征机器学习系统（60）的关于第一输入信号（）的预测的期望值；和第二表示，该第二表示表征该预测的方差。这可以被理解为使得机器学习系统（60）以第一输出信号（）来提供带有不确定性的预测。在此，该预测可表征第一输入信号（）的分类。替选地或附加地，可设想的是：该预测表征实数值、实数向量、实数矩阵或实数张量的回归。
71.优选地，第一输出信号（）的第一表示和第二表示的维数与第二输出信号（）相同。
72.解码器（62）优选地包括两个神经网络，其中解码器（62）的第一神经网络确定第一输出信号（）的第一表示并且解码器（62）的第二神经网络确定该输出信号（）的第二表示。
73.为了处理第一输入信号（）和上下文表示（），第一输入信号（）和上下文表示（）所包括的数值可以被串接，并且该串接可以被移交给解码器（62）的神经网络。替选地，也可设想的是：解码器（62）的神经网络分别具有针对第一输入信号（）和上下文表示（）的单独的输入端。
74.在其它实施方式（未示出）中，可设想的是：机器学习系统（60）分别针对多个第一输入信号（）确定第一输出信号（）。这可以被理解为使得机器学习系统（60）可以处理一批（英文batch（批量））第一输入信号（）。
75.图2示出了在其周围环境（20）中与控制系统（40）交互的执行器（10），其中控制系统（40）包括机器学习系统（60）并且执行器（10）根据机器学习系统（60）的至少一个第一输出信号（）来被控制。
76.以优选地均匀的时间间隔以传感器（30）、尤其是如摄像机传感器那样的成像传感器来检测周围环境（20），该传感器也可以通过多个传感器来给出，例如立体摄像机。传感器
（30）的传感器信号（s）——或在有多个传感器的情况下每个传感器信号（s）——被传送给控制系统（40）。因此，控制系统（40）接收传感器信号（s）的序列。控制系统（40）据此来确定操控信号（a），这些操控信号被传输给执行器（10）。
77.控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（s）的序列，该接收单元将传感器信号（s）的序列转换成第一输入信号（x）的序列（替选地也可以直接各采用传感器信号（s）作为输入信号（x））。第一输入信号（x）例如可以是传感器信号（s）的片段或者对该传感器信号的进一步处理。换言之，根据传感器信号（s）来确定第一输入信号（x）。第一输入信号（x）的序列被输送给机器学习系统（60）。附加地，向机器学习系统（60）输送多个（63）第二输入信号和第二输出信号。所述多个（63）第二输入信号和第二输出信号可以被理解成第一输入信号（x）的上下文（63）。
78.机器学习系统（60）优选地通过参数（φ）来被参数化，这些参数寄存在参数存储器（p）中并且由该参数存储器来提供。
79.机器学习系统（60）根据输入信号（x）并且根据上下文（63）来确定第一输出信号（y）。输出信号（y）被输送给可选的改型单元（80），该改型单元据此来确定操控信号（a），这些操控信号被输送给执行器（10），以便相对应地对执行器（10）进行操控。
80.执行器（10）接收操控信号（a），相对应地被操控并且实施相对应的行动。在这种情况下，执行器（10）可包括（不一定在结构上集成的）操控逻辑，该操控逻辑根据操控信号（a）来确定接着用来操控执行器（10）的第二操控信号。
81.在其它实施方式中，控制系统（40）包括传感器（30）。在另外其它实施方式中，替选地或附加地，控制系统（40）也包括执行器（10）。
82.在其它优选的实施方式中，控制系统（40）包括至少一个处理器（45）和至少一个机器可读存储介质（46），在该机器可读存储介质上存储有命令，当这些命令在该至少一个处理器（45）上被执行时，这些命令促使控制系统（40）实施按照本发明的方法。
83.在替选的实施方式中，替代于执行器（10）或除了该执行器之外，还设置显示单元（10a）。
84.图3示出了控制系统（40）可以如何被用于控制至少部分自主机器人、这里是至少部分自主机动车（100）。
85.机动车（100）例如可拥有多个传感器（30），例如不同类型的传感器（30），比如激光雷达传感器、摄像机传感器和/或超声传感器。优选地，这些传感器（30）建造在车辆中。在这种情况下，第一输入信号（x）可以被理解成输入图像。
86.可设想的是：机器学习系统被设立为标识能在输入图像（x）上识别出的对象。因而，第一输出信号（y）可以表征对象的位置，以及关于该位置的方差，该方差可以被理解成关于对象的精确位置的不确定性。上下文（63）例如可以包括在时间上发生在过去的输入图像（x），对于这些输入图像来说，在先前的时间点已经探测到了对象。在这种情况下，机器学习系统（60）可以被理解为使得该机器学习系统应该基于过去的输入图像和在这些输入图像上所探测到的对象来确定在当前的输入图像上的对象位置。
87.替选地，可设想的是：该上下文包括车辆的其它传感器（30）的输入图像。在这种情况下，机器学习系统（60）可以被理解成执行传感器信号（s）的融合，其中该融合的结果带有不确定性。
88.优选地布置在机动车（100）中的执行器（10）例如可以是机动车（100）的刹车装置、驱动装置或转向装置。接着，操控信号（a）可以被确定为使得该执行器或这些执行器（10）被操控为使得尤其是当涉及某些类型的对象、例如行人时，机动车（100）例如防止与由机器学习系统（60）所标识的对象相撞。
89.替选地或附加地，可以利用操控信号（a）来操控显示单元（10a），而且例如可以呈现所标识的对象。也可设想的是：显示单元（10a）利用操控信号（a）被操控为使得如果确定机动车（100）即将与所标识的对象之一相撞，则该显示单元输出光学或声音报警信号。这也可以通过触觉报警信号来实现，例如通过机动车（100）的方向盘的振动来实现。
90.替选地，该至少部分自主机器人也可以是其它移动机器人（未绘出），例如是这种通过飞行、漂浮、潜水或步行来移动的机器人。该移动机器人例如也可以是至少部分自主割草机或者至少部分自主清洁机器人。在这些情况下，操控信号（a）也可以被确定为使得该移动机器人的驱动装置和/或转向装置被操控为使得该至少部分自主机器人例如防止与由机器学习系统（60）所标识的对象相撞。
91.图4示出了如下实施例，在该实施例中，控制系统（40）被用于操控生产系统（200）的生产机器（11），其方式是对控制该生产机器（11）的执行器（10）进行操控。生产机器（11）例如可以是用于冲压、锯切、钻孔和/或切割的机器。还可设想的是：生产机器（11）构造为借助于抓具来抓取制成品（12a、12b）。
92.那么，传感器（30）例如可以是视频传感器，该视频传感器例如检测传送带（13）的传送区，其中在传送带（13）上可能存在制成品（12a、12b）。在这种情况下，输入信号（x）是输入图像（x）。机器学习系统（60）例如可以被设立为基于输入信号（x）来确定在传送带上的制成品（12a、12b）的位置。接着，控制生产机器（11）的执行器（10）可以根据所确定的制成品（12a、12b）的位置来被操控。例如，执行器（10）可以被操控为使得该执行器在制成品（12a、12b）的预先确定的部位来对制成品（12a、12b）进行冲压、锯切、钻孔和/或切割。
93.可以向机器学习系统移交发生在过去的时间点的输入信号（x）和制成品（12a、12b）的分别在其上确定的位置，作为上下文（63）。
94.还可设想的是：机器学习系统（60）构造为替代于位置或除了位置之外确定制成品（12a、12b）的其它特性。尤其可设想的是：机器学习系统（60）确定制成品（12a、12b）是否有缺陷和/或损坏。在这种情况下，执行器（10）可以被操控为使得生产机器（11）将有缺陷的和/或损坏的制成品（12a、12b）剔除。
95.图5示出了如下实施例，在该实施例中，控制系统（40）被用于控制访问系统（300）。访问系统（300）可包括物理访问控制装置、例如门（401）。传感器（30）尤其可以是视频传感器或热成像传感器，该视频传感器或热成像传感器被设立为检测在门（401）前面的区域。借助于机器学习系统（60），可以解读所检测到的图像。机器学习系统（60）尤其可以探测在被传送给该机器学习系统的输入图像（x）上的人员。如果同时检测到了多个人员，则例如可以通过这些人员（即对象）彼此间的关联来特别可靠地确定这些人员的身份，例如通过对这些人员的运动的分析来特别可靠地确定这些人员的身份。
96.可以向机器学习系统（60）传送发生在过去的时间点的输入信号（x）和分别在其上探测到的人员，作为上下文（63）。
97.执行器（10）可以是锁，该锁根据操控信号（a）来激活访问控制装置或者不激活访
问控制装置，例如将门（401）打开或者不打开。为此，可以根据借助于机器学习系统（60）针对输入图像（x）所确定的输出信号（y）来选择操控信号（a）。例如可设想的是：输出信号（y）包括表征由机器学习系统（60）所探测到的人员的身份的信息，而且基于该人员的身份来选择操控信号（a）。
98.替代物理访问控制装置，也可以设置逻辑访问控制装置。
99.图6示出了如下实施例，在该实施例中，控制系统（40）被用于控制监控系统（400）。该实施例与在图5中示出的实施例的区别在于：替代执行器（10），设置显示单元（10a），该显示单元由控制系统（40）来操控。例如，传感器（30）可以记录输入图像（x），在该输入图像上能识别出至少一个人员，而且该至少一个人员的位置可以借助于机器学习系统（60）来被探测。接着，输入图像（x）可以被呈现在显示单元（10a）上，其中所探测到的任务可以用颜色突出地来被呈现。
100.图7示出了如下实施例，在该实施例中，控制系统（40）被用于控制私人助理（250）。优选地，传感器（30）是光学传感器，例如视频传感器或热成像传感器，该光学传感器接收用户（249）的手势的图像。
101.根据传感器（30）的信号，控制系统（40）确定私人助理（250）的操控信号（a），例如其方式是机器学习系统（60）执行手势识别。接着，将所确定的该操控信号（a）传送给私人助理（250）并且该私人助理因此相对应地被操控。所确定的操控信号（a）尤其可以被选择为使得该操控信号对应于用户（249）所设想的所希望的操控。该所设想的所希望的操控可以根据由机器学习系统（60）识别出的手势来予以确定。接着，控制系统（40）可以根据所设想的所希望的操控来选择用于传送给私人助理（250）的操控信号（a）和/或选择用于传送给与所设想的所希望的操控相对应的私人助理（250）的操控信号（a）。
102.该相对应的操控例如可包含：私人助理（250）从数据库中调用信息并且以对于用户（249）来说可接收到的方式来重现这些信息。
103.替代私人助理（250），也可以设置家用电器（未绘出），尤其是洗衣机、炉灶、烤箱、微波炉或洗碗机，以便相对应地被操控。
104.替代手势控制，也可设想的是：私人助理（250）也可以通过用户（249）的语音指令来被控制。上下文（63）例如可表征音频传感器（30）的音频信号的采样时间点和采样值的序列，其中机器学习系统（60）构造为针对其它采样时间点来预测其它采样值。接着，该上下文和这些其它采样时间点和所预测的采样值例如可以被移交给分类器，该分类器基于其输入来确定语音指令的分类。
105.图8示出了用于借助于训练数据集（t）来训练控制系统（40）的机器学习系统（60）的训练系统（140）的实施例。训练数据集（t）优选地包括输入信号（xi）的多个序列，这些序列被用于训练机器学习系统（60），其中训练数据集（t）还针对各一个输入信号（xi）包括所希望的输出信号（yi），该输出信号与输入信号（xi）对应并且表征输入信号（xi）的分类和/或回归。
106.为了进行训练，训练数据单元（150）访问计算机实现的数据库（st2），其中该数据库（st2）提供训练数据集（t）。训练数据单元（150）根据训练数据集（t）优选地随机确定输入信号的至少一个序列和对应的所希望的输出信号。然后，训练数据单元（150）优选地随机将该序列的第一输入信号划分成第一多个输入信号（）和第二多个输入信号（）。替选地，
也可设想的是：该序列在预先限定的点处被分开，以便确定所述第一多个（）和所述第二多个（）。
107.所述第二多个输入信号（）和与这些输入信号对应的输出信号作为上下文被提供给机器学习系统（60），而所述第一多个输入信号（）作为第一输入信号被提供给机器学习系统（60）。基于这些输入，机器学习系统（60）针对所述第一多个（）中的每个输入信号都确定对应的输出信号（）。因而，在该确定之后，对于所述第一多个（）中的每个输入信号来说分别存在所确定的输出信号（）和所希望的输出信号（）。
108.所希望的输出信号（）和所确定的输出信号（）被传送给更改单元（180）。
109.接着，基于所希望的输出信号（）和所确定的输出信号（），更改单元（180）确定针对机器学习系统（60）的新参数（）。为此，更改单元（180）借助于损失函数（英文：loss function）将所希望的输出信号（）与所确定的输出信号（）进行比较。
ꢀꢀ
该损失函数确定第一损失值，该第一损失值表征所确定的输出信号（）与所希望的输出信号（yi）的偏离程度。
110.优选地，该损失函数按照公式来确定该损失值，其中是第一多个输入信号，表征关于所述第一多个输入信号的输出信号，是正态分布的概率密度函数，是解码器（62）针对所述第一多个中的输入信号和潜在表示的第三表示的第一输出，是解码器（62）针对输入信号和潜在表示的第四表示的第二输出，其中该第一输出被用作概率密度函数的期望值并且该第二输出被用作概率密度函数的方差或协方差矩阵。借助于机器学习系统（60）的编码器（61）并且基于所述第二多个（）来确定潜在表示的第三表示（）和第四表示（）。
111.更改单元（180）基于第一损失值来确定新参数（）。在该实施例中，这借助于梯度下降法、优选地随机梯度下降法（stochastic gradient descent）、adam或者adamw来实现。
112.所确定的新参数（）被存储在模型参数存储器（st1）中。优选地，所确定的新参数（）作为参数（）被提供给机器学习系统（60）。
113.在其它优选的实施例中，所描述的训练被迭代地重复预先限定的数目的迭代步骤，或者被迭代地重复直至第一损失值低于预先限定的阈值为止。替选地或附加地，也可设
想的是：当关于测试或验证数据集的平均的第一损失值低于预先限定的阈值时，结束该训练。在这些迭代中的至少一次迭代中，在先前的迭代中所确定的新参数（）被用作机器学习系统（60）的参数（）。
114.此外，训练系统（140）可包括至少一个处理器（145）和至少一个机器可读存储介质（146），该机器可读存储介质包含指令，当这些指令通过处理器（145）来被执行时，这些指令促使该训练系统（140）实施根据本发明的这些方面中的任一项所述的训练方法。
115.术语“计算机”包括用于运行可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式存在，或者以硬件的形式存在，或者也可以以软件和硬件的混合形式存在。
116.通常，“多个”可以被理解成索引化，也就是说给所述多个中的每个元素分派唯一的索引，优选地通过将连续的整数分派给包含在所述多个中的元素来给所述多个中的每个元素分派唯一的索引。优选地，如果“多个”包括个元素，其中是在所述多个中的元素的数目，则给这些元素分派从1至n的整数。