用于预测机器学习系统的适合于训练数据记录的配置的方法、设备和计算机程序与流程

1.本发明涉及一种用于借助于图形神经网络来预测机器学习系统和/或学习方法的适合于训练数据记录的配置的方法。本发明同样涉及分别被设立为实施该方法的设备和计算机程序。


背景技术：

2.未在先公开的de 10 2019 207 911.3公开了一种用于预测机器学习系统的迭代学习方法的学习曲线的方法。
3.本发明的优点在机器学习系统进行真正的学习之前，必须选择机器学习系统的适合的配置、在理想情况下最佳配置，使得机器学习系统不仅有关训练数据而且有关测试或验证数据都实现尽可能好的性能。然而，事先找出这样适合的配置的花费极高，因为搜索空间（英文search space）为此可能提供极多的、不同的组合（多达10
23
个），这些组合无法在可预见的时间内借助于标准优化方法、尤其是基于搜索空间的离散特性的标准优化方法被找到。
4.本发明的目的在于：以小花费找出最佳配置，接着，基于该最佳配置可以使机器学习系统初始化并且进行学习。这具有如下优点：借此所找出并经过学习的机器学习系统（所述机器学习系统例如接着可以被用作分类器）可以特别好地有关训练数据被适配并且最终性能特别卓越。
5.利用所提出的方法，首次可行的是：能够运用是所有到目前为止所使用的搜索空间的至少10
18
倍大的搜索空间。借此，也首次可行的是：运用联合搜索空间，该联合搜索空间不仅包含所有架构参数而且也包含所有超参数（英文joint architectur and hyperparamter space（联合架构和超参数空间））。由此可能得是，找出还更优越的配置，因为所提到的两种参数类型可能彼此相关。


技术实现要素：

6.在本发明的第一方面中，提出了一种用于预测机器学习系统的适合于第一训练数据记录的配置的方法。配置可以被理解为机器学习系统的架构参数和/或机器学习系统的学习方法的超参数。架构参数是表征机器学习系统的构造或结构的参数，例如层的数目。超参数是表征用于使机器学习系统进行学习的学习方法、尤其是优化方法的参数。超参数例如可以是学习率。机器学习系统可以是人工神经网络。替选地，机器学习系统可以是人工神经网络的darts单元模型。
7.适合的配置可以被理解为：利用该配置来被配置的机器学习系统可以尽可能全面地并且优选地在尽可能简单的架构情况下表现训练数据记录中的信息；和/或利用该配置的学习方法具有对于训练数据记录来说良好的收敛特性。
8.所提出的方法包括如下步骤，这些步骤在可编程数据处理设备、如计算机上被实
的架构搜索方法，可在线调用：https://arxiv.org/abs/1806.09055。
18.还提出：表征机器学习系统的用于不同的darts单元、尤其是用于标准单元和简化单元的结构的参数被分组成第二训练数据记录的不相交图，其中这些配置的表征全部堆叠的单元的可预先给定的数目c和/或训练时期的可预先给定的数目e的其它参数针对机器学习系统的每个darts单元被组合（英文concatenate）。
19.还提出：借助于连续减半法（英文“succesivehalving”），根据可预先给定的计算预算来确定其它配置，直至达到这些配置的其它参数的值的可预先给定的集合中的最大值为止。连续减半法是由作者jamieson等人的“a non
‑
stochastic best arm identification and hyperparameter optimization”（in proceedings of the seventeenth international conference on artificial intelligence and statistics (aistats)，2016年）公开的，可在线调用：https://arxiv.org/abs/1502.07943。
20.使用连续减半法的优点是：对于更简单和更复杂的配置来说恰当的时间预算分配，还聚焦搜索空间中的往往更重要的区域，由此gin对于更重要的配置来说变得更精确。
21.还提出：在进行学习时，附加地，针对值的可预先给定的集合中的最小值随机使用多个不同的其它配置。优选地，值域的值是最小值的数倍（乘以可预先给定的因子）并且同样被用于使机器学习系统进行学习。在这种情况下的优点是：对搜索空间的更精确的扫描和对配置的极端情况的描绘。
22.还提出：替代gin，使用差分图池网络（differentiable graph pooling network，diffpool）或者xgboost或者lgboost。比较实验表明，xgboost和lgboost具有如下优点：所述xgboost和lgboost有关数据快速进行学习，但是与gin相比所达到的一般化不那么好。还发现了：diffpool是gin的等效替代品。
23.diffpool是由作者ying等人的“hierarchical graph representation learning with differentiable pooling.”（in proceedings of the 32nd international conference on neural information processing systems，nips’18，第4805
–
4815页，red hook, ny, usa, 2018年，curran associates inc.，https://papers.nips.cc/paper/7729
‑
hierarchical
‑
graph
‑
representation
‑
learning
‑
with
‑
differentiable
‑
pooling）公开的。xgboost是由作者chen等人的“xgboost: a scalable tree boosting system”公开的，可在线调用：https://arxiv.org/abs/1603.02754。lgboost是由作者ke等人的“a highly efficient gradient boosting decision tree”公开的，可在线调用https://papers.nips.cc/paper/6907
‑
lightgbm
‑
a
‑
highly
‑
efficient
‑
gradient
‑
boosting
‑
decision
‑
tree.pdf。
24.新配置的机器学习系统可以在具有执行器的物理/技术系统、例如机器人或至少部分自主车辆中被使用，该机器学习系统是利用所选择的配置来被配置并且接着有关第一和/或其它数据记录被优化的。经优化的机器学习系统的所确定的输出参量可以被控制单元使用，使得该控制单元根据该输出参量来控制该执行器。为此，该控制单元可以根据所确定的输出参量来确定控制参量并且使用该控制参量来控制执行器。
25.替选地，根据经优化的机器学习系统的所确定的输出参量，可以确定控制参量，该控制参量可以被用于控制技术系统的执行器。可以根据该控制参量来控制该执行器。该技
术系统例如可以是至少部分自主机器、至少部分自主车辆、机器人、工具、工厂机器或者如无人驾驶飞机那样的飞行器。例如，这样可以控制机器人或车辆的运动或者控制执行器。
26.经优化的机器学习系统的所提供的输入参量例如可以根据所检测到的传感器数据来被确定并且被提供给该机器学习系统。传感器数据可以由技术系统的传感器、诸如摄像机来检测或者替选地从外部被接收。
27.优选地，机器学习系统是分类器，所述分类器被设立为将它们的输入参量分配给多个类别中的一个类别。
28.在另一方面，提出了一种计算机程序。该计算机程序被设立为实施上文提到的方法之一。该计算机程序包括指令，当该计算机程序在计算机上运行时，这些指令促使该计算机以这些所提到的方法之一的所有步骤来实施该方法。还提出了一种机器可读存储模块，在其上存储有该计算机程序。还提出了一种设备，该设备被设立为实施这些方法之一。
附图说明
29.上述方面的实施例在随附的附图中示出并且在随后的描述中进一步予以阐述。在此：图1示出了机器学习系统的示意图；图2示出了流程图的示意图；图3示出了用于控制至少部分自主机器人的示意性实施例；图4示出了用于控制生产系统的示意性实施例；图5示出了用于控制访问系统的示意性实施例；图6示出了用于控制监控系统的示意性实施例；图7示出了用于控制私人助理的示意性实施例；图8示出了用于控制医学成像系统的示意性实施例；图9示出了第二训练设备的可能的构造。
具体实施方式
30.图1示出了图同构网络（gin）（12）的示意图。gin（12）获得机器学习系统的配置（11）和/或学习方法的配置（11）作为输入参量，该学习方法被用于机器学习系统进行学习。gin（12）将这些配置（11）处理成输出参量，该输出参量在该实施例中表征机器学习系统的性能和/或运行时间（runtime）。
31.在下文，应该进一步阐述包括所有可能的配置（11）的搜索空间。搜索空间 包括：
·
如在darts中使用的单元结构的架构空间（英文cell
‑
structured architecture space），其具有：
‑ꢀ
标准单元（英文normal cell），该标准单元的特点在于该标准单元保留其输入参量的空间分辨率，
‑ꢀ
简化单元（英文reduction cell），该简化单元的特点在于该简化单元使其输入参量的空间分辨率降低可预先给定的倍数；
和/或
·
训练超参数空间，该训练超参数空间诸如包含如下参数：
‑ꢀ
学习率，该学习率优选地根据对数正态分布得出，该对数正态分布在与之间被截取，
‑ꢀ
权重衰减（英文weight decay），该权重衰减优选地根据对数正态分布得出并且在与之间被截取；和/或
·
另一参数空间，该另一参数空间例如包含如下参数：
‑ꢀ
卷积通道的可预先给定的数目
‑ꢀ
全部堆叠的单元的可预先给定的数目
‑ꢀ
训练时期的可预先给定的数目。
32.术语配置应该描述由架构编码、学习方法的至少一个超参数和/或所述其它参数中的至少一个参数所构成的组合。
33.在该实施例中，对于架构编码α来说，可以使用与在darts（liu等人，2019年）中相同的架构搜索空间。应注意：也可以使用其它架构搜索空间。
34.应注意：在darts的情况下，标准单元和简化单元分别是有向图，该有向图具有2个输入节点n0和n1（所述输入节点分别接收先前的以及它们先前的单元的输出参量）以及分别具有4个中间节点（所述中间节点分别逐个元素地将所有先前的节点的输出参量添加在单元中）和一个输出节点（所述输出节点使所有中间节点的输出端相联接）。所有输入节点和中间节点都可以通过表示数学运算的有向边来连接。每条边都可具有运算集o，该运算集包括如下运算：
‑ꢀ
3x3卷积，
‑ꢀ
5x5卷积，
‑ꢀ
3x3膨胀卷积（英文dilated convolution），
‑ꢀ
5x5膨胀卷积，
‑ꢀ
3x3最大池化，和
‑ꢀ
3x3平均值池化。
35.gin（12）的输出性能可以是如下量度之一或者这些量度的组合：
‑ꢀ
训练/验证/测试精度，和/或
‑ꢀ
训练的以秒为单位的总运行时间，和/或
‑ꢀ
机器学习系统的模型参数的数目，和/或
‑ꢀ
学习曲线的训练/验证误差或精度。
36.图2示范性地示出了用于在使用gin（12）的情况下预测机器学习系统的适合的配
置的方法的流程图。
37.该方法开始于步骤s21。在该步骤中，利用不同的配置来使多个机器学习系统初始化，并且紧接着有关第一训练数据记录来使所述多个机器学习系统进行学习。然后，在步骤s21中，将所使用的配置和分别被分配的训练进度或学习曲线组合成第二训练数据记录。可设想的是：除了训练进度之外或者替选于训练进度，保存成本函数的变化过程和/或训练时间，该成本函数是被用于训练相应的机器学习系统的。学习曲线可以描述学习方法的收敛特性。
38.通过容许该另一参数空间的值的大的变化，用于针对不同的配置进行训练的训练时间和所需的资源可能有很大变化。因而，优选地在该另一参数空间针对几个架构参数a的便宜值的评估与该另一参数空间的在架构参数较少的情况下的“较昂贵”参数的评估之间进行权衡。这可以像在下文所提出的那样被执行。
39.为了从该另一参数空间中获取样本，在一个实施例中提出：对于该另一参数空间的每个维度来说，优选地选择7个离散点，这导致训练时期的数目e、初始通道的数目ch和堆叠的单元的数目c的343种可能的组合。例如，可以使该另一参数空间中的“最便宜”的组合初始化，其中ζ
min = (50; 8; 5)。
40.为了从该另一参数空间中的组合ζ
i
到达下一个配置ζ
i+1
，可以选择固定的乘法因子η =（η
ch
; η
c
; η
e
）。接着，从ζ
min
出发，可以通过ζ
i+1 = round(η*ζ
i
)来获得下一个组合，其中*是逐个元素的乘法并且i∈{0,1,2,
…
,6}。
41.为了获得尽可能高效的样本，从搜索空间中例如可以按照随机原则选择和评估30000个配置。
42.在选择配置ζ
i
时可以实施所谓的连续减半法（英文“successivehalving”），其方式是将组合ζ
i
的最好的值部分地用于下一个计算预算。该做法被实施直至达到配置ζ6为止。由此保证了；被用于最低和最高配置ζ
i
的时间大致一样长。
43.为了研究极端情况并且实现对组合的更好的覆盖，可以添加其它配置：可预先给定的数目、例如50个按照随机原则选择的配置，其中两个参数被规定到它们的最低值并且其余的参数只通过相对应的乘数来被改变。
44.包括配置的第二训练数据记录d优选地包含大约50000个数据点(δ, a
v
, a
t
, r)，其中δ∈δ并且a
v
是验证/测试精度并且r是相应的配置的运行时间。
45.在接下来的步骤s22中，在使用第二训练数据记录d的情况下使gin（12）进行学习，使得gin（12）根据机器学习系统的配置（该机器学习系统具有该配置和/或是利用该配置学习过的）可以预测该机器学习系统可达到怎样的性能。
46.在完成步骤s22之后，可以进行步骤s23。在该步骤中，利用gin（12）来对搜索空间δ进行探索。由于通过gin（12）对配置的传播非常省时，所以甚至可以通过gin（12）快速探索数目很多的不同的配置。接着，在该探索中，输出如下那些配置，所述配置例如产生了gin（12）的最小或最大的输出参量。
47.接着，在步骤s24中，根据从步骤s23中所选择的配置，对机器学习系统进行初始化，该机器学习系统接着可以有关第一训练数据记录进行学习。这里可设想的是：使用根据步骤s21所训练的网络之一的参数化，作为该机器学习系统的初始参数化。
48.在接下来的步骤s25中，根据步骤s24进行学习的机器学习系统例如可以在控制系统中使用，经由传感器来给该控制系统提供传感器数据，其中该控制系统根据经过学习的机器学习系统的输出参量来确定控制参量。接着，可以使用该控制参量来操控执行器。
49.图3示出了包含根据步骤s25来进行学习的机器学习系统的控制系统40可以如何被用于控制至少部分自主机器人、这里是至少部分自主机动车100。
50.传感器30例如可以是优选地布置在机动车100中的视频传感器。
51.对于随后的实施例来说，根据步骤s24来进行学习的机器学习系统可以是人工神经网络60。该网络（6）可以被设立为根据输入图像x可靠地标识对象。
52.优选地布置在机动车100中的执行器10例如可以是机动车100的刹车装置、驱动装置或转向装置。那么，操控信号a可以被确定为使得该执行器或这些执行器10被操控为使得尤其是当涉及某些类型的对象、例如行人时，机动车100例如防止了与由人工神经网络60可靠地标识的对象相撞。
53.替选地，该至少部分自主机器人也可以是其它移动机器人（未绘出），例如是这种通过飞行、漂浮、潜水或步行来前进的机器人。该移动机器人例如也可以是至少部分自主割草机或者至少部分自主清洁机器人。在这些情况下，操控信号a也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得该至少部分自主机器人例如防止与由人工神经网络60所标识的对象相撞。
54.替选地或附加地，可以利用操控信号a来操控显示单元10a，并且例如可以呈现所确定的安全区域。例如，在机动车100具有非自动化转向装置的情况下，也可能的是：显示单元10a利用操控信号a被操控为使得如果确定机动车100即将与可靠地标识的对象之一相撞，则该显示单元输出光学或声音报警信号。
55.图4示出了如下实施例，在该实施例中，控制系统40被用于操控生产系统200的生产机器11，其方式是对控制该生产机器11的执行器10进行操控。生产机器11例如可以是用于冲压、锯切、钻孔和/或切割的机器。
56.接着，传感器30例如可以是光学传感器，该光学传感器例如检测制成品12a、12b的特性。可能的是：这些制成品12a、12b能运动。可能的是：控制生产机器11的执行器10根据所检测到的制成品12a、12b的关联来予以操控，以便生产机器11相对应地实施制成品12a、12b中的正确制成品的随后的加工步骤。也可能的是：通过标识制成品12a、12b中的同一制成品的正确特性（也就是说在没有错误关联的情况下），生产机器11相对应地将用于加工随后的制成品的相同的生产步骤适配。
57.图5示出了如下实施例，在该实施例中，控制系统40被用于操控访问系统300。访问系统300例如可以包括物理访问控制装置、例如门401。设立视频传感器30来检测人员。借助于对象标识系统60，可以解释该所检测到的图像。如果同时检测到多个人员，则例如可以通过这些人员（即对象）彼此间的关联来特别可靠地确定这些人员的身份，例如通过对这些人员的运动的分析来特别可靠地确定这些人员的身份。执行器10可以是锁，该锁根据操控信号a来激活访问控制装置或者不激活访问控制装置，例如将门401打开或者不打开门401。为
此，操控信号a可以根据对象标识系统60的解释来被选择，例如根据人员的所确定的身份来被选择。替代物理访问控制装置，也可以设置逻辑访问控制装置。
58.图6示出了如下实施例，在该实施例中，控制系统40被用于控制监控系统400。在图5中示出的实施例与该实施例的区别在于：替代执行器10，设置显示单元10a，该显示单元由控制系统40来操控。例如，人工神经网络60可以可靠地确定由视频传感器30所拍摄到的对象的身份，以便根据此例如推断哪些对象变得可疑，而且操控信号a接着可以被选择为使得该对象由显示单元10a用颜色突出呈现。
59.图7示出了如下实施例，在该实施例中，控制系统40被用于操控私人助理250。优选地，传感器30是光学传感器，该光学传感器接收用户249的姿态的图像。
60.根据传感器30的信号，控制系统40确定私人助理250的操控信号a，例如其方式是神经网络执行姿态识别。接着，将该所确定的操控信号a传送给私人助理250并且该私人助理因此相对应地被操控。该所确定的操控信号a尤其可以被选择为使得该操控信号对应于用户249所设想的所希望的操控。该所设想的所希望的操控可以根据由人工神经网络60识别出的姿态来予以确定。接着，控制系统40可以根据所设想的所希望的操控来选择用于传送给私人助理250的操控信号a和/或选择用于传送给与所设想的所希望的操控相对应的私人助理250的操控信号a。
61.该相对应的操控例如可包含：私人助理250从数据库中调用信息并且以对于用户249来说可接收到的方式来重现这些信息。
62.替代私人助理250，也可以设置家用电器（未绘出），尤其是洗衣机、炉灶、烤箱、微波炉或洗碗机，以便相对应地被操控。
63.图8示出了如下实施例，在该实施例中，控制系统40被用于控制医学成像系统500、例如mrt设备、x光设备或超声设备。传感器30例如可以通过成像传感器来给出，通过控制系统40来操控显示单元10a。例如，可以由神经网络60确定由成像传感器所记录的区域是否异常，而且操控信号a接着可以被选择为使得该区域由显示单元10a用颜色突出呈现。
64.图9示出了训练设备140，该训练设备包括提供器91，该提供器根据训练数据记录来提供输入参量和所属的标签。输入参量被输送到训练模块91，该训练模块据此来确定输出参量a。输出参量a和所属的标签被输送给评估器93，该评估器据此通过学习方法来确定参数θ'，所述参数被输送给参数存储器p并且在那里替代参数θ，所述参数属于训练模块的当前参数。
65.由训练设备141实施的方法可以以作为计算机程序来实现的方式存放在机器可读存储介质147上并且由处理器148来实施。