用于创建机器学习系统的方法和设备与流程

1.本发明涉及一种用于在使用具有最初相同概率路径的架构模型、尤其是“单次模型（one-shot modell）”的情况下创建机器学习系统的方法、计算机程序和机器可读存储介质。


背景技术：

2.用于神经网络的架构搜索的目标是为预给定的数据记录在性能指标/量度的意义上全自动地找到好的网络架构。
3.为了使自动架构搜索变得计算高效，在搜索空间中不同的架构可以共享其运算的权重，如例如在通过pham, h., guan, m. y., zoph, b., le, q. v., & dean, j. (2018). efficient neural architecture search via parameter sharing. arxiv preprint arxiv:1802.03268所示的单次nas模型情况下那样。
4.在此，单次模型典型地被构造为有向图，其中节点表示数据，并且边表示运算，所述运算表示将边的输入节点转变为输出节点的计算准则。在此，搜索空间由单次模型中的子图（例如路径）组成。由于单次模型可能非常大，因此可以从单次模型中抽取（ziehen）单个架构用于训练，如例如通过cai, h., zhu, l., & han, s. (2018). proxylessnas: direct neural architecture search on target task and hardware. arxiv preprint arxiv:1812.00332所示的那样。这典型地发生，其中抽取从规定的输入节点到网络的输出节点的单个路径，如例如通过guo, z., zhang, x., mu, h., heng, w., liu, z., wei, y., & sun, j. (2019). single path one-shot neural architecture search with uniform sampling. arxiv preprint arxiv:1904.00420所示的那样。
5.在此，在节点的发出边上的概率分布典型地被定义，并且对于所有边利用等概率被初始化，如例如通过guo 等人（2019）所示的那样。


技术实现要素：

6.发明优点如上所述，从单次模型中抽取在输入节点和输出节点之间的路径。为此，为每个节点定义在发出边上的概率分布。发明人提出：并非对每个边都相同地选择发出边的概率，而是使得通过单次模型每个可能的路径都具有相同的概率。因此可以说边的概率分布被初始化为使得从输入节点到输出节点的所有路径都具有用于被抽取的相同概率。
7.本发明允许在无对各个路径的隐性偏好的情况下从单次模型中抽取路径。由此，搜索空间的所有架构最初相同频繁地被抽取，并且搜索空间公平地被探索。这具有以下优点：最终可以找到更优越的架构，所述更优越的架构在通常对边进行初始化时不会被找到。
8.发明的公开在第一方面中，本发明涉及一种用于创建机器学习系统的计算机实现的方法，所述机器学习系统可以优选地被用于进行图像处理。
9.所述方法至少包括以下步骤：提供具有输入节点和输出节点的有向图，所述输入节点和输出节点经由多个边和节点连接。给每个边分别分配概率，所述概率表征以何种概率从节点的所有发出边中抽取边。概率最初被设置为一个值，使得从输入节点出发直至输出节点的每个路径都以相同的概率被抽取。接下来是随机地抽取通过图的多个路径，并且对与路径相对应的机器学习系统进行训练。在训练时，对机器学习系统的参数和路径的边的概率进行适配，使得优化成本函数。
10.接着是根据经适配的概率抽取路径。优选地，在这里选择具有最高概率的路径。路径的概率由其所有边的概率的乘积给出。然后是创建与该路径相对应的所属机器学习系统。
11.可替代地，可以在最后的步骤中，尤其是在结束了成本函数的优化之后随机地进行路径抽取，或者可以有针对性地跟随具有最高概率的直至输出节点的边，用以获得路径。
12.此外提出，在抽取路径时，迭代地创建路径，其中在每个节点处随机地从与该节点连接的可能后续边中根据其所分配的概率选择后续边。
13.机器学习系统优选地是人工神经网络，所述人工神经网络可以被设立用于在图像中进行分段和对象探测。
14.在本发明的另一方面中提出，对机器学习系统进行训练，以便根据传感器的所检测的传感器参量确定输出参量，所述输出参量接着可以被用于借助于控制单元确定控制参量。在此，机器学习系统已经可以被训练用于对象探测，并且然后可以根据所探测的对象借助于机器学习系统确定控制参量。
15.控制参量可以被用于控制技术系统的执行器。技术系统例如可以是至少部分自主的机器、至少部分自主的车辆、机器人、工具、工厂机器或飞行物、例如无人机。例如，输入参量可以根据所检测的传感器数据被确定并且被提供给机器学习系统。传感器数据可以由技术系统的传感器、诸如摄像机检测，或者可替代地从外部接收。
16.在其他方面中，本发明涉及一种被设立用于执行上述方法的计算机程序以及一种其上存储有该计算机程序的机器可读存储介质。
附图说明
17.下面参考附图更详细地阐述本发明的实施方式。在附图中：图1示意性地示出具有标准初始化的有向无环多重图；图2示出用于对边进行初始化的流程图的示意图；图3示出执行器控制系统的示意图；图4示出用于控制至少部分自主的机器人的实施例；图5示意性地示出用于控制生产系统的实施例；图6示意性地示出用于控制访问系统的实施例；图7示意性地示出用于控制监控系统的实施例；图8示意性地示出用于控制个人助理的实施例；图9示意性地示出用于控制医学成像系统的实施例；图10示出训练设备的可能结构。
具体实施方式
18.为了为预给定的数据记录找到深度神经网络的良好架构，可以应用用于进行架构搜索的自动方法、即所谓的神经架构搜索方法。为此，明确或隐性地定义神经网络的可能架构的搜索空间。
19.下面，为了描述搜索空间应该说明术语运算，这描述将一个或多个n维输入数据传感器转化成一个或多个输出数据传感器的计算准则并且在此可以具有适应性参数。在图像处理中例如经常使用具有不同内核大小和不同类型的卷积（规则卷积、深度可分卷积）和池化运算的卷积作为运算。
20.此外，在下面应该定义计算图（所谓的单次模型），所述计算图包含搜索空间中的所有架构作为子图。由于单次模型可能非常大，因此可以从单次模型中抽取单个架构用于训练。这典型地发生，其中从网络的规定的输入节点到规定的输出节点的各个路径被抽取。
21.在最简单的情况下，当计算图由一连串节点组成时，其中所述节点分别可以经由不同的运算连接，对于分别两个相继的节点抽取连接所述节点的运算就足够了。
22.如果单次模型更一般地是有向图，则可以迭代地抽取路径，其中在输入时开始，然后抽取下一节点和连接运算，并且然后迭代地继续该做法，直至目标节点为止。
23.于是可以对具有抽取的单次模型进行训练，其方式是对于每个小批量抽取架构并且借助于标准梯度步方法在所抽取的架构中适配运算的权重。寻找最佳架构要么可以在对权重进行训练之后作为单独的步骤发生，要么可以与对权重的训练交替地被执行。
24.对于自动架构搜索，现在应该考虑具有节点和从到的边的有向无环多重图，其中k描述边的多重性。附加地，该图具有输入节点和输出节点以及拓扑结构，使得所有在输入节点处开始的路径都通向输出节点。从输出节点出发，现在可以为每个节点迭代地确定到输出节点的路径的数量n：（方程式1）：其中是节点和之间的边的数量。尤其是，n (n0) 是图中路径的总数。
25.如果现在为每个边规定概率：（方程式 2）：，则适用于节点的所有发出路径：（方程式 3）：也即定义的发出边上的概率分布。此外适用于由边组成的路径g的概率，其由路径中所有边的概率的乘积计算为：
（方程式 4）：也即所有路径都具有相同的概率。
26.这在图1中示意性地阐明。图1示出具有标准初始化的带有最小数量的节点（100）的第一有向无环多重图（10）。也就是说，一个节点的所有发出边都具有相同的概率0.5或1。在这种情况下，从输入端向下引导的路径与从输入端通向上方节点的两个路径相比具有为0.5的更高概率，所述两个路径分别具有概率0.25。具有最小数量的节点（100）的第二有向无环多重图（11） 具有上面提出的初始化，所述初始化负责所有路径具有相同的概率。
27.图2示意性地示出用于对有向无环多重图的边进行初始化和用于利用该多重图进行架构搜索的方法的流程图（20）。
28.于是可以如下执行自动架构搜索。自动架构搜索首先需要创建搜索空间（s21），所述搜索空间在这里可以以单次模型的形式给出。在此，单次模型是如上所述的多重图。在训练之前，对如在（方程式3）中所描述的概率进行初始化（s22）。由此，单次模型中的所有路径都具有被抽取的相同概率。
29.随后可以使用从单次模型中抽取路径的每种形式的架构搜索（s23）。
30.然后在接下来的步骤 （s24） 中，对与路径相对应的所抽取的机器学习系统进行训练，并且也根据训练对概率进行适配。
31.应该注意的是，优化不仅可以关于精度、而且可以针对特殊硬件（例如硬件加速器）进行。例如其方式是在训练时，成本函数包含其他项，所述其他项表征用于在硬件上执行具有其配置的机器学习系统的成本。
32.可以多次依次地重复步骤s23和s24。随后可以基于多重图抽取最终路径，并且可以根据该路径对相对应的机器学习系统进行初始化。
33.机器学习系统优选地是人工神经网络60（在图3中绘制）并且如在下面所阐述的那样被使用。
34.图3示出在其环境20中与控制系统40交互的执行器10。以优选规则的时间间隔，在传感器30、尤其是成像传感器、例如视频传感器中检测环境20，所述传感器也可以由多个传感器、例如立体相机给出。也可以设想其他成像传感器，诸如雷达、超声波或激光雷达。也可设想热图像相机。传感器30的传感器信号s——或者在多个传感器的情况下每一个传感器信号s——被传送给控制系统40。控制系统40因此接收传感器信号s的序列。控制系统40从中确定操控信号a，所述操控信号a被传输给执行器10。
35.控制系统40在可选的接收单元50中接收传感器30的传感器信号s的序列，所述接收单元50将传感器信号s的序列转换成输入图像x的序列（可替代地，传感器信号s分别也可以直接作为输入图像x被接管)。例如，输入图像x可以是传感器信号s的片段或进一步处理。输入图像x包括视频记录的各个帧。换句话说，根据传感器信号s确定输入图像 x。输入图像x的序列被输送给机器学习系统，在该实施例中被输送给人工神经网络60。
36.人工神经网络60优选地通过参数被参数化，所述参数存放在参数存储器p中并且由所述参数存储器提供。
37.人工神经网络60从输入图像x中确定输出参量y。这些输出参量y可以尤其是包括输入图像x的分类和语义分割。输出参量y被输送给可选的变换单元80，所述变换单元从中确定操控信号a，所述操控信号a被输送给执行器10，以便相应地操控执行器10。输出参量y包括关于传感器30已检测的对象的信息。
38.监控信号d表征：神经网络60是否可靠地确定输出参量y。如果监控信号d表征不可靠性，则例如可以规定，根据安全运行模式确定操控信号a（而否则的话在正常运行模式下确定所述操控信号）。安全运算模式可以例如包含：执行器10的动态性被降低，或者用于操控执行器10的功能性被关断。
39.执行器10接收操控信号a，被相应地操控并且执行相应的动作。在此情况下，执行器10可以包括（不一定在结构上集成的）操控逻辑电路，所述操控逻辑电路从操控信号a中确定第二操控信号，然后利用该第二操控信号对执行器10进行操控。
40.在另一实施方式中，控制系统40包括传感器30。在又一实施方式中，控制系统40可替代地或附加地还包括执行器10。
41.在另一优选实施方式中，控制系统40包括单个或多个处理器45和至少一个机器可读存储介质46，指令存储在所述机器可读存储介质上，当指令在处理器45上被执行时，所述指令促使控制系统40执行根据本发明的方法。
42.在可替代的实施方式中，替代于或附加于执行器10，设置显示单元10a。
43.图4示出可以如何使用控制系统40来控制至少部分自主的机器人、在这里至少部分自主的机动车100。
44.传感器30可以例如是优选地布置在机动车100中的视频传感器。
45.人工神经网络60被设立用于从输入图像x中可靠地标识对象。
46.优选地布置在机动车100中的执行器10可以例如是机动车100的制动器、驱动装置或转向装置。于是操控信号a可以被确定为使得一个执行器或多个执行器10被操控，使得机动车100例如防止与由人工神经网络60可靠标识的对象碰撞，尤其是当是特定类别的对象，例如是行人的话。
47.可替代地，至少部分自主的机器人也可以是其他移动机器人（未绘出），例如是通过飞行、游泳、潜水或行进来向前移动的这样的机器人。移动机器人也可以例如是至少部分自主的割草机或至少部分自主的清洁机器人。即使在这些情况下，操控信号a也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得至少部分自主的机器人例如防止与由人工神经网络 60标识的对象碰撞。
48.可替代地或附加地，可以利用操控信号a操控显示单元10a并且例如显示所确定的安全区域。例如，在具有非自动转向装置的机动车100的情况下有可能的是，显示单元10a利用操控信号a被操控为使得当确定机动车10即将发生与可靠标识的对象之一碰撞时，所述显示单元输出光学或声学警告信号。
49.图5示出一种实施例，其中使用控制系统40来操控生产系统200的生产机器11，其方式是对控制所述生产机器11的执行器10进行操控。生产机器11可以例如是用于冲压、锯切、钻孔和/或切割的机器。
50.传感器30于是可以例如是光学传感器，所述光学传感器例如检测生产产品12a、12b的特性。可能的是，这些生产产品12a、12b是可移动的。可能的是，控制生产机器11的执
行器10根据所检测的生产产品12a、12b的分配被操控，以便生产机器11相应地执行生产产品12a、12b中的正确生产产品的后续加工步骤。也可能的是，通过标识生产产品12a、12b中的相同生产产品的正确特性（即无误分配），生产机器11相应地适配相同的生产步骤用于对后续生产产品进行加工。
51.图6示出一种实施例，其中使用控制系统40来控制访问系统300。访问系统300可以包括物理访问控制、例如门401。视频传感器30被设立用于检测人员。可以借助于对象标识系统60来解释该所检测的图像。如果同时检测了多个人，则可以例如通过彼此分配人员（即对象），例如通过分析其运动，来特别可靠地确定人员的身份。执行器10可以是锁，根据操控信号a来释放或不释放访问控制，例如打开或不打开门401。为此，可以根据对象标识系统60的解释、例如根据人员的所确定的身份来选择操控信号a。代替物理访问控制，也可以设置逻辑访问控制。
52.图7示出一种实施例，其中使用控制系统40来控制监测系统400。该实施例与在图5中所示的实施例不同之处在于，代替执行器10，设置显示单元10a，所述显示单元由控制系统40操控。例如，可以由人工神经网络60可靠地确定由视频传感器30记录的物体的身份，以便例如据此推断出哪些变得可疑，并且于是可以选择操控信号a，使得由显示单元10a以色彩突出的方式表示该物体。
53.图8示出一种实施例，其中使用控制系统40来控制个人助理250。传感器30优选地是接收用户249的手势的图像的光学传感器。
54.根据传感器30的信号，控制系统40确定个人助理250的操控信号a，例如其方式是神经网络执行手势识别。该所确定的操控信号a然后被传送给个人助理250并且所述个人助理因此相应地被操控。该所确定的操控信号a可以尤其是被选择为使得所述操控信号对应于通过用户249推测的期望操控。可以根据由人工神经网络60识别的手势来确定该推测的期望操控。控制系统40然后可以根据所推测的期望操控来选择操控信号a以传送给个人助理250和/或与所推测的期望操控250相应地选择操控信号a以传送给个人助理。
55.该相应的操控可以例如包含：个人助理250从数据库中调用信息并且以可接受的方式为用户249再现所述信息。
56.代替个人助理250，也可以设置家用电器（未示出）、尤其是洗衣机、灶台、烤炉、微波炉或洗碗机，以便相应地被操控。
57.图9示出一种实施例，其中使用控制系统40来控制医学成像系统500、例如mrt、x射线或超声设备。传感器30可以例如通过成像传感器给出，通过控制系统40对显示单元10a进行操控。例如，可以由神经网络60确定：由成像传感器记录的区域是否是显眼的，并且然后可以选择操控信号a，使得由显示单元10a以色彩突出的方式表示该区域。
58.图10示出用于对来自神经网络60的多重图的所抽取的机器学习系统进行训练的示例性第二训练设备140。训练设备140包括提供器71，所述提供器提供输入图像x和额定输出参量ys、例如额定分类。输入图像x被输送给待训练的人工神经网络60，所述人工神经网络从中确定输出参量y。输出参量y和额定输出参量ys被输送给比较器75，所述比较器根据相应输出参量y和额定输出参量ys的一致性从中确定新的参数，该新的参数被传送到参数存储器p并且在那里替换参数。
59.由训练系统140执行的方法可以被实现为计算机程序，存放在机器可读存储介质
147上并且由处理器148执行。
60.当然，不必对整个图像进行分类。可能的是，利用探测算法例如将图像片段分类为对象，使得然后切除这些图像片段，必要时产生新的图像片段并且代替切除的图像片段将其插入到所属图像中。
61.术语“计算机”包括用于执行可预给定计算准则的任意设备。这些计算准则可以以软件的形式存在，或者也可以以硬件的形式或者也以由软件和硬件组成的混合形式存在。