用于生成用于机器学习模型的训练数据的方法与流程

本发明涉及一种用于生成用于机器学习(ml)模型的训练数据的方法，其中，训练数据设计和设置用于通过使用机器学习方法来设置机器学习模型，并且其中，机器学习模型特别设计和设置用作用于得出控制数据的方法的一部分，控制数据用于抓取装置。

背景技术：

1、此类方法是现有技术中已知的。

2、例如，公开申请us2020/0164531a1公开了一种用于抓取物体的系统，其包括用于识别物体的身份、姿态和方向的识别装置以及用于为物体选定抓取点的选定系统。例如，抓取点可以由用户选定。此外，通过这些用户选定的抓取姿态，系统可以使用机器学习技术随着时间的推移学习物体的最佳抓取点。

3、现有技术的缺点是最终必须由用户来确定用于抓取任何物体的抓取点。一方面这非常耗时，另一方面这很容易出错，因为用户的评估也可能不正确。

技术实现思路

1、因此，本发明的目的是提供能实现更容易地抓取物体的方法或系统。在此，例如与现有技术相比，这种方法或系统可以实现更安全的、更可靠的、更快速的和/或更高自动化程度的抓取。

2、该目的通过具有权利要求1的特征的方法来实现。

3、这种方法设计和设置用于生成用于机器学习模型的训练数据，

4、其中训练数据设计和设置用于通过使用机器学习方法来设置机器学习模型，

5、该方法的特征在于以下方法步骤：

6、-选定物体，

7、-选定与平坦面之上的物体有关的起始数据，

8、-产生物体从起始数据开始的在朝平坦面的方向上的下落运动，

9、-在物体在平坦面上的运动已停止之后，捕获物体的图像，

10、-为已捕获的图像分配标识，其中标识包括由物体采用的稳定姿态的识别(id)信息，

11、-存储包括已捕获的图像和配属于该图像的标识的训练数据。

12、在此，在一个有利的设计方案中，机器学习模型设计和设置用作用于得出控制数据的方法的一部分，控制数据用于抓取物体的抓取装置。

13、使用借助训练数据来训练机器学习模型实现了：提供更容易地抓取物体的方法或系统。如已经在本说明书的范围中解释的那样，根据本说明书，将物体的所考虑的可能姿态限制于稳定姿态导致了：借助于如此构成的系统或方法实现更快、更可靠和/或更自动化程度的抓取。

14、在一个有利的设计方案中，多次执行所提到的方法，例如分别借助物体的不同的起始数据执行。以这种方式，可以产生大量具有分配的标识的图像来训练机器学习模型。在此，例如该方法可以频繁地重复，使得物体在平坦面上的多个(有利地是所有)可能的稳定姿态在至少一个图像上示出。在另外的有利的设计方案中，该方法例如可以频繁地重复，使得物体在平坦面上的尽可能多的(有利地全部的)可能的稳定姿态在图像中的至少两个或图像中的至少十个上示出。

15、在此，物体可以是任何具有固定外部空间形状的三维构造物。物体例如可以是材料片、构件、模块、设备等。

16、抓取装置例如可以设计和设置为具有用于握持或机械紧固物体的对应的抓取器的机器人或机器人臂。这种抓取器例如可以钳状地构造，具有一个或多个吸力装置和/或允许或支持借助电磁力紧固要抓取的物体。

17、机器人或机器人臂例如可以设计和设置为6轴机器人或6轴工业机器人或机器人臂。此外，这种机器人或机器人臂例如可以设计和设置为笛卡尔机器人或设计和设置有对应的抓取器。

18、在此，用于在至少一个抓取点处抓取物体的抓取装置的控制数据是必须输送给抓取装置的控制装置或用于抓取装置的控制装置的数据，以便例如抓取装置的抓取器将已捕获的物体在至少一个抓取点处机械地紧固。用于抓取装置的这种控制装置例如可以设计和设置为所谓的机器人控制器、可编程逻辑控制器、计算机或类似的控制装置。

19、在此，控制数据例如可以包括抓取器空间中的点的坐标和抓取器的定向，抓取器必须采用该定向以可以抓取物体。此外，控制数据还可以是物体在空间中的至少一个抓取点或者可以包括坐标。

20、用于抓取装置的控制装置于是可以使用这种信息以已知的方式来计算抓取装置以及抓取器的所需的运动。

21、在此，空间中的坐标例如被理解为要抓取的物体和抓取装置所处的坐标系。

22、控制数据于是例如可以是至少一个抓取点和/或至少一个模型抓取点的到真实空间中的坐标的转换。此外，除了至少一个抓取点的坐标之外，在计算控制数据时还可以考虑物体在空间中的位置，以便例如实现抓取装置的抓取器无阻碍地接近至少一个抓取点。

23、物体图像可以例如借助于相机、扫描仪(例如激光扫描仪)、间距雷达或用于捕获三维物体的类似装置来捕获。已捕获的图像可以有利地是物体的二维图像或者包括物体的复制图的二维图像。此外，已捕获的图像还可以是或包括物体的三维表示。

24、在此，识别信息可以是由物体采用的稳定姿态的单独的名称、标识等，或者可以包括这种信息。

25、物体的稳定姿态、例如在面(例如基本上水平的平面或表面)上的稳定姿态表示物体的如下一种或多种姿态，其中壳体处于该姿态中，而不自身从静止状态移出(例如倾斜或滚动)。

26、例如，通过将物体借助初始运动例如输送至面(例如使其落下到该面上)并且然后等待直至物体不再运动，可以得出物体的稳定姿态。通过借助不同的初始条件多次执行这种过程能够以该方式确定物体的稳定方位。在此，例如可以在各种初始条件下将物体运动到对应的面上(例如，扔到其上或落到其上)。然后等待直到物体不再运动为止。然后于是对应地捕获所采用的稳定姿态。

27、稳定姿态的捕获、确认和/或存储例如可以通过登记所采用的姿态来进行。登记例如可以经由图像记录、3d(三维)记录和/或捕获稳定姿态中的物体的一个或多个坐标来进行。此外，稳定姿态的捕获还可以包括关联对于物体的稳定姿态单独的标识。

28、在此，特定物体的所有如下已捕获的姿态数据可以被分配给特定的稳定姿态，该姿态数据可以通过围绕物体所处于的存放面的表面法线的旋转和/或平移来相互转换。然后，例如可以将对于所属的稳定姿态的特定的标识或特定的识别信息分配给所有这种姿态。

29、特别地，物体的稳定姿态的特定的识别信息或标识被分配给物体的所有如下姿态或对应的图像，该姿态可以通过围绕物体所处于的存放面的表面法线的旋转和/或平移来相互转换。

30、识别信息至物体采用的稳定姿态的分配例如设计和设置为，使得识别信息分配给物体的所有如下姿态数据或对应的图像，这种姿态数据可以通过平坦面的表面法线的旋转和/或平移来转换至物体采用的稳定姿态。

31、例如，可以半自动地通过以下方式得出物体的稳定姿态，即由用户选定特定物体，并且然后例如在各种初始条件下使将其落下到面上或扔到该面上。然后等待直到物体静止为止。然后捕获物体的图像，并借助于自动图像分析方法来检查：已捕获的物体的姿态是否可以通过围绕该面的表面法线的旋转和/或平移来转换为物体的已捕获的姿态。如果是这种情况，则稳定姿态的标识也自动地被分配给现在已记录的图像。

32、如果现在已捕获的物体的姿态不能相应地转换为已捕获的物体或物体图像的姿态，则将用于物体采用的稳定姿态的新标识分配给现在所记录的图像。然后可以自动地进行最后的步骤。

33、在另外的设计方案中，该得出例如也可以自动进行。例如，这可以通过使用物体的3d模型到面上的下落运动的物理模拟来执行。于是，在模拟的范围中等待，直至物体的3d模型的运动静止为止。然后记录物体的现在静止的3d模型的对应图像，并且根据上面已经解释的方法将稳定姿态的标识分配给图像。现在可以借助随机选定的初始条件自动重复该过程，直到不再找到新的稳定姿态或对于找到的每个稳定姿态都存在足够量的图像为止。

34、例如，如果对于每个稳定姿态存在2个、10个甚至50个图像，则可以提供足够量的图像。此外，可以确认：如果在尝试10次、50次甚至100次之后都没有找到新的稳定姿态，则不再找到新的稳定姿态。

35、例如，配属于特定的稳定姿态的图像还可以对应地存储在数据库中。然后，例如可以将数据库用于通过与图像比较来将特定的稳定姿态分配给新捕获的物体。

36、此外，将这些图像可用于：借此训练对应的神经网络或另外的机器学习模型，神经网络或另外的机器学习模型然后在图像评估的范围内可用于物体的新记录的图像。例如，于是可以使用这种神经网络或机器学习模型将面上的静止物体的所记录的图像输送给神经网络。然后，通过神经网络或机器学习模型的评估的结果可以至少包括但不限于由物体采用的稳定姿态的标识。

37、在根据本说明书的方法的范围内使用稳定姿态的优点例如是：在鉴别、确定位置和/或确定抓取点时，与所有可能的姿态相比，仅需要考虑相对较少的稳定姿态。这可以减少、通常甚至显著地减小在确定位置、鉴别和/或确定抓取点时的计算耗费。

38、将机器学习方法例如理解为自动化(机器的)的方法，该方法不通过实现确定规则生成结果，而是其中借助机器学习算法或学习方法从多个示例中(自动)鉴别规律性。然后基于调节规则产生要分析的数据的结论。

39、这种机器学习方法例如可以设计和设置为监督学习方法、部分监督学习方法、无监督学习方法或者强化学习方法(reinforcement learning)。

40、机器学习方法的例子例如是回归算法(例如线性回归算法)、决策树(decisiontrees)的产生或优化、神经网络的学习方法或训练方法、聚类方法(例如所谓的k-means-聚类)、用于或产生支持向量机(svm)的学习方法、用于或产生顺序决策模型的学习方法或用于或产生贝叶斯模型或网络的学习方法。

41、特别是在本说明书中，将这种机器学习算法或学习方法应用于特定数据的结果被称为“机器学习”模型或机器学习模型。在此，这种机器学习模型为机器学习算法或学习方法应用于分析的数据的数字存储的或可存储的结果。

42、在此，机器学习模型的产生可以设计和设置为，使得通过应用机器学习方法新形成机器学习模型或者通过应用机器学习方法改变或适配已经存在的机器学习模型。

43、这种机器学习模型的示例是回归算法(例如线性回归算法)、神经网络(neuralnetworks)、决策树(decision tree)的结果、聚类方法的结果(包括例如所获得的聚类或聚类类别、聚类定义和/或聚类参数)、支持向量机(svm)、顺序决策模型或贝叶斯模型或网络。

44、在此，神经网络例如可以是所谓的“深度神经网络”、“前馈神经网络”、“循环神经网络”、“卷积神经网络”或“自动编码器神经网络”。在此，将对应的机器学习方法用于神经网络通常被称为“训练”对应的神经网络。

45、例如，决策树可以设计和设置为所谓的“迭代二分法3”(id3)、分类或回归树(cart)或所谓的“随机森林”。

46、至少在本说明书的上下文中，将神经网络理解为电子装置，该电子装置包括所谓的节点的网络，其中每个节点通常与多个其他节点连接。节点也例如被称为神经元、单位或单元。在此，每个节点具有至少一个输入连接和一个输出连接。神经网络的输入节点是可以从外界接收信号(数据、刺激、模式等)的节点。将神经网络的输出节点理解为可以向外界转发信号、数据等的节点。所谓的“隐藏节点(hidden nodes)”是神经网络的既不设计为输入节点也不设计为输出节点的节点。

47、根据本说明书的神经网络还有其他机器学习模型例如可以实现为存储或可存储在计算机、计算机网络或云上的计算机软件和/或数据集合。

48、在此，神经网络可以设计为所谓的深度神经网络(dnn)。这种“深度神经网络”是一种网络节点分层设置的神经网络(其中层本身可以是一维、二维甚至更高维的)。在此，深度神经网络至少包括两个所谓的隐藏层，隐藏层仅包括非输入节点或输出节点的节点。这就是说，隐藏层与输入信号或输出信号没有直接连接。

49、例如，在此将所谓的“深度学习”理解为一类机器学习技术，机器学习技术将非线性信息处理的多层用于有监督或无监督的特征提取和转换并且用于模式分析和分类。

50、例如，神经网络还可以具有所谓的自动编码器结构。这种自动编码器结构例如可以适合于降低数据的维度进而力而识别相似性和共同性。

51、神经网络例如还可以设计为所谓的分类网络，分类网络特别适合于将数据划分为类。这种分类网络例如与在手写识别的范围内使用。

52、例如，神经网络的另外的可能结构可以是所谓的“深度信念网络”的设计方案。

53、例如，神经网络还可以具有上述结构中多种的组合。例如，因此神经网络的架构可以包括自动编码器结构，以减少输入数据的维度，输入数控然后可以与其他网络结构组合，以便例如标识数据减少的维度内的特性和/或异常或对数据减小的维度进行分类。

54、描述各个节点及其连接的值包括描述特定神经网络的其他值，例如可以存储在描述神经网络的值集中。这种值集例如为神经网络的一个设计方案。如果在训练神经网络之后存储这种值集，那么借此例如存储训练的神经网络的设计方案。因此，例如可行的是：在第一计算机系统中借助对应的训练数据训练神经网络，然后存储配属于神经网络的对应的值集，并且作为训练过的神经网络的设计方案转换到第二系统中。

55、通过经由各种已知的学习方法将输入数据输入神经网络并分析来自神经网络的对应的输出数据，通常可以得出各个节点或其连接的参数值以训练神经网络。以这种方式，可以借助已知的数据、模式、刺激或信号以当今已知的方式来训练神经网络，以便随后能够将如此训练过的网络用于分析其他的数据。

56、通常，将神经网络的训练理解为：借助于一种或多种训练算法在神经网络中处理用以训练神经网络的数据，以计算或改变在神经网络内的各两个节点之间的连接或神经网络的各个节点的所谓的偏差值(bias)、权重值(weights)和/或传递函数(transferfunctions)。

57、为了训练神经网络、例如根据本说明书训练神经网络，可以使用例如所谓的“监督学习(supervised learning)”的方法之一。在此，通过用对应的训练数据进行训练，为网络训练分别分配数据相关的结果或能力。这种监督学习方法例如可以用于：为神经网络例如训练一个或多个物体的稳定姿态。这可以例如通过为物体的图像“训练”所采用的稳定姿态的标识(上述“结果”)来进行，其中在图像中物体处于稳定姿态中。

58、此外，也可以使用所谓的无监督训练(unsupervised learning)的方法来训练神经网络。对于给定量的输入，这种算法例如产生如下模型，该模型描述输入并实现从中的预测。在此，例如存在聚类方法，如果数据彼此例如因特征性的模式而不同，则可以借助聚类方法将数据分为不同的类别。

59、在训练神经网络时，例如，如果将可训练的特性或能力与数据的一部分相关联，而数据的其他部分则没有，那么也可以将监督和无监督学习方法组合。

60、此外，所谓的强化学习(reinforcement learning)方法至少包括但不限于也可以用于训练神经网络。

61、例如，需要对应的计算机的相对高计算能力的训练可以在高性能系统上进行，而借助训练过的神经网络进行进一步的工作或数据分析于是完全可以在低性能系统上执行。借助训练过的神经网络进行的这种进一步工作和/或数据分析例如可以在应用模块上和/或在控制装置、可编程逻辑控制器或模块化可编程逻辑控制器或根据本说明书的其他对应装置上进行。

62、为了借助于机器学习方法训练机器学习模型，可以使用图像集合，图像集合显示在平坦面上的分别处于稳定姿态中的特定物体，其中将在其上所采用的稳定姿态的标识与每个图像相关联。然后借助图像集合来训练机器学习模型。于是随后可以在将训练过的机器学习模型用于已捕获的物体图像的情况下确定物体的稳定姿态。

63、例如，在所提到的图像集合中，每个图像可以显示物体在给定的或可预设的表面上、尤其在平坦表面上或在基本上水平的平坦表面上在其稳定姿态中的视图。于是，图像集合例如包含分别处于其稳定姿态还有相对于面上的限定的或可限定的初始姿态不同的旋转角度中的物体的多个映像。例如，旋转能围绕物体在其上处于其稳定姿态中的面的表面法线来限定。

64、在此，例如机器学习模型可以设计为神经网络，其中在这种情况下，机器学习方法可以是例如用于神经网络的监控学习方法。

65、在另外的有利的设计方案中，用于训练机器学习模型的图像集合可以显示分别处于不同稳定姿态的不同物体，其中关于所成像的识别信息以及关于在其上锁采用的稳定状态的标识可以与每个图像相关联。通过将借助这种图像集合训练的机器学习模型应用于特定的已捕获的物体，然后可以得出物体的识别信息的确定以及物体采用的稳定姿态的标识。

66、为此，图像集合例如可以设计和设置为，使得每个图像显示在给定的或可预设的表面上、特别是在平坦表面上或在基本上水平的平坦表面上在其稳定姿态中的物体之一的视图。然后，图像集合例如可以包含分别处于其稳定姿态以及相对于限定的或可限定的初始姿态不同的旋转角度中的不同物体的多个映像。例如，旋转可以围绕其上物体处于其稳定姿态中的面的表面法线来限定。

67、在此，机器学习模型例如也可以构造为神经网络，其中相关联的机器学习方法在此也可以例如是用于神经网络的监督学习的方法。

68、机器学习模型例如可以设计和设置为所谓的“识别机器学习模型”。这种识别机器学习模型可以例如设计和设置用于识别物体的位置和/或围绕物体的虚拟框、关于物体的类型或识别信息和/或物体的稳定姿态。此外，根据本说明书的机器学习模型可以包括这种识别机器学习模型。这种识别机器学习模型例如可以设计和设置为所谓的“深度神经网络”。例如，已捕获的物体图像可以设置或用作为用于这种识别机器学习模型的输入数据。这种识别机器学习模型的输出数据于是可以是例如上述参数中的一个、多个或全部。

69、在另外的设计方案中，识别机器学习模型还可以设计和设置用于识别各多个或所有在已捕获的图像上成像的对象的位置、虚拟框、类型和/或识别信息。例如，如果在已捕获的物体图像上存在其他物体，则可以有利地使用以这种方式形成的识别机器学习模型。

70、于是，对于每个已捕获的物体，这样设计的识别机器学习模型的输出数据例如可以是关于该物体的上述信息，即关于位置和/或虚拟框和/或识别信息的数据。然后，例如可以在另外的方法步骤中上述信息用于从所有已捕获的物体中选定要抓取的物体，例如根据所得出的识别信息进行。然后由识别机器学习模型已经得出的物体参数可以在根据本说明书的方法的范围中用于得出抓取物体的抓取装置的控制数据。

71、此外，机器学习模型例如可以设计和设置为所谓的“角度识别机器学习模型”，角度识别机器学习模型至少包括但不限于设计和设置用于识别面上的物体相对于所确认的或可确认的起始位置的旋转角度。根据本说明书的机器学习模型还可以包括这种角度识别机器学习模型。这种角度捕获机器学习模型例如可以设计和设置为例如所谓的回归人工智能模型或还有所谓的分类人工智能模型。

72、物体的已捕获的图像又可以用作为这种角度识别机器学习模型的输入数据。在此，输出数据又可以例如是存放面上的物体相对于确认的或可确认的初始位置的对应的旋转角度，或者包括这种旋转角度。此外，角度识别机器学习模型的输出数据还可以包括上述旋转角度以及上面从识别机器学习模型的输出数据示例性说明的数据。

73、在另外的设计方案中，机器学习模型例如可以设计和设置为所谓的“转换机器学习模型”，转换机器学习模型设计和设置用于得出物体的所确认的或可确认的初始位置到真实世界中存放面上的监测到的物体的位置的转换数据。这种转换机器学习模型的输入数据例如可以是物体的标识数据、物体的稳定姿态和/或存放面上的物体相对于确认的或可确认的初始位置的旋转角度。物体的标识数据在此例如可以是识别信息、围绕物体的虚拟框的描述数据、关于稳定姿态的信息和/或比例数据。

74、此外，用于这种转换机器学习模型的输入数据还可以是位于平坦面上的物体的已捕获的图像数据。然后，例如可以在第一步骤中从图像数据中获取上述输入数据、例如物体的标识数据、物体的稳定姿态和/或物体的旋转角度，其中然后根据上面的解释继续进行。此外，位于平坦面上的物体的所提到的监测到的图像数据还可以直接用作为对应的转换机器学习模型的输入数据。

75、这种转换机器学习模型的输出数据因此例如可以是用于物体从确认的或可确认的起始姿态到存放面上的物体的真实位置的上述转换的转换数据。物体的这种确认的或可确认的起始姿态例如可以是对应的3d建模程序(例如3d-cad(计算机辅助设计)软件)中物体的3d模型的位置。这例如也适用于关于旋转角度使用的起始位置。

76、这种转换机器学习模型例如可以设计和设置为所谓的“深度神经网络”或还有所谓的“随机森林”模型。

77、根据本说明书的机器学习模型可以例如包括识别机器学习模型和/或角度识别机器学习模型和/或转换机器学习模型。另外，根据本说明书的另外的机器学习模型可以例如包括识别机器学习模型和/或角度识别机器学习模型和/或转换机器学习模型。

78、在一个有利的设计方案中，根据本说明书的机器学习模型还可以包括例如识别机器学习模型和/或角度识别机器学习模型，或者可以设计和设置为这种机器学习模型。在该设计方案中，根据本说明书的另外的机器学习模型可以例如包括转换机器学习模型或者设计和设置为这种转换机器学习模型。

79、此外，可以例如通过平坦面之上的物体的高度(例如物体重心)、物体在空间中的定向以及物体的初始速度的矢量给出起始数据。

80、下落运动例如可以是在重力影响下的运动。此外，在此附加的力、例如摩擦力(例如在空气或液体中摩擦力)以及电磁力可以影响运动。在一个有利的设计方案中，运动例如通过重力主导。在此，根据起始数据开始下落运动。

81、在此，机器学习模型例如可以设计和设置为根据本说明书的识别机器学习模型或者包括这种识别机器学习模型。在这种情况下，除了由物体采用的稳定姿态的识别信息之外，已捕获的图像的分配的标识还可以包括例如根据本说明书的另外的物体参数。在此，这种另外的物体参数可以包括例如关于物体的姿态和/或位置的信息、关于围绕物体的虚拟框的姿态和/或形状的信息、物体的类型和/或关于物体的识别信息。

82、机器学习模型例如还可以设计和设置为根据本说明书的角度捕获机器学习模型或者包括这种角度捕获机器学习模型。在这种情况下，除了由物体采用的稳定姿态的识别信息之外，已捕获的图像的分配的标识还可以包括例如根据本说明书的另外的物体参数。在此，这种另外的物体参数可以包括例如平坦面上的物体相对于确认或可确认的起始位置的旋转角度。

83、机器学习模型还可以设计和设置为根据本说明书的转换机器学习模型或者包括这种转换机器学习模型。在这种情况下，除了物体采用的稳定姿态的识别信息之外，已捕获的图像的分配的标识还可以包括例如根据本说明书的另外的物体参数。在此，这种另外的物体参数可以例如包括用于物体从确认的或可确认的起始位置到物体在平坦面上的真实位置的上述转换的转换数据。在此，物体的这种确认的或可确认的起始位置也可以例如是对应的3d建模程序(例如3d-cad软件)中物体的3d模型的位置。

84、相应的上述标识参数和/或物体参数可以至少部分地例如通过用户手动得出，例如手动地通过测量得出或借助于至少部分自动化的测量系统得出。此外，这种标识参数可以至少部分自动地例如通过图像评估方法或附加的自动测量系统、例如光学测量系统、激光测量系统和/或声学测量系统来得出。

85、在另外的有利的设计方案中，可以通过下面的方法步骤来设计和设置用于生成转换机器学习模型的训练数据的方法：

86、-选定物体，

87、-选定平面之上的物体的初始数据，

88、-产生物体的朝平坦面的方向的下落运动，

89、-在物体在平坦面上的运动已停止之后捕获物体的图像，

90、-使用已捕获的图像得出关于该物体的至少一个物体参数，其中该至少一个物体参数包括物体的标识数据、物体的姿态或位置、关于围绕物体的虚拟框的信息、物体稳定姿态的标识和/或物体在平坦面上的旋转角度，

91、-将标识分配给得出的至少一个物体参数，其中该标识包括用于将物体从确认的或可确认的初始位置转换成物体在平坦面上的真实位置的转换数据。

92、在此，物体的真实位置例如通过物体的标识数据、物体的姿态或位置、关于围绕物体的虚拟框的信息、物体的稳定姿态的标识和/或物体的旋转角度来描述。

93、在此，物体的标识数据例如可以是或者包括识别信息、围绕物体的虚拟框的描述数据、关于稳定姿态的识别信息和/或比例数据。

94、在此，可以根据本说明书来设计和设置转换数据、确认的或可确认的起始位置、物体的旋转角度、物体的稳定姿态的标识以及至少一个物体参数。此外，还可以根据本说明书来设计和设置物体的姿态或位置和/或关于围绕物体的虚拟框的信息。

95、上述目的还通过一种用于生成用于机器学习模型的训练数据的方法来实现，

96、其中该训练数据设计和设置用于通过使用机器学习方法来设置机器学习模型，

97、该方法的特征在于以下方法步骤：

98、-选定物体的3d模型，

99、-选定与虚拟平面之上的物体的3d模型有关的起始数据，

100、-模拟物体的3d模型的朝虚拟平面的方向的下落运动，

101、-在物体的3d模型在虚拟平坦面上的模拟的运动已停止之后，创建物体的3d模型的图像，

102、-将标识分配给已创建的图像，其中该标识包括由物体的3d模型所采用的稳定姿态的识别信息，

103、-存储训练数据，其包括已捕获的图像和配属于该图像的标识。

104、在此，可以根据本说明书来设计和设置这种方法。

105、此外，该方法可以设计为，使得机器学习模型设计和设置用作用于得出用于抓取物体的抓取装置的控制数据的方法的一部分。

106、在此，训练数据可以存储在存储器装置中和/或例如存储在对应的训练数据的数据库或数据集合中。

107、在此，例如可以根据本说明书来设计和设置机器学习模型。此外，可以根据本说明书来设计和设置机器学习方法、控制数据、抓取装置、物体、起始数据、标识和稳定姿态。

108、如已经结合上述方法所解释的那样，使用借助训练数据训练的机器学习模型实现：提供允许简化地抓取物体的方法或系统。

109、3d模型可以是物体的至少基本上代表外部形状的任何数字显示或代表。有利地，3d模型代表物体的外部形状。此外，3d模型还可以包含关于物体的内部结构的信息、物体的部件的可运动性或者关于物体的功能的信息。

110、3d模型例如能够以3d文件格式存储，例如用借助3d-cad软件工具创建。这种软件工具的例子例如是solidworks(文件格式：.sldprt)、autodesk inventor(文件格式：.ipt)、autocad(文件格式：.dwg)、ptc proe/creo(文件格式：.prt)、catia(文件格式：.catpart)、spaceclaim(文件格式：.scdoc)或sketchup(文件格式：.skp)。其他文件格式例如可以是：.blend(blender文件)、.dxf(绘图交换格式)、.igs(初始图形交换规范)、.stl(立体光刻格式)、.stp(产品模型数据交换标准)、.sat(acis文本文件)或.wrl、.wrz(虚拟现实建模语言)。有利地，可以使用如下文件格式，其中还存储物体的材料特性、例如物体或其部件的比重、颜色、材料和/或类似信息。通过使用这种3d模型，例如可以对物体执行物理上正确的模拟，例如以确定物体在表面上的一个或多个稳定姿态。

111、选定物体的3d模型可以例如使用物体的识别信息来进行，其中至少一个物体参数包括该识别信息。

112、在此，3d模型可以例如从不同物体的3d模型的数据库中提取，其中例如可以使用上述得出的识别信息来从数据库进行选定。可替代地，3d模型也可以由用户选定。在此，例如用户可以在多个可用的3d模型中选定3d模型。

113、在一个有利的设计方案中，所提到的方法可以多次执行，例如分别用物体的不同的起始数据执行，以便例如产生具有分配的标识的多个图像以训练机器学习模型。

114、在此，例如可以频繁地重复该方法，使得虚拟平坦面上的物体的数字模型的可能的稳定姿态中的多个(有利地是全部)在至少一个图像上示出。在另外的有利的设计方案中，该方法例如可以频繁地重复，使得虚拟平坦面上的物体的数字模型的可能的稳定姿态中的多个(有利地是全部)在至少两个或至少是个图像上示出。

115、在此，同样可以在这里根据本说明书来设计和设置机器学习模型、物体、图像的捕获以及物体采用的稳定姿态的识别信息。

116、例如，起始数据可以通过物体在平坦面之上的高度(例如物体的重心高度)、物体在空间中的定向以及物体的初始速度的矢量给出。

117、例如，下落运动可以被模拟为在重力影响下的运动。此外，在此在模拟中还可以考虑附加的力、例如摩擦力(例如在空气或液体中)以及电磁力。在一个有利的设计方案中，例如仅在考虑重力的情况下模拟运动。在此，然后根据起始数据开始下落运动的模拟。

118、机器学习模型例如可以设计和设置为根据本说明书的识别机器学习模型或者包括这种模型。在这种情况下，除了由物体的3d模型采用的稳定姿态的识别信息之外，所创建的图像的标识还可以包括例如根据本说明书的另外的物体参数。在此，这种另外的物体参数可以例如是关于物体的3d模型的姿态和/或位置的信息、关于围绕物体的3d模型的虚拟框的姿态和/或形状的信息、物体的类型和/或包括关于物体的识别信息。

119、机器学习模型例如还可以设计和设置为根据本说明书的角度捕获机器学习模型或者包括这种角度捕获机器学习模型。在这种情况下，除了由物体的3d模型采用的稳定姿态的识别信息之外，已捕获的图像的分配的标识例如还可以包括根据本说明书的另外的物体参数。在此，这种另外的物体参数可以包括例如虚拟平坦面上的物体的3d模型相对于确认的或可确认的起始位置的旋转角度。

120、机器学习模型例如还可以设计和设置为根据本说明书的转换机器学习模型或者包括这种转换机器学习模型。在这种情况下，除了由物体的3d模型采用的稳定姿态的识别信息之外，已捕获的图像的分配的标识还可以包括例如根据本说明书的另外的物体参数。在此，这种另外的物体参数可以例如包括物体的3d模型从确认的或可确认的起始姿态到物体在存放面上的真实位置的上述转换的转换数据。在此，物体的3d模型的这种确认的或可确认的起始姿态也可以例如是对应的3d建模程序(例如3d-cad软件)中的物体的3d模型的位置。

121、在一个有利的设计方案中，各上述的标识参数和/或物体参数例如可以自动得出。由于数字模拟环境中的物体的尺寸数据、方位数据和其他描述姿态和/或位置的数据是已知的，(否则无法进行物体模拟、尤其物理模拟)，所以可以直接从模拟系统中提取物体的位置、物体的姿态、物体相对于虚拟平坦面的旋转角度、根据本说明书的转换数据和关于物体的3d模型的其他类似的物体参数。因此可行的是：上述用于使用物体的3d模型产生训练数据的方法自动地运行，进而能自动地产生或生成用于根据本说明书的机器学习模型的训练数据。

122、但是，相应的上述标识参数也可以至少部分手动地通过用户得出，例如手动地通过测量或借助于至少部分自动化的测量系统得出。此外，这种标识参数可以至少部分自动地例如通过图像评估方法或用于执行在此描述的方法的模拟环境中的附加的自动数字测量系统来得出。

123、在另外的有利的设计方案中，可以通过以下方法步骤来设计和设置用于生成转换机器学习模型的训练数据的方法：

124、-选定物体的3d模型，

125、-选定虚拟平面之上的物体3d模型的起始数据，

126、-模拟物体(250、350)的3d模型朝虚拟平坦面的方向的下落运动，

127、-在物体(250，350)的3d模型在虚拟平坦面上的模拟的运动已停止之后，创建物体(250，350)的3d模型的图像(132)，

128、-使用所创建的图像得出关于物体的3d模型的至少一个物体参数，其中至少一个物体参数包括物体的标识数据、物体的3d模型的姿态或位置、关于围绕物体的3d模型的虚拟框的信息、物体的3d模型的稳定姿态的标识和/或物体的3d模型在虚拟平面上的旋转角度，

129、-将标识分配给所得出的至少一个物体参数，其中标识包括物体的3d模型从确认的或可确认的起始位置到物体的3d模型在虚拟平坦面上的所得出的位置的转换的转换数据，

130、-存储训练数据，该训练数据包括至少一个物体参数以及配属于物体参数的标识。

131、在此，训练数据可以存储在存储装置中和/或例如存储对应的训练数据的数据库或数据集合中。

132、在此，物体的所得出的位置例如表示为物体的3d模型的标识数据、物体的3d模型的姿态或位置、关于围绕物体的3d模型的虚拟框的信息、物体的3d模型的稳定姿态的标识和/或物体的3d模型的旋转角度。

133、在此，物体的3d模型的标识数据可以是或包括例如识别信息、围绕物体的3d模型的虚拟框的描述数据、稳定姿态的识别信息和/或比例数据。

134、在此，可以根据被说明书来设计和设置转换数据、确认的或可确认的起始位置、物体的3d模型的旋转角度、物体的3d模型的稳定姿态的识别信息或标识以及至少一个物体参数。此外，还可以根据本说明书来设计和设置物体的3d模型的姿态或位置和/或关于围绕物体的3d模型的虚拟框的信息。

135、至少一个物体参数例如可以是或包括关于物体的标识、关于物体的识别信息和/或还有物体的名称或简短描述或描述。在此，例如标识可以设计和设置为使得其允许标识物体。在此，识别信息可以是相应物体的单独的名称、标识等或者可以包括这种信息。

136、此外，至少一个物体参数例如可以包括关于已捕获的物体的姿态、位置等。这种姿态例如可以通过表征点和表征点的姿态给出，和/或例如还可以通过已捕获的图像上的虚拟限界框、所谓的“边界框”来限定。此外或附加地，这种姿态或位置还可以例如通过物体的中央点(例如重心)的姿态和相对于限定的或可限定的标准姿态的旋转角度来给出。

137、此外，至少一个物体参数还可以包括物体的特性、例如颜色、材料或材料组合或类似的特性。

138、已捕获的物体的至少一物体参数的确定在此涉及在已捕获的图像上示出的物体。因此，至少一个物体参数配属于已捕获的图像上示出的物体，如漆在已捕获的图像上所示出的那样。

139、上述目的还通过一种用于生成机器学习模型的训练数据的方法实现，

140、其特征在于如下方法步骤：

141、-选定物体的3d模型，

142、-选定虚拟平坦面，

143、-确定物体的3d模型的姿态，使得物体的3d模型在三个或更多个点处接触虚拟平坦面，

144、-创建物体的数字模型的图像，

145、-将标识分配给图像，其中该标识包括由物体的3d模型采用的稳定姿态的识别信息，

146、-存储训练数据，该训练数据包括所创建的图像和配属于其的标识。

147、在此，训练数据可以存储在存储装置中和/或例如存储在用于对应的训练数据的数据库或数据集合中。

148、在此，例如可以根据本说明书来设计和设置机器学习模型。此外，可以根据本说明书来设计和设置所描述的用于生成机器学习模型的训练数据的方法。

149、在一个有利的设计方案中，所提到的方法在此也可以多次执行，以便例如产生尽可能大数量的具有分配的标识的图像以训练机器学习模型。在此，例如可以频繁地重复该方法，使得虚拟平坦面上的物体的数字模型的多个(有利地是全部)可能的稳定姿态在图像中的至少一个上示出。在另外的有利的设计方案中，该方法例如可以频繁地重复，使得物体的数字模型在虚拟平坦面上的尽可能多的(有利地全部)可能的稳定姿态在图像中的至少两个或图像中的至少是十个上示出。

150、上述用于生成训练数据的方法还可以被改进，使得相应的方法还分别设计和设置用于训练根据本说明书的机器学习模型，或者用于训练根据本说明书的另外的机器学习模型，使得该机器学习模型或该另外的机器学习模型使用已捕获的或所得出的图像和配属于图像的、用于又物体或物体的3d模型所采用的稳定姿态的识别信息来训练。

151、在此，机器学习模型和/或另外的机器学习模型例如可以设计和设置为识别机器学习模型和/或角度识别机器学习模型和/或转换机器学习模型或包括这种机器学习模型。因此，机器学习模型和/或另外的机器学习模型可以包括所提到的机器学习模型中的一个、两个或者甚至全部三个的功能。

152、在另外的设计方案中，机器学习模型例如可以设计和设置为识别机器学习模型和/或角度捕获机器学习模型，而另外的机器学习模型例如可以设计和设置为转换机器学习模型。

153、在一个有利的设计方案中，该方法例如可以用于训练根据本说明书的识别机器学习模型、根据本说明书的角度识别机器学习模型和/或根据本说明书的转换机器学习模型。

154、在此，机器学习模型和/或另外的机器学习模型的训练可以例如使用已捕获的物体图像、物体的位置、物体的识别信息、物体的旋转角度和/或关于物体采用的稳定姿态的标识来进行。在此，为了训练机器学习模型和/或另外的机器学习模型，例如将物体的位置、物体的识别信息、物体的旋转角度和/或关于物体采用的稳定姿态的标识分配给已捕获的物体图像。参数、在此已捕获的图像的分配更一般地也被称为所谓的“标记”。

155、为了训练设计为识别机器学习模型的机器学习模型，可以例如用物体的位置、物体的识别信息和/或关于由物体采用的稳定姿态的标识来标记已捕获的图像。

156、此外，为了训练设计为旋转识别机器学习模型的机器学习模型，例如可以借助物体的位置、物体的识别信息、物体的旋转角度和/或关于物体采用的稳定姿态的标识来标记已捕获的物体图像。

157、为了训练设计为转换机器学习模型的机器学习模型，可以借助用于将物体的初始姿态转换成在已捕获的图像上锁采用的方位的对应的转换数据来标记已捕获的图像。

158、此外，为了训练设计为转换机器学习模型的机器学习模型，可以例如借助用于将物体的初始姿态转换成在已捕获的或所创建的图像上采用的方位的对应的转换数据来标记使用已捕获的或所创建的图像得出的至少一个物体参数。

159、上述目的还通过借助用于根据本说明书产生训练数据的方法生成的训练数据来建立机器学习模型、特别是根据本说明书的机器学习模型的用途来实现。

160、此外，上述目的同样通过根据本说明书的机器学习模型来实现，其中该机器学习模型使用根据本说明书生成的训练数据来建立。

161、上述目的还通过用于使用机器学习模型来得出抓取装置的控制数据的方法来实现，机器学习模型借助根据本说明书生成的训练数据建立，

162、其中该方法设计和设置用于抓取物体并且包括以下步骤：

163、-捕获物体的图像，

164、-确定已捕获的物体的至少一个物体参数，

165、-得出用于抓取物体的抓取装置在至少一个抓取点处的控制数据，其中还使用机器学习模型来得出物体的至少一个抓取点。

166、特别地，使用机器学习模型来确定至少一个物体参数和/或得出抓取装置的控制数据。

167、在此，例如可以根据本说明书来设计和设置机器学习模型。

168、在此，例如可以根据本说明书来设计和设置物体、物体的图像的捕获以及至少一个物体参数。

169、在此，在该方法的一个有利的设计方案中可以提出：在得出物体的至少一个抓取点的范围内使用机器学习模型来分析已捕获的物体图像。特别地可以提出：在确定至少一个物体参数的范围内和/或在得出抓取装置的控制数据的范围内，使用机器学习模型来分析已捕获的物体图像。

170、因为在建立机器学习模型的范围中适用根据本说明书的训练数据，所以使用关于考虑的物体的至少一个稳定姿态的信息来进行所提到的分析。

171、上述设计方案基于如下认知：在分析物体图像时，例如为了鉴别物体或确定其他物体参数，不必考虑物体的所有可能的定向，而是可以认定：物体处于可能的稳定姿态。这显著地限制在对应的图像分析中物体的可能姿态的可能性的数量。以这种方式，用于更简单和/或更快速地运行用于鉴别物体和/或确定其姿态的对应的分析方法。与现有技术相比，借此进一步简化随后对物体的相应抓取点的得出。

172、此外，如果在得出至少一个抓取点的范围内使用关于物体的至少一个可能的稳定姿态的信息，则也可以更简单地、更快速和/或更有效地执行物体的至少一个抓取点的得出。这可以例如通过使用根据本说明书的机器学习模型来分析已捕获的物体图像来实现。在此，将用于图像分析的算法限制于物体的可能的稳定姿态允许显著减少分析耗费，因为物体的可能姿态的大部分在此可被忽略。关于物体的至少一个可能的稳定姿态的信息例如可以设计和设置为根据本说明书的ml模型(机器学习模型)。在此，例如，借助于将机器学习方法用于关于至少一种可能的稳定姿态的所得出的信息来训练和/或建立机器学习模型。例如，这种机器学习模型可以设计和设置为神经网络。

173、在此，将关于物体的至少一个可能的稳定姿态的信息的使用被理解为这种信息在计算或得出数据或信息的范围内的任何使用。因此，例如使用根据本说明书的机器学习模型表示使用根据物体的可能的稳定姿态的信息的使用，其中使用根据本说明书的训练数据训练或建立机器学习模型。

174、因此，例如对应的机器学习模型可以在鉴别物体的范围内或也在确定物体姿态的范围内使用。

175、物体的3d模型的选定也能够以类似的方式使用根据本说明书的机器学习模型来执行。在此，例如可以借助于使用机器学习模型的上述方法流程之一来得出物体的识别信息，并且然后根据识别信息可以例如从对应的数据库中选定对应的3d模型。

176、此外，根据本说明书，物体的至少一个抓取点的确定以及抓取装置的控制数据的得出能够以类似的方式使用机器学习模型来进行。

177、例如，因此还可以经由所提出的机器学习模型确定已捕获的物体的至少一个物体参数，使得对于该物体得出其稳定姿态的标识、距所确认的零点的间距角度和/或关于表面法线相对于物体停放面的转动角度。基于这种信息，然后例如可以将用于物体的3d模型的转换的转换数据包括的可能在那里确认的模型抓取点确认为对应的真实物体的姿态。例如，然后借助转换数据，可以得出物体的至少一个抓取点。以类似的方式，然后也可以从转换数据和关于例如物体的可接近性的其他信息得出用于抓取装置的控制数据。

178、上述目的还通过一种用于抓取物体的系统来实现，该系统包括：

179、用于捕获物体的图像的光学捕获装置，

180、用于确定物体的至少一个物体参数和/或用于得出用于抓取物体的抓取装置的控制数据的数据处理装置，

181、其中系统包括借助根据本说明书生成的训练数据建立的机器学习模型，并且其中系统设计和设置用于执行根据本说明书的用于得出抓取装置的控制数据的方法。

182、在一个有利的设计方式中，数据处理装置例如可以包括机器学习模型或根据本说明书的机器学习模型。例如，数据处理装置可以设计和设置为可编程逻辑控制器，其中机器学习模型例如可以设置在可编程逻辑控制器的中央模块中。可替代地，机器学习模型也可以设置在功能模块中，功能模块经由可编程逻辑控制器的背板总线与可编程逻辑控制器的上述中央模块连接。

183、为了执行该方法，数据处理装置可以例如包括对应的执行环境，该执行环境设计和设置为在其运行是执行根据本说明书的方法。

184、在此，数据处理装置还可以包括多个部件或模块(例如包括一个或多个控制器、边缘设备、sps(可编程逻辑控制器)模块、计算机和/或类似设备)。然后，这种部件或模块例如可以经由对应的通信连接、例如以太网、工业以太网、现场总线、背板总线和/或类似设备来连接。在另外的设计方案中，通信连接例如还可以设计和设置用于实时通信。

185、在根据本说明书的系统的另外的设计方案中，数据处理装置可以设计和设置为具有中央模块和另外的模块的模块化可编程逻辑控制器，或者可以包括这种可编程逻辑控制器，其中另外的模块还包括机器学习模型。

186、还可以提出：数据处理装置包括具有中央模块和另外的模块的模块化的可编程逻辑控制器，

187、并且使用另外的模块来确定物体的至少一个物体参数。

188、sps是一种可编程并用于调节或控制设施或机器的控制装置。诸如流程控制装置的特定功能可以在这种sps中实施，使得能够以该方式控制进程或机器的输入和输出信号。例如在标准en 61131中定义sps。

189、为了将可编程逻辑控制器联接于设施或机器，使用设施或机器的通常连接于可编程逻辑控制器的输出端的执行器以及设施或机器的传感器。原则上，传感器位于sps输入端处，其中可编程逻辑控制器通过传感器获得有关设施或机器中发生情况的信息。例如如下装置适合作为传感器：光栅、限位开关、按钮、增量编码器、料位传感器、温度传感器。例如如下装置适用于执行器：用于接通电马达的接触器、用于压缩空气或液压的电阀、驱动控制模块、马达、驱动器。

190、sps的实现能够以不同的方式和方法进行。这就是说，其可以作为单个电子设备、作为软件模拟、作为软件sps(或也称作为“虚拟sps”或sps应用或sps-app(应用程序))或者作为pc(个人电脑)插入卡等实现。通常，存在模块化解决方案，在模块化解决方案的范围中sps由多个插接模块组装。

191、在此，模块化可编程逻辑控制器可以设计和设置为，使得设有或可以设有多个模块，其中通常除了所谓的中央模块之外，可以设有一个或多个扩展模块，其中，中央模块设计和设置用于运行控制程序，例如用于控制部件、机器或设施(或其一部分)。例如，这种扩展模块可以设计和设置为电流/电压供应装置，或者还可以用于输入和/或输出信号或数据。此外，扩展模块还可以设计和设置为用于接管特定任务的功能模块(例如计数器、逆变器、使用人工智能方法(例如包括神经网络或其他ml模型)进行数据处理…)。

192、例如，功能模块也可以设计和设置为用于使用人工智能方法执行动作的ai(人工智能)模块。这种功能模块可以例如包括神经网络或机器学习模型或根据本说明书的另外的机器学习模型。

193、在本设计方案中包括机器学习模型的另外的模块然后例如可以在执行该方法的范围内执行特定任务、例如计算耗费的子任务或计算耗费的特定任务(例如转换、使用al或ml方法等)。为此，另外的模块例如可以特定地设计和设置和/或还包括用于对应软件的另外的程序运行环境。

194、借助这种设计方案进一步简化用于抓取物体的系统，因为数据处理装置可以专门适配于所设的抓取任务。特别地，这是可行的，而不必改变例如可在可编程逻辑控制器的中央模块中运行的方法。然后，特定的子任务可以在另外的模块中运行，另外的模块然后可以根据精确的抓取任务来不同地设计和设置。

195、在根据本说明书的系统的另一设计方案中，数据处理装置可以包括边缘设备，或者设计和设置为边缘设备，其中边缘设备还包括机器学习模型。

196、此外可以提出：使用边缘设备来确定物体的至少一个物体参数。

197、边缘设备例如可以包括用于控制设备或设施的应用和/或也包括用于处理、分析和/或转发用于设备或设施的控制装置的数据或设备或设施本身的数据的应用。例如，这种应用可以设计和设置为具有可编程逻辑控制器的功能的应用。在此，边缘设备例如可以与设备或设施的控制装置连接或者也可以直接与要控制的设备或设施连接。此外，边缘设备可以设计和设置为，使得附加地还与数据网络或云连接，或者设计和设置用于与对应的数据网络或对应的云连接。

198、边缘设备还可以设计和设置用于实现附加功能结合例如机器、设施或其部件或部分的控制。例如，这种附加功能可以是：

199、-收集数据并将其传输到云中进行预处理、压缩和/或分析；

200、-例如借助人工智能方法分析数据，例如借助神经网络或其他机器学习模型来分析。例如，边缘设备为此可以包括机器学习模型、例如根据本说明书的机器学习模型。

201、因为与诸如控制器或sps的更传统的工业控制装置相比边缘设备通常具有更高的计算性能，所以这种设计方案进一步简化和/或加速根据本说明书的方法。在一个可能的设计方案中，在此可以提出：根据本说明书的方法完全在这种边缘设备上执行。

202、在一个可替代的设计方案中还可以提出：在边缘设备上执行特别计算密集的和/或耗费的方法步骤，而在数据处理装置的另外的部件、例如控制装置或可编程逻辑控制器上执行其他方法步骤。这种计算密集的和/或耗费的方法步骤例如可以是使用机器学习技术或人工智能的方法步骤，例如使用根据本说明书的一个或多个机器学习模型。

203、在此，这种具有边缘设备的系统还可以设计和设置使用机器学习模型来确定物体的至少一个物体参数，其中边缘设备包括机器学习模型。

204、此外，这种具有边缘设备的系统还可以设计和设置为使用机器学习模型来得出抓取设备的控制数据，其中边缘设备包括机器学习模型。

205、还在从属权利要求中得出其他有利的设计方案。

206、下面示出根据本说明书的方法和/或设备的示例性的可能的设计方案。

207、所述实施例基于如下问题：在许多制造进程中，部件可经由作为运输系统的所谓的“装料器”提供。在此，这种部件例如可以来自外部供应商或来自上游的内部生产进程。例如，对于另外的制造进程需要：部件被隔离并且单独地以特定方式操纵或运输。特别是对于其中通过机器人臂进行进一步处理的制造方法，需要关于隔离的部件的姿态和取向的精确信息。当然，在这种装料器中，部件的姿态和位置是完全随机的并且无法以预设方式确认。因此，必须动态得出这种数据，以便能够例如借助机器人臂成功抓取和运输部件。

208、例如，在所述实施例的范围内，根据本说明书的用于抓取物体的示例性的方法和系统可以设计和设置为，使得系统可以定位如下的物体或部件，对于其可使用物体或部件的3d模型。例如，这种3d模型可以由3d-cad软件创建。这种方法例如可以在不同的硬件设备上执行，例如使用可编程逻辑控制器、模块化可编程逻辑控制器、边缘设备或者还使用云中的计算能力，例如以便做出对应的图像处理。在此，可编程逻辑控制器例如可以设计为，使得使用人工智能或机器学习技术在用于执行人工智能方法的可编程逻辑控制器的特定功能模块中执行方法步骤。这种模块可以包括神经网络。

209、下面描述的示例性的系统例如可以使用物体的对应的3d模型来识别任何物体的6d(六维)的取向，使得可以在3d模型中指定的抓取点处可靠地抓取物体。这种运行使得系统以高的可重复的精度例如为特定的生产步骤输送相应的输送部件。

210、用于执行这种方法的系统的一般设计例如可以包括以下提到的部件：

211、a.)用于要处理的部件的具有平坦表面的、可选地具有振动分离装置的运输系统；

212、b.)用于抓取要处理的部件的机器人臂；

213、c.)相机，其用于捕获运输系统上的要处理的部件的用于相应的相机控制器的图像数据；

214、d.)可编程逻辑控制器(plc)，其用于分别将抓取坐标提供给输送部件并且传输给机器人；

215、e.)相机控制器，其用于鉴别部件(分类)，用于确定其取向(探测/分割)，并用于得出抓取坐标。

216、借此，这种示例性的系统例如可以包括：plc、相机控制器、相机、在相应的部件上运行的软件以及产生用于所提到的软件的输入值的其他软件。

217、在捕获具有多个部件的图像后，示例描述的系统设计和设置用于识别部件，然后选定要抓取的特定部件并且确定用于要抓取的部件的抓取点。

218、为此目的，该软件和其他软件执行以下步骤，例如：

219、1.)图像分割：在第一步骤中，使用ai模型(m-seg)对图像进行分割。在此，分割ai模型m-seg是根据本说明书的识别机器学习模型的示例。在此认定：每个部件被分隔地考虑，使得其单独或单个位于存放面或输送装置上。然后，对每个部件得出矩形虚拟边界框(x、y中的位置)，确定物体类型，以及计算x、y方向上的位置/比例。在此，该位置对应于6d空间的旋转维度中的近似取向，这基于部件的可能的稳定姿态，如其在下文中解释。所选定的部件、特别是例如相关联的虚拟边界框于是限定感兴趣区域(roi)，后续步骤作用于该感兴趣区域。

220、2.)在其他的可选的步骤中，计算所选定的部件相对于存放面的旋转角度。这借助所谓的回归和/或分类ai模型(m-rotest)执行。在此，m-rotest是根据本说明书的角度识别机器学习模型的示例。

221、3.)在下一步骤中，将第三ai模型(“m(部件id、所采用的稳定姿态、旋转角度)”)应用于所选部件所处的roi。在此，在前面的步骤中已确定的变量、即部件的类型(部件id)、所采用的稳定姿态以及部件的所得出的旋转角度用作为输入变量。对于第三ai模型，例如可以使用“深度神经网络”、“随机森林”模型或类似的机器学习模型。此外，例如从对应的数据库中选定所选择的部件的3d模型。在其他的步骤中，然后将图像评估方法、例如surf、sift或brisk应用于roi。在此，将所选择的部件的3d模型的识别的特征在已捕获的部件图像中进行比较。在此，最后提到的步骤得到在所选择的部件的3d模型和现实中的监测到的相机图像上的所选择的部件之间的转换数据。然后，可以将转换数据用于：将3d模型中标识的抓取点转换到真实空间，使得然后对于所选定的部件提供抓取点的坐标。在此，第三ai模型m(部件id、所采用的稳定姿态、旋转角度)是根据本说明书的转换机器学习模型的示例。

222、下面描述：如何设计或训练上述软件或提到的机器学习模型(例如m-seg、m-rotest和m(部件id、所采用的稳定姿态、旋转角度))以执行所描述的方法。

223、为此，提供要抓取部件的3d模型作为输入，其中在3d模型中指定或标识用于部件的可能的抓取点。

224、此外，然后在第一步骤中确定部件在平坦面上的可能的稳定姿态。在此，这种可能的稳定姿态是物体处于平衡中且不翻倒的姿态。例如，在硬币的情况下，这是硬币以边缘竖立的姿态。

225、可能的稳定姿态例如可以通过以下方式得出，即使物体以任意初始条件落下到平坦面上。这可以在现实中进行，或者也可以使用部件的3d模型在对应的物理模拟中进行。然后，在模拟中和在现实中都等待，直至不再运动。然后所达到的位置视作为稳定姿态，并且作为稳定姿态被捕获。用于得出可能的稳定姿态的另外的选项是得出如下位置，在该位置中所选定的部件在(至少)三个点处接触平坦面，其中物体然后在任何其他点处都不会穿过该面。然后，分别将单独的标识分配给以所描述的方式之一得出的稳定姿态。

226、随后，产生用于分割机器学习模型(m-seg)的训练数据。在此，训练数据由一组具有已捕获的物体的图像构成，借助物体的相应的位置、识别信息或物体类型以及相应采用的稳定姿态来标记或注释。例如，可以通过在真实世界中将不同物体定位在对应的稳定姿态中的方式来产生这种数据。可替代地，也可以将物体的3d模型在光线追踪器软件或游戏引擎中虚拟地布置在稳定姿态中，其中然后人工产生物体的对应的图像。

227、然后，为物体的对应的图像产生标签。每个物体的标签由矩形的虚拟边界框(x1，y1，x2，y2)、物体类型和所采用的稳定姿态的标识组成。

228、如果使用可选的角度识别模型m-rotest，则还将所选择的部件相对于存放面的表面法线的旋转角度作为标签相关联。在使用模拟以产生这种数据时，例如使用光线追踪器引擎来产生，可以自动产生数据以标记已捕获的图像。

229、于是，以这种方式产生的全部数据都可以用于例如训练深度神经网络，其中例如可以使用标准架构、例如用于m-seg模型的yolo和用于回归或回归模型的卷积神经网络。

230、在更后续的步骤中，然后产生相应部件在相应的稳定位置中的基准影响。这又可以使用真实物体来进行，或者也可以通过上述虚拟模拟来产生。在此，使用真实物体的缺点是必须手动进行标记。在使用虚拟3d模型的情况下，可以自动产生对于标记所需的数据，进而标记也可以自动运行。此外，如果图像由于借助3d模型的物理模拟产生，则还可以更精确地得出转换数据。

231、然后运行所产生的转换数据，使得借助于上述方法在特定部件的3d模型中标识的抓取点转换为真实已捕获的部件的相应的抓取点的坐标，使得抓取装置可以使用真实部件的坐标在对应的抓取点处抓取。