用于控制机器人的设备和方法与流程

本公开涉及用于控制机器人的设备和方法。

背景技术：

1、机器人技能可以通过从演示学习（lfd）方法来编程，其中机器人从演示学习技能的名义计划。lfd的主要思想是通过监测机器人工作空间的相机的姿态和机器人要处理的目标对象来参数化高斯分布。为此，并且也为了使用所得到的机器人控制模型，需要对给定场景中的对象姿态施行估计。一种可能性是基于rgb图像的姿态估计技术。然而，这些可能都不可靠。

2、因此，期望允许在lfd上下文中进行可靠姿态估计的方法。

技术实现思路

1、根据各种实施例，提供了一种用于控制机器人的方法，该方法包括：施行演示，其中每个演示演示对象的处理；对于每个演示，从对象的机器人的视角提供至少一个描述符图像，其中描述符图像指定对象上的位置的特征点；从指定的特征点选择特征点集，其中通过搜索奖励在描述符图像中可见的所选特征点的目标函数的最优值来选择特征点；使用演示来训练机器人控制模型，其中机器人控制模型被配置为取决于输入的对象姿态来输出控制信息；并且通过以下方式针对具有对象的控制场景控制机器人：从机器人的视角确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，为控制场景确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于机器人控制模型来控制机器人处理对象，其中所估计的姿态被供应给机器人控制模型作为输入。

2、因此，施行用于对象姿态估计的特征点的自动选择，使得所选特征点清晰可见（例如，在大多数描述符图像中）。因此，可以看到特征点的选择是基于以下假设：在演示中看到的特征（例如，为记录演示而拍摄的图像）在某种意义上是好的特征，并且它们大部分时间是在机器人应该施行相应操纵技能的场景中看到的。

3、机器人的视角例如是附接到机器人的相机的视角，例如机器人末端效应器的视角。

4、因此，上面所描述的方法允许对对象进行准确和可靠的姿态（例如6d姿态）估计。

5、在下文中，给出了各种示例。

6、示例1是一种如上面所描述的用于控制机器人的方法。

7、示例2是根据示例1的方法，其中目标函数进一步奖励在描述符空间中间隔开的一个或多个所选特征点，对象上对应于所选特征点的位置在欧几里德空间中间隔开，并且对象的所选特征点的检测误差低。

8、这些条件确保可以为对象可靠地检测特征点，并且当已经检测到特征点时，可以可靠地确定对象的姿态。

9、示例3是根据示例1或2的方法，进一步包括将平面与对象匹配，并且选择特征点，使得它们在平面上定义坐标框架，并且从所定位的特征点的确定的欧几里德坐标和关于匹配的平面的姿态的信息来估计姿态。

10、这确保了可靠的姿态估计，即使对象是平坦的和/或在空间方向上几乎没有变化（即，不是“真实的”3d对象）。

11、示例4是根据示例3的方法，其中从所确定的欧几里德坐标估计姿态包括将所定位的特征点的欧几里德坐标投影到匹配的超平面。

12、因此，即使检测到特征点使得它们的欧几里德坐标不在平面上，也可以导出平面坐标框架（在平面中）。

13、示例5是根据示例3或4的方法，其中平面与对象匹配，选择特征点使得它们定义平面上的坐标框架，并且如果对象在空间方向上的变化低于预确定阈值，则从所定位的特征点的确定的欧几里德坐标和关于平面姿态的信息来估计姿态。

14、因此，可以针对真实和非真实3d对象两者训练可靠的姿态确定方案。特别地，真实3d对象的姿态检测仍然是高效的，因为（超）平面拟合仅在必要时应用。

15、示例6是根据示例1至5中任一个的方法，包括从所选特征点的欧几里德坐标确定坐标框架的导出规则，其中从所确定的欧几里德坐标估计姿态包括将该导出规则应用于所选特征点，其中该导出规则是通过在欧几里德坐标中搜索坐标框架与噪声的依赖性的最小值来确定的。

16、这确保了可靠的姿态检测，即使在特征点的检测误差的情况下。

17、示例7是根据示例1至6中任一个的方法，其中使用演示来训练机器人控制模型包括，对于每个演示，在演示中定位对象的描述符图像中的所选特征点集，为演示确定所定位的特征点的欧几里德坐标，并且从为演示确定的欧几里德坐标来估计姿态。

18、这意味着所选特征点可以用于机器人控制模型本身训练的姿态估计。

19、示例8是根据示例1至7中任一个的方法，包括通过密集对象网络从对象的相机图像确定对象的描述符图像。

20、密集对象网络（don）可以被训练来唯一地标识对象上的点。给定对象的不同配置，可以可靠地跟踪这样的点。

21、示例9是一种机器人控制器，被配置为施行示例1至8中任一项的方法。

22、示例10是一种包括指令的计算机程序，该指令当由计算机执行时使得计算机施行根据示例1至8中任一项的方法。

23、示例11是一种包括指令的计算机可读介质，该指令当由计算机执行时使得计算机施行根据示例1至8中任一项的方法。

技术特征：

1.一种用于控制机器人的方法，包括：

2.根据权利要求1所述的方法，其中所述目标函数进一步奖励在描述符空间中间隔开的一个或多个所选特征点，对象上对应于所选特征点的位置在欧几里德空间中间隔开，并且对象的所选特征点的检测误差低。

3.根据权利要求1或2所述的方法，进一步包括将平面与对象匹配，并且选择特征点，使得它们在平面上定义坐标框架，并从所定位的特征点的确定的欧几里德坐标和关于匹配的平面的姿态的信息来估计姿态。

4.根据权利要求3所述的方法，其中从所确定的欧几里德坐标来估计姿态包括将所定位的特征点的欧几里德坐标投影到所匹配的超平面。

5.根据权利要求3或4所述的方法，其中所述平面与对象匹配，选择特征点，使得它们在平面上定义坐标框架，并且如果对象在空间方向上的变化低于预确定阈值，则从所定位的特征点的确定的欧几里德坐标和关于平面的姿态的信息来估计姿态。

6.根据权利要求1至5中任一项所述的方法，包括从所选特征点的欧几里德坐标确定坐标框架的导出规则，其中从所确定的欧几里德坐标估计姿态包括将导出规则应用于所选特征点，其中所述导出规则是通过在欧几里德坐标中搜索坐标框架与噪声的依赖性的最小值来确定的。

7.根据权利要求1至6中任一项所述的方法，其中使用演示来训练机器人控制模型包括：对于每个演示，在对象的描述符图像中定位所选特征点集；确定用于演示的所定位的特征点的欧几里德坐标；以及从用于演示的所确定的欧几里德坐标来估计姿态。

8.根据权利要求1至7中任一项所述的方法，包括通过密集对象网络从对象的相机图像确定对象的描述符图像。

9.一种机器人控制器，被配置为施行权利要求1至8中任一项的方法。

10.一种包括指令的计算机程序，所述指令当由计算机执行时，使得计算机施行根据权利要求1至8中任一项的方法。

11.一种包括指令的计算机可读介质，所述指令当由计算机执行时，使得计算机施行根据权利要求1至8中任一项的方法。

技术总结
根据各种实施例，描述了一种用于控制机器人的方法，该方法包括：从对象的机器人的视角施行演示和用于演示的描述符图像；选择特征点集，其中通过搜索目标函数的最优值来选择特征点，该目标函数奖励在描述符图像中可见的所选特征点；使用演示来训练机器人控制模型；以及通过以下方式针对具有对象的控制场景控制机器人：确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于具有所估计的姿态的机器人控制模型来控制机器人处理对象。

技术研发人员：A·G·库普奇科,国萌
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/1/13