用于物体检测的系统和方法与流程

本技术总体上针对机器人系统，并且更具体地针对用于标识和检测物体的系统、过程和技术。更特别地，本技术可用于标识和检测容器中的物体。

背景技术：

1、随着它们不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在广泛用于各种不同的领域。例如，机器人可用于在制造和/或组装、填充(packing)和/或打包、运输和/或装运等中执行各种任务(例如，通过空间操纵或转移物体)。在执行任务时，机器人可以复制人类动作，从而替代或减少执行危险或重复性任务另外所需的人类参与。

2、然而，尽管技术进步，机器人通常缺乏复制执行更大和/或更复杂任务所需的人类交互所需的复杂性。因此，仍然需要用于管理机器人之间的操作和/或交互的改进技术和系统。

技术实现思路

1、在实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板集的计算系统。该计算系统包括被配置用于以下操作的至少一个处理电路。获取物体的注册数据，其中该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。

2、在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板集的方法。该方法包括获取物体的注册数据，该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。

3、在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收物体的注册数据，该注册数据包括表示该物体的物体模型；执行操作以在三维空间中生成物体模型的多个视点；执行操作以估计物体模型在多个视点中的每一个处的多个外观；执行操作以根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集输出给机器人系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。

4、在另一个实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板的计算系统。该计算系统包括至少一个处理电路。处理电路被配置用于以下步骤。获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。

5、在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板的方法。该方法包括获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。

6、在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收包括数字表示的物体的物体信息；执行操作以从物体信息中提取二维测量信息；执行操作以从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息向机器人系统输出物体识别模板。

7、在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。

8、在另一个实施例中，提供了一种方法。该方法包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。

9、在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于细化检测假设的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收场景中的物体的物体图像信息；接收包括表示模板物体的对应物体识别模板的检测假设；执行操作以标识模板物体和物体图像信息之间的差异；执行操作以标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；执行操作以调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，向机器人系统输出包括调整后的对应物体识别模板的调整后的检测假设。

10、在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；以及通过以下操作来验证检测假设集中的每个检测假设：基于比较检测假设的物体识别模板的三维信息和对应于该物体的物体图像信息的三维信息，生成多个三维验证分数，该多个三维验证分数包括遮挡验证器分数、点云验证器分数、空洞匹配验证器分数和法线向量验证器分数中的至少一个；基于比较检测假设的对应物体识别模板的二维信息与物体图像信息的三维信息，生成多个二维验证分数，该多个二维验证分数包括渲染的匹配验证器分数和模板匹配验证器分数中的至少一个；根据多个三维验证分数和多个二维验证分数从检测假设集中过滤检测假设；以及根据验证后的检测假设集中剩余的未过滤检测假设来检测场景中的物体。

11、在另一个实施例中，提供了一种方法。该方法包括获取场景中的物体的物体图像信息；获取检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；以及通过以下操作来验证检测假设集中的每个检测假设：基于比较检测假设的物体识别模板的三维信息和对应于该物体的物体图像信息的三维信息，生成多个三维验证分数，该多个三维验证分数包括遮挡验证器分数、点云验证器分数、空洞匹配验证器分数和法线向量验证器分数中的至少一个；基于比较检测假设的对应物体识别模板的二维信息与物体图像信息的三维信息，生成多个二维验证分数，该多个二维验证分数包括渲染的匹配验证器分数和模板匹配验证器分数中的至少一个；根据多个三维验证分数和多个二维验证分数从检测假设集中过滤检测假设；以及根据验证后的检测假设集中剩余的未过滤检测假设来检测场景中的物体。

12、在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于验证检测假设的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收场景中的物体的物体图像信息；接收检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；执行操作以基于比较检测假设的物体识别模板的三维信息和对应于该物体的物体图像信息的三维信息，生成多个三维验证分数，该多个三维验证分数包括遮挡验证器分数、点云验证器分数、空洞匹配验证器分数和法线向量验证器分数中的至少一个；执行操作以基于比较检测假设的对应物体识别模板的二维信息与物体图像信息的三维信息，生成多个二维验证分数，该多个二维验证分数包括渲染的匹配验证器分数和模板匹配验证器分数中的至少一个；执行操作以根据多个三维验证分数和多个二维验证分数从检测假设集中过滤检测假设；根据验证后的检测假设集中剩余的未过滤检测假设来检测场景中的物体；以及向机器人系统输出检测到的场景中的物体。