到动态对象的最小距离的有效计算方法与流程

本公开涉及用于工业机器人运动控制的对象检测领域，并且更具体地，涉及一种使用来自一个或多个三维相机的图像来计算机器人与存在于机器人的工作空间中的动态对象之间的最小距离的方法，其中在每个图像中检测对象的边缘并且从得到的图像中减去机器人和背景，将深度值叠加在剩余的对象边缘像素上，并且仅在对象边缘像素与机器人臂上的控制点之间执行距离计算。

背景技术：

1、使用工业机器人来执行各种各样的制造、组装和材料移动操作是众所周知的。在许多机器人工作空间环境中，障碍物存在并且可能存在于机器人运动的路径中。障碍物可以是永久性结构，例如机器和固定装置，由于它们的静态性质，机器人可以容易地避开这些永久性结构。障碍物还可以是随机地移动进入或穿过机器人工作空间的动态对象。动态对象必须由机器人控制器在实时计算中考虑，其中机器人必须在执行操作的同时操纵绕过对象。必须绝对避免机器人和任何障碍物之间的碰撞。

2、用于基于相机图像检测动态对象的现有技术在本领域中是已知的，然而，这些已知技术受到显著的限制。一种已知技术使用多个深度传感器来创建限定机器人工作空间中的任何对象的外表面的点云，并且在每个机器人运动时间步计算点云中的各个点与机器人臂之间的最小距离。然而，由于点云中的点数，这些计算是极其计算密集且缓慢的。

3、由于基于点云的对象距离技术的固有缺点，已经开发了其他技术。已知一种单相机深度空间方法，其中根据深度图像计算障碍物点和机器人控制点之间的距离。然而，对于比机器人更靠近相机的障碍物，障碍物的深度范围是未知的，并且障碍物后面的被遮挡空间被认为是被占据的。这可能导致显著低估最小距离，并且导致机器人臂绕过甚至未被占据的对象空间的不必要的大偏移。

4、为了克服单相机深度空间方法的限制，已经开发了为解决遮挡问题设计的多传感器技术。在该方法中，使用主传感器来构建空间深度栅格，并且使用其他传感器来检查深度栅格中的障碍物后面的被遮挡的单元。尽管该方法比点云方法计算强度低，但是对于具有许多控制点的大型机器人和在深度栅格中具有许多单元的大工作空间而言，它仍然需要长的计算时间。此外，该方法易受3d深度栅格构造中的误差的影响，并且需要相机/传感器相对于彼此的精确校准以便最小化这些误差。

5、鉴于上述情况，需要一种计算机器人工作空间中的机器人和动态对象之间的最小距离的改进方法。

技术实现思路

1、根据本公开的教导，描述和示出了用于计算从机器人到机器人工作空间中的动态对象的最小距离的方法和系统。该方法使用来自一个或多个三维相机的图像，其中在每个图像中检测对象的边缘，并且从所得图像中减去机器人和背景，仅留下对象边缘像素。然后，将深度值覆盖在对象边缘像素上，并且仅在对象边缘像素和机器人臂上的控制点之间执行距离计算。可以使用两个或多个相机来解决对象遮挡，其中独立地计算每个相机的最小距离，并将各个相机的最小距离中的最大者用作实际结果。使用多个相机不会显著增加计算负荷，并且确实需要相机相对于彼此的校准。

2、结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。

技术特征：

1.一种用于计算从机器人到所述机器人的工作空间中的障碍物的最小距离的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，从所述边缘图像减去所述机器人包括基于使用机器人关节位置数据的正向运动学计算来计算机器人姿态，将所述机器人姿态转置为每个机器人臂在图像坐标系中的位置和取向，以及从所述边缘图像减去每个机器人臂。

3.根据权利要求1所述的方法，其中，从所述边缘图像减去背景物品包括提供已知在所述工作空间中没有动态对象的先前拍摄的背景参考图像，对所述背景参考图像执行边缘滤波以创建背景参考边缘图像，以及从所述边缘图像减去所述背景参考边缘图像。

4.根据权利要求1所述的方法，还包括：在将深度值分配给每个像素之前对所述深度数据进行孔洞填充，包括将深度值分配给所述图像中的缺少深度数据的像素，其中，基于在预定的相邻距离内具有最接近所述相机的深度值的像素来分配所述深度值。

5.根据权利要求1所述的方法，还包括：确定所述最终图像中的像素数量是否大于预定的阈值，当所述像素数量大于所述阈值时计算从所述最终图像中的每个像素到所述机器人上的所述多个控制点中的每个控制点的距离，以及当所述最终图像中的所述像素数量小于或等于所述预定的阈值时确定所述工作空间中不存在障碍物。

6.根据权利要求1所述的方法，其中，计算从所述最终图像中的每个像素到所述机器人上的多个控制点中的每个控制点的距离包括执行遮挡检查，其中，当从所述相机到所述像素的距离小于从所述相机到所述控制点的距离时所述遮挡检查是肯定的。

7.根据权利要求6所述的方法，其中，当所述遮挡检查为肯定的时，将从所述像素到所述控制点的距离计算为投影到与相机图像平面平行的平面上的距离。

8.根据权利要求6所述的方法，其中，当所述遮挡检查不是肯定的时，使用坐标公式中的差的平方和将从所述像素到所述控制点的距离计算为实际三维距离。

9.根据权利要求1所述的方法，其中，所述机器人上的所述多个控制点中的每一个限定在机器人臂的外表面上的点处、沿着机器人臂的运动学轴线或者在关节中心处。

10.根据权利要求1所述的方法，还包括：从一个或多个附加的三维相机提供所述工作空间的同时拍摄的图像，其中所述相机中的每一个放置在所述工作空间的外围周围的不同位置处；根据来自所述附加的相机中的每一个的所述图像确定最小机器人-障碍物距离；以及，选择所确定的最小机器人-障碍物距离中的最大值以在机器人运动编程中使用。

11.根据权利要求1所述的方法，还包括：由机器人控制器在碰撞避免机器人运动规划算法中使用所述最小机器人-障碍物距离。

12.根据权利要求11所述的方法，其中，所述计算机是所述机器人控制器。

13.一种用于计算从机器人到所述机器人的工作空间中的障碍物的最小距离的方法，所述方法包括：

14.根据权利要求13所述的方法，其中，计算从所述最终图像中的每个像素到所述机器人上的多个所述控制点中的每个控制点的距离包括执行遮挡检查，其中，当从所述相机到所述像素的距离小于从所述相机到所述控制点的距离时所述遮挡检查是肯定的，并且当所述遮挡检查是肯定的时，从所述像素到所述控制点的所述距离被计算为投影到平行于相机图像平面的平面上的距离。

15.一种用于计算从机器人到所述机器人的工作空间中的障碍物的最小距离的系统，所述系统包括：

16.根据权利要求15所述的系统，其中，所述计算机还配置用于在将深度值分配给每个像素之前对所述深度数据进行孔洞填充，包括将深度值分配给所述图像中的缺少深度数据的像素，其中，基于在预定的相邻距离内具有最接近所述相机的深度值的像素来分配所述深度值。

17.根据权利要求15所述的系统，其中，计算从所述最终图像中的每个像素到所述机器人上的多个所述控制点中的每个控制点的距离包括执行遮挡检查，其中，当从所述相机到所述像素的距离小于从所述相机到所述控制点的距离时所述遮挡检查是肯定的，并且当所述遮挡检查是肯定的时，从所述像素到所述控制点的所述距离被计算为投影到平行于相机图像平面的平面上的距离。

18.根据权利要求15所述的系统，其中，所述一个或多个相机位于所述工作空间的外围周围，并且来自每个相机的图像是在所述相机在基本上水平方向上对准的情况下拍摄的。

19.根据权利要求15所述的系统，所述系统还包括机器人控制器，所述机器人控制器与所述计算机通信并且配置为在碰撞避免机器人运动规划算法中使用所述最小机器人-障碍物距离。

20.根据权利要求15所述的系统，其中，所述计算机是机器人控制器，所述机器人控制器配置为在碰撞避免机器人运动规划算法中使用所述最小机器人-障碍物距离。

技术总结
一种用于计算从机器人到机器人工作空间中的动态对象的最小距离的方法和系统。该方法使用来自一个或多个三维相机的图像，其中在每个图像中检测对象的边缘，并且从所得图像中减去所述机器人和背景，从而仅留下对象边缘像素。然后，将深度值覆盖在对象边缘像素上，并且仅在边缘像素和机器人臂上的控制点之间执行距离计算。可以使用两个或多个相机来解决对象遮挡，其中独立地计算每个相机的最小距离，并将相机的最小距离的最大值用作实际结果。使用多个相机不会显著增加计算负荷，并且不需要相机相对于彼此的校准。

技术研发人员：奇亚拉·塔利哥内尼·兰迪,林显仲,加藤哲朗
受保护的技术使用者：发那科株式会社
技术研发日：
技术公布日：2024/1/12