一种基于图像三维重构的码垛机器人安全控制方法
【技术领域】
[0001]本发明涉及的是一种机器人控制方法，具体是面向码垛机器人的安全、高效的机器人控制方法。
【背景技术】
[0002]码垛机器人作为制造业工厂中自动堆码货物的自动化生产工具，在现在的生产中有着不可或缺的地位。而码垛机器人因为其高速重载的特性，在运行过程中，也有着不安全的一面，因为各种原因，码垛机器人会在运行过程中，发生诸如碰撞到作业环境内其他的物体的不安全的现象。当前解决这个问题的方法主要为:1、通过检测伺服驱动或伺服电机返回的过载信息判断当前是否发生碰撞。2、在机器人身上各个部件部署超声波距离传感器，测量当前机器人各个部件在一定的范围内，是否有其他物体靠近。第一个方法的缺点在于，必须当机器人和其他物体发生撞击时，才可判断出机器人已经发生了碰撞，此时再来阻止机器人运动已经来不及。第二个方法的缺点在于，需要在机器人的身上部署很多的超声波传感器，硬件成本较高。中国专利公开号CN 103192414A公开了一种基于机器视觉的机器人防撞保护装置及方法。用摄像机拍摄机器人所处的环境的静态背景照片，之后当机器人运动起来的时候，根据动态采集的图片和原始的背景图片比较，判断出当前机器人的工作区域内有没有其他的物体进入，如果有则机器人停止作业。然而对于码垛机器人在作业的过程中(尤其一线两踩)，叉车必须要进入机器人的工作范围，叉走成踩的货物。这种做法会导致机器人在工作的时候突然停顿，同时这种方法也没有考虑到机器人在运行过程中可能因为机械故障或者其他的原因，发生和作业区其他物体的碰撞。
【发明内容】
[0003]本发明针对现有技术存在的不足，提供了一种基于图像三维重构的码垛机器人安全控制方法，针对当前码垛机器人在作业运行的过程中无法及时的发现作业区内的碰撞物体提供了一个新的解决方案，充分保证了作业的安全，提高了码垛机器人的安全性。
[0004]本发明提供了一种基于图像三维重构的码垛机器人安全控制方法，该方法包括如下步骤:
[0005]步骤1:码垛机器人正常运行过程中，通过双目视觉传感器实时采集机器人作业现场的图像信息；
[0006]步骤2:从步骤I采集到的图像信息中提取机器人及其作业现场的三维信息，重构出机器人及其作业现场的虚拟三维环境；
[0007]步骤3:根据步骤2获得的实时虚拟三维环境，首先判定机器人是否即将与除了货物以外的其他物体发生碰撞，再判定机器人作业区域是否有除了叉车以外的其它外来物体；
[0008]步骤4:根据步骤3的判定结果，若机器人即将与除了货物以外的其他物体发生碰撞或机器人作业区域有除了叉车以外的其它外来物体，则停止机器人作业活动并发出报警信息。
[0009]步骤5:根据步骤3的判断结果，如果返回的标志位表示为叉车，则判断当前机器人是否将和叉车碰撞，如果有则停止机器人作业活动并发出报警信息。如果没有则机器人继续工作。
[0010]所述步骤2的具体步骤为:
[0011]步骤2.1:首先对图像进行滤波以消除图像中的噪声，再对图像进行特征点提取和对应点匹配，获得作业区域内的物体的匹配点信息；
[0012]步骤2.2:根据步骤2.1所得的三维坐标点的信息，采用空间直线、空间二次曲线的重建方法获得匹配点的三维坐标；
[0013]步骤2.3:根据步骤2.2获得匹配点坐标对图像进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。
[0014]所述步骤3的具体步骤为:
[0015]步骤3.1:对于步骤2所获得的实时虚拟三维环境中的各个物体，采用包围盒算法，构造包围盒，形成每个物体的包围盒树；
[0016]步骤3.2:根据当前机器人运行的速度和机器人作业的精度，将速度和精度带入线性加权算法，获得当前机器人运行条件下，碰撞预判的阈值；
[0017]步骤3.3:将场景中每个物体的包围盒树进行遍历和比较，倘若两个物体之间包围盒的欧式距离已经小于碰撞预判的阈值则判断将要发生碰撞，并返回即将发生碰撞标志位；
[0018]步骤3.4:倘若步骤3.3没有即将发生碰撞，则采用图像处理算法，通过背景差法，判断出当前作业区内是否有外来物体；
[0019]步骤3.5:倘若有外来物体则采用二值化、去噪、轮廓提取等技术，获得作业区外来物体在图像上的目标区域；
[0020]步骤3.6:对目标区域采用图像匹配算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车，如果为叉车，则返回一个标志位，表示当前为叉车，否则则返回其他物体进入作业区标志位。
[0021]所述步骤5具体步骤为:根据步骤3.2计算出的预判阈值，将机器人与叉车之间的欧式距离与预判距离进行比较，倘若小于预判距离，则返回即将发生碰撞标志位。
[0022]本发明提供了一种基于图像三维重构的码垛机器人安全控制系统，该方法充分保证码垛机器人的安全性，提高其工作效率。
【附图说明】
[0023]图1为本发明方法的系统工作流程图。
[0024]图2为本发明系统结构图。
【具体实施方式】
[0025]下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0026]参照图2，本实施例程包括:体感3D双目视觉传感器模块、基于图像处理的三维重构模块、安全检测模块、码垛机器人控制系统模块。其中体感3D视觉传感器模块用于在码垛机器人的作业现场，采集整个作业环境的3D信息并将信息回传至基于图像处理的三维重构模块，所述模块根据图像的信息，三维重构机器人以及机器人的作业环境的三维信息，之后安全检测模块根据上述基于图像处理的三维重构模块检测生成的机器人的虚拟三维信息，检测当前机器人作业环境是否安全、合理，最终将此信息发送给码垛机器人控制系统模块，所述模块根据信息做出判断。
[0027]所述体感3D模块视觉传感器，采用Kinect做为图像传感器。其为双目视觉传感器，可采集机器人当前作业区域内的所有物体的图像视频信息，并通过串行非屏蔽双绞线回传至本例程的控制计算机中。
[0028]所述基于图像处理的三维重构模块，其主要任务为分析并处理所述体感3D模块视觉传感器采集到的图像视频信息，并在计算机中根据图像重构出当前机器人作业环境中各个物体的三维信息。其主要采用以下个几个步骤:
[0029]1、采用OpenCV机器视觉处理库，首先对图像进行滤波以消除图像中的噪声。其次对图像进行特征点提取和对应点匹配，之后即可获得作业区域内的物体的匹配点的信息。
[0030]2、根据步骤I所得的三维坐标点的信息，首先进行三