维重构。空间直线、空间二次曲线的重建的方法获得匹配点的三维坐标，并将其转化为OpenGL库能够识别的信息。
[0031]3、根据步骤2，采用OpenGL模块对上述得到的信息进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。
[0032]所述安全检测模块，采用C++编写，可根据所述基于图像处理的三维重构模块所得到信息，判断出当前区域内是否即将发生碰撞，其工作的步骤如下:
[0033]1、首先获取机器人当前运动的速度和机器人工作的精度，将其带入线性加权算法中，获得当前机器人碰撞预判阈值。
[0034]2、对于得到的虚拟三维表示模型，采用静态包围盒检测技术、时空相关性技术等，结合预判阈值判断当前作业区是否即将发生碰撞。
[0035]3、如果即将发生碰撞则通知码垛机器人控制系统模块停止真实的码垛机器人作业活动。
[0036]4、如果没有即将发生碰撞，则继续判断作业区内是否有外来物体，且其是否为叉车，其主要步骤如下:
[0037]a.通过背景差法，判断出当前作业区内是否有外来物体。
[0038]b.倘若有外来物体则采用二值化、去噪、轮廓提取等技术，获得作业区外来物体在图像上的目标区域。
[0039]c.对目标区域采用SHIF算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车。
[0040]d.倘若不是叉车，则通知码垛机器人控制系统模块停止作业活动。
[0041]e.如果是叉车，则结合步骤I所得的预判阈值，判断当前机器人是否即将和叉车碰撞，如果是，则通知码垛机器人控制系统模块停止作业活动。
[0042]所述码垛机器人控制系统模块，采用安川电机，安川伺服，固高运动控制卡、研华工控主机实现，可根据所述安全检测模块的信息，决定是否停止作业，或者正常驱动机器人作业。
[0043]图1为本实例实施流程
[0044]I)当码垛机器人开启自动运行，并进行正常作业时，双目视觉传感器模块采集机器人作业现场的图像信息，并将信息回传至控制系统计算机等待处理。
[0045]2)通过基于图像处理的三维重构模块，处理步骤I回传的图像信息，从其中提取出机器人及其作业场景中的三维信息，根据这些三维信息，在系统中重构机器人及其机器人的作业场景的虚拟三维环境。
[0046]3)根据步骤2所得的三维环境，安全检测模块开始检测当前是否存在如下的情况:机器人是否在作业范围内即将和除了货物以外的其他物体发生碰撞，例如人、流水线、叉车。倘若发生了所述碰撞，则安全检测模块输出报警信息，如果没则继续判断当前作业区内是否有除了叉车外的物体，如果有则安全检测模块输出报警信息。
[0047]4)如果步骤3中判断为叉车，则判断当前机器人是否将和叉车碰撞，如果有则安全检测模块输出报警信息，如果没有则返回步骤I。
[0048]5)码垛机器人控制系统模块根据步骤3和4所返回的信息，决定当前是否停止机器人的运作。如果步骤3和4返回了报警信息，则系统立即断电，机器人停止运行，保证事故不会发生。
【主权项】
1.一种基于图像三维重构的码垛机器人安全控制方法，该方法包括如下步骤: 步骤1:码垛机器人正常运行过程中，通过双目视觉传感器实时采集机器人作业现场的图像信息； 步骤2:从步骤I采集到的图像信息中提取机器人及其作业现场的三维信息，重构出机器人及其作业现场的虚拟三维环境； 步骤3:根据步骤2获得的实时虚拟三维环境，首先判定机器人是否即将与除了货物以外的其他物体发生碰撞，再判定机器人作业区域是否有除了叉车以外的其它外来物体；步骤4:根据步骤3的判定结果，若机器人即将与除了货物以外的其他物体发生碰撞或机器人作业区域有除了叉车以外的其它外来物体，则停止机器人作业活动并发出报警信息; 步骤5:根据步骤3的判断结果，如果返回的标志位表示为叉车，则判断当前机器人是否将和叉车碰撞，如果有则停止机器人作业活动并发出报警信息。如果没有则机器人继续工作。2.如权利要求1所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤2的具体步骤为: 步骤2.1:首先对图像进行滤波以消除图像中的噪声；再对图像进行特征点提取和对应点匹配，获得作业区域内的物体的匹配点信息； 步骤2.2:根据步骤2.1所得的三维坐标点的信息，采用空间直线、空间二次曲线的重建方法获得匹配点的三维坐标； 步骤2.3:根据步骤2.2获得匹配点坐标对图像进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。3.如权利要求1所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤3的具体步骤为: 步骤3.1:对于步骤2所获得的实时虚拟三维环境中的各个物体，采用包围盒算法，构造包围盒，形成每个物体的包围盒树； 步骤3.2:根据当前机器人运行的速度和机器人作业的精度，将速度和精度带入线性加权算法，获得当前机器人运行条件下，碰撞预判的阈值； 步骤3.3:将场景中每个物体的包围盒树进行遍历和比较，倘若两个物体之间包围盒的欧式距离已经小于碰撞预判的阈值则判断将要发生碰撞，并返回即将发生碰撞标志位；步骤3.4:倘若步骤3.3没有即将发生碰撞，则采用图像处理算法，通过背景差法，判断出当前作业区内是否有外来物体； 步骤3.5:倘若有外来物体则采用二值化、去噪、轮廓提取等技术，获得作业区外来物体在图像上的目标区域； 步骤3.6:对目标区域采用图像匹配算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车，如果为叉车，则返回一个标志位，表示当前为叉车，否则则返回其他物体进入作业区标志位。4.如权利要求1所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤5的具体步骤为: 根据步骤3.2计算出的预判阈值，将机器人与叉车之间的欧式距离与预判距离进行比较，倘若小于预判距离，则返回即将发生碰撞标志位。
【专利摘要】该发明公开了一种基于图像三维重构的码垛机器人安全控制方法，涉及的是一种机器人控制方法，具体是面向码垛机器人的安全、高效的机器人控制方法。该方法通过双目摄像头采集机器人工作环境的视觉信息，通过采集到的信息重构出虚拟的实时三维环境图，通过对三维环境图的分析，首先判断机器人工作区域是否发生碰撞，若发生碰撞这立即停止机器人，若未发生碰撞，再判断机器人工作区域是否进入异常物体，是否会发生碰撞，从而该方法充分保证码垛机器人工作的安全性，并提高了其工作效率。
【IPC分类】B65G61/00
【公开号】CN104944168
【申请号】CN201510256466
【发明人】李波, 戴骏贤
【申请人】电子科技大学
【公开日】2015年9月30日
【申请日】2015年5月19日