一种多机器人协同操作模式的方法及系统与流程

本发明涉及智能制造技术领域，具体涉及一种多机器人协同操作模式的方法及系统。

背景技术：

随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。

DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉系统后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。

目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统，这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由运动控制系统、伺服系统、视觉跟踪系统和输送带跟踪系统组成，如图1中所示中，由于存在多个DELTA机器人协同工作，目标对象在不同DELTA机器人下不同时间内完成不同操作过程，如何实现视频跟踪过程中，而现有技术缺乏一种可行方案。且随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。一般情况下，机器人与操纵者之间相隔很远或者操纵者需要实现远程操作来完成，且现有的工业机器人在远程操作作业时，如何实现远程机器人实际地址与受控机器人相一致的情况，避免操作指令误发，导致工业生产过程中的事故。

技术实现要素：

本发明提供了一种多机器人协同操作模式的方法及系统，通过精准定位机器人来建立协调工作模式下的视频跟踪，解决了现有机器视觉协调性问题。

本发明提供了一种多机器人协同操作模式的方法，其特征在于，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：

运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；

运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；

运动控制系统向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；

运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；

在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作；

在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；

运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；

利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；

视觉系统根据预测及时跟踪目标对象下一个状态值。

所述视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：

基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。

所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：

利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。

所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：

采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；

在基于卡尔曼滤波算法预测目标对象状态的运动状态。

所述视觉系统根据预测及时跟踪目标对象下一个状态值包括：

基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。

相应的，本发明还提供了一种多机器人协同操作模式的系统，包括：运动控制系统、视觉系统，所述运动控制系统与视觉系统相连，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：

运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；

视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；

至少两台DELTA机器人用于接收运动控制系统发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制系统完成协同操作。

所述视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。

所述视觉系统利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。

述视觉系统采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。

所述视觉系统基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。

在本发明中，在远程建立协同操作时，首先发送远程协议信息，实现多个DELTA机器人与远程协议信息中的位置匹配关系，通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是现有技术中的机器人控制系统的结构示意图；

图2是本发明实施例中的机器人控制系统结构示意图；

图3是本发明实施例中的多机器人协同操作模式的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

具体的，图2示出了本发明实施例中的机器人控制系统结构示意图，该机器人控制系统包括运动控制系统、视觉系统，该运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，该运动控制系统与该至少两台DELTA机器人之间通过EtherCAT总线串联，本发明实施例中示出了三台DELTA机器人，其中：

运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；

视觉系统用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉系统根据预测及时跟踪目标对象下一个状态值；

至少两台DELTA机器人用于接收运动控制系统发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制系统完成协同操作。

具体实施过程中，该视觉系统基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别；采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态；基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。

需要说明的是，本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。

需要说明的是，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

需要说明的是，单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。

需要说明的是，卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，从而实现数据值的预测过程。

需要说明的是，运动控制系统接收远程控制指令时，在完成整个匹配过程之后，即可实现对至少两台DELTA机器人控制的授权，将远程控制指令中的操作作业指令解析出来之后，至少两台DELTA机器人即可实现受控，完成相应的视觉跟踪的协同操作；在识别出整个匹配过程不成功之后，即对至少两台DELTA机器人授权的失败，不能即系解析操作作业指令，不能使工业机器人完成相应的受控过程。

在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制系统通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。

相应的，图3示出了本发明实施例中的多机器人操作模式下视觉跟踪的方法流程图，其中：机器人控制系统包括运动控制系统、视觉系统，所述运动控制系统与视觉系统连接，以及所述运动控制系统连接有至少两台DELTA机器人，所述运动控制系统与所述至少两台DELTA机器人之间通过EtherCAT总线串联，该方法包括如下步骤：

S101、运动控制系统中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；

S102、运动控制系统解析所述远程控制指令中的至少两台DELTA机器人的位置信息；

S103、运动控制系统向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；

S104、运动控制系统获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，如果匹配则进入S105，否则进入S110；

S105、在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制系统控制DELTA机器人协同操作；

S106、在运动控制系统控制DELTA机器人操作过程中，视觉系统构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；

具体实施过程中，通过基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。

S107、运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；

具体实施过程中，利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，从而实现数据值的预测过程。

S108、利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；

具体实施过程中，采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。

单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。

S109、视觉系统根据预测及时跟踪目标对象下一个状态值。

具体实施过程中，基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉系统抓取不同DELTA机器人下的状态值。

S110、结束。

综上，在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制系统通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉系统实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的多机器人协同操作模式的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。