一种基于Delta机器人下的视觉跟踪的方法及系统与流程

本发明涉及智能制造技术领域，具体涉及一种基于Delta机器人下的视觉跟踪的方法及系统。

背景技术：

DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉系统后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。

目前现有的各个厂家DELTA机器人的控制系统是采用其自身的专用机器人控制器来构建的机器人控制系统，这种采用专用控制器的控制系统系统通用性不好。一般的DELTA机器人控制系统是由控制器、伺服系统、视觉跟踪系统和输送带跟踪系统组成，但是其控制系统的各部件的拓扑连接方式千差万别，其内部核心控制算法和跟踪算法也是不一样的，因此通用性不高。

现有大工厂作业目前对人员控制作业需求比较少，而如何实现视觉跟踪保障整个工业控制的顺利进行变得尤为重要，需要涉及到一系列视频监控及优化过程，保证工业自动化有序进行。

技术实现要素：

本发明提供了一种基于Delta机器人下的视觉跟踪的方法及系统，该可以有效的检测人物目标，从而实现对目标定位，保障工业化控制过程中的视觉跟踪效果，实现对人物的精准了解和优化做准备。

本发明提供了一种基于Delta机器人下的视觉跟踪的方法，包括如下步骤：

Delta机器人上的摄像头采用颜色直方图、纹理特征建立高斯混合背景模型；

采用基于区域的方法检测目标区域内是否存在运动目标；

获取所述运动目标所在区域的图像信息；

根据所述图像信息获取目标对象信息，并将获取的目标对象信息与Delta机器人上的模型匹配库进行匹配；

判断所述目标对象是否为人物特征，若所述目标对象为人物特征时，则开启视觉跟踪，基于共面P4P的单目视觉定位原理对目标对象进行定位；

在完成目标对象的定位之后，基于结构相似度的视频跟踪方法对目标对象进行视觉跟踪；

将所述视觉跟踪的视频实时传输至控制室，并在视频显示中警示所示目标对象状态。

所述采用基于区域的方法检测目标区域内是否存在运动目标包括：

获取目标区域内初始状态视频背景；

获取目标区域下视频的动态图像帧；

基于初始状态视频背景采用减除法分离出当前运动目标。

所述基于结构相似度的视频跟踪方法对目标对象进行视觉跟踪包括：

采用卡尔曼滤波器预测目标对象在本帧图像中的大致位置；

利用候选目标和模板目标的结构相似度进行迭代搜索，确定目标对象在本帧图像中的位置；

利用候选目标和模板目标的相似度量值，自适应的调制卡尔曼滤波器参数。

所述共面P4P的单目视觉定位原理对目标对象进行定位包括：

基于平行四边形成像消隐点进行目标对象定位；

通过牛顿迭代法进行优化获得目标对象在摄像机坐标系下的精确位姿。

所述将所述视觉跟踪的视频实时传输至控制室包括：

通过EtherCAT总线串联的方式将将所述视觉跟踪的视频实时传输至控制室。

相应的，本发明还提供了一种基于Delta机器人下的视觉跟踪的系统，包括：

高斯背景模块，用于基于Delta机器人上的摄像头采用颜色直方图、纹理特征建立高斯混合背景模型；

检测模块，用于采用基于区域的方法检测目标区域内是否存在运动目标；

获取模块，用于获取所述运动目标所在区域的图像信息；

模型匹配模块，用于根据所述图像信息获取目标对象信息，并将获取的目标对象信息与Delta机器人上的模型匹配库进行匹配；

人物特征模块，用于判断所述目标对象是否为人物特征；

定位模块，用于在判断所述目标对象为人物特征时，则开启视觉跟踪，基于共面P4P的单目视觉定位原理对目标对象进行定位；

视觉跟踪模块，用于在完成目标对象的定位之后，基于结构相似度的视频跟踪方法对目标对象进行视觉跟踪；

传输模块，用于将所述视觉跟踪的视频实时传输至控制室；

显示模块，用于在视频显示中警示所示目标对象状态。

所述检测模块包括：

背景检测单元，用于获取目标区域内初始状态视频背景；

动态检测单元，用于获取目标区域下视频的动态图像帧；

分离单元，用于基于初始状态视频背景采用减除法分离出当前运动目标。

所述视觉跟踪模块包括：

预测单元，用于采用卡尔曼滤波器预测目标对象在本帧图像中的大致位置；

迭代单元，用于利用候选目标和模板目标的结构相似度进行迭代搜索，确定目标对象在本帧图像中的位置；

度量单元，用于利用候选目标和模板目标的相似度量值，自适应的调制卡尔曼滤波器参数。

所述定位模块包括：

第一定位单元，用于基于平行四边形成像消隐点进行目标对象定位；

第二定位单元，用于通过牛顿迭代法进行优化获得目标对象在摄像机坐标系下的精确位姿。

所述传输模块通过EtherCAT总线串联的方式将将所述视觉跟踪的视频实时传输至控制室。

在本发明中，采用颜色直方图、纹理特征等建立高斯混合背景模型，利用基于区域的方法来检测运动目标，较好的实现了人物目标的识别过程。通过模型匹配库的匹配过程，可以精准的实现目标对象的识别过程。通过共面P4P的单目视觉定位原理可以消除人物特征中的消除位置误差的影响，实现对人物特征的精准位姿的定位。基于结构相似度的视频跟踪方法，可以缩短对人物特征在算法执行过程中的执行时间，也降低了跟踪误差。整个视觉跟踪可以在控制室中实时播放，为整个大工厂模式提供了一种视频监控或者优化作业的模式手段。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于Delta机器人下的视觉跟踪的方法流程图；

图2是本发明实施例中的基于Delta机器人下的视觉跟踪的系统结构示意图；

图3是本发明实施例中的检测模块结构示意图；

图4是本发明实施例中的视觉跟踪模块结构示意图；

图5是本发明实施例中的定位模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

相应的，图1示出了本发明实施例中的基于Delta机器人下的视觉跟踪的方法流程图，具体包括如下步骤：

S101、Delta机器人上的摄像头采用颜色直方图、纹理特征建立高斯混合背景模型；

颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。

混合高斯模型使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。通观整个高斯模型，他主要是由方差和均值两个参数决定，对均值和方差的学习,采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。

S102、采用基于区域的方法检测目标区域内是否存在运动目标；

具体实施过程中，其采用获取目标区域内初始状态视频背景；获取目标区域下视频的动态图像帧；基于初始状态视频背景采用减除法分离出当前运动目标。通过该步骤实施过程，可以实现背景与后续插入的动态帧之间的分离，由于初始状态一般是设置在Detlta机器人控制系统中，在目标区域内有其他物体存在时，可以实现目标对象的分离过程，为后续目标对象的识别过程作精准匹配。

S103、获取所述运动目标所在区域的图像信息；

S104、根据所述图像信息获取目标对象信息，并将获取的目标对象信息与Delta机器人上的模型匹配库进行匹配；

整个模型匹配库以整个大工厂环境为对象建立，包括人物特征或者特殊工艺环节中的目标模型等等，其可以实现对目标对象的识别匹配过程。

S105、判断所述目标对象是否为人物特征，若判断该目标对象为人物特征时，则进入S106，否则继续S102，进行目标识别判断过程；

S106、基于共面P4P的单目视觉定位原理对目标对象进行定位；

具体实施过程中，基于平行四边形成像消隐点进行目标对象定位；通过牛顿迭代法进行优化获得目标对象在摄像机坐标系下的精确位姿。

机器人在运动学标定过程中，通过视觉测量手段完成误差测量的关键在于视觉定位方法，基于4个空间点共面且所在平面与摄像机光轴不平行时，则对应的共面P4P问题有唯一解，因此通过4个共面点实现人物特征定位具有很强的实用价值，当4个空间共面点组成平行四边形时，该P4P问题的解可以通过平行四边形的两个消隐点很方便的求解。考虑到测量噪声以及四个特征点位置误差的影响，以消隐点计算出的结果作为初始值通过牛顿迭代法进行优化可以得到人物特征在摄像机坐标系下的精确位姿态，本发明实施例中的这种定位方法首选需要对摄像机参数进行标定。

S107、基于结构相似度的视频跟踪方法对目标对象进行视觉跟踪；具体实施过程中，采用卡尔曼滤波器预测目标对象在本帧图像中的大致位置；利用候选目标和模板目标的结构相似度进行迭代搜索，确定目标对象在本帧图像中的位置；利用候选目标和模板目标的相似度量值，自适应的调制卡尔曼滤波器参数。

具体实施过程中，其通过构造人物特征的运动系统模型，基于卡尔曼滤波器进一步预测得到本帧中目标的预测位置，以及根据本帧跟踪结果进行卡尔曼滤波器观测更新；以及在整个人物特征运动过程中计算移动方向，计算最优的移动步长；计算最终的候选目标和模板目标的结构相似度值，计算卡尔曼滤波器噪声矩阵的协方差，从而完成整个视觉跟踪。

S108、将所述视觉跟踪的视频实时传输至控制室，并在视频显示中警示所示目标对象状态。

具体实施过程中，通过EtherCAT总线串联的方式将将所述视觉跟踪的视频实时传输至控制室。

由此可见，采用颜色直方图、纹理特征等建立高斯混合背景模型，利用基于区域的方法来检测运动目标，较好的实现了人物目标的识别过程。通过模型匹配库的匹配过程，可以精准的实现目标对象的识别过程。通过共面P4P的单目视觉定位原理可以消除人物特征中的消除位置误差的影响，实现对人物特征的精准位姿的定位。基于结构相似度的视频跟踪方法，可以缩短对人物特征在算法执行过程中的执行时间，也降低了跟踪误差。整个视觉跟踪可以在控制室中实时播放，为整个大工厂模式提供了一种视频监控或者优化作业的模式手段。

相应的，图2示出了本发明实施例中的基于Delta机器人下的视觉跟踪的系统结构示意图，该系统包括：

高斯背景模块，用于基于Delta机器人上的摄像头采用颜色直方图、纹理特征建立高斯混合背景模型；

检测模块，用于采用基于区域的方法检测目标区域内是否存在运动目标；

获取模块，用于获取所述运动目标所在区域的图像信息；

模型匹配模块，用于根据所述图像信息获取目标对象信息，并将获取的目标对象信息与Delta机器人上的模型匹配库进行匹配；

人物特征模块，用于判断所述目标对象是否为人物特征；

定位模块，用于在判断所述目标对象为人物特征时，则开启视觉跟踪，基于共面P4P的单目视觉定位原理对目标对象进行定位；

视觉跟踪模块，用于在完成目标对象的定位之后，基于结构相似度的视频跟踪方法对目标对象进行视觉跟踪；

传输模块，用于将所述视觉跟踪的视频实时传输至控制室；

显示模块，用于在视频显示中警示所示目标对象状态。

具体的，图3示出了本发明实施例中的检测模块结构示意图，该检测模块包括：

背景检测单元，用于获取目标区域内初始状态视频背景；

动态检测单元，用于获取目标区域下视频的动态图像帧；

分离单元，用于基于初始状态视频背景采用减除法分离出当前运动目标。

具体的，图4示出了本发明实施例中的视觉跟踪模块结构示意图，该视觉跟踪模块包括：

预测单元，用于采用卡尔曼滤波器预测目标对象在本帧图像中的大致位置；

迭代单元，用于利用候选目标和模板目标的结构相似度进行迭代搜索，确定目标对象在本帧图像中的位置；

度量单元，用于利用候选目标和模板目标的相似度量值，自适应的调制卡尔曼滤波器参数。

具体的，图5示出了本发明实施例中的定位模块结构示意图，该定位模块包括：

第一定位单元，用于基于平行四边形成像消隐点进行目标对象定位；

第二定位单元，用于通过牛顿迭代法进行优化获得目标对象在摄像机坐标系下的精确位姿。

机器人在运动学标定过程中，通过视觉测量手段完成误差测量的关键在于视觉定位方法，基于4个空间点共面且所在平面与摄像机光轴不平行时，则对应的共面P4P问题有唯一解，因此通过4个共面点实现人物特征定位具有很强的实用价值，当4个空间共面点组成平行四边形时，该P4P问题的解可以通过平行四边形的两个消隐点很方便的求解。考虑到测量噪声以及四个特征点位置误差的影响，以消隐点计算出的结果作为初始值通过牛顿迭代法进行优化可以得到人物特征在摄像机坐标系下的精确位姿态，本发明实施例中的这种定位方法首选需要对摄像机参数进行标定

具体实施过程中，该传输模块通过EtherCAT总线串联的方式将将所述视觉跟踪的视频实时传输至控制室。

综上，采用颜色直方图、纹理特征等建立高斯混合背景模型，利用基于区域的方法来检测运动目标，较好的实现了人物目标的识别过程。通过模型匹配库的匹配过程，可以精准的实现目标对象的识别过程。通过共面P4P的单目视觉定位原理可以消除人物特征中的消除位置误差的影响，实现对人物特征的精准位姿的定位。基于结构相似度的视频跟踪方法，可以缩短对人物特征在算法执行过程中的执行时间，也降低了跟踪误差。整个视觉跟踪可以在控制室中实时播放，为整个大工厂模式提供了一种视频监控或者优化作业的模式手段。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的基于Delta机器人下的视觉跟踪的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。