一种四轴工业码垛机器人的视觉系统的制作方法

本发明涉及一种四轴工业码垛机器人的视觉系统，属于视觉系统设计领域。

背景技术：

在工业生产流水线当中，码垛机器人一般处于生产流水线的最末端，主要作用是对目标物体进行抓取和搬运，按照事先设定好的抓取位置和码放位置进行相应的动作，只是简单的重复执行预先设定好的程序，完成既定的动作，这种工作方式较为单一和固定，局限性较大，当生产线上的物体位置或种类发生变化时，传统的码垛机器人缺少必要的辨识能力，不能根据物体的实际情况做出相应的动作调整，这对码垛机器人在工业上的应用造成了很大限制。

随着计算机技术的高速发展，图像的处理和识别技术也得到了质的发展，进入21世纪以来，图像处理技术在越来越多的领域得到广泛应用，图像处理技术也成为智能制造发展的一个重要方向，随着技术的不断成熟，越来越多的企业和机构也投入大量的人力物力到图像处理的研究和应用中来，在物体的辨识、目标的跟踪和物体的检测等都取得了不错的成果。

相比于传统的码垛机器人来说，基于视觉的码垛机器人能够在不同的生产环境下，通过机器人视觉系统进行图像采集、处理和分析，分辨出物体的类型和位置，对不同的物体在码垛时进行快速、准确的定位和判断，从而准确的抓取物体并将其置于指定的位置。本设计为了解决传统码垛机器人的弊端，将图像处理与码垛机械臂结合起来，使码垛机械臂具备识别和定位功能，为实现工业生产制造自动化和智能化提出了解决方案、具有良好的市场发展前景。

技术实现要素：

为了解决上述技术问题，本发明通过摄像头对包装盒的图像信息进行采集，在由c#编写的视觉系统软件进行处理并计算出待抓取包装盒的匹配识别结果、坐标值以及包装盒的偏转角度；能够引导机器人对其进行抓取，最后对抓取后的包装盒进行按要求分类码垛。

本发明采用的技术方案如下：

一种四轴工业码垛机器人的视觉系统，为利用固定在待码放物品上方的摄像机，通过图像处理技术形成成像模型来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型；所述视觉系统包括以下步骤：对摄像头采集到的信息进行图片灰度化、图像滤波、图像二值化、图像膨胀处理、获取二维码边缘、二维码解码等步骤，通过这些步骤来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。

进一步的，所述成像模型中包括世界坐标系、相机坐标系、图像坐标系和像素坐标系，所述相机的成像过程的数学模型是目标点在这几个坐标系中转化而来。

进一步的，所述视觉系统包括以下步骤：

(1)图片灰度化

在条码定位过程中首先通过灰度化将摄像机采集到的彩色图片转变为灰度图片。灰度化是指在rgb图像中，当三者的值相同时，则彩色表示一种灰度颜色，其值称为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；

(2)图像滤波

摄像机在取像时会受到周围环境的影响，从而产生噪音。这样的噪声会引起二维码分割，解码错误。因此在灰度化后需要对灰度图片进行图像滤波处理。图像滤波的目的是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本次设计采用高斯滤波对图像进行滤波处理。高斯滤波是一种线性平滑滤波。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身与其8邻域内的其他像素值经过加权平均后得到；

(3)图像二值化

滤波后的灰度图减少了噪声干扰，但图片的灰度值仍然为0-255之间。此时需要对图像进行二值化处理，利用点运算的阈值理论将采集到的图象变为二值图像，其效果是将图像中深灰和浅灰的图案转换成只有黑或白两种颜色；

(4)图像膨胀处理

二值化后的图片进行首先进行膨胀处理。膨胀就是求局部最大值的操作。从数学角度解释图像的膨胀操作是将图像与核进行卷积。即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长；

(5)获取二维码边缘

对膨胀后的区域进行边缘检测操作，边缘检测后条码区域的边界不是很完整，所以需要进一步的修正边界，然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割，以此修正条码边界。其基本思想是从符号内的一个小区域开始，通过区域增长来修正条码边界，把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号，之后区域增长和凸壳计算交替进行重复四次，最终获得二维码的轮廓；

(6)二维码解码

对于二维码的解码首先进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定是深色块还是浅色块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到条码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位转换成数据码。

进一步的，二维码坐标需要通过手眼标定实现坐标转换得到待抓取物体相对于机器手坐标系的真正坐标值，所述手眼标定为九点标定法标定像素坐标与机器手坐标的转换关系；所述摄像机为无几遍摄像机，摄像机获得的像素坐标值用于手眼标定，即在像素坐标下获取工作平面上九个点的坐标，同时机器手末端遍历这9个点得到在机器手坐标系中的坐标，同一点的两个坐标相互对应，最终求得像素坐标与机器手坐标的转换关系。

进一步的，摄像机在采集物体的二维码信息和物体坐标后，采用基于轮廓的形状匹配方法检测被抓取物体上标志位的信息，从而获得被抓取物体的角度；基于相关性的模板匹配其大概过程为：图像采集，图像预处理，创建模板，匹配模板和清除模板，基于相关性的模板匹配采用normalizedcrosscorrelation(ncc)算法，可以有效降低光照对图像比较结果的影响，步骤为：预计算模板图像和目标图像的积分图；根据输入的窗口半径大小使用积分图完成ncc计算；根据阈值得到匹配或者不匹配区域；输出结果。

进一步的，图像采集采用工业800万快速自动对焦usb免驱动摄像头，像素尺寸为3.0×3.0μm，镜头长度为6mm，分辨率1280×720，帧数率为30桢/秒，摄像头通过usb电缆与计算机相连。

本发明的有益效果：

本发明的优点和有益效果是将机器视觉与四轴工业码垛机器人结合起来，使之具有识别功能，对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。

附图说明

图1为本发明的视觉装置硬件结构图；

图2为本发明像素坐标系和图像坐标系位置示意图；

图3为本发明的相机坐标系与图像坐标系模型图；

图4为本发明的摄像机坐标系与世界坐标系模型图；

图5为本发明的坐标轴旋转示意图；

图6为本发明的二维码信息获取流程图；

图7为本发明的手眼标定流程图；

图8为本发明的模板流程图。

具体实施方式

以下实施例所用材料、方法和仪器，未经特殊说明，均为本领域常规材料、方法和仪器，本领域普通技术人员均可通过商业渠道获得。

在本发明以下的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”和“竖着”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。

在本发明以下的描述中，需要说明的是，除非另有明确规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以是通过中间介质间接连接，可以是两个部件内部的连通。对于本领域的普通技术人员而言，可以是具体情况理解上书术语在本发明中的具体含义。

此外，在本发明以下的描述中，除非另有说明，“多个”、“多组”、“多根”的含义是两个或两个以上。

下面结合附图对本发明做进一步详细说明，但以下详细说明不视为对本发明的限定。

本发明为四轴工业码垛机器人的视觉系统设计，利用固定在待码放物品上方的摄像机，通过图像处理技术来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型。在此过程中需要对摄像头采集到的信息进行图像滤波、二值化、膨胀、获取边缘、通过对二维码进行解码来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。

1.坐标定位

在相机的成像模型中包含有世界坐标系、相机坐标系、图像坐标系和像素坐标系，相机的成像过程的数学模型就是目标点在这几个坐标系中的转化过程。

如图2所示为像素坐标系和图像坐标系模型图，vo0u是建立在像素上的直角坐标系。原点o0位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素。像素坐标系不利于坐标变换，因此需要建立图像坐标系xo1y，其坐标轴的单位通常为毫米，原点是相机光轴与相面的交点，即图像的中心点，x轴、y轴分别与u轴、v轴平行。

故两个坐标系的转换关系为式(1)，其中dx和dy表示每一列和每一行像素分别代表多少毫米。

相机坐标系和图像坐标系属于透视投影，其模型图如图3所示。相机坐标系为oc-xcyczc以相机的光心为坐标原点。xc轴和yc轴分别平行于图像坐标系的x轴和y轴，相机的光轴为zc轴。xoy为图像坐标系，f为镜头焦距。

由三角形相似原理知，δaboc～δococ,δpboc～δpcoc可推出式(2)，(3)。

通过式(2)，(3)可推出相机坐标系与图像坐标系的转换关系为式(4)。

相机坐标系与世界坐标系模型图如图4所示，以ow为原点建立世界坐标系owxwywzw，它是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。现有一点p，其在相机坐标系下的坐标为(xc，yc，zc),在世界坐标系下的坐标为(xw，yw，zw)。

从世界坐标系到相机坐标系，属于刚性变换，只涉及到旋转和平移。即坐标点绕着不同的坐标轴旋转不同的角度，可得到相应的旋转矩阵，旋转示意图如图5所示。

图5为点p绕zc轴旋转，此时生成旋转矩阵r1，如式(5)。同理，点p绕xc轴旋转生成旋转矩阵r2，点p绕yc轴旋转生成旋转矩阵r3。最终旋转矩阵为r＝r1r2r3。

于是，点p在相机坐标系的坐标为式(6)。

式(6)中，r为上文所求的三维旋转矩阵，t为平移矩阵。综上可得，相机成像的数学模型为式(7)。

2.二维码识别

本设计利用二维码对待码放规则物体的种类进行识别，主要经过灰度化、图象滤波、二值化、获取边缘、解码等步骤。

1)图片灰度化

在条码定位过程中首先通过灰度化将摄像机采集到的彩色图片转变为灰度图片。灰度化是指在rgb图像中，当三者的值相同时，则彩色表示一种灰度颜色，其值称为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255。某一点的灰度值如式(8)。

f(i,j)表示图像中某一像素经灰度化之后的灰度值，r(i,j)表示图像中某一像素的红基础色值，g(i,j)表示图像中某一像素中绿基础色值，b(i,j)表示图像中某一像素的蓝基础色值。

2)图像滤波

摄像机在取像时会受到周围环境的影响，从而产生噪音。这样的噪声会引起二维码分割，解码错误。因此在灰度化后需要对灰度图片进行图像滤波处理。图像滤波的目的是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本次设计采用高斯滤波对图像进行滤波处理。高斯滤波是一种线性平滑滤波。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身与其8邻域内的其他像素值经过加权平均后得到。

3)图像二值化

滤波后的灰度图减少了噪声干扰，但图片的灰度值仍然为0-255之间。此时需要对图像进行二值化处理，利用点运算的阈值理论将采集到的图象变为二值图像，其效果是将图像中深灰和浅灰的图案转换成只有黑或白两种颜色。二值化的数学表达式如式(9)。

f(i,j)为某一点像素点的灰度值，k为阈值。当灰度值大于阈值时，该点的灰度值为255，像素呈现白色，反之为黑色。

4)图像膨胀处理

二值化后的图片进行首先进行膨胀处理。膨胀就是求局部最大值的操作。从数学角度解释图像的膨胀操作是将图像与核进行卷积。即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。f(i,j)为原图像，h(k,l)为相关核，卷积操作如式(10)。

g(i,j)＝∑f(i+k,j+k)h(k,l)(10)

5)获取二维码边缘

对膨胀后的区域进行边缘检测操作，边缘检测后条码区域的边界不是很完整，所以需要进一步的修正边界，然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割，以此修正条码边界。其基本思想是从符号内的一个小区域开始，通过区域增长来修正条码边界，把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号，之后区域增长和凸壳计算交替进行重复四次，最终获得二维码的轮廓

6)二维码解码

对于二维码的解码首先进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定是深色块还是浅色块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到条码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位转换成数据码。

3.手眼标定

二维码坐标为在像素坐标系下的坐标值，还需要进一步的坐标转换才可以得出待抓取物体相对于机器手坐标系的真正坐标值。手眼标定就是得到像素坐标系和空间机器手坐标系的坐标转化关系。本次设计采用九点手眼法标定获取像素坐标与机器手坐标的转换关系。九点法标定是工业上使用广泛的二维手眼标定，所谓二维，即工作平面限制在一个平面上，常用于从固定平面抓取对象进行装配等操作，这种应用场景可以满足大多数的工业现场。本次设计的码垛系统由于抓取的物体高度相同且摄像机的位置固定，因此属于eye-to-hand系统，即摄像机相对于机器手坐标系的位置始终不变，因此完全适用于九点法标定。

由于本次设计采用无畸变摄像机，所以只需考虑摄像机的线性模型，无需进行矫正畸变，因此摄像机获得的像素坐标值可直接用于手眼标定。九点法手眼标定是在像素坐标下获取工作平面上九个点的坐标，同时机器手末端遍历这9个点得到在机器手坐标系中的坐标，同一点的两个坐标相互对应，最终求得像素坐标与机器手坐标的转换关系为式(11)。

上式中机器手坐标系的坐标值，[r]为旋转矩阵,其中为像素坐标系的坐标值，[m]为位移矩阵，其中最终求得转换矩阵a，如式(12)。

4.模板匹配

本次设计要求摄像机在采集物体的二维码信息和物体坐标后还需获得被抓取物体的角度，因此采用基于轮廓的形状匹配方法检测被抓取物体上标志位的信息，从而获得被抓去物体的角度。

对于物体角度的确定也可通过获取二维码的标志位求得，但是，不同码种类二维码标志位不同，如果通过二维码标志位获取物体角度，那么上位机程序将更为繁琐，且程序的执行效率大大降低。同时，在本次设计过程中为了检测系统的实际运行效果，我们将两种方法实际运行后，发现通过二维码标志位获取物体角度的方法，识别正确率低且检测时间长。因此，该方法不符合工业生产中的要求。

基于相关性的模板匹配其大概过程为：图像采集，图像预处理，创建模板，匹配模板和清除模板。

基于相关性的模板匹配采用normalizedcrosscorrelation(ncc)算法，ncc算法为归一化互相关匹配法，是用来比较两幅图像的相似程度。在工业生产环节检测、监控领域对对象检测与识别均有应用。ncc算法可以有效降低光照对图像比较结果的影响。而且ncc最终结果在0到1之间，所以特别容易量化比较结果，只要给出一个阈值就可以判断结果的好与坏。ncc算法的计算公式如(13)。

s为搜索图像，尺寸为m×m，t为模板图像，尺寸为n×n。m，n为图像的像素大小。模板t在图像s上平移时，模板所覆盖的子图记作s^i,j，(i,j)为子图左上角顶点在搜索图s中的坐标。

ncc算法的步骤为预计算模板图像和目标图像的积分图；根据输入的窗口半径大小使用积分图完成ncc计算；根据阈值得到匹配或者不匹配区域；输出结果。

为了减小计算量，本次设计将输入的图像转换为灰度图像，在灰度图像的基础上完成整个ncc计算检测。

5.视觉系统的硬件设计

本设计图像采集采用工业800万快速自动对焦usb免驱动摄像头，像素尺寸为3.0×3.0μm，镜头长度为6mm，分辨率1280×720，帧数率为30桢/秒，画质清晰成像稳定，摄像头通过usb电缆与计算机相连，视觉装置硬件结构图如图1所示。

6.视觉系统软件设计

视觉系统软件是基于windows操作系统，利用c#语言并结合图像处理库halcon编译而成。在软件设计结构上共分为软件登陆界面、注册界面、主界面、特征设置界面、关于界面等；

主界面分为图像显示区、数据信息显示区、控制按钮区、工作状态显示区；在图像显示区数据信息显示区可以显示摄像机采集的实时图像以及对应数据结果；

视觉系统软件主要分为对二维码的信息获取，手眼标定获取坐标和模板匹配部分等。

1)二维码的信息获取

由上文已知二维码信息的获取包括图像灰度化、图像滤波、图像二值化、图像膨胀、凸壳计算、获取轮廓和解码。图6为二维码信息获取的流程图。

2)手眼标定获取坐标

由上文已知，本次设计采用的手眼标定方法为九点标定法。手眼标定的流程图如图7所示。

3)模板匹配部分

由上文已知，本次设计对于目标物体角度的识别采用基于轮廓的模板匹配方法。基于轮廓的形状匹配过程为：图像采集，图像预处理，模板轮廓提取，匹配方法选择和模板轮廓匹配。模板匹配的流程图如图8所示。

虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。