一种基于视觉的钢卷定位方法及设备与流程

本发明属于视觉定位技术领域，更具体地，涉及一种基于视觉的钢卷定位方法及设备。

背景技术：

随着工程机械领域关于起重机的技术不断成熟，用户对于起重机的要求不再仅仅局限于起重机的性能，还包括起重机的失效率、安全性、远程监视等。为了满足客户的以上要求，本领域相关技术人员已经做出了一些研究。

目前，在码头等环境复杂的大型场地上进行钢卷的吊取作业过程中，由于吊取环境复杂，通常采用无人化吊取，虽然在90％的情况下可保证吊取准确，但是仍然存在很多吊取失败的情况。然而，吊取的钢卷为大型工件，一旦失败其后果非常严重。相应地，本领域存在着发展一种能够对大型构件的吊取过程进行准确定位的钢卷视觉定位方法的技术需求。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉的钢卷定位方法及设备，其利用双目相机并通过一系列方法的组合实现了钢卷的视觉定位，提高了抓取效率及抓取准确性，降低了抓取失误率，提高了现场操作的安全性。

为实现上述目的，按照本发明的一个方面，提出了一种基于视觉的钢卷定位方法，其包括如下步骤：

s1采用双目相机拍摄获取标定卡图像和钢卷图像；

s2根据双目相机拍摄的标定卡图像进行立体相机标定，获得双目相机参数；

s3根据双目相机拍摄的左右钢卷图像上是否都有完整的钢卷号选择对应的方法获取钢卷图像特征点的二维坐标；

s4基于立体相机标定获得的双目相机参数对钢卷图像特征点的二维坐标进行转换，获得钢卷图像特征点的三维坐标；

s5根据特征点与钢卷吊取点的位置关系获取钢卷吊取点的三维坐标，实现视觉定位。

作为进一步优选的，根据双目相机拍摄的左右钢卷图像上是否都有完整的钢卷号选择对应的方法获取钢卷图像特征点的二维坐标优选为：将双目相机拍摄的左右钢卷图像等比例缩小，然后检测左右图像中是否都存在完整的钢卷号，若都存在，采用模板匹配法获取图像中特征点的二维坐标，否则采用图像轮廓提取法获取钢卷图像特征点的二维坐标。

作为进一步优选的，采用模板匹配方法获取图像中特征点的二维坐标优选包括如下步骤：

s11获取钢卷号最小凸包矩形，凸包矩形左上点即为所求的特征点；

s12将特征点根据之前图像的缩放比进行放大，获得所需特征点的二维坐标。

作为进一步优选的，采用图像轮廓提取法获取钢卷图像特征点的二维坐标优选包括如下步骤：

s21提取双目相机拍摄的左右钢卷图像的hog特征；

s22利用左右钢卷图像hog特征训练svm支持向量机，使用训练后的svm支持向量机去除左右钢卷图像的背景区域，获取去除背景区域的图像；

s23将去除背景区域的图像转hsv空间进行颜色过滤去除黄色地标线；

s24将去除黄色地标线后的图像从hsv空间转到rgb空间，并采用自适应阈值法获得二值图像，然后将二值图像转到gray空间；

s25寻找二值图像中的闭合轮廓，并对闭合轮廓进行过滤处理；

s26绘制轮廓的最小凸包多边形，并去除凸包多边形中的直线；

s27对图像中左边圆弧进行最小二乘椭圆拟合，椭圆的中心即为所求的特征点，将特征点根据之前图像的缩放比进行放大，获得所需的特征点的二维坐标。

作为进一步优选的，所述提取双目相机拍摄的左右钢卷图像的hog特征，优选为：

s211分别对左右钢卷图像进行灰度处理，并对灰度处理后的图像进行归一化处理；

s212计算归一化的灰度图像中每个像素的梯度，然后将归一化的灰度图像划分成多个单元；

s213统计每个单元的梯度直方图，形成每个单元的描述子；

s214将每9个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的hog特征描述子；

s215将所有块的hog特征描述子串联起来，得到左右钢卷图像的hog特征描述子，从而提取出左右钢卷图像的hog特征。

按照本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1～5任一项所述的方法。

按照本发明的另一方面，提供了一种基于视觉的钢卷定位设备，其包括所述计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。

作为进一步优选的，包括双目摄像机，双目摄像机的图像数据输出端口连接处理器，处理器用于接收双目摄像机拍摄的标定卡图像及左右钢卷图像，并调用计算机可读存储介质中存储的计算机程序对标定卡图像及左右钢卷图像进行处理。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明采用双目相机获取钢卷图像，并根据左右钢卷图像上是否都有完整钢卷号选择相应的方法获取钢卷图像特征点的二维坐标，然后通过坐标转换及特征点与钢卷吊取点的位置关系最终获得钢卷吊取点的三维坐标，实现码头或大型工厂钢卷的视觉定位，通过吊装设备运动到已定位的吊取点即可将钢卷自动化吊取。

2.本发明的钢卷视觉定位方法通过各方法步骤的相互配合，实现了复杂背景下钢卷视觉定位，并且可集成到起重机抓取生产线现场，大幅降低了起重机的吊取失误率，可将起重机的吊取成功率提高到95％以上，降低了起重机操作过程中对人员身体的损害。

3.本发明根据双目相机拍摄的左右钢卷图像上是否存在完整的钢卷号选择对应的方法获取钢卷图像特征点的二维坐标，若存在完整的钢卷号，由于钢卷号存在区域相对于背景区域的像素值差异较大，因此采用基于灰度值的模板匹配法更易获取准确的钢卷号区域位置坐标，且钢卷号区域位置和钢卷吊取点具有固定的相对位置关系，由此采用模板匹配法可较准确获取钢卷吊取点的坐标，实现准确定位和抓取，若不存在完整的钢卷号，由于没有较易提取的特征点，因此采用图像轮廓提取法获取钢卷图像特征点的二维坐标，以对复杂背景下的图像轮廓进行提取。

4.本发明采用图像轮廓提取法获取钢卷图像特征点的二维坐标时，首先提取双目相机拍摄的左右钢卷图像的hog特征，以为svm支持向量机分类提供训练数据，保证训练的可靠性和有效性。

5.本发明中的hog特征主要是通过计算和统计图像局部区域的梯度方向直方图来构成特征，其在图像的局部方格单元上操作，具有对图像几何和光学的形变都能保持良好不变性的优点。

附图说明

图1是本发明较佳实施方式提供的基于视觉的钢卷定位方法的工作流程示意图；

图2是双目相机实现三维坐标获取的原理图；

图3(a)-(b)是采用模板匹配法获取特征点二维坐标的示意图；

图4(a)-(k)是采用轮廓提取法获取特征点二维坐标的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的一种基于视觉的钢卷定位方法，其特征在于，包括如下步骤：

s1采用双目相机拍摄获取标定卡图像和钢卷图像，其中标定卡图像作为参照图像，用于作为获得双目相机参数的依据，实际操作中，根据需要选择所需的标定卡，并放置在所需位置即可；

s2根据双目相机拍摄的标定卡图像进行立体相机标定，获得双目相机参数，包括内部参数和外部参数，例如采用张正友相机标定算法进行立体相机标定，其为现有技术，在此不赘述；

s3根据双目相机拍摄的左右钢卷图像上是否都有完整的钢卷号选择对应的方法获取钢卷图像特征点的二维坐标；

s4基于立体相机标定获得的双目相机参数对钢卷图像特征点的二维坐标进行转换以获得钢卷图像特征点的三维坐标，即基于左右图像中的特征点的二维坐标及双目相机标定参数获得钢卷图像实际特征点在世界坐标系下的三维坐标，其是现有的双目相机标定过程，以通过两幅图像中的两个二维坐标反求实际特征点的三维坐标，在此不赘述；

s5获得特征点的三维坐标之后，根据特征点与钢卷吊取点的位置关系即可算出钢卷吊取点的三维坐标，实现视觉定位，其中特征点与钢卷吊取点的位置关系事先确定，而根据特征点与钢卷吊取点的位置关系算出钢卷吊取点的三维坐标是本领域的常规位置换算技术，在此不赘述，即已知特征点的三维坐标以及特征点与钢卷吊取点的位置关系，即可通过换算得到钢卷吊取点的三维坐标。

具体的，根据双目相机拍摄的左右钢卷图像上是否都有完整的钢卷号选择对应的方法获取钢卷图像特征点的二维坐标，当左右钢卷图像上都存在完整的钢卷号时选择模板匹配方法，反之则选择轮廓提取方法。优选将双目相机拍摄的左右钢卷图像等比例缩小，缩小范围例如为0.1-0.3，以减少计算时间，然后检测左右相机拍摄的图像中是否都存在完整的钢卷号，以为后续算法选择做准备，若存在完整的钢卷号，则采用模板匹配法获取图像中特征点的二维坐标，若否，则采用图像轮廓提取法获取钢卷图像特征点的二维坐标。

若存在完整的钢卷号，由于钢卷号存在区域相对于背景区域的像素值差异较大，因此采用基于灰度值的模板匹配法更易获取准确的钢卷号区域位置坐标(具体原理见下面公式1)，且钢卷号区域位置和钢卷吊取点具有固定的相对位置关系，由此采用模板匹配法法可较准确获取钢卷吊取点的坐标，实现准确定位和抓取。

diff(xs,ys,xt,yt)＝|is(xs,ys)-it(xt,yt)|公式1

其中，s为待处理图像，在钢卷吊取工作中s为拍摄的钢卷图像，t为模板图像，在钢卷吊取工作中t为字符模板图像，is(xs,ys)为待处理图像上(xs,ys)点的像素值，it(xt,yt)为模板图像上(xt,yt)点的像素值。

若不存在完整的钢卷号，由于没有较易提取的特征点，因此采用图像轮廓提取法获取钢卷图像特征点的二维坐标，可从复杂背景下的图像轮廓中提取所需的吊取点。

进一步的，采用模板匹配方法获取图像中特征点的二维坐标优选包括如下步骤：

s11获取钢卷号最小凸包矩形(即能将钢卷号包围的最小矩形))，凸包矩形左上点即为所求的特征点，凸包矩形左上点的二维坐标即为特征点缩小后的二维坐标；

s12将特征点二维坐标根据之前图像的缩放比进行放大，获得特征点的二维坐标，该二维坐标为特征点实际坐标。

更为具体的，采用图像轮廓提取法获取钢卷图像特征点的二维坐标优选包括如下步骤：

s21提取双目相机拍摄的左右钢卷图像的hog特征：

s211分别对左右钢卷图像进行灰度处理，并譬如采用gamma校正法对灰度处理后的图像进行颜色空间的归一化处理；

s212将归一化的灰度图像划分成多个单元，并计算归一化的灰度图像中每个像素的梯度；

s213统计每个单元的梯度直方图，形成每个单元的描述子；

s214将每9个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的hog特征描述子；

s215将所有块的hog特征描述子串联起来，得到左右钢卷图像的hog特征描述子，从而提取出左右钢卷图像的hog特征；

s22如图4(b)和(c)所示，利用左右钢卷图像hog特征训练svm支持向量机，使用训练后的svm支持向量机去除左右钢卷图像的背景区域，获取去除背景区域的图像，svm支持向量机去除左右钢卷图像复杂背景区域主要是通过对提取到的图像上的特征进行训练实现线性分类，其为现有常规处理方法，在此不赘述；

s23如图4(d)所示，将去除背景区域的图像转hsv空间进行颜色过滤去除干扰，目的在于去除图像中的黄色地标线，上述空间转换为本领域的常规技术，在此不赘述；

s24如图4(e)所示，将去除颜色的图像从hsv空间转到rgb空间，并譬如采用自适应阈值法获得二值图像，如图4(f)所示，然后将二值图像转到gray(灰度)空间去除干扰，目的在于去除灰度值小于阈值的像素点(在钢卷轮廓的提取中设置的灰度阈值为230)，以便于后面能获取准确的椭圆圆弧，实现准确的最小二乘椭圆拟合，上述提及的空间转换均为本领域的常规技术，在此不赘述；

s25如图4(g)所示，寻找二值图像中的闭合轮廓，并对闭合轮廓进行过滤处理，如图4(h)所示，具体的，过滤处理优选为去除轮廓中的小区域、孔洞、面积小于阈值a的轮廓(在钢卷轮廓提取中a＝2)、高宽比小于b的轮廓(在钢卷轮廓提取中b＝2)；

s26如图4(i)所示，绘制轮廓的最小凸包多边形(即将所有轮廓包围的最小多边形)，并hough变换去除凸包多边形中的直线，如图4(j)所示；

s27如图4(k)所示，针对钢卷吊取工作对图像中左边圆弧进行最小二乘椭圆拟合，若是吊装其他部件，则针对存在椭圆弧的部分进行最小二乘椭圆拟合。椭圆的中心即为所求的特征点，将特征点根据之前图像的缩放比进行放大，获得所需的特征点的二维坐标。

采用图像轮廓提取法获取钢卷图像特征点的二维坐标后，基于立体相机标定获得的双目相机参数对钢卷图像特征点的二维坐标进行转换以获得钢卷图像特征点的三维坐标，获得特征点的三维坐标之后，根据特征点与钢卷吊取点的位置关系算出钢卷吊取点的三维坐标实现视觉定位，只不过此时的特征点即为吊取点，特征点与钢卷吊取点无相对位置关系，直接将特征点的三维坐标作为钢卷吊取点的三维坐标即可。

步骤s25中，譬如采用区域生长算法去除轮廓中的小区域、孔洞、面积小于阈值a的轮廓、高宽比小于b的轮廓，以为获取准确的钢卷图像轮廓中的椭圆圆弧做准备，优选的采用4邻域检测法去除孔洞，采用8邻域检测法去除小区域。

更为具体的，各坐标系中的点采用下式进行转换：

其中，(u0,v0)为像素坐标系中原点，(x,y)为物点p在图像坐标系中的坐标，(xu,yv)为物点p在像素坐标系中的坐标，dx,dy为像素坐标系中每个像素对应图像坐标系中的物理尺寸，f为摄像机焦距，[xcyczc]表示物点p在摄像机坐标系下的三维坐标，[xwywzw]表示物点p在世界坐标系下的三维坐标，r为左相机相对于右相机的旋转矩阵，t为左相机相对于右相机的平移矩阵，0^t为全是0的列向量。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1～5任一项所述的方法。

本发明还提供了一种基于视觉的钢卷定位设备，包括所述的计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。具体的，钢卷定位设备包括双目摄像机，双目摄像机的图像数据输出端口连接处理器，处理器用于接收双目摄像机拍摄的标定卡图像及左右钢卷图像，并调用计算机可读存储介质中存储的计算机程序对标定卡图像及左右钢卷图像进行处理。

本发明的钢卷视觉定位方法通过各方法步骤的相互配合，实现了复杂背景下钢卷视觉定位，并且可集成到起重机抓取生产线现场，大幅降低了起重机的吊取失误率，可将起重机的吊取成功率提高到95％以上，降低了起重机操作过程中对人员身体的损害。本发明提供的钢卷视觉定位方法通过一系列方法的组合实现了钢卷的视觉定位，提高了抓取效率及抓取准确性，降低了抓取失误率，提高了现场操作的安全性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。