一种塔式起重机负荷立体摆角的视觉检测方法
【技术领域】
[0001] 本发明涉及一种视觉检测方法，尤其是一种针对于塔式起重机负荷立体摆角的视 觉检测方法。
【背景技术】
[0002] 随着生产力的发展，塔式起重机作为一种主要的搬运机械，在工业生产和民用建 筑中，发挥着越来越重要的作用。塔式起重机在作业中普遍存在负荷摆动问题，会限制负荷 变幅速度和回转速度，降低负荷就位精度，同时也增加了操作人员的劳动强度，严重时会引 起负荷脱钩，引发事故。因此消除或控制负荷摆动对提高塔式起重机工作效率、减少装卸作 业生产隐患具有重要意义。
[0003] 目前，塔式起重机负荷防摆控制系统的立体摆角检测主要由加速度计、陀螺仪等 传感器组成传感器模块来实现摆角检测，硬件成本较高且信号处理复杂。
【发明内容】
[0004] 本发明要解决的技术问题是现有的立体摆角检测主要依靠各类传感器，成本高且 存在较大的误差。
[0005] 为了解决上述技术问题，本发明提供了一种塔式起重机负荷立体摆角的视觉检测 方法，包括如下步骤：
[0006] 步骤1，对左右平衡安装的两个相机分别进行标定，得到两个相机之间的相对几何 位置关系；
[0007] 步骤2,利用标定后的左右相机对塔式起重机搭载的重物进行图像采集；
[0008] 步骤3,将采集到的左右两幅原始彩色图像转换成灰度图像；
[0009] 步骤4,对左右两幅灰度图像进行维纳滤波去除噪声；
[0010] 步骤5,对左右两幅去噪图像利用OTSU全局阈值最大化类间方差进行区域分割， 得到左右两幅二值图像；
[0011] 步骤6,利用canny边缘检测算子对左右两幅二值图像进行物体边缘检测，得到左 右两幅边缘轮廓曲线图像；
[0012] 步骤7,对左右两幅边缘图像利用Hough变换检测出塔式起重机图像中吊载重物 的直线吊绳，并利用像素值检测出设置在吊绳两端的白色标记点；
[0013] 步骤8,将检测到的吊绳首端的白色标记点记为图像的起始坐标点，分割出吊绳直 线区域；
[0014] 步骤9,分别检测出左右两幅图像中吊绳直线区域尾端的白色标记点的行列坐 标；
[0015] 步骤10,采用异面直线公垂线的中点逼近所要恢复的吊绳尾端的白色标记点三维 坐标，从而获得欲恢复吊绳尾端的白色标记点的三维坐标；
[0016] 步骤11，根据欲恢复吊绳尾端白色标记点的三维坐标计算该点距离吊绳首端白色 标记基点的三维摆角。
[0017] 采用对两个相机的内部参数和外部参数分别进行标定，能够有效提高检测的精 度，为后面的三维坐标计算奠定精确的计算基础；利用吊绳首端的白色标记点，能够方便从 图像中分割出吊绳直线区域，提高了吊绳识别的精确性；利用两幅图像中吊绳直线区域尾 端的白色标记点计算欲恢复吊绳尾端的白色标记点的三维坐标，从而进一步计算出三维摆 角，完成负荷立体摆角的视觉检测。
[0018] 作为本发明的进一步限定方案，步骤1中对两个相机分别进行标定时，具体包括 如下步骤：
[0019] 步骤1-1，采用黑白国际象棋图案作为标定模板；
[0020] 步骤1-2,将标定模板置于左右相机的正前方，变换标定模板的平面位置和旋转角 度，用左右相机对同一位置的标定模板同时采集N组图片；
[0021] 步骤1-3,选取同一组左右两幅图像，并分别确定每幅图像中所有对应黑白格子的 左上角、右上角、左下角和右下角四个边界的特征点；
[0022] 步骤1-4,根据对应特征点的投影成像平面坐标（u，V)与标定模板上特征点的直 角坐标（X，Y)分别计算左右两个相机的内部参数和外部参数。
[0023] 两个相机的标定是视觉检测的基础，该步骤直接关系到整个视觉检测过程的精 度，精确地标定才能确保视觉检测结果的精确性。
[0024] 作为本发明的进一步限定方案，步骤1-4中计算两个相机的内部参数、外部参数 以及相对几何位置关系的具体步骤为：
[0025] 步骤1-41，由最小二乘法逐点求解
中的单应映射矩阵Η，单应映射矩阵H的第i行向量为Ii1= Di11 hl2 hl3]，单应映射矩阵H 的第j列向量为hj= [h u 1? h3.j]T;
[0026] 步骤1-42,令对称矩阵
其中，A为内部参数矩阵，
α、β、u。和V。为相机的内部参数，γ为相机成像平面两轴之间的不垂直 因子，即像素行列的夹角，α为相机的水平方向焦距，β为相机的垂直方向焦距，u。和V。为 相机的主点坐标，在理想的相机模型中，（UQ，V。）位于图像中央，α = β，γ = 〇或90° ;
[0027] 步骤 1-43,再令 Vlj= [h Uhlj huhyhuhu hl2h2j l^hu+huh；^ hl3h2j+hl2h3j hl3h3j]T， b = [B11 B12 B22 B13 B23 B33] T，采集 N 幅图像，列写 Ni
方程，SP Vb = 〇的方程；
[0028] 步骤1-44,求解VtV最小特征值对应的特征向量即为b的解，对b求逆，利用 Choleski分解得到内部参数的计算公式为：
[0030] 步骤1-45,求解H = Qi1 h2 h3] = XAQr1 r2 T]，得到相机的外部参数R和T的计 算公式为：
[0032] 其中，λ为比例因子，ri(i = 1，2,3)表示3X3旋转矩阵R的第i列向量，即旋转 矩阵R的第i行向量为Ri= [r n ri2 ri3]，旋转矩阵R的第j列向量为Rj= [r u r2_j r3_j]T， T为3X1的平移矩阵；
[0033] 步骤1-46,再根据式
计算两个相机之间的相对几何位置关系，其 中，r为相对旋转矩阵，t为相对平移矩阵，&和R 2分别表示左右两个相机的旋转矩阵，T JP T2分别为左右两个相机的平移矩阵。
[0034] 两个相机的内部参数和外部参数是计算两个相机之间的相对几何位置关系的基 础，在确定两个相机的几何位置关系后才能进行视觉检测。
[0035] 作为本发明的进一步限定方案，步骤10中获得吊绳尾端的白色标记点的三维坐 标的具体步骤为：
[0036] 步骤10-1，求解下述方程中的mx、my、mz、n x、njP η z，
[0038] 其中，左相机成像的吊绳直线和右相机成像的吊绳直线0 RPR 的方向向量分别为I和,吊绳直线〇Λ所在的两个平面的法向量为
吊绳直线OrPr所在的两个平面的法向量为
(?, vj和（uR, vR)为左右图像上的坐标，m14、m24以及m 34为标定参数
矩阵对应的系数；
[0039] 步骤10-2,计算最终的公垂线MN的中点P'，即吊绳尾端上的白色标记点的三维坐 标为：
其中（mx, my, mz)和（nx, ny, nz) 分别为左相机成像的吊绳直线〇J\和右相机成像的吊绳直线0 RPR的公垂线丽顶点M和N 点的三维坐标。
[0040] 本发明的有益效果在于：（1)采用对两个相机的内部参数和外部参数分别进行标 定，能够有效提高检测的精度，为后面的三维坐标计算奠定精确的计算基础；(2)利用吊绳 首端的白色标记点，能够方便从图像中分割出吊绳直线区域，提高了吊绳识别的精确性； (3)利用两幅图像中吊绳直线区域尾端的白色标记点计算欲恢复吊绳尾端的白色标记点的 三维坐标，从而进一步计算出三维摆角，完成负荷立体摆角的视觉检测。
【附图说明】
[0041] 图1为本发明塔式起重机负荷立体摆角的视觉检测方法流程图；
[0042] 图2为本发明塔式起重机负荷立体摆角的视觉检测方法中标定模板示意图；
[0043] 图3为本发明塔式起重机负荷立体摆角的视觉检测方法双目立体视觉检测示意 图；
[0044] 图4为本发明塔式起重机负荷立体摆角的视觉检测方法中公垂线中点计算示意 图。
【具体实施方式】
[0045] 如图1-4所示，本发明的一种塔式起重机负荷立体摆角的视觉检测方法，包括如 下步骤：
[0046] 步骤1，对左右平衡安装的两个相机分别进行标定，得到两个相机之间的相对几何 位置关系，具体步骤为：
[0047] 步骤1-1，采用黑白国际象棋图案作为标定模板，其中黑白格子大小为 20mm*2Omm ;
[0048] 步骤1-2,将标定模板置于左右相机的正前方，变换标定模板的平面位置和旋转角 度，用左右相机对同一位置的标定模板同时采集N组图片，本发明优选采集20组图片；
[0049] 步骤1-3,选取同一组左右两幅图像，并分别确定每幅图像中所有对应黑白格子的 左上角、右上角、左下角和右下角四个边界的特征点；
[0050] 步骤1-4,根据对应特征点的投影成像平面坐标（u，V)与标定模板上特征点的直 角坐标（X，Y)分别计算左右两个相机的内部参数和外部参数，内部参数、外部参数以及相 对几何位置关系的具体步骤为：
[0051] 步骤1-41，由最小二乘法逐点求解
中的单应映射矩阵Η，单应映射矩阵H的第i行向量为Ii1= Dill hl2 hl3]，单应映射矩阵H 的第j列向量为hj= [h u 1? h3j]T;
[0052] 步骤1-42,令对称矩阵
其中，A为内部参数矩阵，
α、β、u。和V。为相机的内部参数，γ为相机成像平面两轴之间的不垂直 因子，即像素行列的夹角，α为相机的水平方向焦距，β为相机的垂直方向焦距，u。和V。为 相机的主点坐标，在理想的相机模型中，（U(j，v。）位于图像中央，α = β，γ = 〇或90° ;
[0053] 步骤 1-43,再令 Vlj= Di11Iilj huhyhuhu hl2h2j hn