一种基于单目视觉与双目视觉相结合的垂直度检测方法与流程

本发明属于机器视觉技术领域，特别是一种基于单目视觉与双目视觉相结合的垂直度检测方法。

背景技术：

单目视觉测量通过相机拍摄被测物体，通过图像处理获得被测物体的成像信息，通过二维成像平面与三维物体空间的对应关系，获得被测物体的尺寸信息，由于二维成像平面丢失了被测物体的深度信息，无法完全获得三维物体尺寸的信息，我们需要对目标增加相应的约束来测量目标尺寸。视觉测量可以应用于目标识别、目标尺寸检测和其他(如完整性检测)。视觉测量技术中的重要技术包括相机标定技术和图像处理技术。通过相机标定，得到相机的内部参数和外部参数，能够把三维构建模型确定。

双目视觉是机器视觉的一个重要分支，双目视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。这种能力不仅是机器能感知三维环境中物体的几何信息，而且还能对它们进行描述、存储、识别与理解，以满足特定的需求。双目视觉通过设计和模仿人类视觉来获得物体的深度信息。通过二维信息与三维信息的结合，也为具体的工程问题提供了方法。

技术实现要素：

本发明针对双目视觉中检测直线与平面的垂直度的问题，根据单目视觉与双目视觉的特点，提出了一种基于单目视觉与双目视觉相结合的垂直度检测方法。

本发明所设计的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：

步骤1：通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个mark点的平面，从而得到两张图片，分别为左图和右图，图片大小为m×n；

步骤2：通过图像处理方法，分别计算左图和右图中mark点的圆心所在图像中的坐标，其中4个mark点为正方形的4个顶点，将左图中的mark点坐标记为(xli，yli)，将右图中对应左图的mark点圆心坐标记为(xri，yri)，i＝1，2，3，4；

步骤3：根据左图和右图中4个对应mark点的坐标，通过双目视觉系统计算出4个mark点的圆心所在相机坐标系下的坐标，记为(xi，yi，zi)，i＝1，2，3，4，计算公式为

其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；xi,yi,zi分别为mark点的圆心所在相机坐标系下的三维坐标；

步骤4：在左相机系统中，挑选3个mark点，形成一个二维直角坐标系，其中x轴为垂直于相机光轴的两个mark点的连线，y轴为平行于相机光轴的两个mark点的连线，并将过坐标系原点o且垂直于该坐标系的直线作为z轴，形成三维坐标系，记为ol(x,y,z)，并计算ol(x,y,z)与相机坐标系oc(x,y,z)的位姿关系，该关系记为[rt]l，公式如下：

其中(xc，yc，zc)是相机坐标系oc(x,y,z)下的点，(xl，yl，zl)是ol(x，y，z)坐标系下对应于(xc，yc，zc)的点；

步骤5：根据步骤4所得到的[rt]l，获得ol(x,y,z)与相机坐标系oc(x,y,z)在x轴方向上的旋转角度βl；

步骤6：在右相机系统中，挑选3个mark点，形成一个二维直角坐标系，其中x轴为垂直于相机光轴的两个mark点的连线，y轴为平行于相机光轴的两个mark点的连线，并将过坐标系原点o且垂直于该坐标系的直线作为z轴，形成三维坐标系，记为or(x,y,z)，并计算or(x,y,z)与相机坐标系oc(x,y,z)的位姿关系，该关系记为[rt]r，公式如下：

其中(xc，yc，zc)是相机坐标系oc(x,y,z)下的点，(xr，yr，zr)是or(x，y，z)坐标系下对应于(xc，yc，zc)的点；

步骤7：根据步骤6所得到的[rt]r，获得or(x,y,z)与相机坐标系oc(x,y,z)在x轴方向上的旋转角度βr；

步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系oc(x,y,z)下x轴方向的角度，分别记为αl，αr；

步骤9：计算直线与平面在x方向上的旋转角度αx，计算公式为

αx＝αl+βl

步骤10：计算直线与平面在x方向上的旋转角度αy，计算公式为

αy＝αr+βr

步骤11：计算直线与平面的角度偏差，α计算公式为

本发明得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上mark点的三维坐标，并根据mark点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

附图说明

图1是相机架设的结构示意图；

图2是平面mark点在左图和右图中的示意图；

图3是根据三个mark点形成的二维直角坐标系的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例1：

本实施例提供的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：

步骤1：如图1所示，通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个mark点的平面，从而得到两张图片，分别为左图和右图，如图2所示，图片大小为m×n；

步骤2：通过图像处理方法，分别计算左图和右图中mark点的圆心所在图像中的坐标，其中4个mark点为正方形的4个顶点，将左图中的mark点坐标记为(xli，yli)，将右图中对应左图的mark点圆心坐标记为(xri，yri)，i＝1，2，3，4；

步骤3：根据左图和右图中4个对应mark点的坐标，通过双目视觉系统计算出4个mark点的圆心所在相机坐标系下的坐标，记为(xi，yi，zi)，i＝1，2，3，4，计算公式为

其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；xi,yi,zi分别为mark点的圆心所在相机坐标系下的三维坐标；

步骤4：在左相机系统中，挑选3个mark点，形成一个如图3所示的二维直角坐标系，其中x轴为垂直于相机光轴的两个mark点的连线，y轴为平行于相机光轴的两个mark点的连线，并将过坐标系原点o且垂直于该坐标系的直线作为z轴，形成三维坐标系，记为ol(x,y,z)，并计算ol(x,y,z)与相机坐标系oc(x,y,z)的位姿关系，该关系记为[rt]l，公式如下：

其中(xc，yc，zc)是相机坐标系oc(x,y,z)下的点，(xl，yl，zl)是ol(x，y，z)坐标系下对应于(xc，yc，zc)的点；

步骤5：根据步骤4所得到的[rt]l，获得ol(x,y,z)与相机坐标系oc(x,y,z)在x轴方向上的旋转角度βl；

步骤6：在右相机系统中，挑选3个mark点，同样形成一个如图3所示的二维直角坐标系，其中x轴为垂直于相机光轴的两个mark点的连线，y轴为平行于相机光轴的两个mark点的连线，并将过坐标系原点o且垂直于该坐标系的直线作为z轴，形成三维坐标系，记为or(x,y,z)，并计算or(x,y,z)与相机坐标系oc(x,y,z)的位姿关系，该关系记为[rt]r，公式如下：

其中(xc，yc，zc)是相机坐标系oc(x,y,z)下的点，(xr，yr，zr)是or(x，y，z)坐标系下对应于(xc，yc，zc)的点；

步骤7：根据步骤6所得到的[rt]r，获得or(x,y,z)与相机坐标系oc(x,y,z)在x轴方向上的旋转角度βr；

步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系oc(x,y,z)下x轴方向的角度，分别记为αl，αr；

步骤9：计算直线与平面在x方向上的旋转角度αx，计算公式为

αx＝αl+βl

步骤10：计算直线与平面在x方向上的旋转角度αy，计算公式为

αy＝αr+βr

步骤11：计算直线与平面的角度偏差，α计算公式为

本实施例所得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上mark点的三维坐标，并根据mark点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。