一种基于多约束的高精度双目相机标定方法与流程

本发明涉及一种高精度的双目相机标定方法，尤其是涉及一种基于多约束的高精度双目相机标定方法。

背景技术：

机器视觉检测系统由于可以提高生产的柔性和自动化程度，以及可以使用在某些不存在人工检测条件的场合，使得近几年在几何量测量以及机械制造等领域发挥着越来越重要的作用。相机标定是展开机器视觉后续一系列操作的基础，因此学者们在相机标定领域展开了大量的研究。通过构建世界坐标系和图像坐标系的关系，求解矩阵方程可以得到初始的相机参数。但是这些初始参数往往在实际应用中使得测量误差较大，因此需要建立用于优化的数学模型，使用最优化算法寻找使得测量效果最佳的全局最优解，最终达到更高的测量精度。

张正友于2000年在《ieeetransactionsonpatternanalysisandmachineintelligence》的论文“aflexiblenewtechniqueforcameracalibration”中使用重投影误差作为优化目标函数，估计相机内外参数。q.wang于2016年在《measurementscience&technology》的论文“animprovedmeasurementmodelofbinocularvisionusinggeometricalapproximation”中考虑了图像中特征分布情况，提出区域加权法计算基础矩阵，再根据对极几何原理估计相机外参。z.wang于2015年在《measurement》上的论文“atwo-stepcalibrationmethodofalargefovbinocularstereovisionsensorforonsitemeasurement”中考虑重投影误差的同时引入极线约束，在保证内参固定的情况下，使用本征矩阵代替基本矩阵进行极线约束，对外参数进行优化，提高了视觉测量精度。f.yang于2016年在《actaopticasinica》的论文“binocularcameracalibrationmethodcombinedwiththefourcollinearconstraints”中提出在畸变误差较大的图像四角进行标志点共线约束，结合最小化重投影误差来估计相机参数。然而，该方法是通过将三维点间的共线交比关系重投影回图像平面，对图像平面的像素点之间的关系进行限制，仍是停留在图像平面上优化。并非考虑由图像上的像素点，根据标定参数重建三维估计点，对三维估计点施加和实际标志点相一致的几何约束。shen于2016年在《journalofmeasurementscienceandinstrumentation》上的论文“anewtechniqueforhighprecisionsub-regionalcameracalibrationbasedoncheckerboardpattern”中把用于标定的特征点分为中间点和边缘点两类，分别标定中间和边缘这两类区域，以重投影误差作为最小化目标函数，得到用于各自区域的两组相机参数。cui于2014年在《opticsexpress》上的论文“precisecalibrationofbinocularvisionsystemusedforvisionmeasurement”中考虑使用最小化三维重建点和实际点之间的坐标差异，结合极线约束和特征点相邻距离误差来综合优化相机参数。然而，该方法没有考虑重投影误差对相机参数的影响。由于重投影约束是保证图像点和实际点坐标单应性的重要约束条件，因此重投影误差也是衡量三维重构效果的一个重要参数，对加速寻找正确的收敛方向以及保证结果的精确性上都发挥着重要作用。同时，只考虑了局部的相邻距离约束，忽略了其他约束力更强的重建后特征点间的几何制约关系。

目前，现有的双目相机标定方法未能综合的将二维图像平面的约束信息和三维重建后的特征点间的约束信息利用起来，并且缺少较全面的包含局部及整体的三维重建点间的几何制约关系。

技术实现要素：

为了解决背景技术中存在的问题，本发明的目的在于提供一种基于多约束的高精度双目相机标定方法，提出了新型的三维几何约束条件，建立了包含重投影约束、极线约束以及根据标定参数重建后的特征点间的相邻距离约束、共线约束及边缘直角约束的数学模型，迭代优化待标定参数，使得由各类误差的累加和最小，最终获取高精度的双目相机参数。

本发明所采用的技术方案它包括以下步骤：

(1)使用双目相机从多个视角方位朝向同一国际象棋黑白棋盘格图案拍摄多次，获得多对左右图像，并以黑白棋盘格图案中两条线交叉处的点作为特征点，即组成田字形的四个格子的中间点；

所述步骤(1)中在双目相机拍摄时，拍摄方向和黑白棋盘格图案所在平面之间的夹角大于30度，双目相机和黑白棋盘格图案间的垂直距离在1～3m之间，且保证黑白棋盘格图案完整成像在左右图像中。

所述的双目相机包括左右相机，左、右相机拍摄获得的图像分别为左、右图像。

(2)使用张正友标定法计算获得左相机的内参矩阵al、左相机的畸变系数dl、左相机的外参矩阵nl、右相机的内参矩阵ar、右相机的畸变系数dr、右相机的外参矩阵nr以及由右相机坐标系转换到左相机坐标系的相机间外参矩阵nrl，并作为双目相机的初始参数；

所述的左相机坐标系是以左相机为基准的三维笛卡尔坐标系，右相机坐标系是以右相机为基准的三维笛卡尔坐标系，世界坐标系是以棋盘格图案为基准的三维笛卡尔坐标系。

(3)针对每一个世界坐标系下黑白棋盘格图案中坐标已知的特征点m，将特征点m分别通过左右相机的内外参矩阵计算获得特征点m在左、右图像坐标系下的理论图像点ml(ucl,vcl)、mr(ucr,vcr)，其中ucl,vcl分别表示左图像坐标系下理论图像点ml的横纵坐标，ucr,vcr分别表示右图像坐标系下理论图像点mr的横纵坐标，左、右图像坐标系是分别以左、右图像平面为基准的二维笛卡尔坐标系；并对左右图像进行角点检测获得特征点m在左右图像中对应的实际图像点

(4)由理论图像点ml(ucl,vcl)、mr(ucr,vcr)根据步骤(1)获得左右相机的畸变系数dl(k1l,k2l,p1l,p2l)和dr(k1r,k2r,p1r,p2r)基于二阶径向和切向畸变的畸变模型采用以下公式计算获得理论畸变后的图像点

式中，rl是理论图像点ml到左图像坐标系原点的距离，rr是理论图像点mr到右图像坐标系原点的距离；k1l,k2l,p1l,p2l分别表示左相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，k1r,k2r,p1r,p2r分别表示右相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，udl,vdl分别表示左图像坐标系下理论畸变后的图像点的横纵坐标，udr,vdr分别表示右图像坐标系下理论畸变后的图像点的横纵坐标；

(5)根据实际图像点和步骤(4)所得的理论畸变后的图像点处理获得重投影误差累加和jrep；

所述步骤(5)具体为：计算实际图像点分别和步骤(4)所得的理论畸变后的图像点之间的坐标差值，作为重投影误差；针对每张图像中的每个特征点均处理获得重投影误差，将所有图像的所有特征点的重投影误差全部相加获得重投影误差累加和jrep。

具体实施中，重投影误差累加和jrep是由双目相机不同视角方位拍摄次数乘以黑白棋盘格图案中所包含的特征点数量的总数个重投影误差累加构成。

(6)根据步骤(1)获得左右相机的畸变系数dl和dr和特征点m在左右图像中对应的实际图像点使用无畸变递归求解方法计算获得特征点m在左右图像中对应的矫正后的无畸变图像点和并作为无畸变图像点对

所述的无畸变递归求解方法采用heikkila在《ieeetransactionsonpatternanalysisandmachineintelligence》期刊上发表的论文“geometriccameracalibrationusingcircularcontrolpoints”中的方法。

(7)通过无畸变图像点对和基础矩阵f计算极线误差累加和jepi；

所述步骤(7)具体为：根据对极几何原理，通过矫正后的无畸变图像点和基础矩阵f计算无畸变图像点对之间的极线误差，由于同一个黑白棋盘格图案的一个特征点分别投影到左右图像坐标系得到一个无畸变图像点对针对每一个特征点m在每对左右图像中对应的一对无畸变图像点均处理获得极线误差，计算所有对左右图像中所有无畸变图像点对的极线误差累加和jepi，具体公式为；

式中，表示第i个视角方位拍摄的左图像下的第j个矫正后的无畸变图像点的齐次坐标，表示第i个视角方位拍摄的右图像下的第j个矫正后的无畸变图像点的齐次坐标，d(*,*)²代表两个坐标的几何距离的平方，i表示视角方位拍摄的序号，j表示矫正后的无畸变图像点的序号，f表示基础矩阵。

所述步骤(7)中的基础矩阵f由左、右相机内参矩阵al、ar和相机间的外参矩阵nrl构成。

具体实施中，极线误差累加和jepi是由双目相机不同视角方位拍摄次数乘以黑白棋盘格图案中所包含的特征点数量的总数个极线误差累加构成。

(8)由无畸变图像点和采用最优化三角测量方法计算出满足对极几何约束的可用于三维重建的最优左右图像特征点对最优左右图像特征点对的两个点分别和各自相机光心作连线ocl和连线ocr连线ocl和连线ocr相交于空间中一点点作为特征点m的三维重建特征点，三维重建特征点是空间点；

所述的最优化三角测量方法采用hartley和sturm于1997年在《computervisionandimageunderstanding》期刊上发表的论文“triangulation”中的方法。

针对黑白棋盘格图案中一个特征点获得其在一个视角方位拍摄下的三维重建特征点，由此获得黑白棋盘格图案中所有特征点在不同视角方位拍摄下的三维重建特征点，三维重建特征点是空间点。

(9)根据三维重建特征点处理获得相邻距离误差累加和jadj；

所述步骤(9)具体为：计算黑白棋盘格图案中沿行方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离和黑白棋盘格图案中沿列方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离，以空间距离和用游标卡尺测量黑白棋盘格图案中相邻两个特征点实际间距之间的差值作为空间中相邻三维重建特征点在行和列方向上的相邻距离误差，黑白棋盘格图案中的行方向代表了空间中的行，黑白棋盘格图案中的列方向代表了空间中的列；

计算所有相邻距离误差的累加和，作为相邻距离误差累加和jadj：

其中，d(mh,mv)为沿水平/竖直方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离，ladj为用游标卡尺对黑白棋盘格图案中相邻特征点间距的测量值，h代表行方向，v代表列方向。

(10)根据三维重建特征点处理获得共线误差累加和jcol；

所述步骤(10)具体为：将黑白棋盘格图案中位于外围边缘一圈上的特征点对应获得的三维重建特征点作为外部三维重建特征点，将黑白棋盘格图案中位于非边缘中间的特征点对应获得的三维重建特征点作为内部三维重建特征点；

对于所有内部三维重建特征点，计算该内部三维重建特征点到和该内部三维重建特征点位于同一行的两个外部三维重建特征点之间连线的垂直距离，以及该内部三维重建特征点到和该内部三维重建特征点位于同一列的两个外部三维重建特征点之间连线的垂直距离；计算所有视角方位拍摄的左右图像下所有内部三维重建特征点的垂直距离的累加和，作为共线误差累加和jcol。

具体实施中，共线误差累加和jcol是由数字2、双目相机不同视角方位拍摄次数和黑白棋盘格图案中所对应具有的内部三维重建特征点数量的三者乘积的总数个垂直距离累加构成。

(11)根据三维重建特征点处理获得直角误差累加和jrig；

所述步骤(10)具体为：黑白棋盘格图案中位于外围边缘一圈四角上的四个特征点对应获得的三维重建特征点构成一个四边形，根据余弦定理求取四边形的四个角的角度，以∠mci,j来表示所求角度，计算每个角的角度和直角之间的角度差值；计算所有视角方位拍摄的左右图像下所有四边形的四个角对应的角度差值累加和，作为直角误差累加和jrig：

其中，∠mci,j表示第i个视角方位拍摄的左右图像下四边形的第j个角的角度，i表示视角方位拍摄的序号，j表示四个角的角序号。

具体实施中，直角误差jrig是由数字4和双目相机不同视角方位拍摄次数的两者乘积的总数个角度差值累加构成。

(12)建立优化目标函数进行求解获得最优的相机参数，完成对双目相机的高精度标定。

所述步骤(12)具体是建立以下公式的优化目标函数，然后采用列文伯格-马夸尔特法(levenberg-marquardt)对优化目标函数进行求解获得最优的相机参数；

minjopt＝jrep+jepi+jadj+jcol+jrig

其中，jrep表示重投影误差累加和，jepi表示极线误差累加和，jadj表示相邻距离误差累加和，jcol表示共线误差累加和，jrig表示直角误差累加和。

本发明根据内部特征点和外部特征点在重建前后的共线性不变，计算所有内部三维重建特征点的垂直距离累加和jcol作为优化目标函数中的一项来参加相机参数的优化。

本发明所构造的优化目标函数由保证图像特征点和实际特征点的单应性关系的重投影误差jrep、保证对极几何约束的极线误差jepi、包含三维几何信息约束的jadj、jcol及jrig组成。

本方法目标在于最小化三维重建特征点间的几何约束误差，这些几何约束包括相邻特征点距离误差、共线误差以及直角误差。本发明通过重投影误差的处理来保证特征点在空间和图像上的单应性关系，通过极线误差的处理使得左右相机图像中的特征点更好地满足对极几何理论，通过最小化由一系列最小二乘项构成的目标函数，来优化所有的内参、外参及畸变参数。

为了检测算法性能，具体实施还设计了实际测量实验以及高斯噪声加噪实验。

本发明具有的有益效果是：

1)构造了新型的三维几何约束条件，建立了包含重投影约束、极线约束以及根据标定参数重建后的特征点间的相邻距离约束、共线约束及边缘直角约束的数学模型。综合的将二维图像平面的约束信息和三维重建后的特征点间的约束信息利用起来，并且引入较全面的包含局部及整体的三维重建点间的几何制约关系。

2)由于引入了和实际测量需求更相符的三维约束信息，提高了标定相机参数的精度，从而使得在实际测量过程中的误差(距离测量误差、共线误差以及直角误差)明显降低，更加适用于要求高精度的双目视觉测量系统的工业环境。在高斯噪声的影响下，本发明算法标定获得的相机参数具有更强的稳定性。

3)无需特别定制标定物，无需高精度的旋转台等辅助工具，仅使用常见的棋盘格标定板即可达到标定要求。

附图说明

图1是本发明的流程图。

图2是双目系统成像模型。

图3是棋盘格特征点分类图。

图4是余弦定理计算共线距离示意图。

图5是10次距离测量实验结果图。

图6是10次距离测量实验的平均相对误差和标准偏差图。

图7是10次共线误差测量实验结果图。

图8是10次共线误差测量实验的平均相对误差和标准偏差图。

图9是10次直角误差测量实验结果图。

图10是10次直角误差测量实验的平均相对误差和标准偏差图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的实施例及其实施过程如下：

实验采用由两个像素为2448*2048的cmos工业相机和一个国际象棋黑白棋盘格标定板构成的双目视觉标定平台。

(1)将包含54个特征点的同一国际象棋黑白棋盘格放置固定，并使用双目相机从13个视角方位拍摄一对图像，得到共计26张图像。拍摄方向和棋盘格所在平面之间的夹角大于30度，双目相机和棋盘间的距离在1～3m之间，并且保证棋盘格完整的呈现在左右相机图像中。

使用张正友标定法计算左相机内参矩阵al、左相机畸变系数dl、左相机外参矩阵nl、右相机内参矩阵ar、右相机畸变系数dr、右相机外参矩阵nr以及由右相机坐标系转换到左相机坐标系的相机间外参矩阵nrl，并将这些参数作为双目相机的初始参数。其中左相机坐标系是以左相机为基准的三维笛卡尔坐标系，右相机坐标系是以右相机为基准的三维笛卡尔坐标系，世界坐标系是以棋盘格图案为基准的三维笛卡尔坐标系。

(2)如图2所示，其中owxwywzw表示世界坐标系，oclxclyclzcl为左相机坐标系，ocrxcrycrzcr为右相机坐标系，o1lxlyl为左图像坐标系，o1rxryr为右图像坐标系，o0lulvl为左像素坐标系，o0rurvr为右像素坐标系，πl为左相机图像平面，π为右相机图像平面，分别为世界坐标系到左相机坐标系的旋转矩阵和平移矩阵，分别为世界坐标系到右相机坐标系的旋转矩阵和平移矩阵。π0为由moclocr三点确定的平面，其中m为世界坐标系下黑白棋盘格图案中任一坐标已知的特征点，ocl为左相机光心，ocr为右相机光心。

针对每一个世界坐标系下黑白棋盘格图案中坐标已知的特征点m，将特征点m分别通过左右相机的内外参矩阵计算获得特征点m在左、右图像坐标系下的理论图像点ml(ucl,vcl)、mr(ucr,vcr)，其中ucl,vcl分别表示左图像坐标系下理论图像点ml的横纵坐标，ucr,vcr分别表示右图像坐标系下理论图像点mr的横纵坐标，左、右图像坐标系是分别以左、右图像平面为基准的二维笛卡尔坐标系；并对左右图像进行角点检测获得特征点m在左右图像中对应的实际图像点

(4)由理论图像点ml(ucl,vcl)、mr(ucr,vcr)根据步骤(1)获得左右相机的畸变系数dl(k1l,k2l,p1l,p2l)和dr(k1r,k2r,p1r,p2r)基于二阶径向和切向畸变的畸变模型采用以下公式计算获得理论畸变后的图像点

式中，rl是理论图像点ml到左图像坐标系原点的距离，rr是理论图像点mr到右图像坐标系原点的距离；k1l,k2l,p1l,p2l分别表示左相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，k1r,k2r,p1r,p2r分别表示右相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，udl,vdl分别表示左图像坐标系下理论畸变后的图像点的横纵坐标，udr,vdr分别表示右图像坐标系下理论畸变后的图像点的横纵坐标；

(4)计算实际图像点分别和步骤(4)所得的理论畸变后的图像点之间的坐标差值，作为重投影误差；

(5)步骤(1)拍摄的26张图像，每张图像中的54个特征点均执行步骤(2)-(4)，计算所有特征点的重投影误差的累加和jrep。

(6)由畸变系数dl、dr，左右原始图像特征点以及公式(1)和(2)，使用heikkila在《ieeetransactionsonpatternanalysisandmachineintelligence》上的论文“geometriccameracalibrationusingcircularcontrolpoints”中的方法，递归地求取矫正后的无畸变图像点和根据对极几何原理，基础矩阵f由左、右相机内参矩阵al、ar以及相机间的外参矩阵nrl构成。通过以及f计算该特征点对的极线误差。

(7)同一个棋盘格特征点分别投影到左右图像坐标系可以得到一个特征点对计算所有13对图像中的特征点对的极线误差的累加和jepi。

(8)根据hartley和sturm在《computervisionandimageunderstanding》上的论文“triangulation”中的方法，由和计算出满足对极几何约束的可用于三维重建的最优左右图像特征点对这两个点分别和各自相机光心的连线oclocr相交于空间中一点就是三维重建特征点。

(9)重复步骤(6)、(8)，计算所有棋盘格的特征点在13个不同视角方位的三维重建特征点。

(10)计算棋盘格水平和竖直两个方向上的相邻三维重建特征点的距离，该距离和实际游标卡尺测量的棋盘格相邻特征点间距的差值，即为此相邻三维重建特征点的相邻距离误差。使用精度为0.02mm的游标卡尺测量棋盘格相邻特征点间距，测量结果为31.3mm。计算由步骤(9)获得的所有三维重建特征点在行和列方向上的相邻距离误差的累加和jadj：

其中d(mh,mv)为相邻的三维重建特征点mh和mv的距离，ladj为游标卡尺对棋盘格相邻特征点间距的测量值，h代表行，v代表列。

(11)棋盘格分别在每个方位的所有三维重建特征点中，位于外围一圈的三维重建特征点作为外部三维重建特征点，其余位于中间的三维重建特征点作为内部三维重建特征点。对于所有内部三维重建特征点，计算棋盘格上该点到和该点位于同一行的两个外部三维重建特征点构成的直线的距离，以及该点到和该点位于同一列的两个外部三维重建特征点构成的直线的距离。

如图3所示，用不同的几何形状来表示属于不同类别棋盘格的特征点。图中的三角形和圆形代表外部特征点，由这些点重建的特征点即为外部三维重建特征点。图中矩形代表内部特征点，由这些点重建的特征点即为内部三维重建特征点。在同一行或者同一列的外侧特征点可以构成一条直线，计算所有理论上位于这条直线上的重建后的内部特征点到直线的距离。如图4所示，min表示任一内部三维重建特征点，me1me2表示和该点位于同一行或者同一列的外部三维重建特征点，根据余弦定理：

其中d(me1,me2)、d(me2,min)和d(me1,min)分别为me1me2的距离、me2min的距离以及me1,min的距离。min到me1me2的距离dcol(min,me1,me2)可通过下式计算：

(12)计算所有步骤(11)中计算的距离的累加和，将此累加和作为共线误差jcol。

(13)棋盘格分别在每个方位的所有外部三维重建特征点中，位于四个角的四个三维重建特征点(如图4中4个蓝色特征点)构成一个四边形，根据余弦定理求取四个角的角度，并计算每个角和直角的差值。计算所有这些差值的累加和，作为直角误差jrig。共计13对图像，每对图像需要计算4个角度，直角误差可由下式计算：

(14)建立以下公式的优化目标函数，然后采用列文伯格-马夸尔特法(levenberg-marquardt)对优化目标函数进行求解获得最优的相机参数，完成对双目相机的高精度标定；

minjopt＝jrep+jepi+jadj+jcol+jrig

其中，jrep表示重投影误差累加和，表示极线误差累加和jepi，jadj表示相邻距离误差累加和，jcol表示共线误差累加和，jrig表示直角误差累加和。

为了检验标定结果的精度，进行实际距离测量对比实验，张正友标定法和本发明均被用来进行实际测量实验。

采用精度0.02mm游标卡尺对棋盘格的四角特征点构成的矩形长边进行测量，这里采用5次测量取均值作为实际距离，最终实际距离为250.4mm。使用本发明标定的相机参数和张正友标定法标定的相机参数分别进行10次测量实验，每次实验中的棋盘格放置于不同方位，测量结果如图5所示，本发明使得测量精度明显提高。从图6可以看出，采用本发明对双目相机进行标定，使得这10次距离测量实验的平均相对误差和标准偏差明显降低，其中平均相对误差减少了79.00％，标准差减少了46.35％，平均相对误差达到了0.773％，满足大部分工业条件下的应用要求。

图7是10组共线误差测量实验的实验结果，随机选取10个标定板在任一方位时的内部特征点，按步骤(10)所述分别计算这10个内部特征点对应的内部三维重建特征点的共线误差。从图中可以看出，采用本发明使得共线误差明显减小，且无明显的误差波动，而原始的张正友标定法在共线误差上发生了较为明显的波动，无法较好的保证重建后的特征点的共线性。从图8中可以看出，采用本发明对双目相机进行标定，使得这10次共线误差测量实验的平均绝对误差和标准偏差明显降低，其中平均绝对误差减少了77.44％，标准差减少了85.71％。

图9是10组直角误差测量实验的实验结果，每次实验中的棋盘格放置于不同方位，随机选取如步骤(13)中所述的棋盘格的四个角中的一个，计算其直角误差。从图中可以看出，采用本发明对双目相机进行标定，使得每次实验的直角误差均保持在1°以下。如图10所示，采用本发明对双目相机进行标定，使得这10次直角误差测量实验的平均绝对误差减少了20.23％，标准差减少了0.018°。

上述实施例不应视为对本发明的限制，但任何基于本发明的精神所做的改进，都应在本发明的保护范围之内。