一种双目相机标定方法、系统、装置与流程

本发明属于机器视觉领域，具体涉及一种双目相机标定方法、系统、装置。

背景技术：

1、检测技术的发展显著提高了工业生产的质量，特别是精密工件的表面质量检查尤为重要。随着计算机视觉技术的发展，双目相机测量已成为非接触式测量的重要方式。双目相机的测量精度取决于标定精度。针对双目相机标定，国内外研究人员开展了广泛研究。双目相机由两个位姿关系固定的单目相机组合而成，双目相机的标定往往需要以单目相机标定作为基础。对于单目相机而言，现有技术通常将成像模型表示为小孔成像模型、正交投影模型等；为了提高标定精度，研究人员还会在成像模型的基础上标定与镜头畸变相关的畸变参数。对于双目相机，常见的标定方式是首先对它的两个单目相机分别进行标定，然后进一步确定两个单目相机之间的位姿关系。上述分阶段的双目相机标定方法会导致单目相机的标定误差影响两个单目相机之间位姿关系的确定，从而降低双目相机的标定精度。并且，在油气、烟尘等复杂工业环境中工作的双目相机通常需要添加透明挡板进行保护。透明挡板会引起光路的折射，而这往往是不均匀的，这种相机成像模型的改变将导致标定困难。

2、为此，本领域技术人员有必要在成像模型发生改变的情况下对双目相机进行标定，以解决添加透明挡板引起不均匀折射，从而导致双目相机标定困难的问题。

技术实现思路

1、为了解决现有技术中的上述问题，即为了解决添加透明挡板引起不均匀折射，从而导致双目相机标定困难的问题，本发明提供了一种双目相机标定方法，包括：

2、步骤s10，通过双目相机的左相机、右相机采集以不同姿态放置的标定板的图像，作为输入图像；

3、步骤s20，为不同姿态的标定板分别建立标定板坐标系，获取各标定板上所有有效圆斑的中心在对应标定板坐标系下的坐标，并分别提取每对输入图像中各有效圆斑的中心对应的四维图像坐标；将每个标定板上各有效圆斑的中心在其对应的标定板坐标系下的坐标与对应的四维图像坐标组合起来，形成控制点集合，其中，所述有效圆斑为能够被所述双目相机的左相机、右相机同时观测到的圆斑；

4、步骤s30，分别在两两控制点集合中搜索它们之间四维像素坐标的欧式距离小于设定距离阈值的两组控制点，并构成这两个控制点集合所对应的标定板之间的交线的交线点集合；对各个交线点集合进行拟合，得到相应的交线方程；

5、步骤s40，结合各交线方程，以任一标定板坐标系为参考坐标系，分别计算其它标定板坐标系的xy平面的法向量在所述参考坐标系下的表示，进而求取其它标定板坐标系相对于所述参考坐标系的位姿变换矩阵；

6、步骤s50，根据各姿态下的标定板对应的控制点集合，分别得到所述双目相机的左相机、右相机中各像素在每个标定板图像上最近的四个有效圆斑的中心的图像坐标，利用插值计算出所述左相机中各像素的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标，并转换到所述参考坐标系下得到左相机中各像素对应的第一交点坐标集合，利用插值计算出所述右相机中各像素的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标，并转换到所述参考坐标系下得到右相机中各像素对应的第二交点坐标集合；对所述左相机中各像素对应的第一交点坐标集合中的坐标进行直线拟合，将拟合后的直线作为左相机中各像素的像素投影直线；对所述右相机中各像素对应的第二交点坐标集合中的坐标进行直线拟合，将拟合后的直线作为右相机中各像素的像素投影直线；将所述左相机中所有像素的像素投影直线和所述右相机中所有像素的像素投影直线作为双目相机的标定结果，实现双目相机的标定。

7、在一些优选的实施方式中，通过双目相机的左相机、右相机采集以不同姿态放置的标定板的图像，作为输入图像，其方法为：

8、利用双目相机的左相机、右相机采集设定个不同姿态的标定板的图像，在每个姿态的标定板下，所述双目相机的左相机、右相机分别采集一张图像并组合成一对，共获得设定对图像，作为输入图像。

9、在一些优选的实施方式中，所述四维图像坐标，其获取方法为：

10、通过opencv库的findcirclesgrid函数得到输入图像的各图像中所有有效圆斑的中心对应的图像坐标，组合每对输入图像中各有效圆斑的中心对应的图像坐标形成四维图像坐标。

11、在一些优选的实施方式中，以任一标定板坐标系为参考坐标系，分别计算其它标定板坐标系的xy平面的法向量在所述参考坐标系下的表示，进而求取其它标定板坐标系相对于所述参考坐标系的位姿变换矩阵，其方法为：

12、以第一个姿态的标定板对应的标定板坐标系为参考坐标系，其它标定板坐标系的xy平面的法向量在参考坐标系下的表示1nm计算如下：

13、1n2＝1i12∧1i23/|1i12∧1i23|

14、1n3＝1i13∧1i23/|1i13∧1i23|

15、其中∧表示反对称操作，|1i12∧1i23|为向量1i12∧1i23的模长，|1i13∧1i23|为向量1i13∧1i23的模长，1i23为l23在标定板坐标系中的方向向量，根据求解出来，t表示转置操作，miij表示交线lij在标定板坐标系中的方向向量，i,j＝1,2,3，i<j，m表示标定板坐标系的数量，m＝1,2,3；

16、标定板坐标系相对于的位姿变换矩阵1t2为：

17、1t2＝[1i12,1n2∧1i12,1n2,1o][2i12,ez∧2i12,ez,2o]-1

18、其中[2i12,ez∧2i12,ez,2o]-1为对矩阵[2i12,ez∧2i12,ez,2o]进行求逆操作，ez为单位向量[0,0,1]t；1o为l12和l13在平面上的交点的坐标，通过求解得到，maij、mbij、mcij分别为交线方程的x项的系数、y项的系数、常数项，i,j＝1,2,3，且i<j，m＝i或m＝j；2o为l12和l23在平面上的交点的坐标，通过求解得到；

19、标定板坐标系相对于的位姿变换矩阵1t3为：

20、1t3＝[1i13,1n3∧1i13,1n3,1o][3i13,ez∧3i13,ez,3o]-1

21、其中[3i13,ez∧3i13,ez,3o]-1为对矩阵[3i13,ez∧3i13,ez,3o]进行求逆操作；3o为l13和l23在平面上的交点的坐标，通过求解得到。

22、在一些优选的实施方式中，分别计算出所述左相机、所述右相机中任一像素的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标，其方法为：

23、根据各姿态下的标定板对应的控制点集合，分别得到双目相机的左相机中像素pxl在每个标定板图像上最近的四个有效圆斑的中心的图像坐标(mulb,mvlb)，b＝1,2,3,4，m＝1,2,3；

24、在所述控制点集合中获取(mulb,mvlb)对应的有效圆斑的中心在标定板坐标系下的坐标(mxb,myb,0)；

25、基于像素pxl的像素坐标(ul,vl)以及(mulb,mvlb)和(mxb,myb,0)，利用差值计算出所述左相机中像素pxl的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标

26、根据各姿态下的标定板对应的控制点集合，分别得到双目相机的右相机中像素pxr在每个标定板图像上最近的四个有效圆斑的中心的图像坐标(murc,mvrc)，c＝1,2,3,4；

27、在所述控制点集合中获取(murc,mvrc)对应的有效圆斑的中心在标定板坐标系下的坐标(mxc,myc,0)；

28、基于像素pxr的像素坐标(ur,vr)以及(murc,mvrc)和(mxc,myc,0)，利用差值计算出所述右相机中像素pxr的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标

29、本发明的第二方面，提出了一种双目相机标定系统，包括：

30、图像获取模块，配置为通过双目相机的左相机、右相机采集以不同姿态放置的标定板的图像，作为输入图像；

31、控制点提取模块，配置为为不同姿态的标定板分别建立标定板坐标系，获取各标定板上所有有效圆斑的中心在对应标定板坐标系下的坐标，并分别提取每对输入图像中各有效圆斑的中心对应的四维图像坐标；将每个标定板上各有效圆斑的中心在其对应的标定板坐标系下的坐标与对应的四维图像坐标组合起来，形成控制点集合，其中，所述有效圆斑为能够被所述双目相机的左相机、右相机同时观测到的圆斑；

32、交线提取模块，配置为分别在两两控制点集合中搜索它们之间四维像素坐标的欧式距离小于设定距离阈值的两组控制点，并构成这两个控制点集合所对应的标定板之间的交线的交线点集合；对各个交线点集合进行拟合，得到相应的交线方程；

33、位姿矩阵求取模块，配置为结合各交线方程，以任一标定板坐标系为参考坐标系，分别计算其它标定板坐标系的xy平面的法向量在所述参考坐标系下的表示，进而求取其它标定板坐标系相对于所述参考坐标系的位姿变换矩阵；

34、相机标定模块，配置为根据各姿态下的标定板对应的控制点集合，分别得到所述双目相机的左相机、右相机中各像素在每个标定板图像上最近的四个有效圆斑的中心的图像坐标，利用插值计算出所述左相机中各像素的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标，并转换到所述参考坐标系下得到左相机中各像素对应的第一交点坐标集合，利用插值计算出所述右相机中各像素的像素投影直线与各姿态下标定板所在平面的交点在相应标定板坐标系下的坐标，并转换到所述参考坐标系下得到右相机中各像素对应的第二交点坐标集合；对所述左相机中各像素对应的第一交点坐标集合中的坐标进行直线拟合，将拟合后的直线作为左相机中各像素的像素投影直线；对所述右相机中各像素对应的第二交点坐标集合中的坐标进行直线拟合，将拟合后的直线作为右相机中各像素的像素投影直线；将所述左相机中所有像素的像素投影直线和所述右相机中所有像素的像素投影直线作为双目相机的标定结果，实现双目相机的标定。

35、本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的一种双目相机标定方法。

36、本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的一种双目相机标定方法。

37、本发明的有益效果：

38、采用本发明能够有效解决因透明挡板的引入带来的双目相机标定困难的问题，为复杂工业场景下双目相机的标定提供技术支持。