一种基于双目视觉的大尺寸几何量测量方法
【专利摘要】本发明是针对飞机、船舶等大装备制造领域内的大尺寸几何量测量问题，提出了一种基于双目立体视觉转站式测量的大尺寸几何量测量方法。具体方法：首先采用平面靶标和主动视觉相结合的标定方法，精确标定出视觉系统参数，克服了因角点定位不准二造成的摄像机主点稳定性差的缺点。再以非编码原点作为测量点，以圆形度法和拟合法实现原点的识别与圆形定位，并采用极线约束法与交比约束法相结合高密度相似圆点的匹配。最后利用SVD法实现相邻站位间拼接矩阵的求解，完成数据拼接。试验结果表明，该方法所测结果与三坐标测量机所测数值的相对误差小于0.1％。
【专利说明】
一种基于双目视觉的大尺寸几何量测量方法
技术领域
[0001] 本发明涉及针对飞机、船舶等大装备制造领域内的大尺寸几何量测量问题，提出 了一种基于双目立体视觉转站式测量的大尺寸几何量测量方法。
【背景技术】
[0002] 现代工业生产过程的发展促使检测手段不仅仅局限于常规尺寸，对大尺寸几何量 等非常规尺寸的测量也逐渐成为研究热点。大尺寸测量通常是指对尺寸超过500mm的被测 目标的测量，由于测量尺寸超过了常规测量范围，因此要同时保证检测过程的快速性与测 量结果的准确性，实现起来难度大。现有的如大型三坐标测量机、激光跟踪仪等大尺寸测量 设备在精度方面具有一定优势，但此类设备价格昂贵，设备笨重，灵活性不足，不便于工程 现场测量，并且操作技巧性强，所用逐点测量法效率偏低。
[0003] 为克服以上不足，国内外研究人员进行了一系列探索，最具代表性的方法是视觉 测量法。2005年，美国GSI公司推出V-STARS/S8智能单目视觉测量系统，精度达至Ij4ym+4ym/ m，双目系统V-STARS/S8的精度也达到了lOym+lOym/m。在国内，天津大学叶声华院士领导的 课题组利用立体视觉的方法实现了对轿车车身的自动测量。2006年，西安交通大学的刘建 伟等人利用双目结构光扫描与编码特征点配准相结合的方法实现了对大型工件点云的测 量，整体精度达到〇.112_/3!11。2013年，南京航空航天大学刘胜兰等人提出采用离散目标点 测量、结构光面扫描测量和手持式光笔接触测量相结合的现场测量方案，实现了复杂装配 部件的全尺寸测量，该方法所测5m飞机部件的测量结果的绝对平均误差为0.264_。
[0004] 上述已有视觉测量法大多采用多种设备组合并配合编码标志点实现工件表面点 云数据的获取，操作过程繁琐，程序算法复杂。
【发明内容】
[0005] 本发明的目的是提供一种基于靶标和数据拼接的双目转站式视觉测量方法，用于 实现飞机、船舶等大装备制造领域内的大尺寸几何量的测量，本发明方法相对于已有方法 具有操作简单、成本低等优点。
[0006] 本发明是通过以下技术方案实现的：一种基于双目视觉的大尺寸几何量测量方 法，具体方法如下：
[0007] (1)首先，采用平面靶标和主动视觉相结合的标定方法，精确标定出视觉系统参 数；
[0008] (2)其次，以非编码原点作为测量点，采用圆形度法和拟合法实现原点的识别与圆 形定位；
[0009] (3)再次，采用极线约束法与交比约束法相结合实现高密度相似圆点的匹配；
[0010] (4)最后，利用奇异值分解法实现相邻站位间拼接矩阵的求解，完成数据拼接。
[0011] 所述步骤（1)具体方法如下：主动视觉法利用六自由度工作台带动摄像机做特定 运动，实现摄像机主点的准确标定，之后将标定的主点数据代入到平面标定法的程序中，利 用双目摄像机同时拍摄不同姿态的棋盘标定板图像，标定优化出其它内参数、结构参数等 关键数据。
[0012] 所述步骤(2)具体方法如下:将非编码圆点粘贴于被测工件表面，以圆点中心作为 实际测量点；为获得圆点中心，通过采用霍夫变换法和形状分析法从图像中识别出圆形特 征点。
[0013] 所述形状分析法为:将圆形度定义为
（1),式中，C为圆形度值，P为图形的 周长，S为图形的面积；由于圆的圆形度为1，椭圆的圆形度在1附近，因此可以以此作为识别 依据;特征圆点识别之后，为获得圆心的准确坐标，采用拟合法求解，即利用圆点的边界像 素作为拟合原始数据，拟合出椭圆方程，之后确定椭圆中心，具体方法如下:平面椭圆曲线 一般公式为
[0014] f (m,n) =ax2+bxy+cy2+dx+ey+f = 0 (2)，
[0015] 设111=[&，13，(3，(1，6，幻，11=[叉2^，72山7，1]，弓丨入约束||111|| 2 = 1，建立优化目标 函数 i~N
[0016] F(m) - /?..) +M(j|m|p -1): (3)? i-i
[00?7] 优化目标是使F(m)值最小，其中M为罚因子，此时可以利用Levenberg-Marquardt 或高斯-牛顿法优化解出m中的6个参数，则椭圆中心坐标满足
[0019] 所述步骤（3)中先利用极线约束法将正确匹配点限制在几个潜在的匹配点中之 后，然后利用交比约束法进一步辨别，具体方法如下：首先用交比描述子CRa对待匹配点A进 行描述;找到A点邻近4点设为点1 一点4,依次以邻近4点中的各点为顶点，连接该顶点与剩 余各点，得到包含4条线段的线束;利用线段之间夹角的正弦值可以求得一个线束交比，以 该交比作为交比描述子的一个元素CRi，该交比是摄影不变的;4个顶点共得4个描述子元素 即
[0020] 目标点与各潜在匹配点均被交比描述子描述完毕之 后，即可进行比对。
[0021] 所述步骤(4)中，首先采用奇异值分解法接触相邻站位间的旋转矩阵和平移向量， 然后利用Levenberg-Marquardt对所获得矩阵作非线性优化完成数据拼接。
[0022] 本发明的有益效果:本发明提出的基于立体视觉和数据拼接的转站式大尺寸测量 方法，采用相对简单的非编码圆形特征点，克服了编码点编码过程繁杂、透视变形造成的解 码困难等不足，实现了圆形特征点的准确识别与定位;此外，本发明提出了基于交比约束的 密集相似祀标点搞笑匹配方法，并利用奇异值分解法配合Levenberg-Marquardt优化法获 得了精确拼接矩阵并实现数据拼接，得到了工件表面整体关键点数据;试验结果表明，本发 明方法的测量误差小于〇. 1%，能够较好地满足大尺寸几何量测量的精度要求。
【附图说明】
[0023] 图1为本发明双目视觉转站式测量流程图。
[0024]图2为主动视觉标定装置。
[0025]图3为本发明测量模型示意图。
[0026]图4为测量试验中的被测工件。
【具体实施方式】
[0027] -种基于双目视觉的大尺寸几何量测量方法，具体方法以下四大部分：
[0028] 一、系统标定
[0029] 为减小摄像机主点定位误差，本发明采用主动视觉法与平面标定法相结合完成对 系统参数的标定。
[0030] 如图2所不，主动视觉标定装置由八自由度工作台1、摄像机2、旋转zsT台3、减震台4 构成。主动视觉法利用图2所示的六自由度工作台1带动摄像机做特定运动，实现摄像机主 点的准确标定，之后将标定的主点数据代入到平面标定法(所述平面标定法是张正友提出 的，该方法方便灵活、标定结果准确）的程序中，利用双目摄像机同时拍摄不同姿态的棋盘 标定板图像，标定优化出其它内参数、结构参数等关键数据。
[0031] 二、特征点识别与定位
[0032] 为提高视觉测量方法的鲁棒性，本发明采用非编码圆点辅助测量，相对于编码点， 非编码圆点具有形状简单、可大可小、布置灵活、透视成像变形小、识别定位准确等优点。而 编码点内部细节众多，透视变形后识别难度大，且编码点一般面积大，不利用密集布置。 [0033]本发明将非编码圆点粘贴于被测工件表面，以圆点中心作为实际测量点；为获得 圆点中心，通过采用霍夫变换法和形状分析法从图像中识别出圆形特征点。
[0034] 所述形状分析法为:将圆形度定义为
（1)，式中，C为圆形度值，P为图形的 周长，S为图形的面积；由于圆的圆形度为1，椭圆的圆形度在1附近，因此可以以此作为识别 依据;特征圆点识别之后，为获得圆心的准确坐标，采用拟合法求解，即利用圆点的边界像 素作为拟合原始数据，拟合出椭圆方程，之后确定椭圆中心，具体方法如下:平面椭圆曲线 一般公式为
[0035] f (m,n) =ax2+bxy+cy2+dx+ey+f = 0 (2)，
[0036] 设1]1=[&，13，(3，(1，6，幻，11=[叉2，叉7,720，7，1]，引入约束||1]1|| 2 = 1，建立优化目标 函数 ?=-Ν· ^
[0037] F(m) = ^ f(m,//,.) + M(||m||' ^1)2 (3), i-I
[0038] 优化目标是使F(m)值最小，其中M为罚因子，此时可以利用Levenberg-Marquardt 或高斯-牛顿法优化解出m中的6个参数，则椭圆中心坐标满足
[0040] 三、特征点匹配
[0041 ]视觉法获取目标点空间坐标的前提是其像点能够匹配，只有得到目标点的两个匹 配像点坐标，才能够得到目标点在摄像机坐标系下的三维坐标。本发明所用特征点之间高 度相似且分布密集，传统匹配方法匹配效果不佳，因此采用极线约束法与交比约束法实现 相似特征点的匹配。极线约束的作用在于将匹配搜索从点到面缩小至点到线，减小搜索区 域，提高匹配效率。当搜索区域有多个潜在匹配点时，利用交比约束法进一步甄别，从而获 得目标点的正确匹配点。
[0042]极线约束将正确匹配点限制在几个潜在的匹配点中之后，然后利用交比约束法进 一步辨别，具体方法如下:首先用交比描述子CRa对待匹配点A进行描述;找到A点邻近4点设 为点1-点4,依次以邻近4点中的各点为顶点，连接该顶点与剩余各点，得到包含4条线段的 线束;利用线段之间夹角的正弦值可以求得一个线束交比，以该交比作为交比描述子的一 个元素CRi，该交比是摄影不变的；4个顶点共得4个描述子元素即CR A= (CR!，CR2，CR3，CR4) (5)，目标点与各潜在匹配点均被交比描述子描述完毕之后，即可进行比对。
[0043]理论上，匹配点之间的交比描述子应该能够满足一下关系式：
[0044] ( CRli_CRr1 ) 2+( CRl2_CRR2 ) 2+( CRl3_CRR3 ) 2+ ( CRl4_CRr4)2 = 0 (6)，式中 CRLi和CRRi分别 表示在左图像和右图像中对应特征点的交比描述子中的对应元素。实际应用中，由于存在 误差，往往使得式(6)中值最小的描述子所对应的潜在匹配点作为目标点的正确匹配点。
[0045] 四、空间点坐标计算与数据拼接
[0046] 特征匹配实现了测量点在不同图像中像点坐标的对应，使得实际测量点的坐标可 以唯一确定。如图2所示，根据双目视觉模型得到目标点P的空间坐标为
[0048]式中，（X^YiA)为P点在左摄像机坐标系下的空间坐标，（幻，71)、（^72)分别为 匹配像点在成像元件上的实际物理坐标，为两摄像机的有效焦距，ri~r9和tx~t z分 别表示结构参数中的旋转矩阵和平移向量。
[0049] 上述计算解出的仅仅是局部测量数据，要得到大尺寸工件整体测量数据，还必须 进行三维数据拼接。数据拼接必须要知道各拼接矩阵之间的关系，即系统相邻站位之间的 关系。由于系统转站过程中坐标系为刚体变换，因此得到的相邻站位间至少三对匹配空间 点即可求解出该站位之间的关系。空间点匹配不同于平面图像点的二维匹配，空间匹配没 有丰富的匹配信息可以利用，因此必须抓住刚体变换中的不变量实现匹配。本发明也正是 采用这种空间点距离的不变性及距离约束实现空间点的匹配。
[0050] 多对空间匹配点获得后，采用奇异值分解法接触相邻站位间的旋转矩阵和平移向 量，然后利用Levenberg-Marquardt对所获得矩阵作非线性优化，是拼接矩阵精度进一步提 尚。
[0051] 五、测量试验
[0052]为检验本发明的可行性，按照本发明搭建完成软、硬件测量系统，利用该系统对孔 系工件上特定位置上的圆形特征点之间的距离进行测量，并将测量结果与TESA Micro-一 Hite3D三坐标测量机所测结果进行对比，以此反映系统测量精度。
[0053]图4所示为被测工件，其中工件耳孔5上10个白色圆点为测量靶标，中部5个黑色靶 标为拼接靶标。
[0054] 双目系统通过一次转站，完成孔系构件上靶标中心空间点坐标的测量，表1右侧数 据为测量结果，该数据所在坐标系是转站后位置2左摄像机坐标系。利用三坐标测量机连续 测量三次，取平均值，作为表1左侧数据，两系统所用坐标系有所不同。表2列出的是分别利 用三坐标测量机和本发明实验系统测量的三维点坐标求解得到的点1与其余各点之间的距 离，以三坐标测量机所测结果作为针织，求出了真值与本发明实验系统测量结果之差，以差 值的大小反应本发明实验系统的测量精度。
[0055] 表1革E1标中心空间坐标原始测量数据(单位mm)
[0057]表2实验系统测量数据对比分析表(单位mm)
[0059]注:1 -3表示点1与点3之间的距离，其他类似。
[0060]有表2中的实验数据可知，在750mm范围内，本发明测量系统与三坐标测量机所测 结果的相对误差小于0.1%。
【主权项】
1. 一种基于双目视觉的大尺寸几何量测量方法，其特征在于具体方法如下： (1) 首先，采用平面靶标和主动视觉相结合的标定方法，精确标定出视觉系统参数； (2) 其次，以非编码原点作为测量点，采用圆形度法和拟合法实现原点的识别与圆形定 位； (3) 再次，采用极线约束法与交比约束法相结合实现高密度相似圆点的匹配； (4) 最后，利用奇异值分解法实现相邻站位间拼接矩阵的求解，完成数据拼接。2. 如权利要求1所述的一种基于双目视觉的大尺寸几何量测量方法，其特征在于所述 步骤(1)具体方法如下:主动视觉法利用六自由度工作台带动摄像机做特定运动，实现摄像 机主点的准确标定，之后将标定的主点数据代入到平面标定法的程序中，利用双目摄像机 同时拍摄不同姿态的棋盘标定板图像，标定优化出其它内参数、结构参数等关键数据。3. 如权利要求1所述的一种基于双目视觉的大尺寸几何量测量方法，其特征在于所述 步骤(2)具体方法如下:将非编码圆点粘贴于被测工件表面，以圆点中心作为实际测量点； 为获得圆点中心，通过采用霍夫变换法和形状分析法从图像中识别出圆形特征点。4. 如权利要求3所述的一种基于双目视觉的大尺寸几何量测量方法，其特征在于所述 形状分析法为:将圆形度定义（1)，式中，C为圆形度值，P为图形的周长，S为图 形的面积；由于圆的圆形度为1，椭圆的圆形度在1附近，因此可以以此作为识别依据;特征 圆点识别之后，为获得圆心的准确坐标，采用拟合法求解，即利用圆点的边界像素作为拟合 原始数据，拟合出椭圆方程，之后确定椭圆中心，具体方法如下:平面椭圆曲线一般公式为f (m,n) =ax2+bxy+cy2+dx+ey+f = O (2)， 设 m= [a，b，c，d，e，f]，n=[x2，xy，y2，x，y，l]，引入约束 I I m I 12 = I，建立优化目标函数优化目标是使F(m)值最小，其中M为罚因子，此时可以利用Levenberg-Marquardt或高 斯-牛顿法优化解出m中的6个参数，则椭圆中心坐标满J5. 如权利要求1所述的一种基于双目视觉的大尺寸几何量测量方法，其特征在于所述 步骤(3)中先利用极线约束法将正确匹配点限制在几个潜在的匹配点中之后，然后利用交 比约束法进一步辨别，具体方法如下：首先用交比描述子CRa对待匹配点A进行描述;找到A 点邻近4点设为点1-点4,依次以邻近4点中的各点为顶点，连接该顶点与剩余各点，得到包 含4条线段的线束;利用线段之间夹角的正弦值可以求得一个线束交比，以该交比作为交比 描述子的一个元素 CR1，该交比是摄影不变的；4个顶点共得4个描述子元素即CRa= (CR1, CR2lCR3lCR4) (5), 目标点与各潜在匹配点均被交比描述子描述完毕之后，即可进行比对。6. 如权利要求1所述的一种基于双目视觉的大尺寸几何量测量方法，其特征在于所述 步骤（4)中，首先采用奇异值分解法接触相邻站位间的旋转矩阵和平移向量，然后利用 Levenberg-Marquardt对所获得矩阵作非线性优化完成数据拼接。
【文档编号】G01B11/00GK106017321SQ201610429820
【公开日】2016年10月12日
【申请日】2016年6月16日
【发明人】刘洪霞, 张敏, 柳晓璇, 尹燊
【申请人】沈阳飞机工业（集团）有限公司