一种基于三线结构光的凹球直径测量系统及测量方法与流程

本发明属于先进检测技术领域，涉及一种基于三线结构光的凹球直径测量系统及测量方法。

技术背景

凹球类零件是一种广泛存在于工业生产中的零件，如空调压缩机活塞等，但对凹球几何参数的测量比较复杂，目前国内外尚无成熟的，针对性的测量设备的问世。部分企业采用接触式探针测量的方式进行凹球参数的测量，这种传统的探针式的接触测量方法存在测量力，测量时间长，需进行探头半径的补偿以及不能测量较软材料等局限性，极大的限制了企业生产效率的提高，而且可能对表面质量造成划伤。

技术实现要素：

本发明的目的在于提供极大的提高凹球直径的检测速度，简化检测流程，有利于实现凹球直径的自动化检测，且鲁棒性好，不会因为操作人员的习惯导致测量结果的差异，也避免了对凹球表面的划伤的基于三线结构光的凹球直径测量系统。

本发明还提供了一种提高凹球直径检测精度，提高凹球尺寸检测效率，从而提高企业的生产效率的基于三线结构光的凹球直径测量方法。

本发明采用的技术方案是：

一种基于三线结构光的凹球直径测量系统，其特征在于：包括工作台，所述工作台上放置有凹球，并且安装有将三条激光线均匀打在凹球面上的三线结构光发生器和用于采集凹球全貌的相机组件，所述三线结构光发生器与控制其光源的主控计算机连接，所述相机组件与接收其传送的图像的主控计算机通讯连接，所述主控计算机上连接有提取图像中三个激光线条并重建拟合得到凹球直径的数字图像处理模块。本发明采用非接触测量方式进行凹球直径测量，避免了对凹球表面的划伤；本系统结构简单、安装容易；对于同一型号凹球可连续测量，测量效率高，对于不同大小的凹球只需调整三线结构光发生器和相机组件的距离与角度，具有很好的柔性。

进一步，所述相机组件包括相机，所述相机内设有图像采集卡，其前端连接有镜头，所述图像采集卡与主控计算机通讯连接。

进一步，所述三线结构光发生器通过数字接口与主控计算机。

进一步，所述工作台上固定有两立柱，每根立柱上均安装有调节固定座，调节固定座上穿设有滑动光轴，一根滑动光轴上安装有装夹三线结构光发生器的结构光夹具，另一根滑动光轴上安装有微调升降台，微调升降台上安装有相机固定架，相机组件通过夹相机顶块装夹在相机固定架上。

上述测量系统的测量方法，包括以下步骤：

1)相机内参数的标定；相机模型中世界坐标系到图像坐标系的变换关系如下：

式中：xu,yu为图像坐标系上点的x,y坐标，单位为像素，zc为摄像机三维坐标系上的点的z坐标，单位为mm，f为相机的焦距，θ为坐标轴xi与yi之间的实际夹角，k,l为感光芯片像素的实际大小，xi0,yi0为图像的平面中心，xw,yw,zw为世界坐标系下的点的坐标，矩阵a包括f,k,θ,l,xio,yio这6个参数，是相机内参数矩阵；刚性变换r,t为相机外部参数；

将相机组件的相机和镜头连接，调整焦距并固定焦距，对相机内参数进行标定，得到矩阵a中的各参数；

2)调节将三线结构光发生器和相机组件，将待测凹球放在工作台上，调节三线结构光发生器使三条激光线均匀打在凹球面上，然后安装相机组件并调节相机组件的方位保证相机通过镜头采集到凹球的全貌；

3)计算相机外部参数，保持三线结构光发生器和相机组件不动，拿下待测凹球，获取工作台相对相机的外部参数tc_ext[3]，rc_ext[3x3]，即是式(1)中r,t；

4)进行结构光平面的标定，三线结构光平面π1,π2,π3在世界坐标系下的方程分别为：

a1xw+b1xw+c1xw+d1＝0(2)

a2xw+b2xw+c2xw+d2＝0(3)

a3xw+b3xw+c3xw+d3＝0(4)

式(2)-(4)中：a，b，c，d分别是平面π1,π2,π3的平面方程系数，经过标定后得到拟合光平面的目标方程为：

5)获取图像，将待测的凹球重新放在工作台原来的位置上，进行图像采集；

6)分割并识别三个激光线条，从采集的图像中提取凹球内激光线条和细化凹球，将提取的激光线条与结构光平面匹配获取n组在三条激光线上的图像平面坐标系上的点(xu，yu)；

7)激光线条上点的三维重建，基于式(1)-(4)，进行凹球面内激光线条上点的三维重建，获取n个世界坐标系下的三维坐标(xw,yw,zw)；

8)进行凹球的拟合，利用最小二乘法对球进行拟合，待测球的一般方程为：

(x-a)²+(y-b)²+(z-c)²＝r²(6)

对上述方程进行变形，得到如下的形式：

x·2a+y·2b+z·2c+r²-a²-b²-c²＝x²+y²+z²(7)

令m＝2a,f＝2b,j＝2c,k＝r²-a²-b²-c²，则式(6)可用表示为如下的形式：

x·m+y·f+z·j+k＝x²+y²+z²(8)

则球的拟合问题可转换为已知n组坐标点(x,y,z)，求式(7)的超定线性方程组的最小二乘解(m^*,f^*,j^*.k^*)，其求解过程用矩阵形式表示如式(8)所示：

其中n>4,可以求得：m^*,f^*,j^*,k^*；

9)获取凹球的半径，最终球心坐标与半径的表达式如下：

则最终凹球的直径为：

进一步，相机内参数使用张正友标定法进行标定，标定后得到fc[2],cc[2],alpha_c参数，各参数的含义如式(12)所示：

比较式(1)与式(12)可得对应关系为：

进一步，相机引入透镜畸变后实际成像平面坐标系上点的坐标与理想情况下程序平面上点的坐标pi(xi,yi)之间的关系如下:

式中：ri为该点距离成像仪中心的半径，(k1,k2,p1,p2)为描述相机畸变的四个参数；

pu(xu,yu)与pi(xi,yi)之间的关系如下：

步骤1)中的相机内部参数标定还包括透镜畸变相关参数的标定，标定后得到kc[5]，与式(2)的对应关系如下：

k1＝kc(1),k2＝kc(2),p1＝kc(3),p2＝kc(4)(16)。

进一步，步骤1)标定后还得到标定结构的像素误差参数error[2]。

进一步，步骤4)中的标定分两步进行，第一步将三线结构光投射到相机已标定好内外参数的zw＝0的平面上，得到3个结构光平面在zw＝0的平面上一条交线上所有点的三维坐标；第二步将厚度为h0的量块放在zw＝0的平面上，量块上表面在世界坐标系下的方程为：zw＝h0，同样可以得到3个结构光平面与此平面上交线的所有的点的三维坐标；利用上面得到的世界坐标，针对每一个结构光平面都可以有足够的点进行光平面的拟合。

进一步，步骤6)中通过图像分割算法来提取凹球内激光线条，基于骨架提取算法来细化凹球，基于连通区域标记算法来匹配激光线条与结构光平面。

本发明的有益效果是：

(1)测量效率高：对于同一种型号的凹球类工件，一次标定即可进行多件测量。在采集卡采集效率较高时，只需0.2s之内就可以完成对图像的采集和相关的计算。

(2)柔性好：对于不同大小的凹球，只需调整结构光与相机的距离与角度，再进行标定后即可进行测量，具有很好的柔性。

(3)结构简单，安装容易：由图1可知，本测量系统结构简单，便于安装。

(4)测量精度高：在相机分辨率满足要求，感光芯片足够大以及标定准确的情况下，本测量方法测量直径为20mm的凹球时，精度可以达到微米级。

附图说明

图1是本发明的结构示意图。

图2是本发明的测量原理图。

图3是本发明的测量流程图。

图4是本发明的结构光平面标定示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

实施例一

参照图1-3，一种基于三线结构光的凹球直径测量系统，包括工作台，所述工作台上放置有凹球1，并且安装有将三条激光线均匀打在凹球1面上的三线结构光发生器2和用于采集凹球全貌的相机组件，所述相机组件包括相机6，所述相机6内设有图像采集卡，其前端连接有镜头11，所述三线结构光发生器2通过数字接口与控制其光源的主控计算机连接，所述相机组件的图像采集卡与接收其传送的图像的主控计算机通讯连接，所述主控计算机上连接有提取图像中三个激光线条并重建拟合得到凹球直径的数字图像处理模块。本发明采用非接触测量方式进行凹球直径测量，避免了对凹球表面的划伤；本系统结构简单、安装容易；对于同一型号凹球可连续测量，测量效率高，对于不同大小的凹球只需调整三线结构光发生器2和相机组件的距离与角度，具有很好的柔性。

本实施例所述工作台上固定有两立柱5，每根立柱5上均安装有调节固定座4，调节固定座4上穿设有滑动光轴7，一根滑动光轴7上安装有装夹三线结构光发生器2的结构光夹具3，另一根滑动光轴7上安装有微调升降台8，微调升降台8上安装有相机固定架9，相机组件通过夹相机顶块10装夹在相机固定架9上。

本发明的三线结构光发生器2可以通过调节固定座4进行上下调整以及结构光方向的调整。相机6可以通过调节固定座4进行上下调整，通过滑动光轴7进行左右的调整以及相机6方向的调整，通过微调升降台8进行相机位置的微调。最终要实现将三线结构光打在凹球1上，且相机6中可以采集到凹球1的全部图像。

图2是三线结构光测量凹球直径的原理图。相机模型采用引入透镜畸变的针孔相机模型。为了便于建模，建立如图2所示的4个坐标系，其中，ow-xwywzw为世界坐标系，oc-xcyczc为摄像机三维坐标系，坐标系ou-xuyu位于相机图像平面，以像素为单位，默认左上角为坐标原点，为图像坐标系。直线l为相机光轴，理论上光轴l与图像平面垂直。坐标系oi-xiyi以光轴和成像平面的实际交点oi为原点，单位为mm，是成像平面坐标系。最终要获得的是世界坐标系ow和图像坐标系ou之间的关系。

根据针孔相机模型，从世界坐标系到图像坐标系的变换关系如下：

式中：xu,yu为图像坐标系上点的x,y坐标，单位为像素，zc为摄像机三维坐标系上的点的z坐标，单位为mm，f为相机的焦距，θ为坐标轴xi与yi之间的实际夹角，k,l为感光芯片像素的实际大小，xi0,yi0为图像的平面中心，xw,yw,zw为世界坐标系下的点的坐标。矩阵a包括f,k,θ,l,xio,yio这6个参数，是相机内参数矩阵。

为提高相机标定精度,透镜会引入畸变，为简化分析，考虑了切向畸变和径向畸变这两种主要的畸变。径向畸变源于透镜的形状。成像仪中心畸变为0，越到边缘，畸变越严重。

引入透镜畸变后实际成像平面坐标系上点的坐标与理想情况下程序平面上点的坐标pi(xi,yi)之间的关系如下:

式中：ri为该点距离成像仪中心的半径，(k1,k2,p1,p2)为描述相机畸变的四个参数。

pu(xu,yu)与pi(xi,yi)之间的关系如下：

a与描述透镜畸变的参数(k1,k2,p1,p2)一起组成了相机内部参数。刚性变换r,t为摄像机外部参数，描述了世界坐标系与摄像机坐标系之间的相互关系。

式(1)、式(14)得到一个图像点到空间点的映射关系，这些参数可以通过相机标定来获得。

同时，图2中的平面π1,π2,π3是结构光平面，其在世界坐标系下的方程分别为：

a1xw+b1xw+c1xw+d1＝0(2)

a2xw+b2xw+c2xw+d2＝0(3)

a3xw+b3xw+c3xw+d3＝0(4)

式(2)-(4)中：a，b，c，d分别是平面π1,π2,π3的平面方程系数。

通过相机标定获取相机内外参数与畸变系数，通过结构光平面标定获取结构光平面的方程，就可以根据图像坐标系上的点pu(xu,yu)得到在世界平面坐标系下的点pw(xw,yw,zw)，从而完成凹球面上的点的三维重建。最后，基于最小二乘法进行凹球方程的拟合，即可得到凹球的直径。

从图3可以看到，本发明主要包括激光器光源控制部分，相机、镜头与采集卡等图像采集部分以及后续的数据处理部分。首先通过光源控制，将3条线结构光投射在工件凹球1上，之后通过相机6，镜头11与采集卡进行图像采集。测量前系统要进行标定，包括相机和结构光平面的标定。最后，通过图像处理提取激光条纹，获取凹球表面一系列点的三维坐标，最后通过拟合计算得到凹球的直径。

实施例二

参照图1-4，一种基于三线结构光的凹球直径测量系统的测量方法，包括以下步骤：

1)相机内参数的标定。

相机模型中世界坐标系到图像坐标系的变换关系如下：

式中：xu,yu为图像坐标系上点的x,y坐标，单位为像素，zc为摄像机三维坐标系上的点的z坐标，单位为mm，f为相机的焦距，θ为坐标轴xi与yi之间的实际夹角，k,l为感光芯片像素的实际大小，xi0,yi0为图像的平面中心，xw,yw,zw为世界坐标系下的点的坐标，矩阵a包括f,k,θ,l,xio,yio这6个参数，是相机内参数矩阵；刚性变换r,t为相机外部参数；

相机引入透镜畸变后实际成像平面坐标系上点的坐标与理想情况下程序平面上点的坐标pi(xi,yi)之间的关系如下:

式中：ri为该点距离成像仪中心的半径，(k1,k2,p1,p2)为描述相机畸变的四个参数；

pu(xu,yu)与pi(xi,yi)之间的关系如下：

将相机与镜头通过接口连接，调整焦距至30mm，之后固定焦距，使用张正友标定法进行相机的标定。

基于matlab中的cameracalibrationtoolbox工具箱来标定相机，标定结束后，将得到fc[2],cc[2],alpha_c,kc[5],error[2]这五个内部参数，各参数的含义如式(12)所示：

比较式(1)与式(12)可得对应关系为：

同时，kc[5]为得到的透镜畸变相关参数，与式(14)的对应关系如下：

k1＝kc(1),k2＝kc(2),p1＝kc(3),p2＝kc(4)(16)

error[2]这个参数表示的是标定结果的像素误差。

2)调节将三线结构光发生器和相机组件，将待测凹球放在工作台上，调节三线结构光发生器使三条激光线均匀打在凹球面上，然后安装相机组件并调节相机组件的方位保证相机通过镜头采集到凹球的全貌。

3)计算相机外部参数，保持三线结构光发生器和相机组件不动，拿下待测凹球，获取工作台相对相机的外部参数tc_ext[3]，rc_ext[3x3]，即是式(1)中r,t。

4)进行结构光平面的标定。三线结构光平面π1,π2,π3在世界坐标系下的方程分别为：

a1xw+b1xw+c1xw+d1＝0(2)

a2xw+b2xw+c2xw+d2＝0(3)

a3xw+b3xw+c3xw+d3＝0(4)

式(2)-(4)中：a，b，c，d分别是平面π1,π2,π3的平面方程系数；结合精密量块进行结构光平面标定，该标定分两步进行。首先，将三线结构光投射到已标定好内外参数的测量系统的zw＝0的平面上，如图4a所示。由式(1)可知，在已知zw＝0的已标定好相机参数的系统里，可以由xu，yu求出xw，yw，从而得到3个结构光平面在zw＝0的平面上一条交线上所有点的三维坐标。之后将厚度h＝h0的量块放在zw＝0的平面上，如图4b所示，这样量块上表面在世界坐标系下的方程为：zw＝h0,同样可以得到3个结构光平面与此平面上交线的所有的点的三维坐标。利用上面得到的世界坐标，针对每一个结构光平面都可以有足够的点进行光平面的拟合。拟合光平面的目标方程为：

相机标定和结构光平面的标定完成后便得到测量系统所有的外参数与内参数，完成了整个系统的标定。

5)获取图像，将待测的凹球重新放在工作台原来的位置上，进行图像采集。

6)分割并识别三个激光线条。结合图像分割算法，实现凹球内激光线条的提取；基于骨架提取算法，实现凹球的细化；基于连通区域标记算法，实现激光线条与结构光平面的匹配。最后提取出n组在三条激光线上的图像平面坐标系上的点(xu,yu)。

7)激光线条上点的三维重建，基于式(1)-(4)，进行凹球面内激光线条上点的三维重建，获取n个世界坐标系下的三维坐标(xw,yw,zw)。

8)进行凹球的拟合。利用最小二乘法对球进行拟合，待测球的一般方程为：

(x-a)²+(y-b)²+(z-c)²＝r²(6)

对上述方程进行变形，得到如下的形式：

x·2a+y·2b+z·2c+r²-a²-b²-c²＝x²+y²+z²(7)

令m＝2a,f＝2b,j＝2c,k＝r²-a²-b²-c²，则式(6)可用表示为如下的形式：

x·m+y·f+z·j+k＝x²+y²+z²(8)

则球的拟合问题可转换为已知n组坐标点(x,y,z)，求式(7)的超定线性方程组的最小二乘解(m^*,f^*,j^*.k^*)，其求解过程用矩阵形式表示如式(8)所示：

其中n>4,可以求得：m^*,f^*,j^*,k^*。

9)获取凹球的半径，最终球心坐标与半径的表达式如下：

则最终凹球的直径为：

本方法通过相机标定获取相机内外参数与畸变系数，通过结构光平面标定获取结构光平面的方程，就可以根据图像坐标系上的点pu(xu,yu)得到在世界平面坐标系下的点pw(xw,yw,zw)，从而完成凹球面上的点的三维重建。最后，基于最小二乘法进行凹球方程的拟合，即可得到凹球的直径。