一种用于显微三维形貌测量系统的摄像机标定装置和方法

本发明涉及三维显微形貌测量领域，特别涉及一种用于显微三维形貌测量系统的摄像机标定装置和方法。

背景技术：

随着工业4.0的到来，外观尺寸在毫米及微米级的微器件在国防工业、信息技术、航空航天、微电子、生物医学等领域有着广泛应用和巨大的市场需求。精密制造技术也得到了快速发展，复杂零件表面及其微小结构特征的精密三维检测已经成为工业界的共性需求。尤其是高精度的三维形貌检测技术将是微器件加工与制造的重要品控工具，是高精度器件加工的依据和保证。这些零件表面结构特征复杂，制造精度高，对其进行高效的三维形貌测量是当前面临的重大挑战。基于条纹投影的显微测量系统具有测量时间短、重建点云密度高等优点，适用于复杂工件几何形状的测量。为了进行准确三维形貌测量，必须对摄像机进行标定。

在显微测量系统中的摄像机标定方面，现有标定方法存在的问题主要归结于三个方面。首先，显微测量系统的景深较小，标定过程中基于各种几何图形边界信息提取特征点的方法易受图像模糊、对比度和成像视角的影响，导致可操作性不强，标定结果重复性差，影响最终测量精度。其次，现有的显微测量系统标定方法是假设标定靶是一个理想平面，事实上，标定靶的制作过程中的不完美，尤其是低成本的硬件系统，这使得特征点在标靶中的定位不准确，进而导致不精确的标定结果。第三，由于镜头畸变和透视失真导致直接从图像中提取到的特征点并不准确，这将更进一步累积标定误差影响三维显微测量精度。由于高精度的系统标定方法对显微测量和精密制造都有着重要的意义，目前亟待一种高精度的三维显微测量系统标定方法，来满足工业界的精密三维检测需求。

技术实现要素：

本发明的目的在于为了克服现有技术中提取特征点的方法易受图片质量影响导致损失测量精度、标定靶的定位不准确、镜头畸变和透视失真导致提取到的特征点不准确的问题，提供一种用于显微三维形貌测量系统的摄像机标定装置和方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种用于显微三维形貌测量系统的摄像机标定方法，包括如下步骤：

s1，用摄像机对主动标靶进行拍摄，对拍摄的图像进行相位解析，生成相位图；所述主动标靶上显示圆心特征点；

s2，在所述相位图上提取亚像素精度的圆心特征点的像素坐标；

s3，根据所述主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点的像素坐标，采用远心相机标定算法，计算摄像机参数和重投影误差；

s4，根据所述摄像机参数和所述亚像素精度的圆心特征点的像素坐标，计算出圆心特征点矫正后的像素坐标；

s5，由所述主动标靶圆心的世界坐标和圆心特征点矫正后的像素坐标，根据远心相机标定算法计算新的摄像机参数和新的重投影误差；

s6，将所述重投影误差和所述新的重投影误差作差，当差值小于预设的阈值时，输出此时的摄像机参数并结束迭代，否则，则重复执行步骤s4～s6。

进一步的，步骤s2具体包括如下步骤：

s21，用基于灰度的椭圆拟合法对相位图提取圆心特征点的像素坐标；

s22，在每个圆心特征点的像素坐标附近使用约束条件提取相位值最接近零的整像素圆心特征点的像素坐标；

s23，以第i个整像素圆心特征点为中心的d×d像素大小的窗口内提取具有不同相位值的等相位线n条，分别对n条等相位线进行椭圆拟合，得到包含n个圆心像素坐标的集合si＝{o^pi(u，v)}，其中p＝1，...,n，i的值不超过相位图中圆心特征点的个数，d的取值为正整数且不超过相位图中两相邻圆心特征点之间的像素距离；舍去与均值误差大于阈值的元素，求得集合si中除了舍去元素以外剩余的圆心像素坐标的平均值，所述平均值即为每张标定图片中第i个亚像素精度的圆心特征点的像素坐标；所述标定图片为所述拍摄的图像；

s24，重复步骤s23，直到相位图中所有亚像素精度的圆心特征点的像素坐标提取完成。

作为本发明的优选方案，所述主动标靶在数字显示设备上显示；主动标靶采用1频3步圆形相移条纹图，所述圆形相移条纹图的分辨率与所述数字显示设备分辨率相同；所述1频3步圆形相移条纹图的公式如下：

其中，k的取值范围为1～3的整数，(x,y)代表所述数字显示设备的像素点的坐标，代表该像素点灰度值，i′(x,y)为所述圆形相移条纹图的平均灰度，i″(x，y)为灰度调制，t为沿半径方向的条纹周期，为点(x,y)到最近的圆形相移条纹图圆心的欧氏距离。

作为本发明的优选方案，所述对主动标靶变换位姿进行拍摄的方法为，变换位姿的次数不小于3次，每个位姿下主动标靶上按时间顺序依次显示1频3步圆形相移条纹图，控制摄像机对主动标靶上依次显示的图像分别进行拍摄。

进一步的，所述相位图由以下公式计算得出：

其中(u,v)代表拍摄的图像上各点的像素坐标，i(u,v)代表拍摄的图像灰度，k＝1，2，3。

进一步的，步骤s4的具体步骤包括：

s41，执行正视投影；所述正视投影指的是，利用所述摄像机初始参数和双线性插值算法，将所述相位图转换为虚拟主动标靶，并通过双线性插值等相位线提取以及椭圆拟合计算虚拟主动标靶上圆心的世界坐标；

s42，执行重投影；所述重投影指的是，将虚拟主动标靶上圆心的世界坐标，转换为圆心特征点的像素坐标，即所述圆心特征点矫正后的像素坐标。

进一步的，所述虚拟主动标靶与所述主动标靶的大小相同。

进一步的，主动标靶圆心的世界坐标，由圆心在主动标靶上的编号索引、圆心之间的间隔、数字显示设备尺寸和像元尺寸信息计算得出。

基于本发明的相同构思，还提出了一种用于显微三维形貌测量系统的摄像机标定装置，包括装有远心镜头的摄像机、控制单元、计算单元，其特征在于，还包括数字显示设备，所述计算单元生成相位标靶，所述数字显示设备显示所述相位标靶，所述控制单元控制所述摄像机抓拍所述相位标靶，所述计算单元还用于执行上述任一项的一种用于显微三维形貌测量系统的摄像机标定方法。

与现有技术相比，本发明的有益效果：

1、通过使用相位圆标靶，利用相位信息提取特征点，取代传统的基于灰度的方法，每个特征点都具有零相位值标签，可精确定位圆心特征点，并通过基于多条等相位线的椭圆拟合获取亚像素精度特征点，使得摄像机的标定对图像模糊和噪声具很高的鲁棒性；

2、通过lcd显示屏或其他数字显示设备显示，形成相位标靶，能够克服传统低价标靶制作不精确而带来误差的问题；

3、通过使用正视投影技术，消除由于主动标靶偏转而拍摄到椭圆所带来的零相位点提取困难的问题，将椭圆投影成标准圆，去除椭圆拟合偏心误差，顺利找到相位值为零的圆心，避免标定图像上特征点的提取受镜头畸变和透视畸变的影响，进一步提高了图像特征点的提取精度；

4、通过反复迭代的方法提高了摄像机参数的精度。

附图说明：

图1为基于结构光投影的三维显微形貌测量系统结构示意图；

图2为基于相位圆标靶的显微摄像机标定示意图；

图3为正视图仿真图片&提取到的圆心特征点；

图4为正视投影相位靶和特征点重投影示意图；

图5为基于绝对相位靶和正视投影的摄像机标定方法流程图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

如图2所示，搭建工作台、装有远心镜头的摄像机、控制单元、计算单元，还有数字显示设备，本实施例所用的计算单元为计算机，数字显示设备为lcd显示屏；数字显示设备用于显示仿真生成的主动标靶，计算单元为计算机，用于执行本实施例所述标定方法。

在本领域中，对主动标靶进行拍摄后，得到的拍摄图片称为标定图片。

一种用于显微三维形貌测量系统的摄像机标定方法，包括如下步骤：

s0，使用仿真算法生成主动标靶，所述主动标靶上显示有圆心特征点，即圆形相移条纹，具体方法如下：

如图3左上图所示，通过算法仿真生成1频3步圆形相移条纹图之后，在lcd显示屏上显示，lcd显示屏上显示的圆形相移条纹图在本发明中称为主动标靶，或相位圆标靶。本实施例通过以下公式仿真生成1频3步圆形相移条纹图3张：

其中，由于圆形相移条纹图为3张，本实施例中所有k的取值范围为1～3的整数，(x,y)代表主动标靶的像素点的坐标，代表该点灰度值，i′(x,y)为显示屏上圆形相移条纹图的平均灰度，i″(x,y)为灰度调制，t为沿半径方向的条纹周期，为点(x,y)到最近的圆形条纹圆心的欧氏距离。

本实施例中，生成的圆形相移条纹图中，每两个相邻圆形条纹的圆心间隔像素个数为50，换算为长度为0.5毫米，特征点个数9×10(9行10列)，分辨率500×550，圆形条纹周期为40个像素，条纹频率为1，相移步数为3。

s1，用摄像机对主动标靶进行拍摄，对拍摄的图像进行相位解析，生成相位图；具体方法如下：

将上述生成的3张圆形相移条纹图作为主动标靶显示在lcd显示屏上，然后控制单元控制摄像机，对lcd显示屏显示的每张圆形相移条纹图进行拍摄，拍摄的方法为，变换16次位姿，变换次数记为j，每个位姿下按时间顺序依次显示其中3张圆形相移条纹图中的1张在lcd显示屏上，控制摄像机对依次显示的圆形相移条纹图采集拍摄图片；共采集48张拍摄图片。

拍摄图像的灰度可表示为公式(2)，其中(u,v)代表拍摄图像的像素坐标，i′(u,v)分别代表拍摄图像的平均灰度，i″(u,v)为拍摄图像的灰度调制：

每个位姿下，对3张圆形相移条纹图的拍摄图像进行相位解析，计算得到1张相位图，相位图相位φ(u,v)的计算公式如下公式(3)：

图3的右上图展示了其中1个位姿下的相位φ(u,v)所对应的相位图，16个位姿，对应有16张相位图。

s2，在所述相位图上提取亚像素精度的圆心特征点的像素坐标，具体方法如下：

针对每个位姿下的相位图，使用opencv中的findcirclesgrid函数用基于图像灰度的椭圆拟合法对每个位姿下的相位图提取圆心特征点o1；在每个基于图像灰度的圆心特征点o1附近使用约束条件minφ(u,v)提取具有相位值最接近零的整像素圆心特征点o2，由于整像素圆心特征点o2像素坐标为整像素，例如(159,219)，其相位值可能不等于零而是接近零，例如为0.2158，因此再以整像素圆心特征点o2为中心的d×d大小例如35×35像素大小的窗口内，使用matlab中的contour函数提取具有不同相位值的等相位线n条，分别对n条等相位线进行椭圆拟合，得到包含n个圆心的集合sij＝{o^pij(u，v)}，其中p＝1，...,n，i的值为正整数且不超过每张相位图中圆心特征点的个数，j的值为正整数且不超过变换位姿进行拍摄的次数16，d的取值为正整数且不超过相位图中两相邻圆心特征点之间的像素距离；舍去与均值误差大于阈值的元素，求得集合sij中除了舍去元素以外剩余的圆心坐标的平均值，所述平均值即为亚像素精度圆心特征点o3，其像素坐标为(159.492,219.373)，亚像素精度圆心特征点o3的相位值为零；

由于每个位姿下的相位图中含有多个圆心特征点，上述步骤具体方法中仅对其中一个圆心特征点的提取方法进行举例，本发明的实际操作中，对每个位姿下的相位图中所有圆心特征点均采用本步骤的方法提取该位姿下亚像素精度的圆心特征点的像素坐标，直到所有位姿下的相位图中亚像素精度的圆心特征点的像素坐标提取完成。

s3，计算所述主动标靶圆心的世界坐标，根据所述主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点的像素坐标，根据远心相机标定算法得到摄像机参数和重投影误差；具体方法如下：

其中，计算所述主动标靶圆心的世界坐标的方法为，16个位姿的每个位姿下，世界坐标系的原点在主动标靶的靶心，且已知主动标靶圆心在主动标靶上的编号索引、圆心之间的间隔、lcd屏的尺寸和像元尺寸信息，因此计算得出主动标靶上各圆心的世界坐标，具体计算公式为如下公式(4)，最终计算出主动标靶圆心的世界坐标：

公式(4)中所述主动标靶所在世界坐标系的z轴垂直于标靶平面(故z＝0)，q为液晶显示器的像元尺寸，(x,y)为相位图上圆心特征点o3所对应的主动标靶上的圆心物理坐标，单位为毫米，由前述主动标靶圆心在主动标靶上的编号索引、位置，结合像元大小计算得出，l为显示器的宽度，h为显示器的高度，单位均为毫米。

依据主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点o3的像素坐标之间的对应关系，利用远心相机标定算法计算出摄像机内参、正视图位姿下标靶相对于摄像机的旋转向量r0和平移向量t0、重投影误差re-error；其中内参为矩阵a0包括焦距即远心相机中的放大倍率fu、fv，主点偏移u0、v0，畸变参数d0包括径向畸变k1、k2和切向畸变p1、p2；旋转向量r0包括旋转角θx、θy、θz，平移向量t0包括平移分量tx、ty、tz；从而计算出摄像机参数初值(fu,fv,u0,v0,tx,ty,tz,θx,θy,θz,k1,k2,p1,p2)；每计算出一次摄像机参数，同时可计算出一次重投影误差。其中，远心相机标定算法为现有技术，具体算法可参考论文：z.chen,h.liao,andx.zhang,"telecentricstereomicro-visionsystem:calibrationmethodandexperiments,"opt.laserseng.57,82-92(2014).代码：https://github.com/seagate/telecentric-calibration。

s4，根据所述摄像机参数和所述亚像素精度的圆心特征点的像素坐标，计算出圆心特征点矫正后的像素坐标；具体实现步骤为，利用摄像机参数，进行正视投影和重投影，由此获取圆心特征点矫正后的像素坐标；

其中，正视投影是指，利用所述摄像机初始参数和双线性插值算法，将所述相位图转换为虚拟主动标靶，并通过双线性插值二次曲面拟合计算虚拟主动标靶上圆心的像素坐标对应的精确的灰度值；具体计算过程为，对所述相位图中每一个亚像素精度的圆心特征点的像素坐标转换为物理坐标pd(xd,yd)，将各点的物理坐标pd(xd,yd)和得到的摄像机参数带入公式(6)进行畸变矫正，得到去畸变后的物理坐标p(x,y)，其中相位图以主点为原点，主点即摄像机光心的像点(u0,v0)；将去畸变后的物理坐标p(x,y)转换为像素坐标，带入公式(5)，结合双线性插值算法计算出虚拟主动标靶；

公式(6)中，r²的值由x²+y²计算得出；

进而得到与lcd显示器大小、分辨率和像元尺寸均相同的虚拟主动标靶，虚拟主动标靶的世界坐标系的x轴和y轴分别平行于显示器的长边和短边，z轴垂直于虚拟主动标靶平面，如图4所示；这种由相位图生成虚拟主动标靶的过程，就是正视投影；

采用正视投影原理的作用和优点在于，由于不同位姿下的拍摄图像中，由于位姿的偏转，原本仿真生成的标准圆形经过摄像机的透视投影变成了椭圆形，各位姿下3张拍摄图像所生成的相位图中原本对应为标准相位圆的地方也对应为相位椭圆，因此找到相位值为零的圆心变得不精确，为了能够使相位值快速收敛，并精确定位零相位圆心特征点，采取正视投影的原理，将相位图中的二维相位椭圆“投影”为虚拟主动标靶的世界坐标系中的三维标准圆。

对所有位姿下相位圆标靶的拍摄图像，均利用上述步骤计算得到不同位姿下的虚拟主动标靶。

因为利用摄像机参数进行校正过，虚拟主动标靶上的特征点的世界坐标不受镜头畸变和透视畸变影响。

重投影的过程，是指将得到的虚拟主动标靶上圆心的世界坐标，带入上述公式(5)计算各圆心特征点的像素坐标，即所述圆心特征点矫正后的像素坐标。

s5，由所述主动标靶上各圆心的世界坐标和圆心特征点矫正后的像素坐标，根据远心相机标定算法计算新的摄像机参数和新的重投影误差；

s6，将所述重投影误差和所述新的重投影误差做差，当差值小于预设的阈值时，输出此时的摄像机参数并结束迭代，否则，则重复执行步骤s4～s6；具体方法如下：

将新的重投影误差与上一次的重投影误差进行比较，若差值小于阈值0.01像素则收敛，以重新计算的摄像机参数作为最终标定结果输出，否则使用重新计算的摄像机参数继续执行所述正视投影和迭代过程，直至收敛。最终获取到高精度的摄像机内参。

本实施例中主动标靶所使用的1频3步圆形相移条纹图，也可以由一帧彩色条纹图代替，其中一帧彩色条纹图由1频3步圆形相移条纹图合成。

本实施例中使用仿真摄像机来模拟拍摄，仿真摄像机的内参矩阵a为：

其中，仿真图片的像元尺寸为du＝dv＝6.9μm，放大倍率m＝0.5；

畸变参数为d＝(k1,k2,p1,p2)＝(-1.76×10^-5,-2.25×10^-6,2.89×10^-6,2.96×10^-5)，正视图对应的旋转向量为r＝(θx,θy,θz)＝(0,0,0)，平移向量t＝(tx,ty,tz)＝(0,0,0)。

本实施例中由本发明所述方法计算出的远心摄像机的内参、畸变系数、正视图的旋转平移向量如下表1所示，其中估计值为用本发明方法计算得出的值，真值为上述仿真摄像机的参数，绝对误差为真值与估计值之差的绝对值。

表1仿真标定结果

重投影误差为0.0527像素。

实施例2

如图1所示，构建一种基于正视投影和相位圆标靶的显微测量系统，包括：三维显微测量系统、用lcd显示的相位靶。其中，三维显微测量系统包括工作台、光纤照明光源、数字微镜(dmd)、摄像机、计算机，摄像机已使用实施例1的标定装置和方法完成标定；

显微测量系统工作原理为，将条纹结构光送入多模光纤光源照明的dmd光学调制器，经长工作距离的显微光学投影系统投影至待测器件表面，通过控制单元调控dmd切换结构光场产生相移，同时同步触发长工作距离的摄像机采集图像，最后传输到计算机，根据实施例1所述方法得出的摄像机参数进行计算和投影，完成显微三维形貌的检测。

本文所述的一个或多个实施方案涉及计算机存储产品，所述计算机存储产品具有用于执行各种计算机实现的操作的指令或计算机代码的非暂时性计算机可读介质(也可称为非暂时性处理器可读介质)。计算机可读介质(或处理器可读介质)在其本身不包括暂时传播信号(例如，在诸如空间或电缆的传输介质上承载信息的传播电磁波)的意义上是非暂时性的。介质和计算机代码(也可称为代码或算法)可以是为特定目的而设计和构造的那些代码或算法。非暂时性计算机可读存储介质的实例包括但不限于：磁性介质，诸如硬盘、软盘和磁带；光学介质，诸如压缩盘/数字视频盘(cd/dvd)、压缩盘只读存储器(cd-rom)和全息装置；磁光存储介质，诸如光盘；载波信号处理模块；以及专门被配置用于存储和执行程序代码的硬件装置，诸如专用集成电路(asic)、可编程逻辑装置(pld)、只读存储器(rom)以及随机存取存储器(ram)装置。本文所述的其他实施方案涉及计算机程序产品，所述计算机程序产品可包括例如本文所公开的指令和/或计算机代码。

本文所述的一个或多个实施方案和/或方法可由软件(在硬件上执行)、硬件或其组合来执行。硬件模块可包括例如通用处理器(或微处理器或做控制器)、现场可编程门阵列(fpga)和/或专用集成电路(asic)。软件模块(在硬件上执行)可用多种软件语言(例如计算机代码)表达，包括c、c++、ruby、visual和/或其他面向对象、过程或其他编程语言和开发工具。计算机代码的实例包括但不限于做代码或做指令、诸如由编译器产生的机器指令、用于产生网页服务的代码以及包含由使用解释器的计算机执行的更高级指令的文件。计算机代码的其他实例包括但不限于控制信号、加密的代码和压缩的代码。虽然上文已经描述各种实施方案，但应了解，所述实施方案仅以举例的方式而不是以限制性的方式来呈现。虽然如上所述的方法指示某些事件以一定顺序发生，但是某些事件的排序可变化。另外，某些事件在可能的情况下可在并行过程中同时执行，以及如上所述依序执行。