一种基于条纹投影测量模型的测量方法、装置和控制设备

1.本发明涉及光学测量技术领域，特别涉及一种基于条纹投影测量模型的测量方法、装置和控制设备。


背景技术：

2.条纹投影测量方法作为一种结构光三维测量方法，具有测量速度快、精度高、无应力接触、应用范围广以及方便快捷等特点，被广泛应用在工业测量、逆向工程、生物医药、文物修复以及日常生活娱乐等方面。
3.条纹投影测量方法需要向测量对象表面投影一系列具有一定相位差的正弦条纹图案，然后采集经测量对象表面调制后变形的条纹图案，解算出包裹相位后，根据相位展开算法计算出测量对象表面的绝对相位值，再根据测量系统模型得到测量对象表面的深度信息以实现三维测量。因此，典型的条纹投影测量系统一般包含一台相机、一台投影仪与一台计算机。
4.由于条纹投影测量系统必须在系统标定后才能进行三维测量，因此测量系统的标定与测量的结果息息相关。测量系统的标定方法根据测量原理的不同主要可分为三类，分别是：基于几何约束关系的传统条纹投影标定方法、基于立体视觉原理的伪相机标定方法和基于相位-高度映射关系的条纹投影标定方法。
5.其中，第一类是基于几何约束关系的传统条纹投影标定方法，该类方法通过系统间的几何结构参数建立模型，只需标定系统间的几何参数，即可实现三维测量。但是，该类方法对相机、投影仪以及参考平面的空间相对位置关系有着严格的要求。例如，相机与投影仪的光心连线需要与参考平面满足平行约束，相机或投影仪的光轴同参考平面满足垂直约束，相机与投影仪的光轴需要满足在参考平面上的相交约束。这些平行、垂直、相交的几何约束关系极大的降低了测量系统标定的灵活性与工作效率，同时对系统的安装精度也提出了极高的要求。目前，有部分学者提出了改进的条纹投影测量模型以放宽相机、投影仪与参考平面之间的几何约束关系，但这些方法仍不能完全消除上述测量系统的限制条件。
6.第二类是基于立体视觉原理的伪相机方法，该方法与立体视觉测量方法类似，因此在测量前需要同时标定相机与投影仪，获得两者的空间位置关系。由于相机标定技术十分成熟，所以该测量方法的关键技术在于投影仪的标定。由于这一类方法在实际使用中不需要考虑相机和投影仪间的空间关系，操作简单。但是，伪相机方法依赖相位值建立相机和投影的对应关系，投影仪标定结果的准确性取决于相位展开的精度，而实际标定过程中相位误差不可避免，影响投影仪标定精度。此外，投影仪镜头的制造精度低于工业相机，在标定过程中采用针孔模型将引入数倍于相机的标定误差。
7.第三类是基于相位-高度映射关系的条纹投影测量系统标定方法。通过测量对象表面点的相位值与其高度信息，使用最小二乘方法建立直接的数学关系，基于相位-高度映射关系的进行标定测量。该类系统的标定方法只需要标定相位-高度映射关系中的相关系数，不需要考虑相机和投影仪之间需要满足的平行、垂直、相交的几何约束关系。然而，现有
技术中的标定方法都未考虑测量过程中相机镜头畸变对测量结果的影响，而且存在参考平面，造成了误差积累。目前，虽然有部分学者提出了改进方法，但是仍然存在计算复杂度高、计算效率低以及计算过程费时等问题。
8.基于相位-高度映射的条纹投影测量方法的思路通常通过建立测量系统的数学模型，在该模型下测量对象表面相位和高度满足一定的对应关系，求解这种对应关系即是相位-高度映射的关键。目前的方法都是使用最小二乘方法拟合计算出测量系统的待标定参数，这种方法可以使相机和投影仪完全摆脱传统条纹投影测量方法中几何关系的约束，相机，投影仪可以摆放在空间中的任意位置。但这些方法也都存在各自的局限性：首先是大部分测量模型的相位-高度映射关系相位值是测量对象与参考平面间的相位差值，需要借助参考平面，将不可避免地产生相位误差积累，进一步传递到物体的高度计算，同时参考平面还在一定程度上降低了标定、测量的效率。其次是多数条纹投影测量方法的标定过程采用多个已知位置的平行面对待求参数进行最小二乘拟合，因此需要使用多个精密量块或者是精密位移台移动参考平面形成多个平行面。
9.综上所述，基于几何约束关系的传统条纹投影测量方法受限于三角测量原理的几何约束，标定过程相机和投影仪难以满足严苛的约束条件；基于立体视觉原理的伪相机方法结构简单，但投影仪标定对精度影响的因素较多；而基于相位高度映射的条纹投影测量方法的标定过程则需要参考平面、精密量块或者是精密位移台辅助标定，以实现相位差与高度的映射关系，造成条纹投影测量方法在实际使用过程中存在标定复杂、易用性差等缺陷。


技术实现要素：

10.本发明实施例提供一种基于条纹投影测量模型的测量方法、装置和控制设备，用以解决现有技术中基于相位高度映射的条纹投影测量方法对相位差、参考平面以及精密测量用具依赖性过高的问题。
11.为了解决上述技术问题，本发明采用如下技术方案：
12.依据本发明的一个方面，提供了一种基于条纹投影测量模型的测量方法，包括：
13.基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式；其中，所述三个坐标系包括世界坐标系、相机坐标系和像素坐标系；所述被测点为待测对象表面上的一个位置点；
14.对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数；其中，所述条纹投影测量系统利用所述条纹投影测量模型构建；
15.根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标。
16.可选地，所述基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式，包括：
17.根据相机、投影仪和被测点之间的几何关系，获得所述被测点在所述世界坐标系下的z轴坐标与对应的绝对相位值之间的第二映射关系；
18.根据小孔成像原理、世界坐标系与相机坐标系间的变换关系及所述第二映射关系，获得所述被测点在所述世界坐标系下的z轴坐标与成像点在所述相机坐标系下的坐标之间的第三映射关系；其中，所述成像点为所述被测点在所述相机上的成像点；
19.根据所述相机和所述被测点之间的几何关系、相机坐标系与像素坐标系间的变换关系及所述第三映射关系，获得所述被测点在所述相机坐标系下的z轴坐标与所述成像点在所述像素坐标系下的坐标之间的第四映射关系；
20.根据镜头畸变影响公式与所述第四映射关系，获得所述条纹投影测量模型的数学表达式。
21.可选地，所述镜头畸变影响公式为：
[0022][0023]
其中，u表示无镜头畸变影响的像素坐标的横坐标；v表示无镜头畸变影响的像素坐标的纵坐标；ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；s
i,j
和t
i,j
表示畸变补偿系数；n表示拟合阶数。
[0024]
可选地，所述条纹投影测量模型的数学表达式为：
[0025][0026]
其中，zc表示被测点在相机坐标系下的z轴坐标；n表示拟合阶数，且n为大于或等于2的正整数；φ表示被测点的绝对相位值；a
i,j
、b
i,j
、c
i,j
和d
i,j
表示待标定参数。
[0027]
可选地，所述根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标，包括：
[0028]
根据所述被测点在所述相机坐标系下的z轴坐标及坐标转换公式，计算获得所述被测点的三维坐标；其中，所述坐标转换公式为：
[0029][0030]
其中，ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；zc表示被测点在相机坐标系下的z轴坐标；表示被测点在相机坐标系下的x轴坐标；表示被测点在相机坐标系下的y轴坐标；f
x
、fy、u0、v0为相机标定的不同的内参。
[0031]
可选地，所述对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数，包括：
[0032]
使用所述投影仪向标定板投影条纹图案，并控制所述相机采集所述标定板的图像；其中，所述标定板位于所述相机与所述投影仪的视场范围内；
[0033]
改变所述标定板的位置，并重复上述过程，直至采集获得预设数量组所述图像；
[0034]
对所述图像进行处理，获得所述标定板上采样点的第一信息；其中，所述第一信息包括像素坐标、绝对相位值和深度坐标；
[0035]
根据所述第一信息，利用最小二乘法对n个采样点进行迭代优化，确定所述待标定
参数。
[0036]
可选地，所述条纹图案为满足多频外差要求的正弦条纹；
[0037]
其中，所述对所述图像进行处理，获得所述标定板上采样点的第一信息，包括：
[0038]
基于图像处理中的角点提取方法，提取所述采样点的像素坐标；采用多频外差方法，进行相位测量和相位展开操作，并利用双线性插值，计算出每个所述采样点的像素坐标对应的绝对相位值；
[0039]
根据相机标定的结果，获得每个采样点的深度坐标。
[0040]
依据本发明的另一个方面，提供了一种基于条纹投影测量模型的测量装置，包括：
[0041]
模型建立模块，用于基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式；其中，所述三个坐标系包括世界坐标系、相机坐标系和像素坐标系；所述被测点为待测对象表面上的一个位置点；
[0042]
参数确定模块，用于对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数；其中，所述条纹投影测量系统利用所述条纹投影测量模型构建；
[0043]
坐标计算模块，用于根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标。
[0044]
依据本发明的另一个方面，提供了一种控制设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如上所述的测量方法。
[0045]
本发明的有益效果是：
[0046]
上述方案，直接建立待测对象表面的绝对相位值与空间坐标的映射关系，无需考虑相机和投影仪间的几何约束关系，能够有效克服传统条纹投影测量系统对相机、投影仪以及参考平面空间相对位置的严格要求。
附图说明
[0047]
图1表示本发明实施例提供的基于条纹投影测量模型的测量方法的流程图；
[0048]
图2表示本发明实施例提供的条纹投影测量系统的几何模型示意图之一；
[0049]
图3表示本发明实施例提供的条纹投影测量系统的几何模型示意图之二；
[0050]
图4表示本发明实施例提供的条纹投影测量系统的标定流程示意图；
[0051]
图5表示本发明实施例提供的无畸变采样点重建误差分布示意图；
[0052]
图6表示本发明实施例提供的有畸变采样点重建误差分布示意图；
[0053]
图7表示本发明实施例提供的拟合阶数n为3时的采样点重建误差分布示意图；
[0054]
图8表示本发明实施例提供的拟合阶数n为4时的采样点重建误差分布示意图；
[0055]
图9表示本发明实施例提供的拟合阶数n为2时重建的棋盘格空间位置分布示意图；
[0056]
图10表示本发明实施例提供的拟合阶数n为2时的特征点误差分布示意图；
[0057]
图11表示本发明实施例提供的拟合阶数n为3时的特征点误差分布示意图；
[0058]
图12表示本发明实施例提供的拟合阶数n为4时的特征点误差分布示意图；
[0059]
图13表示本发明实施例提供的棋盘格标定板上待测量的横纵直线示意图；
[0060]
图14表示本发明实施例提供的直线ab测量误差示意图；
[0061]
图15表示本发明实施例提供的直线cd测量误差示意图；
[0062]
图16表示本发明实施例提供的标定板棋盘格边长示意图；
[0063]
图17表示本发明实施例提供的标定板棋盘格横向边长测量结果示意图；
[0064]
图18表示本发明实施例提供的标定板棋盘格纵向边长测量结果示意图；
[0065]
图19表示本发明实施例提供的基于条纹投影测量模型的测量装置的示意图。
具体实施方式
[0066]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
[0067]
本发明针对现有技术中相位高度映射的条纹投影测量方法对相位差、参考平面以及精密测量用具依赖性过高的问题，提供一种基于条纹投影测量模型的测量方法、装置和控制设备。
[0068]
如图1所示，本发明其中一实施例提供一种基于条纹投影测量模型的测量方法，包括：
[0069]
s11：基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式；
[0070]
其中，所述三个坐标系包括世界坐标系、相机坐标系和像素坐标系；所述被测点为待测对象表面上的一个位置点。
[0071]
该实施例中，相机与投影仪可以摆放在空间中的任意位置，只需保证待测对象处于相机的测量域和投影仪投影域形成的公共区域即可。
[0072]
需要说明的是，s11中得到的数学表达式中包括待标定参数，待标定参数需要通过标定过程来确定。
[0073]
s12：对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数；
[0074]
其中，所述条纹投影测量系统利用所述条纹投影测量模型构建。
[0075]
也就是说，利用条纹投影测量模型构建条纹投影测量系统，然后对该条纹投影测量系统进行系统标定，可以确定待标定参数。
[0076]
s13：根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标。
[0077]
经过s11和s12后，即可以获得完整的条纹投影测量模型的数学表达式。然后，通过条纹投影测量系统，可以测量获得被测点的绝对相位值和像素坐标，根据获得的数据和数学表达式，最终可以得到被测点的三维坐标。
[0078]
本发明实施例，条纹投影测量模型可以直接建立待测对象表面的绝对相位值与空间坐标的映射关系，无需考虑相机和投影仪间的几何约束关系，能够有效克服传统条纹投影测量系统对相机、投影仪以及参考平面空间相对位置的严格要求。
[0079]
可选地，所述基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式，具体可以包括以下步骤：
[0080]
步骤一：根据相机、投影仪和被测点之间的几何关系，获得所述被测点在所述世界坐标系下的z轴坐标与对应的绝对相位值之间的第二映射关系。
[0081]
本发明一可选实施例中，条纹投影测量模型可以是单相机条纹投影测量系统，包括：一台工业相机，例如，可以是基于电荷耦合器件(charge coupled device，ccd)芯片的相机；一台投影仪，例如，可以是数字光投影装置(digital light processing，dlp)；一台计算机。其中，相机成像平面为ccd平面。如图2所示，为该条纹投影测量系统的几何模型，在该几何模型里，相机与投影仪可以摆放在空间中的任意位置，只需保证待测对象处于相机的测量域和投影仪投影域形成的公共区域即可。
[0082]
条纹投影测量模型的目的是建立被测点q的空间坐标与其绝对相位的关系。首先，基于三个坐标系，对条纹投影测量模型进行描述如下：
[0083]
如图2至图3所示，三个坐标系分别为：世界坐标系o
w-x
wywzw
；相机坐标系o
c-xcyczc；成像面上的像素坐标系o-uv。
[0084]
作为本发明一可选实施例，可以以点ow为世界坐标系的原点建立世界坐标系，可以将该坐标系下的x轴表示为xw，y轴表示为yw，z轴表示为zw。
[0085]
其中，o
pow
表示投影仪光轴；点o
p
位于平面x
wowzw
内，即投影仪所投影的正弦条纹与yw轴平行；点o
p
′
表示点o
p
在xw轴上的投影点；θ表示o
pow
与竖直轴zw的夹角；l1表示点o
p
到平面x
wowyw
的距离。
[0086]
在相机坐标系下，oczc表示相机光轴；点oc′
表示点oc在世界坐标系中的平面x
wowyw
上的投影点；l2表示点oc到平面x
wowyw
的距离。
[0087]
点q表示待测对象上的任意一点；其中，点q在ccd平面上对应点q；o
p
q的延长线交平面x
wowyw
于点a；ocq的延长线交平面x
wowyw
于点b；点q
′
表示点q在x
wowyw
平面上的投影点；点q
″
、oc″
、a
′
分别表示点q
′
、oc′
、a在xw上的投影；h表示点q到平面x
wowyw
的距离(即点q的高度)。
[0088]
这里需要说明的是，上述几何模型仅用来示意本发明实施例的其中一种何模型的模式，三个坐标系的设置还可以由其他形式来表示，只需要满足保证待测对象处于相机的测量域和投影仪投影域形成的公共区域即可，有效克服了传统条纹投影测量系统对相机、投影仪以及参考平面空间相对位置的严格要求，能够实现高效测量。
[0089]
下面，利用三个坐标系下相机、投影仪和被测点之间的几何关系，推导出q点的高度h的基本表达式：
[0090]
根据推导可得到第一公式，第一公式可表示为：
[0091][0092]
同理，根据推导可得到第二公式，第二公式可表示为：
[0093][0094]
结合第一公式和第而公式推导可得到第三公式，第三公式可表示为：
[0095][0096]
第三公式即为h的基本表达式，得到该第三公式之后，需要建立h与绝对相位的关系。如图3所示，各点之间的几何关系可由第四公式表示，第四公式可表示为：
[0097][0098]
假设点ow处条纹节距为p0，点a
′
处条纹节距为p，则p0与p之间的关系满足第五公式，第五公式可表示为：
[0099][0100]
根据推导可得到第六公式，第六公式可表示为：
[0101][0102]
由于点q处的相位与点a、a
′
处的绝对相位相等，用φ表示绝对相位，则φ满足第七公式，第七公式可表示为：
[0103][0104]
其中，φ0表示点ow处的绝对相位。
[0105]
结合公式第四公式、第五公式、第六公式和第七公式推导，可得到第八公式，第八公式可表示为：
[0106][0107]
联立第三公式和第八公式，可以得到第九公式，第九公式可表示为：
[0108][0109]
其中，系数c1～c4、d1～d4为与和φ独立的常系数，只与系统的几何结构参数相关，可由如下第十公式表示：
[0110][0111]
需要说明的是，上述第九公式即表示被测点在所述世界坐标系下的z轴坐标(即高度h)与对应的绝对相位值之间的第二映射关系，即高度h与点b在xw轴上的坐标以
及待测对象上点q的绝对相位φ之间的关系。
[0112]
步骤二：根据小孔成像原理、世界坐标系与相机坐标系间的变换关系及所述第二映射关系，获得所述被测点在所述世界坐标系下的z轴坐标与成像点在所述相机坐标系下的坐标之间的第三映射关系；其中，所述成像点为所述被测点在所述相机上的成像点。
[0113]
该步骤中，可以根据小孔成像原理，对第三映射关系进行推导，具体过程可表述如下：
[0114]
首先，需要建立点b与点q的数学关系。
[0115]
根据小孔成像原理，由于点b和点q在经过点oc的同一条光路上，故点b和点q在ccd成像面上的对应点为同一点，即点q。
[0116]
假设点q在像素坐标系下的像素坐标记为(u,v)，点q在相机坐标系下的坐标记为f为相机的焦距，则点b和点q满足第十一公式，第十一公式可表示为：
[0117][0118]
由于点b满足世界坐标系o
w-x
wywzw
到相机坐标系o
c-xcyczc的旋转平移变换，因此推导可得到第十二公式，第十二公式可表示为：
[0119][0120]
根据第十一公式和第十二公式推导可得到第十三公式，第十三公式可表示为：
[0121][0122]
其中，系数e1～e3、f1～f3为与和独立的常系数，只与相机标定的内、外参相关，可由如下第十四公式表示：
[0123][0124]
联立第九公式、第十三公式和第十四公式，可得到第十五公式，第十五公式可表示为：
[0125][0126]
其中，系数a1～a6、b1～b6为系数c1～c4、d1～d4与系数e1～e3、f1～f3的组合。
[0127]
需要说明的是，上述第十五公式即表示被测点在所述世界坐标系下的z轴坐标与成像点在所述像素坐标系下的坐标之间的第三映射关系，即待测对象上任意一点的高度h
与相机坐标系下该点对应的坐标间的关系。
[0128]
步骤三：根据所述相机和所述被测点之间的几何关系、相机坐标系与像素坐标系间的变换关系及所述第三映射关系，获得所述被测点在所述相机坐标系下的z轴坐标与所述成像点在所述像素坐标系下的坐标之间的第四映射关系。
[0129]
该步骤中，由于h即为了计算及表达的便利性，根据第十五公式，将h转化到相机坐标系下机坐标系下满足第十六公式，第十六公式可表示为：
[0130][0131]
结合公式第二公式和第十三公式，可得到第十七公式，第十七公式可表示为：
[0132]
由于实验中直接获得的数据是像素坐标，因此，可以将中直接获得的数据是像素坐标，因此，可以将用像素平面上对应点q(u,v)表示。另外，为了方便表示，以下将记为zc。则与(u,v)满足第十八公式，第十八公式可表示为：
[0133][0134]
其中，f
x
、fy、u0、v0为相机标定的内参。
[0135]
联立第十三公式、第十四公式、第十五公式和第十六公式，可得到第十九公式，第十九公式可表示为：
[0136]
zc＝[e1+e2φ+(e3+e4φ)u+(e5+e6φ)v+(e7+e8φ)u2+(e9+e
10
φ)v2+(e
11
+e
12
φ)uv]/[f1+f2φ+(f3+f4φ)u+(f5+f6φ)v+(f7+f8φ)u2+(f9+f
10
φ)v2+(f
11
+f
12
φ)uv]
[0137]
其中，e1～e
12
、f1～f
12
为与u、v、φ独立的常系数。
[0138]
需要说明的是，上述第十九公式即表示被测点在所述相机坐标系下的z轴坐标与所述成像点在所述像素坐标系下的坐标之间的第四映射关系。即在不考虑相机镜头畸变的情况下，待测对象上任一点的空间深度坐标与像素坐标(像素坐标系下的坐标)以及相位值之间的映射关系。
[0139]
步骤四：根据镜头畸变影响公式与所述第四映射关系，获得所述条纹投影测量模型的数学表达式。
[0140]
需要说明的是，实际应用过程中需要考虑相机镜头畸变对测量过程的影响，畸变后的像素坐标与原始像素坐标关系可以用第二十公式表示，即镜头畸变影响公式。
[0141]
可选地，所述镜头畸变影响公式为：
[0142]
[0143]
其中，u表示无镜头畸变影响的像素坐标的横坐标；v表示无镜头畸变影响的像素坐标的纵坐标；ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；s
i,j
和t
i,j
表示畸变补偿系数；n表示拟合阶数。
[0144]
需要说明的是，ud、vd即为直接从图像中所获得的数据。
[0145]
联立第十九公式和第二十公式，可得到第二十一公式，即条纹投影测量模型的数学表达式。可选地，所述条纹投影测量模型的数学表达式为：
[0146][0147]
其中，zc表示被测点在相机坐标系下的z轴坐标；n表示拟合阶数，且n为大于或等于2的正整数；φ表示被测点的绝对相位值；a
i,j
、b
i,j
、c
i,j
和d
i,j
表示待标定参数。
[0148]
需要说明的是，上述第二十一公式可表示zc与存在镜头畸变的畸变像素坐标(ud,vd)和绝对相位φ之间的映射关系。系数a
i,j
、b
i,j
、c
i,j
、d
i,j
为与畸变像素坐标(ud,vd)和绝对相位值φ独立的常数，a
i,j
、b
i,j
、c
i,j
、d
i,j
需要通过标定确定。
[0149]
本发明实施例的条纹投影测量测量模型，通过相机、投影仪与待测对象之间的几何关系，结合相机小孔成像及镜头畸变模型等原理，建立待测对象表面绝对相位值与空间坐标的映射关系，从而可以实现对待测对象表面的三维测量，具有结构简单、测量精度高、测量速度快、易用性好的特点。
[0150]
可选地，所述对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数，包括：
[0151]
(一)使用所述投影仪向标定板投影条纹图案，并控制所述相机采集所述标定板的图像；其中，所述标定板位于所述相机与所述投影仪的视场范围内。
[0152]
(二)改变所述标定板的位置，并重复上述过程，直至采集获得预设数量组所述图像。
[0153]
需要说明的是，预设数量可以根据实际情况具体设置。例如，预设数量可以为19，即可以采用19组图像(即标定图像)进行标定。
[0154]
(三)对所述图像进行处理，获得所述标定板上采样点的第一信息；其中，所述第一信息包括像素坐标、绝对相位值和深度坐标。
[0155]
可选地，所述条纹图案为满足多频外差要求的正弦条纹；其中，所述对所述图像进行处理，获得所述标定板上采样点的第一信息，包括：基于图像处理中的角点提取方法，提取所述采样点的像素坐标；采用多频外差方法，进行相位测量和相位展开操作，并利用双线性插值，计算出每个所述采样点的像素坐标对应的绝对相位值；根据相机标定的结果，获得每个采样点的深度坐标。
[0156]
需要说明的是，采样点即以标定板作为待测对象时，该待测对象上的被测点。
[0157]
本发明实施例可以基于条纹投影测量模型构建三维条纹投影测量系统。下面，利用该条纹投影测量系统来验证本发明实施例提供的测量方法的可行性，以及仿真实验的结果的有效性。
[0158]
具体的，本发明一可选实施例中，该条纹投影测量系统可以为单目条纹投影三维条纹投影测量系统。例如，可以包括一台最大分辨率为2560
×
2048的cmos黑白相机、一台分
辨率为912
×
1140的dmd投影仪，一块12
×
9的黑白棋盘格标定板，棋盘格大小为15mm
×
15mm(
±
0.01mm)，一台计算机401(例如主频为3.7ghz的计算机)。
[0159]
如图4所示，为实验过程中条纹投影测量系统的标定流程示意图：
[0160]
该实施例中，采用多频外差方法进行相位测量和相位展开操作。
[0161]
如图4中步骤1所示，用计算机401设计条纹频率满足多频外差要求的三种正弦条纹图案402输入投影仪403中，正弦条纹频率分别为1/70、1/64和1/59，相移方法为4步相移，因此一共使用12张正弦条纹图案。
[0162]
实验开始前将正弦条纹图案801烧录进投影仪403的rom(read-only memory，只读存储器)中。投影仪403可自动投影条纹图案，并可设置投影仪403控制相机404采集图案，提高图像采集效率。
[0163]
如图4中步骤2所示，将标定板放置在相机404与投影仪403的视场范围内，用投影仪403向标定板投影正弦条纹图案801。
[0164]
如图4中步骤3和4所示，首先，保持标定板的位置不变，用相机404拍摄标定板图像和连续投影12张条纹图后的标定板带条纹图像。然后，改变标定板的位置，并且重复步骤2，直到相机404拍摄获得足够多的标定图像(即标定板对应的条纹图像)。
[0165]
需要说明的是，至少需要3组标定图像的数据才能完成标定流程，而10-20组的标定图案通常可以达到较高的标定精度，满足标定要求。本发明实施例为了获得较为准确的实验结果，采用19组标定图像进行标定。
[0166]
如图4中步骤5所示，将采集后的标定图像输入计算机401中，进行滤波、去噪等图像处理操作，对每一个位置的标定图像进行提取棋盘格标定板特征点(即采样点)、提取特征点的相位值以及在标定相机404后提取特征点对应的3d坐标等操作。
[0167]
经过上述过程后，可以提取棋盘格标定板图像特征点处的亚像素坐标(u,v)，并利用双线性插值计算出每个特征点像素坐标处对应的绝对相位值φ，根据相机404标定的结果获得每个特征点对应的深度坐标zc。
[0168]
(四)根据所述第一信息，利用最小二乘法对n个采样点进行迭代优化，确定所述待标定参数。
[0169]
需要说明的是，在获得像素坐标(u,v)、绝对相位值φ和深度坐标zc后，根据第二十一公式，可进行最小二乘非线性参数拟合，获得系统标定所需参数(即待标定参数)，从而完成系统标定。
[0170]
上述标定过程，通过采集特征点处的绝对相位以及空间坐标，结合测量模型的数学表达式，利用最小二乘方法求解系统参数，实现系统标定。
[0171]
该实施例中的标定流程通常只需6分钟即可完成标定，操作简单便捷，无需参考平面，避免引入误差积累；也无需借助高精度量块或精密位移台等高精度辅助工具参与，仅需一块棋盘格标定板即可完成系统标定；考虑了相机镜头畸变，结合畸变模型，进一步提高了条纹投影测量模型的精度。
[0172]
需要说明的是，第二十一公式中系数a
i,j
、b
i,j
、c
i,j
、d
i,j
表示与系统结构、相机内参、外参相关的常系数，实际操作中难以对这些参数进行精确测量，因此，可以利用levenberg-marquardt算法对于n个采样点进行最小二乘迭代优化，实现参数(a
i,j
,b
i,j
,c
i,j
,d
i,j
)的精确拟合。最小二乘偏差可用第二十二公式表示，其中，第二十二公式表示为：
[0173][0174]
其中，n表示采样点的个数；表示第k个采样点的空间深度坐标；zc则为通过第二十一公式计算得到空间深度坐标。
[0175]
以拟合阶数n＝2为例，需要标定24个系统参数，n个采样点构成的方程可用矩阵形式表示为：
[0176]
gh＝0
[0177]
其中，
[0178][0179]
h＝[a
00 b
00 a
01
ꢀ…ꢀb20 c
00 d
00 c
01
ꢀ…ꢀd20
]
[0180]
其中，g是n
×
24的矩阵；h是24
×
1的矩阵。
[0181]
矩阵h的初值可通过奇异值分解(singular value decomposition，简称svd)分解获得，得到矩阵h初值后，即可进行最小二乘优化，获得优化后的全部参数。
[0182]
可选地，所述根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标，包括：
[0183]
根据所述被测点在所述相机坐标系下的z轴坐标及坐标转换公式(即第二十六公式)，计算获得所述被测点的三维坐标；其中，所述坐标转换公式为：
[0184][0185]
其中，ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；zc表示被测点在相机坐标系下的z轴坐标；表示被测点在相机坐标系下的x轴坐标；表示被测点在相机坐标系下的y轴坐标；f
x
、fy、u0、v0为相机标定的不同的内参。
[0186]
待标定参数(a
i,j
,b
i,j
,c
i,j
,d
i,j
)确定的过程即为系统的标定过程，标定完成后，可以将条纹投影测量系统获得的绝对相位值与像素坐标代入第二十一公式和第二十六公式即可获得被测点的三维坐标，即xc、yc和zc，从而实现三维测量与重建，方便快捷。
[0187]
本发明一实施例中，对上述测量方法及条纹投影测量模型进行了通过仿真分析，通过仿真和实验结果验证了该条纹投影测量模型的有效性。
[0188]
需要说明的是，仿真计算可以排除条纹投影测量系统实际使用中的各种误差干扰，比如设备本身制造和装配误差、环境光误差、投影仪的非线性误差以及，相位测量误差等等。另一方面，考虑到实际实验中的各种误差会对最小二乘拟合结果的干扰，有无畸变、不同的拟合阶数n的结果在实际使用中的区分度可能不明显，因此，本文使用仿真方法验证
该条纹投影测量模型、测量方法和标定的可行性，以及不同拟合阶数n影响。
[0189]
仿真过程中，除了无噪声误差外，仿真使用的计算参数参考真实数据，且计算方式与真实数据计算方式一致。仿真过程考虑有无相机镜头畸变、模型拟合阶数因素，分析这些因素对标定和测量结果的影响，具体过程如下：
[0190]
设定仿真区域分辨率为800
×
640像素，仿真待测对象的方程为z＝8
×
peaks(600)。系统标定采用5个随机设置的不同姿态的平面，并在每个平面上选取等间距的采样点模拟实际测量中使用的标定板。
[0191]
对于相机镜头畸变影响：相机镜头无畸变时，第二十一公式中对应的拟合阶数n为2。为了验证相机镜头畸变对测量结果的影响的大小，在仿真实验中设计一组对照试验，取测量系统拟合阶数n为2，分别求出无镜头畸变和有镜头畸变的情况下的系统标定及三维测量结果。其中，畸变模型为第二十公式所描述的畸变模型。此处畸变参数参考实际相机镜头的畸变系数，畸变参数参考实际相机镜头的畸变系数，可以分别取值为：k1＝-0.021736，k2＝-0.80422，k3＝-0.00331，k4＝-0.00109，k5＝0。
[0192]
拟合阶数n为2时，有无镜头畸变影响的测量误差仿真结果如图5-6所示，其中：如图5所示，为无畸变采样点重建误差分布；如图6所示，为有畸变采样点重建误差分布。此外，试验还可以得到无畸变待测对象重建误差和有畸变待测对象重建误差(图未示)。
[0193]
无相机镜头畸变的仿真结果标定误差分布范围在-2.5
×
10-7
～2.5
×
10-7
mm之间，有相机镜头畸变的误差则在-2.5
×
10-2
～2.5
×
10-2
mm之间。此外，无畸变的三维测量与重建误差在10-6
量级，有畸变时的误差则在10-2
量级。由此可见，相机镜头畸变对系统三维测量的精度影响很大，为了进一步提高条纹投影测量系统的测量精度，需要考虑镜头畸变的影响。
[0194]
对于模型拟合阶数n的影响：上述过程中已通过仿真证明了相机镜头畸变会对测量结果造成巨大的误差，为了尽可能降低畸变带来的误差，需要应用考虑相机镜头畸变影响的条纹投影测量系统，即第二十一公式中的拟合阶数n须大于2。例如，设置拟合阶数n分别为3、4进行仿真实验，其中n分别为2、3、4时的待标定参数的个数分别为24、40、60。
[0195]
实验结果(即系统拟合阶数n分别为3和4时测量误差的仿真结果)如图7-8所示，其中：如图7所示，为n＝3时的采样点重建误差分布；如图8所示，为n＝4时的采样点重建误差分布。此外，试验还可以得到n＝3时的待测对象重建误差和n＝4时时的待测对象重建误差(图未示)。
[0196]
n＝3的重建误差在10-3
量级，n＝4的误差则在10-6
量级。由实验结果可以看出随着拟合阶数n的增大，采样点重建误差分布与待测对象重建误差的都不断减小，且n＝4的误差已经接近无畸变情况下的重建误差。
[0197]
对于标定结果的分析：条纹投影测量系统标定结果如图10-12所示。其中：
[0198]
如图9所示，为拟合阶数n＝2时重建的棋盘格空间位置分布，该空间位置是根据系统标定获得的参数，结合所提取的特征点像素坐标和绝对相位值进行计算获得，以相机标定获得的棋盘格特征点空间坐标作为真值进行对比和误差分析。
[0199]
如图10、图11和图12分别是拟合阶数n为2、3、4时的特征点误差分布。其中，横轴为误差的分布范围，纵轴为特征点分布范围的数目统计。从图中数据可分析得到，随着拟合阶数n的增大，误差的分布范围减小，误差分布更加集中，接近0的点的数目明显增多。
[0200]
棋盘格标定板特征点重建结果的均方根误差(rmse，单位：mm)如下表所示：
[0201][0202][0203]
从上述棋盘格标定板特征点重建结果的均方根误差中，可以直观的看出误差随拟合阶数的变化情况，随着n的增大，均方根误差也随之减小。经过仿真和实验的结果验证，条纹投影测量模型达到4阶时的测量精度较好，能对各种复杂表面实现高精度测量。因此，综合考虑测量效果和标定的参数数目，后续计算采用4阶拟合进行。
[0204]
为了进一步衡量测量重建结果，本发明实施例对空间中不同位置的标定板上横竖两条直线长度分别进行了19次测量，被测直线分为横竖两条直线，如图13所示，其中横线为直线ab，长150mm，竖线为直线cd，长105mm。采用三种测量方法进行测量，分别是本发明实施例所提供的测量方法(记为a方法)、现有技术中的四阶多项式测量方法(记为b方法)以及经典相位-高度映射测量方法(记为c方法)，对比验证本发明实施例所提供的测量方法的精度。其中，四阶多项式测量方法采用多项式拟合，可以达到比较高的测量精度。
[0205]
如图13所示，棋盘格标定板上待测量的横纵直线，直线ab和cd在三种测量方法下的测量误差如图14、15所示：其中，如图14所示，直线ab测量误差，如图15所示，直线cd测量误差。
[0206]
可以看到，本发明实施例所提供的测量方法与四阶多项式测量方法所测的两条直线的测量误差范围皆处于-0.05mm到0.05mm之间，经典相位-高度映射测量方法误差在-0.125mm到-0.175mm之间。由此可见，本发明实施例所提供的测量方法与四阶多项式方法精度相当，且优于经典相位-高度映射的测量方法，可以达到较高的测量精度。
[0207]
测量结果分析：对棋盘格正方形方块边长测量进行误差评估。如图16所示，为标定板棋盘格边长示意图，测量过程对图16中的框1601区域内的所有正方形棋盘格边长进行测量，分别对横向边长和纵向边长进行重建和结果统计，横向边和纵向边如图16标注所示，测量过程分别对所有横向的边长与纵向边长进行测量。其中选定区域横向边1603共80个，纵向边1604共77个。
[0208]
棋盘格边长测量结果如图17-18所示，其中：图17为横向边长测量结果，图18为纵向边长测量结果。结果表明测量误差都在
±
0.035mm范围之内。
[0209]
第二组实验通过测量定制的陶瓷标准球(直径：30mm
±
0.003mm)来进行条纹投影测量系统的精度验证，计算获得的点云数据处理采用逆向软件geomagic studio进行后续处理和分析。陶瓷标准球测量可以分别得到：陶瓷标准球原图、向标准球上投影条纹后的条纹调制图、条纹图对应的绝对相位图和被测标准球区域的三维重建点云图。
[0210]
为了后续的拟合计算，对上述标准球区域的三维重建点云图进行处理，只保留标准球的三维重建点云，可以得到只保留标准球的三维重建点云的图像。为了表明拟合的结果稳定可靠，取3个不同点云区域及点云数目进行拟合球体拟合，可以得到三个结果偏差，具体拟合结果(即标准球三维重建点云拟合结果)如下表所示：
[0211][0212]
从该表中可以看到，误差分布也与上述标定结果的误差分布范围一致，测量精度稳定可靠。
[0213]
此外，为了验证该条纹投影测量系统对复杂三维物体表面测量的有效性，可以进行复杂三维物体表面测量重建实验。具体的，可以对某一3d打印的复杂物体表面进行测量和重建，测量计算用时为1.21s。该被测对象的材质为pla塑料，表面形状复杂，非连续表面和细节众多。对该被测对象采集条纹图像、计算获得的绝对相位图像，再为该被测对象表面重建点云，分别可以得到原物体图像、条纹图像、绝对相位图像和物体表面重建点云。
[0214]
通过重建结果可以表明，本发明实施例所提供的测量方法可以有效的实现物体表面的精确测量，并能清晰呈现出物体表面细节特征，具有良好的三维测量与重建效果。
[0215]
本发明实施例中，可以直接建立待测对象表面的绝对相位值与空间坐标的映射关系，无需考虑相机与投影仪的空间位置关系，测量过程简单、测量效率高；无需参考平面参与测量，并考虑了相机镜头畸变的影响，提高了测量方法的测量精度；无需使用精密量块或精密位移台等精密测量用具，结构简单、易用性好且鲁棒性高。
[0216]
如图19所示，本发明实施例还提供一种基于条纹投影测量模型的测量装置，包括：
[0217]
模型建立模块190，用于基于三个坐标系，利用条纹投影测量模型中相机、投影仪和被测点之间的几何关系，建立所述被测点在相机坐标系下的深度坐标与对应的绝对相位值之间的第一映射关系，得到所述条纹投影测量模型的数学表达式；其中，所述三个坐标系包括世界坐标系、相机坐标系和像素坐标系；所述被测点为待测对象表面上的一个位置点；
[0218]
参数确定模块191，用于对条纹投影测量系统进行标定，确定所述数学表达式中的待标定参数；其中，所述条纹投影测量系统利用所述条纹投影测量模型构建；
[0219]
坐标计算模块192，用于根据所述条纹投影测量系统获得的所述被测点的绝对相位值和像素坐标，获得所述被测点的三维坐标。
[0220]
本发明实施例，可以直接建立待测对象表面的绝对相位值与空间坐标的映射关系，无需考虑相机和投影仪间的几何约束关系，能够有效克服传统条纹投影测量系统对相机、投影仪以及参考平面空间相对位置的严格要求。
[0221]
可选地，所述模型建立模块190包括：
[0222]
第一处理子模块，用于根据相机、投影仪和被测点之间的几何关系，获得所述被测点在所述世界坐标系下的z轴坐标与对应的绝对相位值之间的第二映射关系；
[0223]
第二处理子模块，用于根据小孔成像原理、世界坐标系与相机坐标系间的变换关系及所述第二映射关系，获得所述被测点在所述世界坐标系下的z轴坐标与成像点在所述相机坐标系下的坐标之间的第三映射关系；其中，所述成像点为所述被测点在所述相机上的成像点；
[0224]
第三处理子模块，用于根据所述相机和所述被测点之间的几何关系、相机坐标系与像素坐标系间的变换关系及所述第三映射关系，获得所述被测点在所述相机坐标系下的
z轴坐标与所述成像点在所述像素坐标系下的坐标之间的第四映射关系；
[0225]
第四处理子模块，用于根据镜头畸变影响公式与所述第四映射关系，获得所述条纹投影测量模型的数学表达式。
[0226]
可选地，所述镜头畸变影响公式为：
[0227][0228]
其中，u表示无镜头畸变影响的像素坐标的横坐标；v表示无镜头畸变影响的像素坐标的纵坐标；ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；s
i,j
和t
i,j
表示畸变补偿系数；n表示拟合阶数。
[0229]
可选地，所述条纹投影测量模型的数学表达式为：
[0230][0231]
其中，zc表示被测点在相机坐标系下的z轴坐标；n表示拟合阶数，且n为大于或等于2的正整数；φ表示被测点的绝对相位值；a
i,j
、b
i,j
、c
i,j
和d
i,j
表示待标定参数。
[0232]
可选地，所述坐标计算模块192包括：
[0233]
坐标计算子模块，用于根据所述被测点在所述相机坐标系下的z轴坐标及坐标转换公式，计算获得所述被测点的三维坐标；其中，所述坐标转换公式为：
[0234][0235]
其中，ud表示畸变后的像素坐标的横坐标；vd表示畸变后的像素坐标的纵坐标；zc表示被测点在相机坐标系下的z轴坐标；表示被测点在相机坐标系下的x轴坐标；表示被测点在相机坐标系下的y轴坐标；f
x
、fy、u0、v0为相机标定的不同的内参。
[0236]
可选地，所述参数确定模块191包括：
[0237]
第一标定子模块，用于使用所述投影仪向标定板投影条纹图案，并控制所述相机采集所述标定板的图像；其中，所述标定板位于所述相机与所述投影仪的视场范围内；
[0238]
第二标定子模块，用于改变所述标定板的位置，并重复上述过程，直至采集获得预设数量组所述图像；
[0239]
第三标定子模块，用于对所述图像进行处理，获得所述标定板上采样点的第一信息；其中，所述第一信息包括像素坐标、绝对相位值和深度坐标；
[0240]
第四标定子模块，用于根据所述第一信息，利用最小二乘法对n个采样点进行迭代优化，确定所述待标定参数。
[0241]
可选地，所述条纹图案为满足多频外差要求的正弦条纹；其中，所述第三标定子模块包括：
[0242]
第一标定单元，基于图像处理中的角点提取方法，提取所述采样点的像素坐标；
[0243]
第二标定单元，采用多频外差方法，进行相位测量和相位展开操作，并利用双线性插值，计算出每个所述采样点的像素坐标对应的绝对相位值；
[0244]
第三标定单元，用于根据相机标定的结果，获得每个采样点的深度坐标。
[0245]
本发明实施例中，可以直接建立待测对象表面的绝对相位值与空间坐标的映射关系，无需考虑相机与投影仪的空间位置关系，测量过程简单、测量效率高；无需参考平面参与测量，并考虑了相机镜头畸变的影响，提高了测量方法的测量精度；无需使用精密量块或精密位移台等精密测量用具，结构简单、易用性好且鲁棒性高。
[0246]
本发明实施例还提供一种控制设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如上所述的测量方法。
[0247]
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。