三维重建量化结构光相位图像编码方法与流程

1.本发明涉及在工业生产、逆向工程、航空测量以及虚拟现实等领域都有广泛应用的结构光三维重建技术，特别涉及一种基于校验码字的三维重建量化结构光相位图像编码方法结构光三维重建量化相位编码方法。


背景技术：

2.结构光测量技术由于其非接触,高分辨率，高速度和全场自动化的优点而被广泛开发用于三维(3d)测量。条纹投影轮廓术(fpp)是三维测量中应用最广泛的结构光技术之一，例如逆向工程、工业检测、制造和机器人导航。fpp系统将条纹图投影到被测物体上，并记录被物体调制后的变形条纹图，然后利用特定的条纹分析方法，使用处理/分析系统从记录的图像中计算出调制相位。提取相位的准确性直接影响被测物体的三维重建结果。基于结构光投影的主动式三维传感方法，可以获取被测三维物体极高精度的三维信息，同时具备非接触、高分辨率、高速等优势，是目前精细三维重建领域研究的热点。三维重建是通过二维图像中的基元(如角点、边缘、线条、边界等基本特征)图来恢复三维空间信息。从二维图像到三维空间重建，也称为立体视觉。这主要是对二维图像中像素点的三维信息的恢复，尤其是深度信息。立体视觉是模拟人类利用双目感知空间三维场景距离信息的视觉特点，实现对景物的立体(距离深度)信息的测量，其基本原理是从两个(或多个)视点对同一景物在不同视角下成像，利用三角测量原理计算图像像素间的位置偏差(即视差)，进而测量景物的三维深度信息，这一过程与人类视觉的立体感知过程是类似的。维重建技术的实现方法主要包括接触式和非接触式两大类。接触式法的典型代表是坐标测量机。非接触式法主要分为两类，一类是光学方法，另一类是光学以外的其它方法。光学方法又可以分为主动式和被动式两类。前者是指对被测物体投射特定的光，使之被物体调制，再经过解调得到被测物体的三维信息；后者则不需要额外的光源，在自然光照明下通过一定的技术来得到物体的三维信息。主动式的三维重建方法有飞行时间法、相位法、结构光法和数字全息法等。被动式的三维重建方法有双目立体视觉系统和多目立体视觉系统等。坐标测量机接触式法的典型代表是坐标测量机，它以精密机械为基础，综合应用了电子、计算机、光学和数控等先进技术。测量过程中，首先将各种几何元素的测量转化为这些几何元素上的点集坐标位置的测量，然后再由软件按一定的评定准则算出这些几何元素的尺寸、形状和相对位置等，它的坐标测量精度可以达到微米级。坐标测量机的数据采集主要有触发式、连续式和飞测式。前两种方式采用传统的接触式测头，测量时需要测头与物体表面的接触，这就大大限制了测量效率：基于光学非接触测头的飞测方式可以避免测量过程中测头频繁复杂的机械运动，从而可以获得较高的测量效率。坐标测量机的优点是测量精度高，可对复杂工件形状进行测量；缺点是测量速度慢，测量体积小，不能测量软质物体，对客观环境要求较高，而且影响系统的因素较多等。飞行时间法的原理是基于测量激光或其他光源脉冲光束的飞行时间进行点位测量。在测量过程中，物体脉冲经反射回到接收传感器，参考脉冲穿过光纤也被传感器接收，这样会产生时间差，就可以把两脉冲时间差转换成距离：飞行时间法典型的分辨
率在imm左右，采用由二极管激光器发出的亚微秒脉冲和高分辨率设备，可以获得亚毫米级的分辨率。相位法是采用光栅图样投影到被测物体表面，物体表面的深度信息将对条纹振幅和位相进行调制，采用一定的算法可以将携带物体深度信息的相位变化解调出来，从而得到物体的三维信息。结构光法结构光法的基本思想是利用结构光投影的几何信息来求得物体的三维信息，通过向物体投射各种结构光，如点、单线、多线、单圆、网格、颜色编码条纹等，在物体上形成图案并由摄像机摄取，而后由图像根据三角法和传感器结构参数进行计算，得到物体表面的三维坐标值。结构光三维重建方法是基于三角法原理：目标物(被测物体)、投影点、观测点在空间成三角关系。当基准光栅条纹投射到目标物表面时，由于物体表面凹凸不平，条纹发生了畸变，这种畸变是由于投影的光栅条纹受物体表面形状调制所致，因此它包含了物体表面形状的三维信息。基于条纹投影轮廓术的三维重建方法，是利用设计的正弦条纹等图样作为结构化的投影信息照射被测物体，条纹图样被物体面型起伏调制，形成变形条纹，被标定好的相机采集。通过对变形条纹相位信息的展开恢复，计算得到变形条纹的绝对相位，进而根据相位与距离的标定关系获取被测物体的轮廓信息，形成三维点云。在基于条纹投影轮廓术的结构光三维重建技术中，变形条纹相位级次的确定是关系到三维模型重建效果的关键技术。变形条纹相位级次的确定是正确计算变形条纹绝对相位的前提，变形条纹相位级次的误判主要受到投影条纹周期较小、投影条纹灰度反射的非线性以及孤立物体投影条纹断裂等因素的影响。为了解决目前面临的问题，本领域技术人员提出了量化相位编码的变形条纹级次确定方法。在该方法中，除了保留多步相移中投影的正弦等结构光条纹，还附加了量化相位编码条纹。量化相位编码条纹的码元不包括所有灰度级，而是仅对应几个精心设置的灰度级；量化相位编码条纹的码字符合特定编码规范，局部邻域的码字在整幅条纹编码中具有唯一性。因此通过对变形条纹量化相位编码码字的确定，进而可以唯一确定对应正弦条纹的相位级次。
3.编码结构光法的三维重建是通过编码的方式对图像中的“每一点”进行身份识别，其重建过程为：首先将已编码好的结构光图案投射到目标物体上，同时由摄像机采集获得光学二维畸变图像，而后经过计算机并通过一定的解码方案解码，最后结合标定好的系统参数，由光学三角测距原理获得物体的三维信息，从而重建物体的三维轮廓。使用编码结构光法能够缩短三维重建的时间，提高重建效率。根据结构光模式的不同，结构光法的三维重建可分为点结构光法，线结构光法，面结构光法。点结构光法通常是由激光器投射光点到目标物体表面，物体表面产生一个亮斑，然后由摄像机采集畸变的二维图像，通过图像识别出投射光点的成像位置，最后由标定好的系统参数及投射点、反射点、像点之间的三角位置关系，计算得到光点的三维坐标。这种逐点扫描物体进行重建的方法具有操作简单、精度高等优点，但每次只能得到一个点信息，重建速度慢，在图像摄取和处理方面要耗费大量时间，效率也非常低。线结构光法与点结构光法原理类似，只是其投射的结构光换成了“线”，而不是“点”。线结构光法是向物体表面投射一条光束，摄像机采集到一条经过物体表面调制的光线，从这条光线中提取物体的深度信息，从而进行三维测量重建。码字在基于相位编码的相位解包裹方法中具有重要意义,每个相位编码条纹用一个唯一的码字标记,然后用于确定条纹级次。然而,传统的相位编码方法相邻码字之间的差值为1,相邻码字之间的差值过小。由于系统的非线性效应和离焦影响,在高频条纹情况下条纹级次的计算容易产生误差,从而导致相位展开误差。传统相位编码方法受到码字数量的限制,导致条纹数量不能过大,
影响其测量精度。数字条纹的正弦性是影响测量精度的一个主要因素。在数字投影相移法中,相位误差主要来源于条纹图像的非正弦性,而条纹图像的非正弦性是由于商用投影仪的非线性gamma效应产生的结果。量化相位编码码字解码的准确度主要取决于每个量化相位码元连通域的划分和连通域多邻域的码字确定。码元连通域的划分主要利用量化相位的解码和噪声滤波，多邻域码字的确定主要依据相邻连通域横截线所跨越的多个码元值组成的特定长度的解码码字，根据解码码字在量化相位编码规范中进行查找，进而确定该解码码字所处的相位级次。
4.目前，本领域技术人员对量化相位编码的规范主要利用唯一性限制，也即在量化相位编码规范中每个特定长度码字在整个编码中仅出现一次，这种编码方法相对简单，但是当物体面型复杂、存在闭塞区域或量化相位截断的情况下，该编码方式容易出现由于量化相位编码变形条纹某个码元缺失造成的解码串扰，进而将该码字识别解析成其他码字，进而使得正弦结构光条纹级次紊乱，三维重建结果出现错误。因此如何改进量化相位编码的编码规范，以及如何对连通域多邻域的码字解码是本领域技术人员广泛关注的热点。


技术实现要素：

5.为了克服已有计算机视觉成像系统三维重建方法的计算复杂、匹配精度不高、重建精度低的主要缺点，本发明旨在提出一种可靠性好，处理速度快，重建精度高，鲁棒性高，计算复杂度低的基于校验码字的结构光三维重建量化相位编码方法。
6.本发明的上述目的可以通过以下技术方案予以实现，一种三维重建量化结构光相位图像编码方法，其特征在于包括如下步骤：结构光量化相位编码规范设计、量化相位及正弦条纹投影、相机标定及变形条纹采集、量化相位及绝对相位解码以及完整三维模型生成五个过程；结构光量化相位编码规范设计模块形成码字可自我校验的量化相位编码及其规范，通过确定量化相位编码等级，计算码元各个编码等级对应的灰度值，设计宽度固定的自我校验编码码字和量化相位编码序列，编码码字的局部重复串联，形成用于结构光投影的量化相位编码及其规范；量化相位及正弦条纹投影模块根据量化相位编码及其规范，利用结构光量化相位条纹和多步相移条纹的投影，经过被测物体表面形成变形条纹；相机标定及变形条纹采集模块利用标定的结构光采集相机采集量化相位变形条纹，用相标定机采集多步相移变形条纹，对标定物条纹上特征点进行相位编码，获取量化相位和多步相移调制数据和物体表面的三维信息；量化相位及绝对相位解码模块根据采集到的量化变形条纹计算码元的连通域，进而确定每个连通域的相位编码主方向，根据各自的主方向对应的码字横截线确定多组候选码字，利用设计的量化相位编码规范对多组候选码字进行自我校验，校验通过码字经加权投票形成最终的码字，进而确定码字级次，利用多步相移变形条纹进行同步截断相位解码，恢复多步相移绝对相位，基于连通域多方向的量化相位码字解码算法，求解截断相位查询所属对应的码字级次，确定每个量化相位所属码字和多步相移投影条纹的所属相位级次，进而求得展开的绝对相位；完整三维目标模型生成模块利用标定的相机和结构光设备，根据展开的绝对相位
和高度对应关系，形成被测面型每像素点的三维坐标，最终生成完整的三维点云模型。
7.本发明相比于现有技术具有如下有益效果。
8.可靠性好，处理速度快。本发明采用结构光量化相位编码规范设计、量化相位及正弦条纹投影、相机标定及变形条纹采集、量化相位及绝对相位解码以及完整三维模型生成五个过程；通过具备局部自我校验能力的量化相位编码方式，确定多步相移投影条纹的所属相位级次；使得设备简单、图像处理容易、操作便捷，提高了图像处理效率和图像的利用率，缩短了三维重建的时间。基于连通域多方向的量化相位码字解码算法，确定每个量化相位所属码字，且每个码字具备自我校验能力，最终得到绝对相位，进而恢复多步相移绝对相位，通过相应的解码算法计算出条纹级次，且条纹准确度高,条纹级次计算更准确，完成绝对相位计算，减少了条纹投影轮廓条纹图数量，且数据处理速度快。
9.重建精度高。本发明基于校验码字，采用结构光量化相位编码规范设计模块形成码字可自我校验的量化相位编码及其规范，通过确定量化相位编码等级，计算码元各个编码等级对应的灰度值，设计宽度固定的自我校验编码码字和量化相位编码序列，编码码字的局部重复串联，所形成的结构光投影的量化相位编码及其规范，提高了重建精度。使得结构光三维重建技术实现更加可靠且适应条件大大提高。
10.实时性强。本发明采用量化相位及正弦条纹投影模块根据量化相位编码及其规范，利用结构光量化相位条纹和多步相移条纹的投影，经过被测物体表面形成变形条纹，通过相机标定及变形条纹采集模块利用标定的结构光采集相机采集量化相位变形条纹，用相标定机采集多步相移变形条纹，对标定物条纹上特征点进行相位编码，获取量化相位和多步相移调制数据和物体表面的三维信息；这种结合标定好的系统参数，获取物体的三维信息，得到比较精确的物体的三维空间点云，实现物体的三维重建，实时性好，使得图像重建的速度快，具有较强的实时性。
11.解码正确率高。量化相位及绝对相位解码模块根据采集到的量化变形条纹计算码元的连通域，进而确定每个连通域的相位编码主方向，根据各自的主方向对应的码字横截线确定多组候选码字，利用设计的量化相位编码规范对多组候选码字进行自我校验，校验通过码字经加权投票形成最终的码字，进而确定码字级次，利用多步相移变形条纹进行同步截断相位解码，恢复多步相移绝对相位，基于连通域多方向的量化相位码字解码算法，求解截断相位查询所属对应的码字级次，根据这些信息恢复目标物体的三维形状，确定每个量化相位所属码字和多步相移投影条纹的所属相位级次，进而求得展开的绝对相位；实验证明该方法能有效解决条纹丢失问题，解码匹配正确率高，减少了条纹错误匹配情况的发生。
12.求解复杂度降低。本发明采用完整三维目标模型生成模块利用标定的相机和结构光设备，根据展开的绝对相位和高度对应关系，形成被测面型每像素点的三维坐标，最终生成完整的三维点云模型。可以自我校验的结构光三维重建量化相位编码，可以实现孤立物体、截断区域等极端情况下的面型三维重建，三维点云的正确重建率提高，量化相位码字求解复杂度降低。
13.本发明通过结构光量化相位编码规范设计、量化相位及正弦条纹投影、相机标定及变形条纹采集、量化相位及绝对相位解码以及完整三维模型生成五个过程，实现一种基于校验码字的结构光三维重建量化相位编码方法，该方法设计了量化相位的自我校验码字
编码规范，提出了鲁棒的局部邻域码字解码算法。该方法具备重建精度高、多种面型适应性好、计算复杂度低等优点。
14.本发明适用于相位级次串扰严重、独立区域级次断裂、量化相位编码有限的场景。
附图说明
15.图1是本发明三维重建量化结构光相位图像编码的流程图；图2为自我校验量化相位码元、码字及编码示意图；图3为码字连通域及级次求解示意图。
16.图中：1量化相位码元，2量化相位码字，3量化相位条纹编码，4多步相移条纹编码，5重心位置，6量化相位条纹变形图像，7码字横截线方向i，8码字横截线方向ii，9 码字横截线方向iii。
17.应该理解上述附图只是示意性的，并没有按比例绘制。
18.下面详细说明本发明的一种基于校验码字的结构光三维重建量化相位编码方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
具体实施方式
19.参阅图1。根据本发明，采用如下步骤：结构光量化相位编码规范设计、量化相位及正弦条纹投影、相机标定及变形条纹采集、量化相位及绝对相位解码以及完整三维模型生成五个过程；结构光量化相位编码规范设计模块形成码字可自我校验的量化相位编码及其规范，通过确定量化相位编码等级，计算码元各个编码等级对应的灰度值，设计宽度固定的自我校验编码码字和量化相位编码序列，编码码字的局部重复串联，形成用于结构光投影的量化相位编码及其规范；量化相位及正弦条纹投影模块根据量化相位编码及其规范，利用结构光量化相位条纹和多步相移条纹的投影，形成经过被测物体表面调制的变形条纹；相机标定及变形条纹采集模块利用标定的结构光采集相机采集量化相位变形条纹，用标定相机采集多步相移变形条纹，获取量化相位和多步相移调制数据和物体表面的三维信息；量化相位及绝对相位解码模块根据采集到的量化变形条纹计算码元的连通域，进而确定每个连通域的相位编码主方向，根据各自的主方向对应的码字横截线确定多组候选码字，利用设计的量化相位编码规范对多组候选码字进行自我校验，校验通过码字经加权投票形成最终的码字，进而确定码字级次，利用多步相移变形条纹同步进行截断相位解码，恢复多步相移绝对相位，基于连通域多方向的量化相位码字解码算法，求解截断相位查询所属对应的码字级次，确定每个量化相位所属码字和多步相移投影条纹的所属相位级次，进而求得展开的绝对相位；完整三维目标模型生成模块利用标定的相机和结构光设备，根据展开的绝对相位和高度对应关系，形成被测面型每像素点的三维坐标，最终生成完整的三维点云模型。
20.量化相位及绝对相位解码模块计算采集到的量化变形条纹码元的连通域，进而确定每个连通域的主方向，根据各自的主方向对应的码字横截线确定多组候选码字，利用设计的量化相位编码规范，多组候选码字进行自我校验，校验通过的码字经加权投票形成最终的码字，确定码字级次，利用多步相移变形条纹同步对截断相位进行求解，截断相位查询所属对应的码字级次，求得展开的绝对相位。
21.参阅图3。结构光量化相位编码规范设计模块利用m个码字组合成码字宽度为w的 m级量化的码元，第m级码元直接用其索引号m表示。
22.自我校验量化相位码元利用码字l1、l2、l3、l
…
、l
m
码字形成可自我校验的量化相位条纹编码1及其结构光量化相位编码规范，进而对应形成多步相移条纹编码2，量化相位编码取m等级，对应的第m级码元灰度值l
m
为：本实施例中，以m＝6，w＝3为例，码元组成的码字cs
i
分别为：cs1＝'123' cs2＝'231' cs3＝'312' cs
i
＝'m
x
m
y
m
z
'
ꢀ…ꢀ
cs
56
＝'512'
ꢀꢀ
(2)完整的码字序列cs为：cs＝'12312514314516316532132534134536152154354156352356136512'
ꢀꢀꢀꢀ
(3)其中，i＝1,2,
…
,56。
23.结构光量化相位编码规范设计模块根据完整的码字序列，则可以对应得到码元灰度值 l
m
的序列，和每个码字所占像素宽度：利用对应的码元灰度值l
m
，则可得到量化相位条纹编码图像，其中，w
pix
为量化相位条纹编码图像横向像素总数，l
cs
为完整码字的总码元数目，为小数向上去整。
24.完整的码字序列cs及码字编码要求有：a.码元灰度值l
m
从m＝1,2,
…
,m中选取；b.码字具备自我校验能力，包括奇校验或偶校验码字，cs
i
每个码字相加具备偶校验能力。
25.c.码元宽度w为3,2,
…
,m
‑
1中的整数值，完整的码字序列cs中，相邻的码字具有 w
‑
1个码字重复。
26.在码字连通域及级次求解中，利用图像处理技术领域现有成熟的连通域求解算法，求解码字连通域及级次，连通域求解算法采集量化相位条纹变形图像4，求得量化条纹变形图像每个量化码元对应区域的连通域，同时利用连通域重心求解算法，求得每个码元对应连通域的重心位置6。本实施例中，连通域邻域码字确定算法对多个的主方向对应的码字横截线确定码字，根据主方向个数n
d
，n
d
取整数，计算出每个主方向间隔角度a
ng
：每个码元在完整的码字序列cs中进行查找可以唯一确定解码码字l
k
l
l
l
m
所处级
次，通过一一对应多步相移变形条纹的截断相位级次，求得展开的绝对相位，进而恢复被测物体完整三维面型。
27.本实施例，以重心位置6为重心标注了3个码字横截线主方向，分别为码字横截线方向i，标示为7；码字横截线方向ii，标示为8；码字横截线方向iii，标示为8，标注的3 个码字横截线主方向对应的解码码字分别为l
k
l
l
l
m
、l
k
l
l
l
n
和l
k
l
l
l
m
，利用奇偶校验关系判断l
k
l
l
l
m
和l
k
l
l
l
m
是否符合码字编码要求，l
k
l
l
l
n
不符合码字编码要求，则利用l
k
l
l
l
m
和l
k
l
l
l
m
符合码字编码要求的码字进行投票，确定最终的解码码字l
k
l
l
l
m
。
28.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。