一种基于多模态复合编码和极线约束的高效三维图像获取方法与流程
本发明属于三维成像技术领域，特别是一种基于多模态复合编码和极线约束的高效三维图像获取方法。
背景技术：
在三维成像领域，快速获取目标物体的高精度三维数据一直以来都是一个重要的技术难点。早期人们通过机械的三坐标测量机来对目标物体逐点探测以获取三维图像，但是这种逐点接触式的图像获取技术一方面效率极其低下，另一方面对被测物体有所损坏，这些缺点使得该技术在诸如人体检测，文物保护等领域难以得到应用。相比于传统的机械三维图像获取技术，光学三维图像获取技术由于其非接触，高效率的优点在科学研究，工业检测等领域得到了广泛应用。近些年来由于数字投影设备的发展，光学三维成像方法中能够实现全场成像的条纹投影技术更是成为了研究热点(s.s.gorthiandp.rastogi,“fringeprojectiontechniques:whitherweare？”opt.eng.48,133–140(2010).)。目前条纹投影领域中主流的两种技术分别是傅里叶轮廓术(m.takedaandk.mutoh,“fouriertransformprofilometryfortheautomaticmeasurementof3-dobjectshapes,”appliedoptics22,3977-3982(1983).)与相移轮廓术(v.srinivasan,h.-c.liu,andm.halioua,“automatedphase-measuringprofilometryof3-ddiffuseobjects,”appliedoptics23,3105-3108(1984).)。
相比于傅里叶轮廓术，相移轮廓术由于对环境光和噪声不敏感以及计算简单更适合自动化高精度三维图像的获取。该技术主要通过向被测物体投影多幅(至少三幅)相移光栅条纹并通过相机同步采集受到被测物体调制后的光栅条纹来获取被测物体的相位，最终通过相位到高度的映射关系来获取被测物体的三维图像。如何保证在较高成像效率下得到较高的成像精度一直以来都是相移轮廓术领域的一个重点与难点。一般而言，在相移轮廓术中，投影的光栅条纹越多越有利于相位精确获取，从而能得到越精确的被测物体三维图像。但是过多的光栅条纹会极大的影响相位获取的效率从而影响三维图像获取的速度(效率)(陈钱；冯世杰；顾国华；左超；孙佳嵩；喻士领；申国辰；李如斌.基于双频三灰阶正弦光栅条纹投影的时间相位去包裹方法:中国,201410027275.4[i].2013-04-30.)。针对动态(准静态)物体三维成像，为了保证成像的正确性，必须要求较高的成像效率。另一方面，尽管在测量静态物体时成像效率对最终成像正确性没有影响，但是面对流水线式的批量物体三维数据收集时，高的成像效率依旧有着绝对优势(龙佳乐；张建民；范智晖.一种基于三波长条纹投影的快速三维测量系统:中国,201620177719.7[i].2016-09-07.)。
基于相移轮廓术的三维成像技术相比于其他方法在测量方式，成像效率与成像精度上有着很大优势并在诸如文物保护、人体检测等领域有着广泛应用，但是要想获得更多的应用必须进一步提升其成像效率与成像精度，克服二者之间的矛盾。
技术实现要素：
本发明的目的在于提供一种基于多模态复合编码和极线约束的高效三维图像获取方法，通过复合编码和极线约束提高了三维成像精度和效率。
实现本发明目的的技术解决方案为：一种基于多模态复合编码和极线约束的高效三维图像获取方法，分别采取快速成像模式或高精度成像模式，在快速成像模式下，通过四幅条纹光栅获取两种不同频率相位图，利用极线约束以及左右一致性检验求得高频绝对相位并通过相位与三维坐标映射关系获取三维图像；在高精度测量模式下，通过n+2幅条纹光栅获取两种不同频率的相位，利用极线约束求得低频绝对相位并用低频绝对相位辅助高频相位展开从而获取高频绝对相位并最终通过相位与三维坐标映射关系获取三维图像。
本发明与现有技术相比，其显著优点：(1)本发明的快速成像模式利用四幅光栅条纹获取被测物体三维图像，与现有技术相比，四幅复合编码光栅条纹组合保证了三维图像测量的高效性；于此同时，双目视觉中极线约束的引入使得该技术能用四幅复合光栅条纹获取高达64个条纹周期的高精度相位，保证了三维图像的高精度。最后，由于高频绝对相位直接通过极线约束求解，并没有借助于低频绝对相位，这避免了两种频率条纹光栅调制度差异带来的三维图像的不正确性。如图2所示，在均采用四幅条纹的前提下本发明的快速成像模式成像结果更精细即拥有更高的成像精度。因此本发明的快速成像模式在保证了成像效率的同时，提高了成像精度。(2)本发明的高精度成像模式通过n+2幅光栅条纹获取了被测物体三维图像，与现有技术相比，极线约束的引入使得8周期的低频绝对相位能够通过两幅低频光栅条纹直接获取，这极大的避免了现有技术中利用多帧光栅条纹(通常远大于2)获取低频绝对相位的冗余性，提升了测量效率。另一方面，n幅128条纹周期数的编码图案保证了最终获取的三维图像精度不低于现有的技术。如图4所示，本发明仅利用五幅条纹即可实现50um量级精度的三维成像。因此本发明的高精度成像模式在保证成像精度的同时，极高地提升了成像效率。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为快速成像模式步骤流程示意图。
图2为快速成像模式测试结果，图2(a)与图2(b)分别为本方法与现有技术获取的动态物体的三维图像，图2(c)与图2(f)为图2(a)局部细节，图2(d)与图2(g)为图2(b)局部细节，图2(e)与图2(h)为局部细节的对比。
图3为高精度成像模式步骤流程示意图。
图4为高精度成像模式测试结果，图4(a)为标准陶瓷平板三维成像结果，图4(b)为图4(a)中某一行的细节展示。
具体实施方式
结合图1和图3，本发明基于多模态复合编码和极线约束的高效三维图像获取方法，分别采取快速成像模式或高精度成像模式，这两种成像模式共用相同的成像系统，以及相同的成像系统标定结果，并且都采用极线约束结合辅助相位信息作为相位展开的核心技术，其相比于传统多频时间相位展开方法在效率上大大提高，相比于传统的空间相位展开算法在效率和准确度上大大提高。所述的快速成像模式步骤如下：
步骤一，成像系统标定；
步骤二，生成、投射和采集四幅双频光栅条纹；
步骤三，分析左相机、右相机采集到的光栅条纹分别得到一组高频相位和一组低频相位；
步骤四，利用极限约束搜索左相机高频相位图上每一点，即原始点在空间上的对应点，并通过深度约束剔除部分错误点；
步骤五，剩余的空间对应点被投射到右相机的高频以及低频相位图上，通过原始点和对应点之间相位差异确定最终对应点，并获取高频绝对相位；
步骤六，根据绝对相位获取三维图像，从而实现了对动态场景三维图像高效高精度获取。
所述的高精度成像模式步骤如下：
步骤一，成像系统标定；
步骤二，生成、投射和采集n+2幅双频光栅条纹图案；
步骤三，分析左相机、右相机采集到的光栅条纹分别得到一组高频相位和一组低频相位；
步骤四，利用极限约束搜索左相机低频相位图上每一点，即原始点在空间上的对应点，并通过深度约束剔除部分错误点；
步骤五，剩余的空间对应点被投射到右相机的低频相位图上，通过原始点和对应点之间相位差异确定最终对应点，并通过低频绝对相位获取高频绝对相位；
步骤六，根据绝对相位获取三维图像，从而实现了对静态场景三维图像高效高精度获取。
下面详细说明两种成像模式的过程。
本发明快速成像模式流程示意图如图3所示，具体实现步骤如下：
步骤一，成像系统标定。
成像系统包括计算机、左相机、右相机和投影仪，其中左相机、右相机与投影仪各自通过数据线与计算机连接，投影仪与左相机、右相机之间分别通过触发线连接。成像系统搭建完成后，用(z.zhang,“aflexiblenewtechniqueforcameracalibration.”ieeetransactionsonpatternanalysisandmachineintelligence.22(11),1330-1334(2000).)中的标定方法进行系统标定，得到左相机、右相机与投影仪在一个世界坐标系下的标定参数，这些参数包含像素坐标系与世界坐标系之间的缩放参数、平移参数、旋转参数以及畸变参数。
步骤二，生成、投射和采集四幅双频光栅条纹。
计算机通过matlab软件生成的四幅双频光栅条纹为两幅正弦条纹光栅加两幅三角波条纹光栅，条纹光栅如下：
i1(x,y)＝a(x,y)+b(x,y)sin[πfh(2x/w-1)]
i2(x,y)＝a(x,y)+b(x,y)cos[πfh(2x/w-1)]
i3(x,y)＝a(x,y)+b(x,y)tri[(2flx/w-1)]
i4(x,y)＝a(x,y)-b(x,y)tri[(2flx/w-1)]
其中ii(x,y)表示生成图像的像素坐标(x,y)处的光栅条纹强度，i＝1,2,3,4，表示第i幅光栅条纹图像，a为图像直流分量，b为振幅，tri为阈值区间为[-1,1]的三角波函数，fh,fl分别为i1,i2与i3,i4所包含的条纹周期数，w为整幅光栅条纹图像的像素宽度，a＝b＝127.5，fh,fl分别取值为64和9，x取值范围是0至w-1。这些光栅经过投影仪投出后由左相机、右相机同步采集得到。为了简单起见，这里只对左相机作具体分析，右相机的分析过程同左相机，其中左相机采集到的光栅条纹如下：
其中，
右相机的采集过程与上述左相机的过程相同。
步骤三，分析左相机、右相机采集到的光栅条纹分别得到一组高频相位和一组低频相位。
根据步骤二中左相机所采集到的图像可以得到两组如下所示相位：
其中φh为高频包裹相位，φl为低频包裹相位，利用与左相机相同的步骤可以求得右相机采集的条纹光栅对应的相位分别为φh',φl'。
步骤四，利用极限约束搜索左相机高频相位图上每一点(原始点)在空间上的对应点，并通过深度约束剔除部分错误点。
对于φh上任意一点p(原始点)，其周期级次k有fh种可能性，这意味着其绝对相位
φh＝φh+2kπ,k∈[0,fh-1]
有fh个不同值。再由下式
可知p在三维空间中对应着fh个点，即fh个对应点，其中mz,nz以及cz由步骤一中所获取的标定参数推导而得(k.liu,y.wang,etal“dual-frequencypatternschemeforhigh-speed3-dshapemeasurement.”opticsexpress.18(5),5229-5244(2010).)。三维成像的关键就是要确认这fh个对应点中唯一正确的对应点。考虑到实际三维成像系统中测量空间范围有限，根据左相机、右相机和投影仪有效范围预先设定为(zmin,zmax)，如zmin＝-200mm,zmax＝200mm，所有使得z超出这个预先设定的范围的k及其对应的空间点将被确认为错误点并被排除掉。经过此步骤，p的正确周期级次k及其空间对应点的范围将缩小至fh'种，其中fh'＜＜fh。
步骤五，剩余的空间对应点被投射到右相机的高频以及低频相位图上，通过原始点和对应点之间相位差异确定最终对应点，并获取高频绝对相位。
首先，将步骤四中在(zmin,zmax)内剩余的空间点投影到右相机的成像面上，得到fh'个位于右相机成像面上的二维对应点。
实际上正确的对应点p'的包裹相位φh',φl'与原始点之间的包裹相位φh,φl应非常接近，从而可依据下式
φdiff＝φh(p)-φh'(p')
进一步排除二维对应点中φdiff超过阈值0.5rad(rad为弧度单位，阈值大小先验确定)的点，其中φdiff表示原始点与对应点在包裹相位φh与φh'上的差异。此时可以将正确的对应点的范围从fh'缩小至fh”。
然后，在剩余的fh”个对应点中选取出使得φl(p)-φl'(p')最小的对应点，并认为该点为正确的对应点，那么该点所对应的周期级次k即为正确的周期级次，至此可以确认原始点唯一的φh。
步骤六，根据绝对相位获取三维图像。
根据步骤五中获得的绝对相位φh结合下式求得三维图像坐标。
xp＝exzp+fx
yp＝eyzp+fy
其中ex,fx,ey,fy由步骤一中的标定参数得到(k.liu,y.wang,etal“dual-frequencypatternschemeforhigh-speed3-dshapemeasurement.”opticsexpress.18(5),5229-5244(2010).)，xp,yp,zp为被测物体空间三维坐标，至此可以获取被测物体三维图像。
通过上述步骤可以看出，本发明在快速成像模式下，通过四幅光栅条纹获取被测物体三维图像，与现有技术相比，四幅复合编码光栅条纹组合保证了三维图像测量的高效性；于此同时，双目视觉中极线约束的引入使得该技术能用四幅复合光栅条纹获取高达64个条纹周期的高精度相位，保证了三维图像的高精度；最后，由于高频绝对相位直接通过极线约束求解，并没有借助于低频绝对相位，这避免了两种频率条纹光栅调制度差异带来的三维图像的不正确性。
为了测试一种基于多模态复合编码和极线约束的高效三维图像获取技术效果，本发明给出了两组试验结果。图2(a)与图2(b)分别为本技术与现有技术获取的动态物体的三维图像，图2(c)与图2(f)为图2(a)局部细节，图2(d)与图2(g)为图2(b)局部细节，图2(e)与图2(h)为局部细节的对比。由这些实验结果可以看出本发明的快速成像模式与现有技术相比保留了更多的细节测量结果更加精细，在保证高效率三维成像的同时在成像精度上有了很大提升。
本发明高精度成像模式流程示意图如图3所示，具体实现步骤如下：
步骤一，成像系统标定。
成像系统(包括计算机，左右两个相机、一个投影仪，其中左相机、右相机与投影仪各自通过数据线与计算机连接，投影仪与相机之间通过触发线连接)搭建完成后，用(z.zhang,“aflexiblenewtechniqueforcameracalibration.”ieeetransactionsonpatternanalysisandmachineintelligence.22(11),1330-1334(2000).)中的标定方法进行系统标定，得到两个相机与一个投影仪在一个世界坐标系下的标定参数。
步骤二，生成、投射和采集四幅双频光栅条纹。
n+2幅条纹光栅为两幅低频正弦条纹光栅加n幅高频正弦条纹光栅，其中n≥3，为了简单起见，以n＝3为例，条纹光栅如下:
j1(x,y)＝a(x,y)+b(x,y)cos[πnh(2x/w-1)]
j2(x,y)＝a(x,y)+b(x,y)cos[πnh(2x/w-1)+2π/3]
j3(x,y)＝a(x,y)+b(x,y)cos[πnh(2x/w-1)+4π/3]
j4(x,y)＝a(x,y)+b(x,y)sin[πnl(2x/w-1)]
j5(x,y)＝a(x,y)+b(x,y)cos[πnl(2x/w-1)]
其中ji(x,y)表示生成图像的像素坐标(x,y)处的光栅条纹强度，i＝1,2,3,4，表示第几幅光栅条纹图像，a为图像直流分量，b为振幅，nh,nl分别为j1～j3与j4,j5所包含的条纹周期数，w为整幅光栅条纹图像的像素宽度，a＝b＝127.5，nh,nl分别取值为128和8，x取值范围是0至w-1。这些光栅经过投影仪投出后由左相机、右相机同步采集得到。为了简单起见，这里只对左相机作具体分析，右相机的分析过程同左相机，其中左相机采集到的光栅条纹如下：
其中，
右相机的采集过程与上述左相机的过程相同。
步骤三，分析左相机、右相机采集到的光栅条纹分别得到一组高频相位和一组低频相位。其中左相机的相位具体如下：
其中ψh为高频包裹相位，ψl为低频包裹相位，利用与左相机相同的步骤可以求得右相机采集的条纹光栅对应的相位分别为ψh',ψl'。
步骤四，利用极限约束搜索左相机高频相位图上每一点(原始点)在空间上的对应点，并通过深度约束剔除部分错误点。
对于φl上任意一点q(原始点)，其周期级次k有nl种可能性，这意味着其绝对相位
ψl＝ψl+2lπ,l∈[0,nl-1]
有nl个不同值，再由下式
可知q在三维空间中对应着nl个点(对应点)，其中mz,nz以及cz由步骤一中所获取的标定参数推导而得(k.liu,y.wang,etal“dual-frequencypatternschemeforhigh-speed3-dshapemeasurement.”opticsexpress.18(5),5229-5244(2010).)。三维成像的关键就是要确认这nl个对应点中唯一正确的对应点。考虑到实际三维成像系统中测量空间范围有限，根据左相机、右相机和投影仪有效范围可预先设定为(zmin,zmax)，如zmin＝-200mm,zmax＝200mm，所有使得zq超出这个预先设定的范围的l及其对应的空间点将被确认为错误点并被排除掉。经过此步骤q的正确周期级次l及其空间对应点的范围将缩小至nl'种，其中nl'＜＜nl。
步骤五，剩余的空间对应点被投射到右相机的低频相位图上，通过原始点和对应点之间相位差异确定最终对应点，并通过低频绝对相位获取高频绝对相位。
首先，将步骤四中在(zmin,zmax)内剩余的空间点投影到右相机的成像面上，得到nl'个位于右相机成像面上的二维对应点。
实际上正确的对应点q'的包裹相位ψl'与原始点之间的包裹相位ψl应非常接近，由于nl'＜＜nl从而可从nl'个对应点中选取出使得ψl(p)-ψl'(p')最小的对应点，并认为该点为正确的对应点，那么该点所对应的周期级次l即为正确的周期级次，至此可以确认原始点唯一的ψl。
然后，通过下式
ψh＝ψh+2lπ
求得最终的高频绝对相位ψh。
步骤六，根据绝对相位获取三维图像。
根据步骤五中获得的绝对相位ψh结合下式求得三维图像坐标。
xq＝exzq+fx
yq＝eyzq+fy
其中ex,fx,ey,fy由步骤一中的标定参数得到(k.liu,y.wang,etal“dual-frequencypatternschemeforhigh-speed3-dshapemeasurement.”opticsexpress.18(5),5229-5244(2010).)，xq,yq,zq为被测物体空间三维坐标，至此可以获取被测物体三维图像。
通过上述步骤可以看出，本方法在高精度模式下，通过n+2幅光栅条纹获取了被测物体三维图像，与现有技术相比，极线约束的引入使得8周期的低频绝对相位能够通过两幅低频光栅条纹直接获取，这极大的避免了现有技术中利用多帧光栅条纹(通常远大于2)获取低频绝对相位的冗余性，提升了测量效率；另一方面，n幅128条纹周期数的编码图案保证了最终获取的三维图像精度不低于现有的技术。
为了测试一种基于多模态复合编码和极线约束的高效三维图像获取方法的效果，我们给出了一组试验结果。图4(a)为静态物体在高精度成像模式下的三维成像结果，图4(b)为图4(a)中某一行的细节展示，由图4可知对静态物体本技术高精度成像模式能够实现高达50um的成像精度。
- 还没有人留言评论。精彩留言会获得点赞！