基于De序列和相位编码的单帧结构光深度获取方法
【专利摘要】本发明公开了一种基于De序列和相位编码的单帧结构光深度获取方法，主要解决现有单帧技术精度低、多帧技术难以实现动态场景深度获取的问题。其技术方案为：利用像素亮度值作为相位编码信息，根据模板的RGB不同颜色通道信息进行De序列编码辅助相位周期解码；对摄像机采集的待测场景变形图像，分别提取图像中像素点的颜色信息和亮度信息；通过亮度信息利用Gabor滤波器卷积得到相位编码信息，通过颜色信息利用De序列解码确定截断相位周期；根据相位立体匹配原则，利用三角测距原理，得到物体的深度数据。本发明通过一幅投射模板，实现了高空间分辨率的深度数据获取，可用于动态场景的高精度高分辨率深度获取。
【专利说明】
基于De序列和相位编码的单帧结构光深度获取方法
技术领域
[0001] 本发明属于计算机视觉测量技术领域，主要涉及静态或者动态物体的三维信息获 取，可用于人机交互、3D打印、逆向工程、文物三维重建。
【背景技术】
[0002] 随着科学与技术的飞速发展，物体三维信息的获取在很多应用领域都有着广泛的 应用前景，如人机交互、3D打印、逆向工程、文物三维重建等。因此，快速、高效地从获取场景 三维信息成为当前研究的热点，一般称三维信息获取的过程为深度获取。
[0003] 当前深度获取方法众多，比较常见的有被动式的立体视觉法、阴影测量法、聚焦 法，主动式的激光扫描法、飞行时间法和结构光法。其中，结构光测量法作为一种非接触式 的三维信息获取技术，因其实现简单、速度快和精度高等优点得到了广泛应用。
[0004] 结构光法，其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标 表面，利用图像采集设备记录被测目标表面的图像，将采集到的图像数据结合三角测距原 理以及图形处理技术计算出物体表面的深度数据信息。这种方法既利用了图像作为信息载 体，又利用可控光源形成明显纹理特征，能大大减小对诸如缺乏纹理、光滑、无明显灰度的 表面区域进行匹配的难度。
[0005 ]结构光法根据投射的图案的不同可以分为点结构光、线结构光和面结构光。点结 构光是通过将点状光源投射到待测物体上，经过逐点扫描得到待测场景的深度数据，但是 该方法所需扫描时间较长，不能用于动态变化物体的深度获取;线结构光是向场景中投射 一条线状结构光，只需进行一维扫描，缩短了扫描时间，但对外界杂光的抗干扰能力比较 差;面结构光利用二维图像作为编码模板，避免了长时间扫描，可以快速实现整个场景中物 体的深度测量，该方法提高了测量效率，同时也具有较高的测量精度，可以用于动态物体的 高精度深度测量。结构光法需要解决的问题是编码模板与场景调制后模板间的匹配问题， 这是结构光法研究的重点也是研究的难点之一。
[0006] 根据编码方式的不同，结构光方法的匹配方案和匹配效果都有很大不同。其中，相 位编码由于其数据致密性，具有测量精度高的优点，但是由于相位周期性的特点，相位解缠 绕成为匹配的瓶颈问题。多帧结构光编码模板具有稠密的模板信息，能够获得较为精确的 匹配结果，但是多帧投射很难实现动态场景的深度获取，而且对模板投射以及图像获取的 硬件要求较高。单帧结构光编码模板能够实现动态场景的深度获取，但是由于单帧模板数 据较为稀疏，匹配过程较为复杂耗时，最终的匹配精度较低。
【发明内容】
[0007] 本发明针对上述已有技术的不足，提出一种基于De序列和相位编码的单帧结构光 深度获取方法，以提高在动态场景下的深度数据获取精度和空间分辨率。
[0008] 本发明的技术方案是:基于相位编码和De Bruijn序列编码的混合编码技术，在一 幅投射模板上进行相位和De序列混合编码，利用编码信息进行模板与场景中获取的变形场 景进行匹配得到场景的视差信息，再利用三角测距原理，得到场景的深度信息。其实现步骤 包括如下
[0009] (1)设计强度变化且包含相位编码和颜色编码的混合编码模板P:
[0010] (Ia)采取余弦函数进行相位编码，计算编码模板中像素点（i，j)处的亮度值Po(i， j)：
[0011]
[0012] 其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，为编码 中余弦的初始相位，取值为i;
[0013] (Ib)采用二元三阶De Brujin序列的00011101顺序循环组合进行颜色编码，其中 基元〇、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值Pr(i，j)，绿色条纹亮 度值 Pg(i，j):
[0014] Pr(i,j)=C(i,j)P〇(i,j)
[0015] Pg(i,j) = [l-C(i,j)]Po(i,j)
[0016] 其中，C(i，j)表示像素点（i，j)处的基元值，红色条纹取值为I，绿色条纹取值为0， P (i，j)表示相位编码中得到的像素点（i，j)的亮度值；
[0017] (Ic)得到混合编码模板P中每个像素点像素值P(i，j):
[0018]
[0019]其中，？1(1，」）、？8(1，」)为颜色编码中红色、绿色条纹亮度值，1'为彩色条纹宽度值， L·」为向下取整运算符；
[0020] (2)水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪R将混合编码模 板P投影到三维物体〇上，用摄像机V拍摄经过待测物体0调制过的变形条纹图像U;
[0021] (3)将变形条纹图像U与波长为λ、滤波方向为Θ、初始相位为φ的一维Gabor滤波器 进行卷积，求取像素点(x，y)处的截断相位Φ (x，y);
[0022] (4)计算变形条纹图像U的每一个像素(x，y)的颜色编码信息C(x，y):
[0023]
[0024] 其中，x，y分别为变形条纹图像中像素点（x，y)的行列坐标，Ur(x，y)，Ug(x， y)分别 为RGB图像中像素点(x，y)红色通道、绿色通道分量的强度值；
[0025] (5)利用投票机制矫正，通过嵌入的De Bruijn序列空间编码信息Pr、Pg和变形条纹 图像U中的颜色编码信息C(x，y)，求解截断相位需要延拓的周期数η;
[0026] (6)计算像素点(X，y)处的绝对相位：
[0027] Φ (x,y) = Φ (χ,γ)+2ηπ
[0028] (7)根据三角测距原理与绝对相位值Φ，计算待测物体的三维信息值。
[0029] 本发明与现有技术相比具有以下优点：
[0030] 1)本发明由于在相位编码上融合De序列空间信息，使得仅需要一幅模板投射即可 实现场景深度信息获取，简化了实现过程，降低了对物理设备的要求；
[0031] 2)本发明由于采用De序列辅助相位编码解周期，使得本发明能够保留相位编码高 精度的优点，又可以有效解决相位编码遇到的周期性截断相位缠绕问题，这在确保测量精 度的同时使测量时间进一步减少；
[0032] 3)本发明由于仅使用一幅模板，可以实现对于动态场景的实时高精度、高空间分 辨率的深度数据获取。
【附图说明】
[0033]图1为本发明的实现流程图；
[0034]图2为本发明设计的双颜色条纹模板图；
[0035]图3为本发明使用的系统框图；
[0036] 图4为本发明获得的截断相位展开图；
[0037] 图5为本发明中进行三维测量时使用的空间几何关系图；
[0038]图6为本发明获得的待测物体的三维重构图。
【具体实施方式】
[0039]本发明提出了一种单帧的基于相位编码和De Bruijn序列编码的混合编码技术， 以在不增加设备复杂性的条件下，实现适用于动态目标物体的高精度、高分辨率的三维信 息获取，以下参照附图对本发明作进一步详细描述。
[0040]参照图1，本发明具体实现步骤如下：
[0041 ]步骤1，设计强度变化且包含相位编码和颜色编码的混合编码模板P。
[0042] (Ia)采取余弦函数进行相位编码，计算编码模板中像素点（i，j)处的亮度值Po(i， j)：
[0043]
[0044] 其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，I为编码 中余弦的初始相位，取值为i;
[0045] (Ib)采用二元三阶De Brujin序列的00011101顺序循环组合进行颜色编码，其中 基元〇、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值Pr(i，j)，绿色条纹亮 度值 Pg(i，j):
[0046]
[0047] 其中，C(i，j)表示像素点（i，j)处的基元值，红色条纹取值为1，绿色条纹取值为0， P (i，j)表示相位编码中得到的像素点（i，j)的亮度值；
[0048] (Ic)根据步骤(Ia)和（Ib)的结果，得到混合编码双颜色条纹模板P，如附图2所示， 模板P中每个像素点像素值P( i，j):
[0049]
[0050] 其中，Pr(i，j)、Pg(i，j)为颜色编码中红色、绿色条纹亮度值，T为彩色条纹宽度值， L·*」为向下取整运算符。
[0051] 步骤2,拍摄待测物体0调制过的变形条纹图像U。
[0052]参照图3,拍摄时，水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪R 将混合编码模板P投影到三维物体0上，用摄像机V拍摄经过待测物体0调制过的变形条纹图 像U。
[0053] 步骤3,将变形条纹图像U与波长为λ、滤波方向为Θ、初始相位为φ的一维Gabor滤波 器进行卷积，求取像素点(X，y)处的截断相位Φ (X，y)。
[0054] (3a)将得到的条纹图像与二维Gabor滤波器卷积，根据Gabor函数的性质可以得 到：
[0055] G(x,y)= |R(x,y) |exp(i( ωχ+φ (x,y))),
[0056] 其中，G(x,y)表示图像与Gabor滤波器卷积的结果，R(x,y)表示Gabor滤波器响应 的幅值，ω为图像中像素点( x，y)处的局部频率，i为虚数单位；
[0057] Uh)枏抿欧枋宙理.熄Γτ( γ . V)讲杆讲一击展开徨?丨.
[0058]
[0059] 其中，Gr (X，y)表示图像与Gabor滤波器卷积得到的实部值，Gi (X，y)表示图像与
Gabor?*、〉由吳裘和泡$丨丨的磨部估_ 'Λ为像素点（x，y)处的截断相位，
[0060]
[0061]按照步骤3得到的截断相位展开图如图4所示，图中灰度值大小表示截断相位展开 值的大小。
[0062] 步骤4,对于步骤2得到的变形条纹图像U的每一个像素(x，y)，计算其颜色编码信 息C(x，y):
[0063]
[0064]其中，x，y分别为变形条纹图像中像素点（x，y)的行列坐标，Ur(x，y)，U g(x，y)分别 为RGB图像中像素点(x，y)红色通道、绿色通道分量的强度值；
[0065] 步骤5,利用投票机制矫正，通过嵌入的De Bruijn序列空间编码信息求解截断相 位需要延拓的周期数η。
[0066] (5a)遍历同一个条纹上的码值，将投票占有多数的基元码值标定为正确的码值；
[0067] (5b)对每三位码值组成的序列进行解码，得到该序列对应序号N，即当序列为000 时N为0，当序列为001时N为1，当序列为011时N为2，当序列为111时N为3，当序列为110时N为 4,当序列为101时N为5,当序列为010时N为6,当序列为100时N为7;
[0068] (5c)对于给定的参考平面L、参考平面距离Dr、摄像机中心坐标((^，(^，(^)、投影仪 中心R，根据成像原理计算参考平面上某点G的坐标(G x，Gy，Gz):
[0069]
[0070] 其中，（Bx，By，Bz)为空白场景中摄像机获得的条纹图像U中与G对应点B的坐标；
[0071] (5d)根据投影仪中心R、模板上空白场景下与G对应的点F与场景中G的几何关系， 计算F点坐标(F x，Fy，Fz):
[0072]
[0073]其中，f表示投影仪的焦距，综合以上两式得到F点坐标(Fx，Fy，Fz):
[0074]
[0075] (5e)根据坐标转换关系得到F点对应的成像平面坐标(XF，yF)，计算变形图像U中B 点所在条纹对应的De Bruijn序列周期延拓周期数S:
[0076]
[0077] 其中，T为De Bruijn序列中条纹的宽度，L·」为向下取整算子；
[0078] (5f)根据步骤(5b)和(5e)的结果，计算条纹的最终编号η:
[0079] n = N+8S。
[0080] 步骤6，计算像素点(x，y)处的绝对相位：
[0081] Φ(x,y)= Φ(χ,γ)+2ηπ0
[0082] 步骤7,利用像素点与匹配点的空间关系，计算待测物体的三维信息值。
[0083] 参照图5,根据三角测距原理，本步骤的具体实现如下：
[0084] (7a)沿着水平方向进行解码，并计算变形图像U中每个像素点(x，y)对应在模板图 像中的位置(i，j):
[0085]
[0086] 由于变形图像中像素点（x，y)与对应在模板图像中的位置（i，j)在竖直方向上保 持不变，贝1J j = y，y为变形图像U中像素点(X，y)的纵坐标值；
[0087] (7b)计算变形图像U中的像素点（x，y)与编码模板中对应点（i，j)之间的视差值d (x,y)：
[0088]
[0089]其中，X为变形图像U中像素点(x，y)的横坐标值；
[0090] (7c)根据三角形相似原理，计算像素点(X，y)对应点的深度值Z(X，y):
[0091]
[0092]其中f表示摄像机和投影仪焦距，b表示摄像机和投影仪光心间基线距离。
[0093] 本发明的效果可通过以下仿真进一步说明：
[0094] 利用欧美3DMAX进行仿真平台搭建，按照上述步骤对本方法进行仿真实验，根据得 到的目标物体的深度信息，对目标物体进行仿真重构，其结果如图6所示。
[0095]从图6中可以看到，本发明重构出的目标物体正确真实、噪声点少，而且实验系统 复杂度低、实验所需时间少，因此本发明提出的基于De序列和相位编码的单帧结构光深度 获取方法具有精度高、分辨率高、速度快、系统复杂度低的优点。
[0096]以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于 本领域的专业人员来说，在了解了本
【发明内容】
和原理后，都可能在不背离本发明原理、结构 的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变 仍在本发明的权利要求保护范围之内。
【主权项】
1. 一种基于De序列和相位编码的单帖结构光深度获取方法，包括： (1) 设计强度变化且包含相位编码和颜色编码的混合编码模板P: (la)采取余弦函数进行相位编码，计算编码模板中像素点（i，j)处的亮度值Po(iJ):其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，口为编码中余 弦的初始相位，取值为I; Qb)采用二元Ξ阶De化ujin序列的00011101顺序循环组合进行颜色编码，其中基元 〇、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值Pr(iJ)，绿色条纹亮度值 Pg(iJ): Pr(i, j)=C(i, j)P〇(i, j) Pg(i,j) = [l-C(i,j)]Po(i,j) 其中，C(i，j)表示像素点（i，j)处的基元值，红色条纹取值为1，绿色条纹取值为0，P(i， j)表示相位编码中得到的像素点（i，j)的亮度值； (Ic)得到混合编码模板P中每个像素点像素值P(i，j):其中，？^1^)、？8(1^)为颜色编码中红色、绿色条纹亮度值，1'为彩色条纹宽度值，[*_ 为向下取整运算符； (2) 水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪时尋混合编码模板P投 影到Ξ维物体0上，用摄像机V拍摄经过待测物体0调制过的变形条纹图像U; (3) 将变形条纹图像U与波长为λ、滤波方向为Θ、初始相位为Φ的一维Gabor滤波器进行 卷积，求取像素点(x，y)处的截断相位Φ (x，y); (4) 计算变形条纹图像U的每一个像素(x，y)的颜色编码信息C(x，y):其中，x，y分别为变形条纹图像中像素点(x，y)的行列坐标，Ur(x，y)，Ug(x，y)分别为RGB 图像中像素点(x，y)红色通道、绿色通道分量的强度值； (5) 利用投票机制矫正，通过嵌入的De化uUn序列空间编码信息Pr、Pg和变形条纹图像 U中的颜色编码信息C(x，y)，求解截断相位需要延拓的周期数η; (6) 计算像素点(x，y)处的绝对相位： 巫（x，y)= Φ (x，y)+化：π (7) 根据Ξ角测距原理与绝对相位值Φ，计算待测物体的Ξ维信息值。2. 根据权利要求1所述的基于De序列和相位编码的单帖结构光深度获取方法，其中步 骤(3)所述的求取像素点(x，y)的截断相位Φ(χ，7)，按照如下步骤进行： (3a)将得到的条纹图像与二维Gabor滤波器卷积，根据Gabor函数的性质得到： G(x,y)= |R(x,y) |exp(i( ωχ+φ (x,y))) 其中，G (X，y)表示图像与Gabor滤波器卷积的结果，R (X，y)表示Gabor滤波器响应的幅 值，ω为图像中像素点(x，y)处的局部频率， (3b)根据欧拉定理，将G (X，y)进行进一步展开得到： G(x,y)=Gr(x,y)+Gi(x,y) =|R(x，y) Kcos( ωχ+φ (x,y))+isin( ωχ+φ (x,y))) 其中，Gr(x，y)表示图像与Gabor滤波器卷积得到的实部值，Gi(x，y)表示图像与Gabor滤 波器卷积得到的虚部值； (3c)根据(3b)的计算，得到图像中每个像素点的相位信息Φ(χ，7):3. 根据权利要求1所述的基于De序列和相位编码的单帖结构光深度获取方法，其中步 骤(5)所述的求解截断相位需要延拓的周期数n，按如下步骤进行： 巧a)遍历同一个条纹上的码值，将投票占有多数的基元码值标定为正确的码值； (5b)对每Ξ位码值组成的序列进行解码，得到该序列对应序号N，即当序列为000时N为 0,当序列为001时N为1，当序列为011时N为2,当序列为111时N为3,当序列为110时N为4,当 序列为101时N为5,当序列为010时N为6,当序列为100时N为7; (5c)对于给定的参考平面L、参考平面距离Dr、摄像机中屯、坐标(Cx，Cy，Cz)、投影仪中屯、 R，根据成像原理计算参考平面上某点G的坐标(Gx，Gy，Gz):其中，（Bx，By，Bz)为空白场景中摄像机获得的条纹图像U中与G对应点B的坐标； (5d)根据投影仪中屯、R、模板上空白场景下与G对应的点F与场景中G的几何关系，计算F 点坐标(Fx，Fy，Fz):其中，f表示投影仪的焦距，综合W上两式得到F点坐标(Fx，Fy，Fz):(5e)根据坐标转换关系得到F点对应的成像平面坐标(XF，yF)，计算变形图像U中B点所 在条纹对应的De化uUn序列周期延拓周期数S:其中，T为De化uUn序列中条纹的宽度，L··」为向下取整算子； 巧f)根据步骤巧b)和巧e)的结果，计算条纹的最终编号η: n = N+8S。4. 根据权利要求1所述的基于De序列和相位编码的单帖结构光深度获取方法，其中步 骤(7)中求解物体深度信息，按如下步骤进行： (7a)沿着水平方向进行解码，并计算变形图像U中每个像素点(x，y)对应在模板图像中 的位置(i，j):由于变形图像中像素点（x，y)与对应在模板图像中的位置（i，j)在竖直方向上保持不 变，则j=y，y为变形图像U中像素点(x，y)的纵坐标值； (7b)计算变形图像U中的像素点（x，y)与编码模板中对应点（i，j)之间的视差值d(x， y)：其中，X为变形图像U中像素点(x，y)的横坐标值； (7c)根据Ξ角形相似原理，计算像素点(x，y)对应点的深度值Z(x，y):其中f表示摄像机和投影仪焦距，b表示摄像机和投影仪光屯、间基线距离。
【文档编号】G06T7/00GK105844633SQ201610160762
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】李甫, 窦平方, 石光明, 杨莉莉, 牛毅, 高哲峰, 张志峰
【申请人】西安电子科技大学