基于主被动结合的深度信息获取方法
【技术领域】
[0001] 本发明属于计算机视觉测量技术领域，主要涉及一种目标物体深度信息的获取方 法，可用于人机交互、3D打印、逆向工程、文物三维重建。
【背景技术】
[0002] 随着当今计算机视觉技术的发展和人们生活水平的提高，传统的二维信息已经不 能满足人们的需求，快速、高效的从场景中获取深度信息成为当前研究的热点。从场景中获 取深度信息的过程叫做深度获取。当前深度获取方法主要分为接触式和非接触式两大类。
[0003] 接触式是通过实际触碰物体表面来得到深度信息，如坐标测量机。接触式测量法 虽可以获得高精度数据，但其硬件要求高、速率低、使用不方便，对物体存在一定损害性，且 往往只能得到少数特征点的深度信息。
[0004] 非接触式则不需要与目标物体接触就能获取目标物体的深度信息，如现有的激光 雷达、CT、声呐等方法。非接触式的测量速度快，采样密集，已成为现阶段获取深度信息一个 重要手段。在非接触式深度信息获取方法里面又主要分为被动方法和主动方法两大类。
[0005] 被动式深度信息获取方法是通过测量由目标物体表面反射的周遭辐射性，如激 光、可见光，来计算目标物体的深度信息，常见的计算方法有立体视觉法、阴影测量法、聚焦 法等方法。其中应用最为广泛的立体视觉法是通过模拟人的视觉方式，采用两个或多个摄 像机获得的多个角度下的被测物体的数字图像，根据特定采样点在两幅图像中的匹配像素 点及摄像机的相对空间位置、光学参数，依据三角测量原理计算得出该点的三维坐标。虽然 被动式测量方法对成像设备要求不高，不需要额外光源，且操作简便，容易实现，但是对于 不存在明显特征的图像，如无明显角点，该方法计算量大，匹配精度低，难以获得精细的测 量结果。
[0006] 主动式深度信息获取是通过将额外的能量投射到目标物体，借助能量的反射来计 算目标物体的深度信息，常见的投射能量有可见光、高能量光束、超声波和X射线等，主动 式深度信息获取方法主要有激光扫描法、飞行时间法和结构光法。
[0007] 激光扫描法采用激光扫描仪对物体逐点进行扫描从而获取深度信息，虽然精度较 高，但是速度很慢；飞行时间法是新兴的三维成像技术之一，它的测量速度快，但采集得到 的深度图像分辨率和精度都较低。
[0008] 结构光法，其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标 表面，利用图像采集设备记录被测目标表面的图像，将采集到的图像数据结合三角测距原 理以及图形处理技术计算出物体表面的深度数据信息。这种方法既利用了图像作为信息载 体，又利用可控光源形成明显纹理特征，能大大减小对诸如缺乏纹理、光滑、无明显灰度的 表面区域进行匹配的难度。鉴于结构光三角化技术结构简单、测量速度快、精度高等特点， 已得到广泛应用。
[0009] 结构光法根据投射光图案又可分为单点法、单线法和编码法。单点结构光法具有 准确度高、简单可靠的优点，但其测量速度慢；单线结构光法虽然比单点法测量速度有所提 高，但是相应确定对应关系的难度也增大，影响了测量准确度。相比之下，编码结构光法通 过编码解码使识别简化，有效提高了测量效率，因此成为目前结构光法最有前途的发展方 向。
[0010] 编码结构光法可分为空间、直接和时间三种编码方法。空间编码向景物投射一副 编码图案、得到一副对应的编码图像，将编码图像和编码方式对照进行解码，从而解决两者 的对应关系，它具有适合动态场景测量的优点，但是由于受其空间领域内特征点的影响，解 码困难，测量误差增大，存在分辨率较低、受景物表面发射率不一致及颜色的影响等缺点。 直接编码是指每个被编码像素都由其本身的灰度或颜色来识别，由于编码一般被浓缩成唯 一的一副图案，噪声值增加，所以所用灰度或颜色的频谱非常宽，必须投射附加的参考图 案，以便区分所用的投射灰度或颜色。该方法投射的图案数目较少，理论上适合动态测量且 可以达到高分辨率，但编码图案识别困难，降低了测量准确度。
[0011] 时间编码，是将多个不同的编码图案按时序先后投射到景物表面、得到相应的编 码图像序列，将编码图像序列组合起来进行解码，它具有易于实现、3D测量准确度高、空间 分辨率高等优点。时间编码结构光方法又可分为两灰度级编码方法、多灰度级编码方法和 组合编码方法。
[0012] 两灰度级编码方法中，最具代表性应用最为广泛的是格雷码法.其优点是鲁棒性 好，可实现突变表面及不连续表面的测量，测量准确度高，但分辨率相对较低。
[0013] 多灰度级编码方法中，最具代表性应用最为广泛的是相移法.其优点是测量准确 度高，分辨率高，但在对相位进行相位解缠绕时存在二义性，并且算法实现起来耗时低效。
【发明内容】
[0014] 本发明的目的在于针对上述已有技术的不足，提出一种基于主被动结合式的深度 信息获取方法，以在不增加投影模板数量的情况下，避免相移法中耗时低效的问题，保证对 深度信息测量的准确度和高分辨率。
[0015] 实现本发明目的技术关键是：在相移法基础上，增加一个深度摄像头，构成由一对 深度摄像头和一个投影仪组成的信息获取系统。通过投影仪向场景中投射相移模板，同过 一对深度摄像头在获取截断相位的同时，恢复出自然场景图像，实现被动式双目匹配。将被 动式双目匹配得到的粗略深度值，作为截断相位展开过程中的指导信息，进而得到精确的 深度信息，包括：
[0016] (1)将一对深度摄像头（Cl，C2)和一个投影仪P水平放置，并使三者光轴平行，在 投影仪P中输入相移法中所需要投影的三幅模板图像!\、T 2、T3;
[0017] (2)用投影仪P将三幅模板图像?\、Τ2、1~3依次投射到目标物体上，通过第一 深度摄像头Cl依次同步拍摄三幅模板图像投射到目标物体后发生的第一组变形图像
同时，通过第二深度摄像头C2依次同步拍摄三幅模板图像投射 到目标物体后发生的第二组变形图像
并把这两组变形图像传 回至计算机；
[0018] (3)计算机根据第二组变形图彳I
的灰度值进行解码，得 到这些变形图像中正弦条纹截断相位（J)ps;
[0019] (4)计算机对第一组变形图像
进行叠加得到第一幅自然 场景图像1￡，对第二组变形图傷
^进行叠加得到第二幅自然场景图 像i，再对这两幅自然场景图像4和1进行被动双目匹配，得到粗深度Zp;
[0020] (5)利用步骤⑷得到的粗深度Zp对步骤⑶得到的截断相位Φ ps进行展开，得 到第二组变形图像上像素点（X，y)对应在模板图像上亚像素级匹配点的列坐标j，再根据 三角测距原理，求得精确深度信息。
[0021] 本发明与现有技术相比具有以下优点：
[0022] 第一，本发明是对传统相移法的改进，只增加一个深度摄像头，不需增加额外的模 板数量，实现简单。
[0023] 第二，本发明所述深度获取方法结合了主动式和被动式深度获取方法的优点，利 用被动双目匹配所获得的粗深度Z p对截断相位Φ ps进行展开，避开了传统相移法在相位展 开时所存在的耗时低效的问题，保证深度信息获取的准确度和高分辨率。
【附图说明】
[0024] 图1为本发明使用的系统框图；
[0025] 图2为本发明的实现流程图；
[0026] 图3为本发明使用的三幅模板图像；
[0027] 图4为用本发明获得的自然场景图以及对应的正弦条纹截断相位图；
[0028] 图5为用本发明获得的目标物体的深度图。
【具体实施方式】
[0029] 本发明是对传统相移法的改进，只增加一个深度摄像头，不需要增加额外的模板 数量。以下参照附图对本发明作进一步详细描述。
[0030] 参照图1，本发明使用的三维扫描系统包括：待扫描的目标物体、第一深度摄像头 Cl、第二深度摄像头C2和投影仪P。投影仪P投射编码模板到目标物体上，第一深度摄像头 CU第二深度摄像头C2分别同步拍摄编码模板投射到目标物体后的对应变形图像。
[0031] 参照图2，本发明的实现步骤如下：
[0032] 步骤1、在投影仪P中输入相移法中所需要投影的三幅模板图像In T2、T3。
[0033] la)按照相移法中所需要投影，设定三幅模板图像In T2、T3中正弦条纹的直流分 量Α，正弦条纹幅度Β，正弦条纹周期Tps;
[0034] Ib)设定三幅模板图像In T2、T3的初始相移δ ^ i = 1，2, 3分别为δ 1= 〇，δ 2 = 2π/3, δ3=-2π/3；
[0035] lc)将第一深度摄像头C1，第二深度摄像头C2和投影仪P水平放置，并使三者光 轴平行，将上述三幅模板图像In T2、T3输入到投影仪P中，结果如图3,其中，图3(a)为第 一幅模板图像T 1，图3(b)为第二幅模板图像T2，图3 (c)为第三幅模板图像Τ3。
[0036] 步骤2、通过深度摄像头捕获模板图像投射后的变形图像。
[0037] 用投影仪P将三幅模板图像1\、T2、T3依次投射到目标物体上；
[0038] 通过第一深度摄像头Cl依次同步拍摄三幅模板图像投射到目标物体后发生的第 一组变形图像
同时，通过第二深度摄像头C2依次同步拍摄三幅 模板图像投射到目标物体后发生的第二组变形图像
[0039] 将用第一深度摄像头Cl和第二深度摄像头C2拍摄的这两组变形图像传回至计算 机。
[0040] 步骤3、计算机根据第二组变形图像
的灰度值进行解 码，得到这些变形图像中正弦条纹截断相位Φρ；3。
[0041] 3a)计算三幅模板图像In Τ2、1~3中像素点（X，y)处正弦条纹的灰度值：
[0043] 其中，Ips(X，y，δ J为第i幅模板图像中像素点（X，y)处正弦条纹的灰度值，Tps是 模板图像中正弦条纹的周期，单位为像素；
[0044] 3b)计算第二组对应变形图像
中正弦条纹截断相位 Φ ps (χ, y)
[0045] 3bl)计算第二组对应变形图像
上像素点（x，