一种复杂场景的深度获取方法
【技术领域】
[0001] 本发明属于图像处理的技术领域，具体地涉及一种复杂场景的深度获取方法，主 要适用于多待测物体之间深度相差较大的复杂场景。
【背景技术】
[0002] 基于结构光（StructuredLightIllumination，SLI)深度获取方法是一种非接 触、主动式方法，因其原理简单、精度高、鲁棒性高而广泛用于各种场景深度获取。但是由于 受限于光学器件本身的限制以及待测物体本身反射、结构纹理复杂等原因，导致此方法存 在深度获取速度及精度无法匹配的问题，很难同时满足需求。为了解决这个问题，研宄人员 提出了很多编码方法。根据编码方法及投射方式的不同可以分为时间复用编码方法、空间 复用编码方法和时空复用编码方法。
[0003] 激光散斑（LaserSpeckle)作为空间复用编码结构光的一种，利用光学原理来生 成随机散斑点投射到待测物体表面，经过图像分析等手段对表面形成的纹理进行解码得出 特征点（散斑）的位置偏移量，最终根据三角测量原理利用偏移量计算得到待测物体深度 数据。其解码过程需要检测图像中的每个特征光斑的位置和大小，利用散斑点局部相异性 进行解码，不仅计算复杂度高，分辨率与精度仍然较低。比如微软KINECT体感数据采集设 备利用lightcoding技术，用的激光散斑获取人体深度数据方法。
[0004] 但是，现有基于散斑结构光进行深度获取存在方法在编码散斑模式存在一个显而 易见的缺陷：均未认识到测量的深度的精度依赖于散斑的密度和散斑图像的信噪比；散斑 图像的信噪比与散斑的大小、待测物体深度是相关的。尤其当场景中存在深度距离相差比 较大的待测物体的时，无法运用单密度结构光散斑模式计算得到每个待测物体较精确的深 度数据。
【发明内容】
[0005] 本发明的技术解决问题是：克服现有单密度获取复杂场景深度数据不精确等技术 的不足，提供一种新的复杂场景的深度获取方法，其能保证提高获场景深度图像的数据精 度的同时，进一步提高鲁棒性。
[0006] 本发明的技术解决方案是：
[0007] (a)设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成 投射的混合多密码结构光图案；
[0008] (b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待 测物体被投射编码结构光图案调制后的图像；
[0009] (C)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配 点在投射前后的偏移量；
[0010] (d)利用偏移量计算匹配点的深度值，实现待测物体的深度数据获取。
[0011] 本发明将所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制图像。 由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配特 征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度之间 的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差， 所以能够提尚获取株度图像的精度，进一步提尚鲁棒性。
【附图说明】
[0012] 图1示出了根据本发明的系统方案的物理原型。
[0013] 图2是基于散斑计算待测物体深度的示意图。
[0014] 图3是多密度自适应结构光生成的流程示意图
【具体实施方式】
[0015] 这种复杂场景的深度获取方法主要包含以下几个步骤：
[0016] (1)最佳的散斑密度模式与待测目标实际深度相关，利用公式（3)设计不同实际 深度对应的不同的密度的结构光图案模式心，Pi，…，PM;
[0017] k(r) =round{[sin(2 3ir/T)+1] *a+1} (3)
[0018] 其中r表示行序，k(r)表示每行的密码，a是一个控制k(r)为范围在1，2-N的 整数的标量因子，T为行数。
[0019] (2)投射步骤⑴生成的M幅密度不同的激光散斑图案匕，Pi，…，PM，相应得到M 幅待测物体调制图像I。，I:，…，IM，利用公式（1)生成Pt:
[0020] (3)根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 ，…，RM;并利用投影坐标系与相机坐标系转换关系，求解得到公式（1)中投影坐标系 下区域因子Bt在相机坐标系下的相对区域因子B' t;
[0021] (4)利用步骤⑶和公式⑵得到的B't生成Pt相对应的参考图像Rt;
[0022] (5)对每一个子区域运用特征点（散斑）匹配算法进行匹配操作，到结构光图案与 被投射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量ALt;
[0023] (6)根据步骤（5)的偏移量ALt，估算待测物体的深度图。
[0024] 本发明将公式（1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调 制后图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸 小，匹配多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度 之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的 误差，所以能够提高获取深度图像的精度，进一步提高鲁棒性。
[0025] 以下对本发明进行更详细的说明。
[0026] 基于结构光深度获取方法是将特定编码的结构光图案通过投影仪等光发射设备 投射到待测物体上，并用与光发射设备成一定角度的相机拍摄记录下待测物体被投射图案 调制的后图像，通过匹配算法找到投射结构光图案与记录下的调制图案的对应点，最后根 据三角测距原理计算得到待测物体的深度，本文系统方案的物理原型如图1所示。
[0027] 将整个过程抽象成数学模型，如图2所示。针对单密度模式，在理想状态下，待测 物体深度和偏移量关系的数学表达式如下：
[0029] 其中AD是待测物体离参考平面的距离，AL是待测点与参考图像上的对应参考 点的偏移量。在测量系统中激光发射器与相机之间的基值S远远大于偏移量AL，则公式 (4)等价于公式（5):
[0031] 其中《 =D/S，在本系统模型中是一常数，AD与AL成正比关系，因此深度图像 的距离分辨率取决于图像的分辨率。
[0032] 另外根据小孔成像原理，可以得出公式（6)表示的AL与实际成像距离的关系：
[0034] 其中f是拍摄所用相机的焦距，是一个常数；rowXcol是成像分辨率大小；D为可 测距离。进一步由公式（5)、（6)得：
[0036] 由公式（7)可以进一步得出结论：