一种深度信息的采集方法以及深度测量系统与流程

本发明涉及图像处理技术领域，特别是涉及一种深度信息的采集方法以及深度测量系统。

背景技术：

基于结构光的深度相机是目前较为普遍的一种测量物体深度的设备。由于结构光深度相机有着较高的分辨率以及深度图片采集帧数，利用深度相机实现人机交互被认为是下一代人机交互技术。此外，利用深度相机还可以实现3D扫描、机器人室内环境重建、避障等应用。

不同的应用对深度相机的要求也不一样，比如人机交互要求深度相机有很高的深度图像采集帧数以达到较高的交互体验，而3D扫描、环境重建等应用则对深度相机的测量精度有着较高的要求。目前的深度相机几乎采用单一的深度获取方式，在精度以及采集频率之间找一个平衡，缺乏一种灵活的深度测量方法。

技术实现要素：

本发明主要解决的技术问题是提供一种深度信息的采集方法以及深度测量系统，能够根据不同的应用场景，选择性的采用不同的参考图像来计算目标空间的深度信息，在部分应用中提高测量精度，在另一部分应用中提高测量效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种深度信息的采集方法，该方法包括：采集目标空间的不可见光图像；判断是否需要获取目标空间的精确深度值；若是，则根据第一参考图像和不可见光图像计算目标空间的深度值；若否，则根据第二参考图像和不可见光图像计算目标空间的深度值；其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。

其中，采集目标空间的不可见光图像，包括：利用不可见光投影模组向目标空间投影不可见光图案；利用不可见光接收模组采集目标空间的不可见光图像。

其中，根据第一参考图像计算目标空间的深度值，包括：计算不可见光图像与第一参考图像每个像素的第一偏移值；利用第一偏移值计算得到不可见光图像深度值。

其中，利用第一偏移值计算得到不可见光图像深度值，包括：采用以下公式计算得到不可见光图像深度值：其中，Z为不可见光图像的深度值，Δ₁为第一偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₁为第一参考图像的深度值。

其中，根据第二参考图像计算目标空间的深度值，包括：计算不可见光图像与第二参考图像每个像素的第二偏移值；利用第二偏移值计算得到不可见光图像与第二参考图像的相对深度值。

其中，利用第二偏移值计算得到不可见光图像与第二参考图像的相对深度值，包括：采用以下公式计算得到不可见光图像与第二参考图像的相对深度值：其中，ΔZ为不可见光图像与第二参考图像的相对深度，Δ₂为第二偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₂为目标空间的深度值。

其中，目标空间的不可见光图像包含交互对象，计算得到不可见光图像与第二参考图像的相对深度值之后，还包括：根据交互对象深度值的连续性，利用图像拼接算法将相邻像素间不连续的相对深度值进行重新生成，并将重新生成的相对深度值作为对应像素的相对深度值。

其中，不可见光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案，不可见光接收模组为红外接收模组，且第一参考图像和第二参考图像均包含结构光散斑图案。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种深度测量系统，该系统包括：不可见光投影模组，用于向目标空间投影不可见光；不可见光接收模组，用于采集目标空间的不可见光图像；处理器，用于判断是否需要获取目标空间的精确深度值；若是，则根据第一参考图像和不可见光图像计算目标空间的深度值；若否，则根据第二参考图像和不可见光图像计算目标空间的深度值；其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。

其中，不可见光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案，不可见光接收模组为红外接收模组，且第一参考图像和第二参考图像均包含结构光散斑图案。

本发明的有益效果是：区别于现有技术的情况，本发明的深度信息的采集方法包括：采集目标空间的不可见光图像；判断是否需要获取目标空间的精确深度值；若是，则根据第一参考图像和不可见光图像计算目标空间的深度值；若否，则根据第二参考图像和不可见光图像计算目标空间的深度值；其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。通过上述方式，能够根据不同的应用场景，选择性的采用不同的参考图像来计算目标空间的深度信息，一方面在部分应用中提高测量精度，另一方面在其他应用中提高测量效率。

附图说明

图1是本发明深度信息的采集方法一实施方式的流程示意图；

图2是本发明深度信息的采集方法一实施方式中S11一实施例的流程示意图；

图3是本发明深度信息的采集方法一实施方式中S13一实施例的流程示意图；

图4是本发明深度信息的采集方法一实施方式中S14一实施例的流程示意图；

图5是本发明深度测量系统一实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明深度信息的采集方法一实施方式的流程示意图，该方法包括：

S11：采集目标空间的不可见光图像。

其中，目标空间可以是一任意形状和大小的空间，或者说是能够被采集不可见光图像的设备覆盖的空间区域。

其中，不可见光图像是目标空间在不可见光投影下呈现的不可见光图像，一般是采用专用的不可见光接收模组进行采集。例如，该不可见光可以是红外光、紫外光等。

可选的，如图2所示，在一实施方式中，S11可以具体包括：

S111：利用不可见光投影模组向目标空间投影不可见光图案。

可选的，不可见光投影模组为红外投影模组，红外投影模组投影的图案为红外散斑图案。其中，该散斑图案可以是不规则且具有不相关性的散斑图案。

S112：利用不可见光接收模组采集目标空间的不可见光图像。

可选的，在不可见光投影模组是红外投影模组的情况下，不可见光接收模组为红外接收模组。

可以理解的，其中的不可见光投影模组和不可见光接收模组是相互配合的，其投影或采集的不可见光种类应当相同。

另外，在其他实施方式中，S11中采集的不可见光图像还可以是连续采集的不可见光图像序列。由于本实施方式主要用于获取交互对象的移动指令，因此不可见光接收模组可以连续采集目标空间中包含交互对象的不可见光图像；换句话说，即录制视频。

S12:判断是否需要获取目标空间的精确深度值。

在一般情况下，深度测量仅仅是作为一种手段，其目的通常是为了实现其他应用，例如三维扫描、打印，环境重建，三维交互等等。对于三维扫描、环境重建的应用则更加注重测量的精度，而三维交互则偏向于拍摄的帧数即测量速度。因此，对于不同的应用往往需要不同的测量精度。

可选的，在一实施方式中，可以接收用户指令来判断是否需要获取目标空间的精确深度值；在另一实施方式中，也可以根据需要进行的应用以及预设的与该应用匹配的测量精度来判断是否需要获取目标空间的精确深度值。

在S12判断后，若判断结果为是，则进行S13；若判断结果为否，则进行S14。

S13：根据第一参考图像和不可见光图像计算目标空间的深度值。

S14：根据第二参考图像和不可见光图像计算目标空间的深度值。

其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。

其中，第一参考图像和第二参考图像均包含结构光散斑图案。

具体地，在目标空间中没有交互对象时，向目标空间投影不可见光，并通过不可见光接收模组采集目标空间的不可见光图像，以作为参考图像。可选的，为了提高后面步骤计算的精度，可以对目标空间采集多个不可见光图像，将测量精度较高的一幅作为参考图像。

其中，采集第一参考图像和采集第二参考图像的步骤可以是预先完成的。在采集第一参考图像时，仅需要采集已知深度的平面的不可见光图像，其中，已知深度的平面应当与相机的光轴垂直。在采集第二参考图像时，只要是目标空间不变，或者目标空间与采集设备之间的距离和方向角度不变，该采集参考图像的步骤则可以只执行一次，并将参考图像存储于设备中。若目标空间在每次交互中都是变化的，则采集参考图像的步骤可以在S11之前，并每次执行本实施方式时均需要执行一次。

可以理解的，根据预先采集的已知深度值的平面的不可见光图像，通过相关计算得到的目标空间的深度值更加精准，误差较小；而根据预先采集的目标空间的不可见光图像，只能得到采集的不可见光图像和第二参考图像的相对深度值，无法得到不可见光图像对应的目标空间的精准深度值。

可选的，如图3所示，在一具体的实施方式中，S13可以具体包括：

S131：计算不可见光图像与第一参考图像每个像素的第一偏移值。

可选的，S131可以具体是：

利用数字图像相关算法计算得到不可见光图像与第一参考图像每个像素的偏移值。

具体地，下面对计算偏移值做简单的介绍：

首先确定每个像素的位移映射函数，一般而言该函数需要考虑不可见光图像和参考图像两幅图中待测对象上各点的平移以及变形。在本实施例中，由于两幅图中的图案仅仅是由于待测对象深度变化导致位置变化，并没有发生较大的变形，因此可以将该函数简化成仅考虑平移的情形，即：X＝x+Δ。这里X及x分别为待测对象的一个点在不可见光图像以及参考图像中的像素坐标，Δ为待求的偏移值。

其次，确定相应的搜索算法。一般采用的是牛顿迭代法，但是该算法涉及大量的根号及除法运算，算法的编写以及执行效率都不高。本实施例是采用的是基于迭代最小二乘法的搜索算法。由于仅考虑沿X方向平移的情形，因此仅需要进行一维的搜索算法就可以了，这样可以较大幅度提升算法的效率。

最后结合位移映射函数以及迭代最小二乘法就可以对偏移值Δ进行求解。

S132：利用第一偏移值计算得到不可见光图像深度值。

具体地，可以采用以下公式计算得到不可见光图像深度值：

其中，Z为不可见光图像的深度值，Δ₁为第一偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₁为第一参考图像的深度值。

可选的，如图4所示，在一具体的实施方式中，S14可以具体包括：

S141：计算不可见光图像与第二参考图像每个像素的第二偏移值。

其中，计算第二偏移值的方法可以参考上述计算第一偏移值的方法，其原理类似，这里不再赘述。

S142：利用第二偏移值计算得到不可见光图像与第二参考图像的相对深度值。

可选的，在一种实施方式中，可以直接将每个像素的偏移值作为不可见光图像与第二参考图像的对应像素的相对深度。可以理解的，由于我们的目的仅仅是要得到交互对象的图像，获取深度值仅仅是一个手段，因此，即使偏移值与深度值不相等，也可以用偏移值来代替深度值并进行后续的计算。

可选的，在另一种实施方式中，可以采用以下公式计算得到不可见光图像与第二参考图像的相对深度：

其中，ΔZ为不可见光图像与第二参考图像的相对深度，Δ₂为第二偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₂为目标空间的深度值。

可选的，若采用S14的步骤来计算不可见光图像与第二参考图像的相对深度值，一般是用于三维交互等应用，因此，在S14之后，还可以包括：

S15：利用不可见光图像与第二参考图像的相对深度，从不可见光图像中提取交互对象的图像部分。

其中，因为交互对象和目标空间的深度是不一样的，并且第二参考图像只包含目标空间，而采集的不可见光图像则不仅包含了目标空间，还有可能包含交互对象，因此，可以根据采集的不可见光图像和第二参考图像的相对深度，来得到交互对象的图像。

具体地，若采集的不可见光图像与第二参考图像的相对深度为0，或者相对深度小于预设的阈值，则可以认为采集的不可见光图像不包含交互对象；若采集的不可见光图像与第二参考图像部分像素的相对深度大于预设的阈值，则可以提取该部分像素的组合形成交互对象的图像。

可选的，由于计算的误差，提取的交互对象的图像可能是不连续的，则可以采用以下方法进行修正：

根据交互对象深度值的连续性，利用图像拼接算法将相邻像素间不连续的相对深度值进行重新生成，并将重新生成的相对深度值作为对应像素的相对深度值。

下面，以采集设备为结构光深度相机(包括红外投影模组和红外接收模组)为例，对本实施方式进行详细说明：

预先采集第一参考图像和第二参考图像。

1、利用深度相机在距离深度相机已知距离的平面上投影结构光散斑图案，并获取该平面上的结构光图像作为第一参考图像。

选取的平面需要与深度相机中红外接收模组的光轴垂直，具体实施时需要在该平面上放置一块平板，深度相机的红外投影模组向平板投射结构光散斑图案，本实施例中结构光散斑图案为无规则排列的散斑图案。红外接收模块则采集该平板上的结构光图像。平板放置的距离为预先设定的值，一般可以选取在深度相机测量区间的中间某一值，在此不做限定。第一参考图像为固定的不随着被测目标以及具体应用变化而变化的图像，因此往往将该图像以一定的数据格式储存在深度相机的固定储存单元中(比如FLASH闪存)，在需要时对其进行调用。

2、利用深度相机获取不含交互物体的目标区域的结构光图像作为第二参考图像。

当测量区域没有交互物体，比如人时，利用深度相机的红外接收模组采集目标区域的结构光图像作为第二参考图像。与第一参考图像不同的是，这里的目标区域随着测量环境的变化而变化，因而第二参考图像可以将其储存在深度相机的内存中，在应用完成之后则消失，也可以将写储存在可擦除的储存单元中，在深度相机的测量环境不变的情况下，将结构光图像2保存在该储存单元中，当测量环境变化时，则重新采集新的第二参考图像并取代前一幅图像。

3、判断当前应用是否需要测量目标的精确深度值，若是则转向步骤4，否则转向步骤5。

对于人机交互的大部分应用，并不需要测量目标的精确深度值，而对于3D扫描等应用则需要。判断可以是人为判断也可以由程序自己完成，由程序来判断则是通过具体应用的输入来判定，若该应用的输入是姿势或者动作则认为当前应用不需要测量精确深度值，若当该应用的输入是精确的深度值，则认为当前应用需要测量目标的精确深度值。

4、将第一参考图像与当前目标空间的结构光图像进行计算后得到精确的目标空间各各点的深度值。

这一步中，具体是通过数字图像相关或其他匹配算法寻找目标空间结构光图像中以各像素为中心的子区在参考图像中相似度最高的子区，计算出两子区中心像素的第一偏离值Δ₁，最后根据偏离值可以计算出该像素的深度值。具体计算公式如下：

其中，Z为不可见光图像的深度值，Δ₁为第一偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₁为第一参考图像的深度值。

5、将第二参考图像与当前有交互物体的目标空间的结构光图像进行计算后得到相对深度值。

这一步中，同样通过数字图像相关或其他匹配算法寻找目标空间结构光图像中以各像素为中心的子区在参考图像中相似度最高的子区，计算出两子区中心像素的第二偏离值Δ，最后根据偏离值可以计算出该像素的相对深度值。计算公式如下:

其中，ΔZ为不可见光图像与第二参考图像的相对深度，Δ₂为第二偏移值，B为不可见光投影模组和不可见光接收模组之间的距离，f为不可见光接收模组的镜头的焦距，Z₂为目标空间的深度值。

由于参考图像与目标空间结构光图像仅在有人体的部分图像有所区别，其他区域图像几乎相同，理论上偏离值为0，因而可以较大程度降低搜索时间。

与第四步中不同的是，这一步中的Z₂是个未知数，也就意味着并不能准确地获取目标空间中各像素点的相对深度值以及深度值。另外，由于参考图像对应的空间不一定是一个平面，会导致得到的ΔZ并不能准确反映出人体的特征，可能会出现不连续等情形。这里采取的方式是：

首先，假定Z₂值已知，并给定一个预先设定的值，根据上式计算出相对深度值ΔZ；其次，根据人体深度值的连续性，利用图像拼接算法将相对深度值中的断面以及不连续的部分进行重新生成，将最终生成的相对深度值作为输出。

此外，由于这里并不需要准确获取目标深度值，因此也可以直接将偏离值Δ作为输出并进行下一步的人体提取以及识别。对于这种方式而言，以上较正措施的原理依然适用。

区别于现有技术的情况，本实施方式的深度信息的采集方法包括：采集目标空间的不可见光图像；判断是否需要获取目标空间的精确深度值；若是，则根据第一参考图像和不可见光图像计算目标空间的深度值；若否，则根据第二参考图像和不可见光图像计算目标空间的深度值；其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。通过上述方式，能够根据不同的应用场景，选择性的采用不同的参考图像来计算目标空间的深度信息，一方面在部分应用中提高测量精度，另一方面在其他应用中提高测量效率。

参阅图5，图5是本发明深度测量系统一实施方式的结构示意图，该深度测量系统包括：

不可见光投影模组51，用于向目标空间投影不可见光。

不可见光接收模组52，用于采集目标空间的不可见光图像。

处理器53，用于判断是否需要获取目标空间的精确深度值；若是，则根据第一参考图像和不可见光图像计算目标空间的深度值；若否，则根据第二参考图像和不可见光图像计算目标空间的深度值。

其中，第一参考图像为预先采集的已知深度值的平面的不可见光图像，第二参考图像为预先采集的目标空间不含交互对象的不可见光图像。

可选的，该深度测量系统还可以包括存储器，用于存储上述的第一参考图像以及第二参考图像。

可选的，不可见光投影模组51为红外投影模组，红外投影模组投影的图案为红外散斑图案，不可见光接收模组52为红外接收模组，且第一参考图像和第二参考图像均包含结构光散斑图案。

可选的，在一具体的实施例中，不可见光投影模组51、不可见光接收模组52以及处理器53共同组成不可见光相机，例如，可以是一个结构光深度相机，该结构光深度相机包括红外投影模组、红外接收模组以及处理器。在具体应用中，结构光深度可以直接输出测量的深度值。

可选的，在另一具体的实施例中，处理器53还用于连接外部的交互设备，以对外部的交互设置发送控制指令，以使外部交互设备执行相应的指令。例如，处理器53连接显示屏，在生成的指令为控制该显示屏关闭时，则处理器53则向显示屏发送关闭的指令，以关闭该显示屏。

可选的，在其他实施方式中，该交互系统还包括存储器，该存储器用于存储参考图像、交互对象的图像与交互指令的对应关系等。该存储器可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

可选的，处理器53具体还用于采用以下公式计算得到激光图像深度值：

其中，Z为激光图像的深度值，Δ₁为第一偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为第一参考图像的深度值。

或采用以下公式计算得到激光图像与第二参考图像的相对深度值：

其中，ΔZ为激光图像与第二参考激光图像的相对深度，Δ₂为第二偏移值，B为激光投影模组和激光相机之间的距离，f为激光相机的镜头的焦距，Z₀为目标空间的深度值。

可选的，处理器53具体还用于根据交互对象深度值的连续性，利用图像拼接算法将相邻像素间不连续的相对深度值进行重新生成，并将重新生成的相对深度值作为对应像素的相对深度值。

可以理解的，在本发明所提供的几个实施方式中，所揭露的方法以及设备，可以通过其它的方式实现。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。