一种深度图像获取方法及装置与流程

本发明涉及深度检测技术领域，尤其涉及一种深度图像获取方法及装置。

背景技术：

随着3d(3dimensions，三维)技术的发展，立体显示、机器视觉和卫星遥感等方面的技术应用越来越多地需要获取场景的深度信息。目前，深度相机能够获取相机视野内目标物体的深度信息。

目前的深度检测方案中，不论是基于tof(timeofflight，飞行时间)技术、结构光技术还是主动式双目视觉技术，都是主动式红外光源+图像传感器(imagesensor)的硬件实现架构，这种方式从原理上讲，如果采用固定的曝光时间，对运动物体进行检测时，都会存在目标物体距离远时曝光不足、目标物体距离近时曝光过度的问题。以基于tof技术的主动式深度检测方案为例，其深度检测模块的基本结构如图1所示，包括主动(红外)光源1、(红外)图像传感器(sensor)2和透镜组3。其中，主动光源1为深度检测模块的曝光阶段提供必要的照明，图像传感器2产生深度信息的原始图像，透镜组3保证良好的光路以获取清晰的图像。在检测置于检测模块前方的目标(待检测)物体的深度信息时，当目标物体处于p0位置时，以曝光时间t进行曝光，可以获得清晰图像数据，但如果当其运动到距离检测模块较近的p1位置时，若仍以曝光时间t进行曝光，那么就会因为接收到过量的反射光线，造成红外图像传感器接收到的光过强(过曝)，另外，当其运动到距离检测模块较远的p2位置时，若仍以曝光时间t进行曝光，就会造成红外图像传感器感光不足(欠曝)。而不论是过曝还是欠曝，都将导致无法获得有效图像数据，进而导致无法准确获取目标物体的深度信息。

技术实现要素：

有鉴于此，本发明提供一种深度图像获取方法及装置，用于解决目前的采用固定曝光时间的深度检测方案，在运动的目标物体距离较远时容易导致欠曝、目标物体距离较近时容易导致过曝，进而导致无法准确获取目标物体的深度信息的问题。

为解决上述技术问题，第一方面，本发明提供一种深度图像获取方法，包括：

在已从采集到的原始图像中检测到目标物体之后的采集阶段，获取用于生成当前帧深度图像的至少一帧原始图像；

根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间。

优选的，所述根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间的步骤包括：

获取所述至少一帧原始图像中的所述目标物体的幅度值；

根据所述目标物体的幅度值和所述至少一帧原始图像的曝光时间，确定所述用于生成下一帧深度图像的原始图像的曝光时间。

优选的，所述目标物体的幅度值为所述至少一帧原始图像中的目标物体的幅度均值。

优选的，所述获取所述至少一帧原始图像中的所述目标物体的幅度值的步骤包括：

获取所述至少一帧原始图像的幅度值；

对所述至少一帧原始图像的幅度值进行分割，确定所述目标物体。

优选的，所述获取用于生成当前帧深度图像的至少一帧原始图像的步骤之前，还包括：

在需要从采集到的原始图像中检测所述目标物体的初始化阶段，基于预设帧率和预设曝光时间采集原始图像；

根据采集到的原始图像检测所述目标物体；

在检测到所述目标物体的情况下，将所述预设曝光时间作为所述采集阶段的用于生成第一帧深度图像的原始图像的曝光时间；

在检测不到所述目标物体的情况下，调节所述预设曝光时间，直至根据所述采集到的原始图像检测到所述目标物体，将调节后的所述预设曝光时间作为所述采集阶段开始后，用于生成第一帧深度图像的原始图像的曝光时间。

优选的，所述至少一帧原始图像为至少两帧。

优选的，所述至少一帧原始图像为用于生成当前帧深度图像的部分图像。

第二方面，本发明还提供一种深度图像获取装置，包括：

图像获取模块，用于在已从采集到的原始图像中检测到目标物体之后的采集阶段，获取用于生成当前帧深度图像的至少一帧原始图像；

曝光时间调节模块，用于根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间。

优选的，所述曝光时间调节模块包括：

幅度值获取单元，用于获取所述至少一帧原始图像中的所述目标物体的幅度值；

调节单元，用于根据所述目标物体的幅度值和所述至少一帧原始图像的曝光时间，确定所述用于生成下一帧深度图像的原始图像的曝光时间。

优选的，所述目标物体的幅度值为所述至少一帧原始图像中的目标物体的幅度均值。

优选的，所述幅度值获取单元包括：

获取子单元，用于获取所述至少一帧原始图像的幅度值；

确定子单元，用于对所述至少一帧原始图像的幅度值进行分割，确定所述目标物体。

优选的，所述装置还包括：

目标检测图像采集模块，用于在需要从采集到的原始图像中检测所述目标物体的初始化阶段，基于预设帧率和预设曝光时间采集原始图像；

检测模块，用于根据采集到的原始图像检测所述目标物体；

曝光时间确定模块，用于在检测到所述目标物体的情况下，将所述预设曝光时间作为所述采集阶段的用于生成第一帧深度图像的原始图像的曝光时间；在检测不到所述目标物体的情况下，调节所述预设曝光时间，直至根据所述采集到的原始图像检测到所述目标物体，将调节后的所述预设曝光时间作为所述采集阶段开始后，用于生成第一帧深度图像的原始图像的曝光时间。

优选的，所述至少一帧原始图像为至少两帧。

优选的，所述至少一帧原始图像为用于生成当前帧深度图像的部分图像。

第三方面，本发明还提供一种深度图像获取装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现上述任一种深度图像获取方法。

第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种深度图像获取方法中的步骤。

本发明的上述技术方案的有益效果如下：

本发明实施例中，可以根据用于生成当前帧深度图像的原始图像，快速计算并预测出采集下一帧深度图像的原始图像所需的曝光时间，从而避免了对运动的目标物体进行检测时，近距离(目标物体靠近检测模块)曝光过度、远距离(目标物体原理检测模块)曝光不足的问题。并且，实施本发明技术方案时，不会降低深度图像的帧率，也不需要额外增加硬件模块，成本低。本发明实施例可以应用于继鼠标、键盘和触屏之后的一种新的人机交互技术——手势交互。

附图说明

图1为现有深度检测技术的基本结构示意图；

图2为由四帧原始图像计算得出深度图像时的原始图像获取时序示意图；

图3为循环修正曝光时间的流程示意图；

图4为循环修正曝光时间时深度图像获取的时序图；

图5为通过增加检测模块来调节曝光时间的示意图；

图6为本发明实施例中的一种深度图像获取方法的流程示意图；

图7为本发明实施例中的一种目标捕捉初始化的流程示意图；

图8为本发明实施例中另一种深度图像获取方法的流程示意图；

图9为本发明实施例提供的深度图像获取方法的一种原理结构示意图；

图10为本发明实施例提供的深度图像获取方法的一种工作时序示意图；

图11为本发明实施例中的一种深度图像获取装置的结构示意图；

图12为本发明实施例中的另一种深度图像获取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

首先，以基于tof技术的主动式深度检测方案(请参阅图1)为例，简单说明下深度图像的获取过程。基于tof技术的深度图像一般由两帧、四帧等多帧原始图像的数据计算得出，其中以四帧原始图像计算得出深度图像的方式最为常见。请参阅图2所示的由四帧原始图像计算得出深度图像时的原始图像获取时序示意图，在该时序中，阶段1为曝光和电荷累积阶段，处理器(也即控制和计算单元)发送驱动信号驱动主动光源发射特定频率的红外光，对目标物体进行照明，与此同时，处理器分别以与驱动信号相差为0°(dcs0)、90°(dcs1)、180°(dcs2)、270°(dcs3)的解调信号驱动红外图像传感器，将接收到的光信号进行光电转换并累积在传感器像素(sensorpixel)的积分电容中。阶段2为ad转换(也即模数转换)和数据读出阶段，在该阶段，红外图像传感器的像素电路中模拟前端将每个像素的积分电容中的电荷信号转换为相应的数字信号并逐一输出，获得对应dcs0、dcs1、dcs2和dcs3的四帧原始图像数据，然后经过计算，由该四帧原始图像数据得出一帧深度图像数据。再然后，循环前述操作，获取下一帧的深度图像。

然后，采用固定曝光时间的深度检测方案检测运动的目标物体时，由于目标物体的距离变化导致欠曝或过曝，进而导致无法准确获取目标物体的深度信息的问题，现有以下两种可行的解决方案：

一、当检测到图像过曝或欠曝后，通过循环修正曝光时间的方式，调整曝光时间，以保证深度图像的获取。请参阅图3，以上述基于tof技术的深度图像获取方法(根据四帧原始图像计算得出深度图像)为例，循环修正曝光时间的流程为：第01步、按照初设曝光时间t进行曝光；第02步、判断获取的四帧原始图像是否存在过曝或欠曝，若存在则进入第031步，否则进入第032步；第031步、若存在过曝则减少曝光时间，若存在欠曝则增加曝光时间；第032步、根据获取的四帧原始图像计算得到深度图像；第04步、按照减少或者增加后的曝光时间t′进行曝光，并转入第02步。在用于近距离的深度检测(目标物体与检测模块之间的最大距离相对较近)时，一般曝光时间都远远小于ad转换和数据读出时间，那么曝光时间调整前后帧周期基本相等，因此深度图像帧获取的时间顺序可参阅图4。由图4可看出，在因目标物体的距离变化引起欠曝或者过曝后，开始进入曝光时间调整阶段，直到找到合理的曝光时间后，才能继续正常获取深度图像。也即，在曝光时间调整阶段没办法正常获取深度图像，从而导致了帧率的下降。而且，对于移动速度比较快的目标物体，例如在做各种手势的人手，这种循环修正曝光时间的方式，可能会导致帧率的持续下降，甚至(例如，在目标物体的深度范围一直剧烈变动的情况下)可能一直处于曝光时间调整阶段而不会恢复成正常的深度图像采集阶段。

二、增加一个附加的检测模块。具体可参阅图5，检测模块1用于采集深度图像，检测模块2用于调整曝光时间。由检测模块2在当前帧深度图像的原始图像采集期间，通过循环调整的方式确定检测模块1在采集下一帧深度图像的原始图像时所需的曝光时间。但是该方案需要增加一整套的检测模块，成本会大大增加。

请参阅图6，图6为本发明实施例提供的一种深度图像获取方法的流程示意图，包括以下步骤：

步骤11：在已从采集到的原始图像中检测到目标物体之后的采集阶段，获取用于生成当前帧深度图像的至少一帧原始图像；

步骤12：根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间。

本发明实施例，可以根据用于生成当前帧深度图像的原始图像，快速计算并预测出采集下一帧深度图像的原始图像所需的曝光时间，从而避免了对运动的目标物体进行检测时，近距离(目标物体靠近检测模块)曝光过度、远距离(目标物体原理检测模块)曝光不足的问题。并且，实施本发明技术方案时，不会降低深度图像的帧率，也不需要额外增加硬件模块，成本低。

需要说明的是，本发明实施例可以应用于继鼠标、键盘和触屏之后的一种新的人机交互技术——手势交互。

下面举例说明上述深度图像获取方法。

可选的，所述根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间的步骤包括：

获取所述至少一帧原始图像中的所述目标物体的幅度值；

根据所述目标物体的幅度值和所述至少一帧原始图像的曝光时间，确定所述用于生成下一帧深度图像的原始图像的曝光时间。

进一步可选的，所述目标物体的幅度值为所述至少一帧原始图像中的目标物体的幅度均值。

进一步可选的，所述获取所述至少一帧原始图像中的所述目标物体的幅度值的步骤包括：

获取所述至少一帧原始图像的幅度值；

对所述至少一帧原始图像的幅度值进行分割，确定所述目标物体。

可选的，所述获取用于生成当前帧深度图像的至少一帧原始图像的步骤之前，还包括：

在需要从采集到的原始图像中检测所述目标物体的初始化阶段，基于预设帧率和预设曝光时间采集原始图像；

根据采集到的原始图像检测所述目标物体；

在检测到所述目标物体的情况下，将所述预设曝光时间作为所述采集阶段的用于生成第一帧深度图像的原始图像的曝光时间；

在检测不到所述目标物体的情况下，调节所述预设曝光时间，直至根据所述采集到的原始图像检测到所述目标物体，将调节后的所述预设曝光时间作为所述采集阶段开始后，用于生成第一帧深度图像的原始图像的曝光时间。

由于在检测模块开始运行时，可能无法立刻检测到目标物体，因此需要先完成目标捕捉的初始化，也即需要先找到目标。本发明实施例中，可以采用binning模式(一种图像读出模式，将相邻像元感应的电荷加在一起，以一个像素的模式读出)，该模式的帧率很高，因此可以迅速找到目标物体，从而确定当前最佳曝光时间。请参阅图7，具体流程为：

第21步、将图像传感器配置到binning模式、设置初始曝光时间a(也即所述预设曝光时间)。

第22步、从采集到的原始图像中检测目标物体(也即用算法快速搜索目标物体)，若检测到目标物体，则执行第24步，若没有检测到目标物体，则执行第23步。

第23步、按照预设步长调节曝光时间，例如增加一个固定值b，并转入第22步。

第24步、记录当前曝光时间a′。

第25步、切换到正常曝光模式，也即进入上述的初始化阶段，并将曝光时间a′作为进入初始化阶段后的初始曝光时间，也即用于生成第一帧深度图像的原始图像的曝光时间。

另外，本发明实施例中，每采集到一帧原始图像，都需要根据原始图像的幅度值判断该原始图像是否欠曝光和过曝光。通常情况下，根据本发明实施例提供的深度图像获取方法获取的原始图像不会存在欠曝光或过曝光的情况，如果出现了欠曝光或过曝光的情况，那么很大可能是由于目标物体出了可检测区域，导致目标丢失，因此需要重新执行上述目标捕捉的初始化过程。

可选的，所述至少一帧原始图像为至少两帧，可以增加预测下一帧深度图像的原始图像的曝光时间的准确性。

可选的，所述至少一帧原始图像为用于生成当前帧深度图像的部分图像。也即，采集完用于生成当前帧深度图像的部分图像之后，就可以开始计算下一帧深度图像的原始图像的曝光时间。在用于生成当前帧深度图像的另一部分图像采集完之前就可以完成曝光时间的预测。因此，不会耗费额外的时间，从而可以不用降低帧率。

本发明实施例，尤其适用于深度图像的帧率很高、目标物体的尺寸较小的情形，例如手势检测场景。

如图8所示，下面以根据四帧原始图像计算得到一帧深度图像的方式为例，具体说明下本发明实施例提供的深度图像获取方法的流程：

第31步、获取当前采集到的两帧原始图像，例如为dcs0和dcs1，此时dcs2和dcs3尚未采集到。当然，也可以在采集到dcs3之后再获取，获取的原始图像也可以是dcs1和dcs2，或者是dcs0、dcs1和dcs2。

第32步、分别计算该两帧原始图像的幅度值，并对幅度值进行分割以确定该两帧原始图像中的目标物体。

第33步、分别计算该两帧原始图像中目标物体的幅度均值，并结合该两帧原始图像的曝光时间计算得到该两帧原始图像的最佳曝光时间，由于帧间隔一般比较短，因此可以将计算出的最佳曝光时间作为下一帧深度图像的原始图像的曝光时间。当然，也可以根据目标物体的运动趋势对计算出的最佳曝光时间进行修正，并将修正后的曝光时间作为下一帧深度图像的原始图像的曝光时间。

第34步、等待检测模块采集完用于计算得到当前帧深度图像的全部原始图像，并输出计算出的下一帧深度图像的原始图像的曝光时间。

图9为本发明实施例提供的深度图像获取方法的一种原理结构示意图，在处理器中保留用于获取深度图像的深度转换和识别模块(软件)外，增加了用于调整曝光时间的调整模块(软件)，该模块在得到当前帧深度图像的两帧原始图像(此处只是举例说明，数量不限)后，利用这两帧原始图像即可计算出目标物体的幅度值，然后通过幅度值和当前曝光时间即可推算出下一帧深度图像的原始图像的曝光时间。

图10为本发明实施例提供的深度图像获取方法的一种工作时序示意图，在进入已从采集到的原始图像中检测到目标物体的采集阶段后，采集四帧原始图像(dcs0、dcs1、dcs2和dcs3)，并计算得到深度图像帧1。与此同时，在采集完两帧原始图像(dcs0和dcs1)后，调整模块(软件)就开始根据这两帧原始图像计算幅度值，并根据计算出来的幅度值和当前的曝光时间，计算下一帧深度图像的原始图像的曝光时间(也即预测曝光时间)。对下一帧深度图像的原始图像的曝光时间的计算和对剩下两帧原始图像的采集可以同时完成，因此不会降低深度图像的帧率。

请参阅图11，图11是本发明实施例提供的一种深度图像获取装置的结构示意图，该装置包括：

图像获取模块51，用于在已从采集到的原始图像中检测到目标物体之后的采集阶段，获取用于生成当前帧深度图像的至少一帧原始图像；

曝光时间调节模块52，用于根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间。

本发明实施例中，可以根据用于生成当前帧深度图像的原始图像，快速计算并预测出采集下一帧深度图像的原始图像所需的曝光时间，从而避免了对运动的目标物体进行检测时，近距离(目标物体靠近检测模块)曝光过度、远距离(目标物体原理检测模块)曝光不足的问题。并且，实施本发明技术方案时，不会降低深度图像的帧率，也不需要额外增加硬件模块，成本低。本发明实施例可以应用于继鼠标、键盘和触屏之后的一种新的人机交互技术——手势交互。

可选的，所述曝光时间调节模块52包括：

幅度值获取单元，用于获取所述至少一帧原始图像中的所述目标物体的幅度值；

调节单元，用于根据所述目标物体的幅度值和所述至少一帧原始图像的曝光时间，确定所述用于生成下一帧深度图像的原始图像的曝光时间。

可选的，所述目标物体的幅度值为所述至少一帧原始图像中的目标物体的幅度均值。

可选的，所述幅度值获取单元包括：

获取子单元，用于获取所述至少一帧原始图像的幅度值；

确定子单元，用于对所述至少一帧原始图像的幅度值进行分割，确定所述目标物体。

可选的，所述装置还包括：

目标检测图像采集模块，用于在需要从采集到的原始图像中检测所述目标物体的初始化阶段，基于预设帧率和预设曝光时间采集原始图像；

检测模块，用于根据采集到的原始图像检测所述目标物体；

曝光时间确定模块，用于在检测到所述目标物体的情况下，将所述预设曝光时间作为所述采集阶段的用于生成第一帧深度图像的原始图像的曝光时间；在检测不到所述目标物体的情况下，调节所述预设曝光时间，直至根据所述采集到的原始图像检测到所述目标物体，将调节后的所述预设曝光时间作为所述采集阶段开始后，用于生成第一帧深度图像的原始图像的曝光时间。

可选的，所述至少一帧原始图像为至少两帧。

可选的，所述至少一帧原始图像为用于生成当前帧深度图像的部分图像。

本发明实施例是与上述方法实施例对应的产品实施例，故在此不再赘述，详细请参阅上述实施例。

请参阅图12，图12是本发明实施例提供的另一种深度图像获取装置的结构示意图，该深度图像获取装置6包括处理器61、存储器62及存储在所述存储器62上并可在所述处理器61上运行的计算机程序；所述处理器61执行所述计算机程序时实现如下步骤：

在已从采集到的原始图像中检测到目标物体之后的采集阶段，获取用于生成当前帧深度图像的至少一帧原始图像；

根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间。

本发明实施例中，可以根据用于生成当前帧深度图像的原始图像，快速计算并预测出采集下一帧深度图像的原始图像所需的曝光时间，从而避免了对运动的目标物体进行检测时，近距离(目标物体靠近检测模块)曝光过度、远距离(目标物体原理检测模块)曝光不足的问题。并且，实施本发明技术方案时，不会降低深度图像的帧率，也不需要额外增加硬件模块，成本低。本发明实施例可以应用于继鼠标、键盘和触屏之后的一种新的人机交互技术——手势交互。

可选的，所述处理器61执行所述计算机程序时还可实现如下步骤：

所述根据所述至少一帧原始图像及其曝光时间，确定用于生成下一帧深度图像的原始图像的曝光时间的步骤包括：

获取所述至少一帧原始图像中的所述目标物体的幅度值；

根据所述目标物体的幅度值和所述至少一帧原始图像的曝光时间，确定所述用于生成下一帧深度图像的原始图像的曝光时间。

可选的，所述目标物体的幅度值为所述至少一帧原始图像中的目标物体的幅度均值。

可选的，所述处理器61执行所述计算机程序时还可实现如下步骤：

所述获取所述至少一帧原始图像中的所述目标物体的幅度值的步骤包括：

获取所述至少一帧原始图像的幅度值；

对所述至少一帧原始图像的幅度值进行分割，确定所述目标物体。

可选的，所述处理器61执行所述计算机程序时还可实现如下步骤：

所述获取用于生成当前帧深度图像的至少一帧原始图像的步骤之前，还包括：

在需要从采集到的原始图像中检测所述目标物体的初始化阶段，基于预设帧率和预设曝光时间采集原始图像；

根据采集到的原始图像检测所述目标物体；

在检测到所述目标物体的情况下，将所述预设曝光时间作为所述采集阶段的用于生成第一帧深度图像的原始图像的曝光时间；

在检测不到所述目标物体的情况下，调节所述预设曝光时间，直至根据所述采集到的原始图像检测到所述目标物体，将调节后的所述预设曝光时间作为所述采集阶段开始后，用于生成第一帧深度图像的原始图像的曝光时间。

可选的，所述至少一帧原始图像为至少两帧。

可选的，所述至少一帧原始图像为用于生成当前帧深度图像的部分图像。

本发明实施例的具体工作过程与上述方法实施例中的一致，故在此不再赘述，详细请参阅上述实施例中方法步骤的说明。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中任一种深度图像获取方法中的步骤。详细请参阅以上对应实施例中方法步骤的说明。

上述计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。