一种提高深度图像帧率的方法和深度相机组与流程

本发明涉及图像处理技术领域，具体涉及一种提高深度图像帧率的方法和深度相机组。

背景技术：

目前，深度相机在各行各业都扮演着越来越重要的角色，通过深度相机获取到景深图像，可以实现体感互动，手势交互，物体扫描等，提高了传统行业的生产效率和用户体验。深度相机根据其工作原理可以分为三种：tof(timeofflight)深度相机、rgb-d双目相机、结构光深度相机，不论哪种深度相机，帧率都是直接影响深度图像延迟的一个重要指标，不同类别的深度相机的帧率有所不同，但是现有深度相机的帧率较低，不能满足某些应用场景比如体感互动等需要快速响应的场合的应用需求，亟待改善。

技术实现要素：

本发明提供了一种提高深度图像帧率的方法和深度相机组，通过多深度相机交替曝光采集深度图像后合并的方式来提高输出的深度图像帧率，满足应用需求，优化用户体验。

根据本申请的一个方面，提供了一种提高深度图像帧率方法，包括：

控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；

所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；

根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。根据本申请的另一个方面，提供了一种深度相机组，包括：光源，图像处理器，第一深度相机和第二深度相机，

所述光源，用于接收发光时间段控制信号，根据所述发光时间段控制信号发射激光；

所述第一深度相机，用于接收第一同步信号并根据所述第一同步信号进行曝光，在曝光时间段内采集深度图像；

所述第二深度相机，用于接收第二同步信号并根据所述第二同步信号进行曝光，在曝光时间段内采集深度图像，其中所述第一同步信号和所述第二同步信号分别根据所述光源的发光时间段生成；

所述图像处理器，用于接收所述第一同步信号、所述第二同步信号，并根据所述第一同步信号、所述第二同步信号对所述深度图像进行合并，得到合并后的深度图像。

应用本发明实施例的提高深度图像帧率方法和深度相机组，通过根据光源的发光时间段生成同步信号，交替向各深度相机发送同步信号，使得深度相机根据同步信号采集得到深度图像，而后根据同步信号对采集的深度图像进行合并，得到合并后的深度图像。由此，通过同步信号控制各深度相机在光源的不同发光时间段内交替工作采集深度图像，将深度图像合并提高了深度图像的帧率，降低了图像延迟并满足了实际应用需求，优化了用户体验。

附图说明

图1是本发明一个实施例的提高深度图像帧率方法的流程图；

图2是本发明一个实施例的提高深度图像帧率的深度相机组的框图；

图3是本发明一个实施例的一帧深度图像耗费时间的示意图；

图4是本发明一个实施例的深度相机的工作阶段示意图；

图5是本发明一个实施例的根据同步信号交替控制深度相机工作的示意图；

图6是本发明一个实施例的根据同步信号进行图像合并的示意图；

图7是本发明一个实施例的深度相机组的框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的设计构思在于：针对现有技术中深度相机的帧率较低，不能满足某些应用场景下的适用需求的技术问题，提出一种利用多相机并行交替工作的技术方案来提高输出的深度图像的帧率，降低图像延迟。

图1是本发明一个实施例的深度图像帧率提高方法的流程图，参见图1，本实施例的深度图像帧率提高方法，包括下列步骤：

步骤s101，控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机，所述深度相机组包括至少两个深度相机；

步骤s102，所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像；

步骤s103，根据所述同步信号对所述深度图像进行合并，得到合并后的深度图像。

由图1所示可知，本实施例的提高深度图像帧率的方法，通过控制光源的发光时间，在不同的发光时间段内生成同步信号，向至少两个深度相机中的各个深度相机发送同步信号，使得深度相机根据同步信号并行工作采集得到深度图像，而后根据同步信号对采集的深度图像进行合并得到合并后的深度图像，与现有技术中每个深度相机串行工作输出深度图像的方式相比，本实施例的深度图像的输出帧率可以提高两倍以上，满足了应用需求，降低了图像延迟从而改善了用户体验。

下面以深度相机的数量为2个，深度相机的类别为tof相机为例，对图1所示方法的实现步骤进行说明。

具体的，深度相机组中包括第一tof深度相机和第二tof深度相机，前述步骤中控制光源的发光时间段并根据所述发光时间段生成同步信号，将所述同步信号发送给深度相机组中的各深度相机包括：根据所述发光时间段生成第一同步信号和第二同步信号，将所述第一同步信号发送给第一tof深度相机，将所述第二同步信号发送给第二tof深度相机，所述深度相机，根据所述同步信号进行曝光，在曝光时间段内采集深度图像包括：所述第一tof深度相机，根据所述第一同步信号进行曝光，在第一曝光时间段内采集得到第一深度图像，所述第二tof深度相机，根据所述第二同步信号进行曝光，在第二曝光时间段内采集得到第二深度图像。

需要说明的是，本实施例的深度相机的数量不限于2个，也可以是3个、4个或者更多，深度相机的类别不限于tof相机，也可以是结构光深度相机等。两个深度相机的帧率可以相同也可以不同，对此不做限制。当深度相机为两个帧率相同的tof深度相机时，由于tof相机本身具有输出深度图像的功能，而根据本发明实施例的方案，各深度相机不直接输出深度图像而是将采集的深度图像输出给处理器由处理进行处理、合并后再输出，对外部上位机而言，本实施例输出的深度图像的帧率比单个深度相机输出的帧率提高了两倍以上，从而显著降低了图像的延迟。

如前述，帧率是直接影响深度图像延迟的一个重要指标，延迟的最大值为1/f，这里的f代表帧率，比如，当帧率f等于30fps时，深度图像的延迟可能为33ms，目前，很多深度相机的帧率基本都是30fps，采用本申请的技术方案后可以将深度图像的输出帧率提高到60fps。

为了便于理解，这里对深度相机的工作过程和工作阶段进行简要说明。tof深度相机一般包括图像传感器和图像处理芯片，图像传感器用于采集物体反射光获得深度数据，图像处理芯片用于对深度数据进行处理转换为数字信号并控制将数字信号传输至外部的接收端。

基于此，本实施例的第一tof深度相机将第一tof深度相机的图像传感器的曝光时间段设置成与第一同步信号指示的发光时间段同步，通过图像传感器接收由采集物体反射的光能量转换成的数字信号，根据数字信号获得第一深度图像，并在第一传输时间段内将第一深度图像传输至处理器；第二tof深度相机将第二tof深度相机的图像传感器的曝光时间段设置为与第二同步信号指示的发光时间段同步后，通过图像传感器(这里是第二tof深度相机的图像传感器)接收由采集物体反射的光能量转换成的数字信号，根据数字信号获得第二深度图像，并在第二传输时间段内将第二深度图像传输至处理器。

也就是说，本实施例的tof深度相机接收微控制器的同步信号，并控制图像传感器的曝光时间段与同步信号指示的光源的发光时间段同步，采集获得深度图像，在获得深度图像后，tof深度相机将深度图像输出给处理器以做进一步的处理，这里的进一步处理例如是由处理器接收所述第一tof深度相机在所述第一传输时间段内传输的所述第一深度图像，接收所述第二tof深度相机在所述第二传输时间段内传输的所述第二深度图像，根据微控制器发送的第一同步信号和第二同步信号，将所述第一深度图像与所述第二深度图像合并作为连续的两帧深度图像，得到合并后的深度图像，其中，第一传输时间段与第二曝光时间段相等，第一曝光时间段与第二传输时间段相等。处理器将合并后的深度图像输出供后续使用。

由此，根据微控制器的同步信号，处理器确定深度图像中每一帧的起始位置，将原来单个深度相机直接输出深度图像修改为基于两个深度相机交替采集的深度图像合并后输出深度图像，显著提高了深度图像的帧率，满足了应用需求。

与前述提高深度图像帧率方法同属于一个技术构思，本发明实施例还提供了一种提高深度图像帧率的系统，图2是本发明一个实施例的提高深度图像帧率的系统的框图，参见图2，本实施例的提高深度图像帧率的系统包括：

微控制器(图2中示意的mcu)，与所述微控制器连接的深度相机组，深度相机组包括至少两个深度相机(图2中示意的第一tof深度相机、第二tof深度相机)，与深度相机组以及微控制器均连接的处理器(图2中示意的fpga)；所述微控制器，用于控制光源的发光时间段，并根据所述发光时间段生成同步信号将所述同步信号发送给所述深度相机；深度相机，用于根据所述同步信号进行曝光，在曝光时间段内采集深度图像，并将采集的所述深度图像传输至所述处理器；处理器，用于根据来自所述微控制器的所述同步信号对传输的所述深度图像进行合并，得到合并后的深度图像。

参见图2，本实施例中深度相机包括第一tof深度相机和第二tof深度相机，深度相机为现有的，两个深度相机都各自具备完整的深度图像输出功能。深度相机一般由图像传感器、图像传感器专用镜头以及图像处理芯片组成。参见图2，本实施例的微控制器mcu用于给第一tof深度相机和第二tof深度相机提供同步信号的信号源，使得深度相机按照可控制的工作频率和时间来工作。图2中的fpga(fieldprogrammablegatearray，即现场可编程门阵列)接收微控制器mcu发送的同步信号，同时接收第一tof深度相机和第二tof深度相机发送的深度图像信号，然后把两个深度相机采集的深度图像进行合并，最终输出一个合并之后的高帧率的深度图像给上位机。这里的fpga是作为专用集成电路(asic)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

图2中示意的微控制器mcu包括定时器和gpio(generalpurposeinputoutput，通用输入/输出)接口，通过gpio接口与图2中的用于发射激光的tof光源连接，这里的tof光源的主要作用是为深度相机提供工作所必须的光源，即，给深度相机的图像传感器提供补光效果来拍摄外部的物体，之所以控制独立于深度相机的光源发光是因为tof是一种基于主动发光来测距的技术。tof光源的实现方式例如是基于垂直腔面发射激光器vcsel(verticalcavitysurfaceemittinglaser)或者发光二极管led的激光器。

本实施例的第一tof深度相机和第二tof深度相机的结构相同，均包括图像传感器与图像处理芯片。需要说明的是，本实施例的第一tof深度相机和第二tof深度相机可以采用现有的深度相机，不同之处在于深度相机的触发方式，即，相机的曝光触发方式不同。现有每个深度相机单独控制自身光源发光，并将相机的曝光时间与光源的发光时间同步，本实施例中，是由相机外部的微控制器mcu来控制tof光源的发光时间，并根据发光时间段生成相应的同步信号同时输出同步信号给第一tof深度相机或者第二tof深度相机，使两个深度相机根据同步信号交替工作，进而提高深度图像的帧率。

如前述，深度相机中包括图像处理芯片，结合图3可知，tof深度相机的工作过程分为两个主要阶段，第一阶段是：图像处理芯片控制图像传感器的曝光时间，让它可以和光源的发光时间同步，图像传感器采集到环境中物体反射的光能量，然后转换成数字信号，发给图像处理芯片。第二阶段是：图像处理芯片接收图像传感器传输过来的光能量并计算出深度数据，然后传输给外部接收集成电路比如图3中的fpga。

需要说明的是：深度相机的工作频率是由图像处理芯片的上述两个阶段的耗时决定。如图4所示，深度相机的每一帧图像的产生所耗费的时间都由图像传感器的曝光时间t1以及深度数据传输时间t2共同决定。这里的深度数据传输时间是指深度图像从深度相机输出到外部芯片，比如本实施例中的fpga所耗费的时间长度。t1与t2之和决定了深度相机的帧率，即，帧率f＝1/(t1+t2)。比如，当深度相机用于曝光的时间(这里的曝光时间不仅包括曝光耗费的时间而且包括为了控制曝光而进行计算所耗费的时间)为15ms(毫秒)，用于深度数据传输到外部设备的时间为18ms，那么一个采样周期内深度相机总计用时33ms，由此可得，深度相机的帧率为1s/33ms＝30(单位，fps)。

为了提高帧率，本实施例利用两个深度相机，并利用独立于相机之外的微控制器mcu产生同步信号来控制两个深度相机的工作。

具体的，微控制器mcu根据发光时间段分别生成第一同步信号和第二同步信号，将所述第一同步信号发送给第一tof深度相机，将所述第二同步信号发送给第二tof深度相机，第一tof深度相机根据所述第一同步信号进行曝光，在第一曝光时间段内采集得到第一深度图像，在第一传输时间段内将所述第一深度图像传输至处理器；第二tof深度相机根据所述第二同步信号进行曝光，在第二曝光时间段内采集得到第二深度图像，在第二传输时间段内将所述第二深度图像传输至处理器。处理器，如图2中的fpga，对第一深度图像和第二深度图像根据同步信号进行合并，得到合并后的深度图像用于输出。

这里第一tof深度相机，具体通过将第一tof深度相机的图像传感器的曝光时间段设置成与所述第一同步信号指示的发光时间段同步后，通过图像传感器接收物体反射的光能量，将光能量转换成数字信号，根据数字信号获得第一深度图像，并在第一传输时间段内将所述第一深度图像传输至处理器。

同样的，第二tof深度相机具体用于将第二tof深度相机的图像传感器的曝光时间段设置成与所述第二同步信号指示的发光时间段同步后，通过所述图像传感器接收物体反射的光能量，将光能量转换成数字信号，根据数字信号获得第二深度图像，并在第二传输时间段内将所述第二深度图像传输至处理器。

一个实施例中，微控制器mcu通过定时器产生同步信号并经gpio(通用输入/输出接口)控制光源的发光时间段。也就是说，mcu为深度相机a和深度相机b提供二者工作所必须的同步信号，该同步信号通过mcu内部的定时器产生，又由于深度相机的工作根据外界输入的同步信号的频率来进行。

参见图4，在这种工作模式下，mcu控制深度相机每一帧的起始位置，图4中示意了两帧图像的产生过程，图4上方示意的方波信号为mcu产生并输出给深度相机的同步信号，图4下方示意的是深度相机根据每个同步信号开始工作，即开始曝光、传输数据从而完成一帧图像的采集和传输。

由于本实施例的这种主动光式的深度相机必须采用专用光源才可以工作，所以当两个深度相机一起工作时容易出现光源相互干扰的情况。

对此，本实施例利用微控制器生成同步信号来避免光源干扰，下面进行具体说明。如前述，深度相机的两个工作阶段所耗费的时间分别为t1和t2，这里利用mcu通过控制两个相机的工作时间，使其交替工作，从而避免两个相机之间的相互干扰。如图5所示，在一个采样时刻，mcu控制tof光源发光并产生同步信号1，将同步信号1发送给深度相机a，深度相机根据同步信号1开始控制图像传感器曝光，采集外部物体反射的光能量得到深度数据，即得到一帧，将深度数据传输给fpga。在下一个采样时刻，mcu控制tof光源发光并产生同步信号2，将同步信号2发送给深度相机b，深度相机根据同步信号2开始控制图像传感器曝光，采集外部物体反射的光能量得到深度数据，即得到一帧，将深度数据传输给fpga。

基于此本实施例在tof光源的一个发光时间段内只有一个深度相机工作，相邻的两个发光时间段内，两个深度相机分别工作，避免了光源干扰。

本实施例中，fpga接收第一tof深度相机在第一传输时间段内传输的第一深度图像，接收第二tof深度相机在第二传输时间段内传输的所述第二深度图像，根据微控制器发送的第一同步信号、第二同步信号，将第一深度图像与第二深度图像合并作为连续的两帧深度图像，得到合并后的深度图像，其中，第一传输时间段与第二曝光时间段相等，第一曝光时间段与第二传输时间段相等。例如，两个深度相机采集得到深度图像后，将采集的深度图像输出给fpga，fpga同时接收mcu的同步信号。fpga根据同步信号对两个深度相机传输过来的深度图像进行合并。

如图6所示，经过mcu信号同步过之后的深度图像在时间上是交叉进入到fpga的(即图6中深度相机a的一帧深度数据传输到fpga时，深度相机b处于图像传感器的曝光时间段，深度相机b的一帧深度数据传输到fpga时，深度相机a处于图像传感器的曝光时间段)，所以fpga可以把交叉的图像信号合并(即，将深度相机a在深度数据传输时间内传输的深度图像和深度相机b在深度数据传输时间内传输的深度图像的深度图像进行合并)，从而输出一个帧率是单个深度相机帧率两倍的深度图像信号到上位机。

本发明实施例还提供了一种深度相机组，图7是本发明一个实施例的深度相机组的框图，参见图7，本实施例的深度相机组700包括：光源701，图像处理器702，第一深度相机703和第二深度相机704，

所述光源701，用于接收发光时间段控制信号，根据所述发光时间段控制信号发射激光；

所述第一深度相机703，用于接收第一同步信号并根据所述第一同步信号进行曝光，在曝光时间段内采集深度图像；

所述第二深度相机704，用于接收第二同步信号并根据所述第二同步信号进行曝光，在曝光时间段内采集深度图像，其中所述第一同步信号和所述第二同步信号分别根据所述光源701的发光时间段生成；

所述图像处理器702，用于接收所述第一同步信号、所述第二同步信号，并根据所述第一同步信号、所述第二同步信号对所述深度图像进行合并，得到合并后的深度图像。

在本发明的一个实施例中，图像处理器702具体用于根据所述第一同步信号、所述第二同步信号、第一传输时间段内传输的第一深度图像以及第二传输时间段内传输的第二深度图像，将所述第一深度图像与所述第二深度图像合并作为连续的两帧深度图像，得到合并后的深度图像，其中，所述第一传输时间段与所述第二曝光时间段相等，所述第一曝光时间段与所述第二传输时间段相等，所述第一深度图像是所述第一深度相机传输的，所述第二深度图像是所述第二深度相机传输的。

在本发明的一个实施例中，第一深度相机703为第一tof深度相机，第二深度相机704为第二tof深度相机，所述第一tof深度相机，将所述第一tof深度相机的图像传感器的曝光时间段设置为与所述第一同步信号指示的发光时间段同步后，通过所述图像传感器接收物体反射的光能量并将所述光能量转换成数字信号，根据所述数字信号获得第一深度图像；所述第二tof深度相机，将所述第二tof深度相机的图像传感器的曝光时间段设置为与所述第二同步信号指示的发光时间段同步后，通过所述图像传感器接收物体反射的光能量并将所述光能量转换成数字信号，根据所述数字信号获得第二深度图像。

在本发明的一个实施例中，光源701为垂直腔面发射激光器vcsel或led激光器。

综上所述，本发明实施例的提高深度图像帧率方法和深度相机组，利用多个深度相机交替采集深度图像，并合并采集的深度图像后输出的方式提高了深度数据的帧率，满足了体感交互、手势交互等快速响应场景的需求，提高了效率，降低了系统延迟，优化了用户体验。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。