深度图生成装置、方法和非短暂性计算机可读介质与流程

本发明涉及三维图像技术，尤其涉及深度图生成装置、方法和非短暂性计算机可读介质。

背景技术：

双目识别系统利用双摄像头同时对物体拍照，根据同一物体在左右摄像头所采集的图像上的位置关系和摄像头间距计算出物体的三维坐标。

一些双目识别系统将双目摄像头的间距设计为12厘米或6厘米，用于体感识别。一些双目识别系统将双目摄像头的间距设计为3厘米，用于手势识别。然而，现有的双目识别系统只能用于单一的工作模式。

本发明披露的方法和系统可用来解决上述一个或多个问题，以及其他问题。

技术实现要素：

本发明的一个方面提供了一种深度图生成方法，包括：包含至少三个摄像头的相机模组，工作模式判定模块和深度图生成模块。所述相机模组包括在同一轴线上依次排列的第一摄像头、第二摄像头和第三摄像头。所述工作模式判定模块可用于确定相机模组的工作模式。所述工作模式包括用非相邻摄像头采集图像的第一模式和用相邻摄像头采集图像的第二模式。深度图生成模块用于根据所确定的工作模式生成深度图。

进一步地，所述工作模式判定模块可包括传感器，用于检测所述相机模组的当前方向。其中，所述传感器为运动传感器、加速度传感器、方向传感器或陀螺仪中的任意一种。

进一步地，所述工作模式判定模块可包括深度图预生成单元，用于在所述第一模式下生成第一深度图和在所述第二模式下生成第二深度图；识别单元，用于从所述第一深度图和所述第二深度图中提取直方图信息，根据所述直方图信息识别一个有效目标所属的深度范围，并根据所述的有效目标所属的深度范围在所述第一模式和所述第二模式中做出选择。

所述直方图信息用于表达在所述第一深度图和所述第二深度图中每个深度值所对应的像素个数的分布情况。

在一个实施例中，所述识别单元还可用于将所述第一深度图的亮度值和第二深度图的亮度值转换为深度值，获取所述第一深度图和所述第二深度图转换后的所述深度值对应的像素个数，并根据所述第一深度图和所述第二深度图转换后的所述深度值对应的所述像素个数，获取涵盖两个深度图深度范围的直方图，其中所述直方图的横坐标代表深度值。

在一个实施例中，所述识别单元还可用于将所述第二深度图的亮度值转换为一深度值组；获取所述深度值组在所述第一深度图中对应的亮度值；确定所述第二深度图的亮度值和所述深度值组在所述第一深度图中对应的亮度值之间的映射关系；根据所述映射关系，以及所述第二深度图的与所述第一深度图亮度值对应的像素个数，获取涵盖两个深度图的深度范围的直方图。其中所述直方图的横坐标代表所述第一深度图的亮度值。

进一步地，所述识别单元还可用于：当所述直方图中位于第一深度范围内的一个凸起的面积占比值大于第一阈值时，确定所述有效目标位于第一深度范围；当所述直方图中位于第二深度范围内的一个凸起的面积占比值大于第二阈值时，确定所述有效目标位于第二深度范围。

本发明的另一个方面提供了一种深度图生成方法。所述方法包括提供包含至少三个摄像头的相机模组，包括在同一轴线上依次排列的第一摄像头、第二摄像头和第三摄像头；判定相机模组的工作模式，其中所述工作模式包括用非相邻摄像头采集图像的第一模式和用相邻摄像头采集图像的第二模式；并根据所确定的工作模式，生成所述相机模组采集的图像的深度图。

确定所述相机模组的工作模式进一步包括：当所述传感器检测到所述相机模组处于竖直状态时，确定所述相机模组的工作模式为所述第一模式；当所述传感器检测到所述相机模组处于水平状态时，确定所述相机模组的工作模式为所述第二模式。

所述传感器为运动传感器、加速度传感器、方向传感器或陀螺仪。

确定所述相机模组的工作模式进一步包括：在所述第一模式下生成第一深度图和在所述第二模式下生成第二深度图；从所述第一深度图和所述第二深度图中提取直方图信息；根据所述直方图信息识别有效目标所属的深度范围；并根据所述有效目标所属的深度范围在所述第一模式和所述第二模式中做出选择。

所述直方图信息用于表达在所述第一深度图和所述第二深度图中每个深度值所对应的像素个数的分布情况。

在一个实施例中，从所述第一深度图和所述第二深度图中提取直方图信息进一步包括：将所述第一深度图的亮度值和第二深度图的亮度值转换为深度值；获取所述第一深度图和所述第二深度图转换后的所述深度值对应的像素个数；根据所述第一深度图和所述第二深度图转换后的所述深度值对应的所述像素个数，获取涵盖两个深度图的深度范围的直方图。其中所述直方图的横坐标代表深度值。

在一个实施例中，从所述第一深度图和所述第二深度图中提取直方图信息进一步包括：将所述第二深度图的亮度值转换为一深度值组；获取所述深度值组在所述第一深度图中对应的亮度值；确定所述第二深度图的亮度值和所述深度值组在所述第一深度图中对应的亮度值之间的映射关系；根据所述映射关系，以及所述第二深度图的与所述第一深度图亮度值对应的像素个数，获取涵盖两个深度图的深度范围的直方图，其中所述直方图的横坐标代表所述第一深度图的亮度值。

确定所述相机模组的工作模式进一步包括：当所述直方图中位于第一深度范围内的一个凸起的面积占比值大于第一阈值时，确定所述有效目标位于第一深度范围；当所述直方图中位于第二深度范围内的一个凸起的面积占比值大于第二阈值时，确定所述有效目标位于第二深度范围。

所述深度图生成方法还包括：在所述第一模式，根据生成的所述深度图进行体感识别；在所述第二模式，根据生成的所述深度图进行手势识别。

本发明的另一个方面提供了一种非短暂性的计算机可读介质，用于存储计算机程序，当处理器执行所述计算机程序时，实现一种深度图生成方法，所述方法包括：提供包含至少三个摄像头的相机模组，包括在同一轴线上依次排列的第一摄像头、第二摄像头和第三摄像头；判定相机模组的工作模式，所述工作模式包括用非相邻摄像头采集图像的第一模式和用相邻摄像头采集图像的第二模式；以及根据所确定的工作模式，生成所述相机模组采集的图像的深度图。

确定所述相机模组的工作模式进一步包括：在所述第一模式下生成第一深度图和在所述第二模式下生成第二深度图；从所述第一深度图和所述第二深度图中提取直方图信息；根据所述直方图信息识别一个有效目标所属的深度范围；以及根据所述的有效目标的深度范围在所述第一模式和所述第二模式中做出选择。

附图说明

以下附图仅仅是为了示意的目的根据所披露的实施例而提供的例子，并不限制本发明的范围。

图1示出了披露的实施例的示意应用环境；

图2示出了基于本披露的实施例的计算系统；

图3示出了基于本披露的实施例的深度图生成装置的正面示意图；

图4示出了基于本披露的实施例的深度图生成装置的背面示意图；

图5示出了基于本披露的实施例的深度图生成装置的结构图；

图6示出了基于本披露的实施例的深度图生成装置的一种工作模式；

图7示出了基于本披露的实施例的深度图生成装置的视场(field of view，FOV)；

图8示出了基于本披露的实施例的深度图生成装置的生成的示意深度图；

图9示出了基于本披露的实施例的深度图生成装置的另一种工作模式；

图10示出了基于本披露的实施例的深度图生成装置的另一种FOV区域；

图11示出了基于本披露的实施例的深度图生成方法的示意流程图；

图12示出了基于本披露的实施例的由深度图提取的示意直方图；

图13示出了基于本披露的实施例的自动确定工作模式的示意流程图。

具体实施方式

下面将详细描述如附图所示的本发明的示意实施例。在可能的情况下，附图中的各个部分提到的相同或相似的部分将采用相同的参考标记。显然地，所描述的实施例仅为本申请的几个具体实施例。对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

图1示出了披露的实施例的示意应用环境。如图1所示，环境100可以包括电视(TV)102，遥控器104，服务器106，用户108，和网络110。基于图1的说明可以省略某些装置和加入其他装置以更好地描述的实施例。

电视102可包括任何适当类型的显示装置，诸如等离子电视、液晶(Liquid Crystal Display,LCD)电视、触摸屏电视、投影电视、智能电视等。电视102还可以包括其他计算系统，诸如个人计算机(PC)、平板电脑、移动计算机或智能电话等。此外，电视机102可实现三维显示功能。电视102可以包含任何适当类型的显示配置来创建立体显示效果，例如快门眼镜，偏振眼镜，补色立体眼镜等。在某些实施例中，电视102可以实现裸眼三维显示技术。

遥控器104可包括任何适当类型的能对电视102进行远程控制并通信的计算设备，诸如定制的电视遥控器，通用遥控器，平板计算机，智能电话，或其他任何能够支持执行远程控制功能的计算设备。遥控器104还可以包括其他类型的设备，例如基于运动传感器的遥控器，基于深度相机增强功能的遥控器，以及简单的输入/输出设备，如键盘，鼠标、语音输入设备等。

遥控器104可以包括任何适当类型的传感器，用于检测用户108的输入信息以及与电视机102进行通信，例如体温传感器、运动传感器、麦克风、照相机等。遥控器104可以内嵌在电视102中，也可与电视102分离。在一个实施例中，遥控器104可以包括立体摄像机，用于捕获3D场景深度信息并跟踪用户108的动作和手势。遥控器104还可以包括一个或多个控制模块，可用于根据采集图像的深度信息来转换工作模式。

用户108可以使用遥控器104与电视102进行交互，观看各种节目和执行其他感兴趣的活动。用户可以使用手势或身体动作来控制电视102。用户108可以是单个用户或多个用户，例如一起观看电视节目的家庭成员。

服务器106可以包括任何适当类型的一个或多个服务器计算机，用于提供视频内容给用户108。服务器106也可辅助电视102和遥控器104的通信、数据存储和数据处理等。电视102、遥控器104和服务器106可以通过一个或多个通信网络110进行通信，如电缆网络、电话网络、无线网络、和/或卫星网络等。网络110可包括任何数量的通信网络和服务器，用于为服务器106提供各种媒体数据，如3D影音流和立体图像等。

电视102、遥控器104和/或服务器106可在任何适当的计算电路平台实现。在运行时，所述计算电路平台可以获取立体图像并生成基于所述立体图像的深度图。生成的深度图可用于多种应用，比如体感识别和手势识别。图2示出了可用于实现电视102、遥控器104和/或服务器106的示例性计算系统200的框图。

如图2所示，计算系统200可以包括处理器202、存储介质204、显示器206、通信模块208、数据库210和外围设备212。基于图2的说明可以省略某些装置和加入其他装置以更好地描述的实施例。

处理器202可以包括任何合适的单个或多个处理器。处理器202可以包括多个内核用于多线程或并行处理。处理器202可以执行计算机程序指令序列以进行各种处理。存储介质204可以包括存储器模块，诸如ROM、RAM、闪存存储器模块、和大规模存储器如CD-ROM和硬盘等。

存储介质204可以存储计算机程序，用于在被处理器202执行时实现各种功能，例如呈现图形用户界面、实现脸部识别或手势识别处理等。当处理器202执行存储介质204的计算指令时，可用于生成深度图。所述计算机指令可以被组织成模块来实施本发明公开的各种计算与功能。

通信模块208可以包括网络接口设备，用于通过通信网络建立连接。数据库210可以包括一个或多个数据库，用于存储数据和和对所存储的数据进行各种操作，如数据库检索。数据库210可以存储图像、视频、用户108的个性化信息如首选项设置、最喜爱的节目、用户档案等、以及其他适当的内容。

显示206可为用户或电视102的用户提供信息。显示206可包括任何适当类型的计算机显示装置或电子显示设备诸如基于CRT或LCD装置。外围设备212可包括各种传感器和其它I/O设备，如身体传感器、麦克风、相机模组、RGB摄像机、红外摄像机、运动传感器(如加速计、陀螺仪，重力传感器)、环境传感器(如环境光传感器、温度传感器和湿度传感器)、位置传感器(如距离感应器、方向传感器和磁力计)等。

本发明提供了一种深度图生成装置和方法。本文所述的立体图像是指由相机模组采集的图像。所述相机模组可包含多个摄像头(或镜头)，用于捕获图像。在这些摄像头中，可指定使用一对或多对摄像头。举例来说，一个相机模组可以包含三个摄像头，也就是说，这个三个摄像头可以组成三对摄像头。当相机模组拍摄一个场景时，一对摄像头可获取相应的一对图像。这对图像即包括左图像和右图像(或称为左眼视图和右眼视图)。这对左图像和右图像也可以由两个单独的相机获取。

在下文中，使用一对左相机和右相机拍摄的一对二维图像会被称为图像对。一个图像对包括描述相同场景的两幅二维图像，从水平方向稍微分离的两点获取，这两点即为左相机和右相机的位置。

为了示意性目的，本文实施例中提到的相机模组是指包含三个摄像头的相机模组。应当指出的是，类似的方法和/或装置的实施例也可以适用于其他含有多于三个镜头的相机模组和/或大于三个的独立相机。

应当注意，所述相机模组还可用于获取三维视频。一对左右相机拍摄的三维视频可以被划分成多帧。每帧可以对应于一对左图像和右图像。

图3示出了基于本披露的实施例的深度图生成装置的正面示意图。如图3所示，所披露的深度图生成装置可包含具有三个摄像头的相机模组。这三个摄像头分别为：第一摄像头A、第二摄像头B和第三摄像头C。具体地，三个摄像头A、B和C在同一轴线上依次排列。

第一摄像头A和第三摄像头C之间的距离为d1。第一摄像头A和第二摄像头B之间的距离为d2。第二摄像头B放置在摄像头A和C中间的某个位置(即，d2<d1)。在一个实施例中，第二摄像头B可以放置在第一摄像头A和第三摄像头C的中点(即d1＝2xd2)。

通过这样的设置，非相邻的摄像头(如，摄像头A和摄像头C)所拍摄的图像对可包括距所述深度图生成装置较远处的数据，并且可以用于体感识别。相邻的摄像头(如，摄像头A和摄像头B，摄像头B和摄像头C)所拍摄的图像对可包括距所述深度图生成装置较近处的数据，并且可以用于手势识别。

例如，摄像头A和摄像头C之间的距离可以是6厘米，摄像头A和摄像头B之间的距离可以是3厘米。由摄像头A和摄像头B拍摄的图像对可以包含与所述深度图生成装置相距0.16米到0.75米的范围的数据。由摄像头A和摄像头C拍摄的图像对可以包含与所述深度图生成装置相距0.5米到2.0米的范围的数据。

图4示出了基于本披露的实施例的深度图生成装置的背面示意图。所述深度图生成装置的背面可装有连接部D，用于装在电视机、计算机或其他显示设备上。所述连接部D可以是一个磁条或其他合适的连接设备，比如粘贴条、夹子、可互相锁定的机械结构等。

在一些实施例中，所披露的深度图生成装置可以进一步包括一个或多个USB端口、一个或多个电池和无线充电装置。所述深度图生成装置可以与电视等显示设备通过固定线路、蓝牙、无线网络等方式连接和通信。在一些实施例中，所述深度图生成装置可以集成在游戏机或机顶盒内。

图5示出了基于本披露的实施例的深度图生成装置的结构图。如图5所示，一个示意性的深度图生成装置500可包括相机模组502、工作模式判定模块504和深度图生成模块506。基于图5的说明可能省略某些装置和加入其他装置以更好地描述相关实施例。

相机模组502可用于接收来自工作模式判定模块504的控制指令，根据所述控制指令采集图像，并将所采集的图像发送给深度图生成模块506。所述相机模组502可包含三个摄像头(如图3所示)。从工作模式判定模块504中收到的控制指令可包含用于拍摄当前场景的照相机参数。例如，控制指令可以指定所述相机模组502中的某对或某几对的摄像头进行拍摄。

例如，回到图3所示的深度图生成装置，在一个实施例中，所述工作模式判定模块504可以指示所述相机模组502使用摄像头A和C来采集当前场景的图像。在另一个实施例中，所述工作模式判定模块504可以指示所述相机模组502使用摄像头A和B来采集当前场景的图像。

在另一个实施例中，所述工作模式判定模块504可以指示所述相机模组502使用三个摄像头A、B和C来拍摄，并分别获取三幅图像IA、IB和IC。如此即可获得了三个图像对，即图像对IA和IB、图像对IA和IC、以及图像对IB和IC。

所述工作模式判定模块504可用于确定所述深度图生成装置的工作模式，并根据所确定的工作模式向所述相机模组502发送控制指令。所述深度图生成装置500可具有两种工作模式：第一模式(远距离模式)和第二模式(近距离模式)。在第一模式中，非相邻摄像头(例如，摄像头A和C)采集的图像可用来产生深度图。在第二模式中，相邻摄像头(例如，摄像头B和C，摄像头A和B)采集的图像可用来生成深度图。工作模式判定模块504将根据工作模式决定使用哪些摄像头。

深度图生成模块506用于根据所确定的工作模式处理采集的图像对，并生成深度图。物体的深度信息可通过计算该物体在一对左图像和右图像中对应匹配的像素对之间的视差值来获得。较大的视差值意味着物体更靠近相机，较小的视差值意味着物体远离相机。当已知相机参数，计算出视差值后即可找到相应的深度值。所以，视差值可以用来生成深度图。

深度图可以是灰度图像，其灰度(或亮度)代表了距离信息，而不是纹理信息。左右图像对中的一个图像(如左图像)可以用作基础图来生成深度图。每个像素的坐标可根据深度值来分配亮度值(灰度值)。生成的深度图和所述基础图具有相同的视图。

有效测量范围是指从可探测的最小距离到测量分辨率达到预设阈值的距离间的范围。当深度值超过阈值后，其测量分辨率可能不够高且不能从图像中提取有意义的信息。比如，利用相距3厘米的两个摄像头采集的图像所生成的深度图的有效测量范围为约0.16米至0.75米。

在一些实施例中，深度图生成模块506还可用于根据所生成的深度图和工作模式来执行各种识别任务。在一个实施例中，在远距离模式(即第一模式)下，深度图生成模块506可用来识别身体动作(即体感识别)。在一个实施例中，在近距离模式(即第二模式)下，深度图生成模块506可用来识别手势和手指动作。此外，除了动作识别，深度图生成模块506可基于深度信息执行任何适当的识别任务，诸如用于识别物体、三维扫描等任务。

所述工作模式判定模块504和所述深度图生成模块506可通过一个或多个合适的软件模块和硬件模块实现。所述软件模块和硬件模块可以和所述相机模组502集成在一起，也可以单独放置在不同于所述相机模组502的地方。比如，所述工作模式判定模块504和所述深度图生成模块506可由一个或多个处理器实现，所述处理器是和所述相机模组502搭建在一起的。在另一个例子中，所述工作模式判定模块504和所述深度图生成模块506可由一个或多个处理器实现，所述处理器可放置在与所述相机模组502连接的显示装置中。

图6示出了基于本披露的实施例的深度图生成装置的远距离工作模式。在远距离模式下，所述深度图生成装置500可以使用一对非相邻的相机来捕捉身体动作，如摄像头A和C。

如图6所示，因为所述深度图生成装置500是在远距离模式进行身体动作识别，该装置可以吸附在电视机的外框上，收集数据并判断用户的身体关节的位置变化。

图7示出了基于本披露的实施例的深度图生成装置的视场(field of view，FOV)。从摄像头延伸出的两条射线勾勒出了该摄像头所对应的FOV区域。如图7所示，当所述深度图生成装置500在远距离模式中，摄像头A和C可用于采集图像。点状区域701是摄像头A和C的FOV的交集。也就是说，所述深度图生成装置500可提取区域701中的物体的深度信息。

在一个实施例中，摄像头A和C的间距为6厘米。相应的深度范围约为距所示深度图生成装置0.5米到2米的范围。

进一步地，摄像头A为主摄像头，则生成的深度图是以摄像头A获取的RGB图像(即图像IA)为映射面(基础图)获得的。也就是说，每一帧的深度图都与图像IA相对应。在这个例子中，对于区域701中的物体，可在图像IA和摄像头C捕获的图像(即图像IC)中找到相应匹配的像素对，并计算其视差值作为深度图中的亮度值。对于在图像IA中但不在图像IC中的物体，不能找到相应匹配的像素对，所生成的深度图则不能反映其深度信息。

所以，生成的深度图的一个部分(即属于摄像头A的FOV但是不包含在区域701中的部分)是不反映深度信息的。举例来说，图8示出了基于本披露的实施例的深度图生成装置的生成的示意深度图。当摄像头A为主摄像头，白色矩形802所包含的区域是没有深度信息的。区域802所对应的是属于摄像头A的FOV但不属于摄像头C的FOV的部分。

图9示出了基于本披露的实施例的深度图生成装置的近距离工作模式。在近距离模式下，所述深度图生成装置500可水平放置在桌面上。所述深度图生成装置可以采集图像并检测用户的手势和双手十指做出的指令，使用户和显示设备进行人机交互。

在近距离模式下，所述深度图生成装置500可以使用一对相邻的摄像头来捕捉手指动作，如摄像头A和B或摄像头B和C。可选地，在一些实施例中，三个摄像头A、B和C均可用来在近距离模式下采集图像对。

图10示出了基于本披露的实施例的深度图生成装置同时使用三个摄像头A、B和C的FOV区域。这时，B可作为主摄像头。如图10所示，由摄像头A拍摄的图像(即图像IA)和摄像头B拍摄的图像(即图像IB)产生的第一深度图包含了同时在点状区域1001和格状区1003的物体的深度信息。由摄像头B拍摄的图像(即图像IB)和摄像头C拍摄的图像(即图像IC)产生的第二深度图包含了同时在点状区域1001和线状区1005的物体的深度信息。

在图8中说明过，由图像IB和IA生成的第一深度图中，在区域1005的物体的深度信息是缺失的。在一个实施例中，所示的第一深度图和所述第二深度图都是以图像IB作为基础图而生成的。所以，所述第二深度图可以与所述第一深度图融合，来补充缺失的信息。也就是说，点状区域1001，网格区域1003和内衬区域1005都包括在所述深度图生成装置500的视场里。

所以，相比常规的双目摄像头的FOV范围，所述深度图生成装置500可以具有更广泛的FOV区域，并且可以得到更多的深度信息。

回到图5，工作模式判定模块504可用于根据用户的选择或某些条件来确定工作模式。例如，当用户正在进行一个运动传感类游戏，该游戏的控制逻辑可根据不同的游戏场景通知所述工作模式判定模块504在两个操作模式之间切换。在另一示例中，用户可手动识别所需要的工作模式。

在一些实施例中，所述工作模式判定模块504可自动确定工作模式。这种方法不需要用户手动选择工作模式，因此可提高用户的体验。

在一个实施例中，所述工作模式判定模块504可包括一个或多个定向传感器，并根据来自定向传感器收集的数据自动识别工作模式。所述传感器可以是运动传感器、重力或加速度传感器、陀螺仪等。所述工作模式判定模块504可确定所述深度图生成装置500的姿态，类似于在智能手机中实现的方向感知功能。例如，当所述深度图生成装置如图9所示为水平放置(摄像头朝上)，所述工作模式判定模块504可确定所述深度图生成装置进入近距离工作模式。当所述深度图生成装置如图6所示为竖直放置(摄像头朝前)，所述工作模式判定模块504可确定所述深度图生成装置进入远距离工作模式。然后，所述工作模式判定模块504可以自动关闭一个摄像头(如摄像头B)，从而降低所述深度图生成装置500的功耗。

具体地，所述深度图生成装置500的运动传感器或其它传感器可以识别该装置的方向改变。当传感器输出给所述深度图生成装置的姿态信息为模组与水平方向夹角为基本水平(±20°)，所述工作模式判定模块504发送指令到显示设备(如TV或计算机)并将显示设备和所述深度图生成装置自动切换为近距离模式，并进行手势识别。当传感器输出给所述深度图生成装置的姿态信息为模组与水平方向夹角为悬挂或直立状态(±20°)，所述工作模式判定模块504发送指令到显示设备并将显示设备和所述深度图生成装置自动切换为远距离模式，并进行体感识别。另外，在远距离模式下，工作模式判定模块504可以关闭摄像头B并确定摄像头A为主摄像头。在近距离模式下，工作模式判定模块504可开启摄像头B，并指定摄像头B作为主摄像头。

在另一个实施例中，所述工作模式判定模块504可使用所述相机模组502采集的图像来自动确定工作模式。具体地，所述工作模式判定模块504可进一步包括深度图预生成单元5042和识别单元5044。所述深度图预生成单元5042可用于根据非相邻摄像头采集的图像(第一模式)生成第一深度图，并根据相邻摄像头采集的图像(第二模式)生成第二深度图。

所述识别单元5044用于从所述第一深度图和所述第二深度图中提取直方图信息，根据所述直方图信息识别一个有效目标所属的深度范围，并根据所述的有效目标的深度范围在所述第一模式和所述第二模式中做出选择。也就是说，当有效目标的距离属于第一深度图的范围，所述工作模式判定模块504则通知所述深度图生成模块506根据第一模式来生成深度图。当有效目标的距离属于第二深度图的范围，所述工作模式判定模块504则通知所述深度图生成模块506根据第二模式来生成深度图。

图11示出了基于本披露的实施例的生成深度图流程1100的示意流程图。所述流程1100可以由所披露的深度图生成装置500来实现，并且自动地识别所述深度图生成装置500的工作模式。所述工作模式可包括近距离模式和远距离模式。

如图11所示，所述流程可包括提供含至少三个摄像头的相机模组，包括第一摄像头、第二摄像头和第三摄像头(S1102)。第一摄像头和第三摄像头之间的距离大于第一摄像头和第二摄像头之间的距离。在一些实施例中，这三个摄像头是在水平方向依次排列。

所述第一摄像头和第三摄像头可采集第一图像对，所述第一摄像头和第二摄像头可采集第二图像对(S1104)。根据第一图像对可生成第一深度图，根据第二图像对生成第二深度图(S1106)。

当第一摄像头和第三摄像头的间距大于第一摄像头和第二摄像头的间距，第一深度图比第二深度图包含距离较远的深度信息。也就是说，第一深度图可用于远距离模式，第二深度图可用于近距离模式。

进一步地，所述深度图生成装置500还可根据有效目标是否存在其检测范围来自动判定工作模式。具体来说，当用户想要激活近距离模式，一个有效目标(例如，用户的手)将出现在第二深度图对应的有效测量范围内。当用户想要激活远距离模式，有效目标(例如，用户的身体)将出现在第一深度图对应的有效测量范围内。

提取第一深度图和第二深度图的直方图信息可用来判断有效目标是否存在(S1108)。所述深度图为灰度图。在深度图中，像素的亮度表示其到相机的距离。在一个实施例中，深度图的直方图可表示不同亮度值的像素个数分布情况。在另一个实施例中，深度图的直方图可表示不同深度值的像素个数分布情况。

图12示出了基于本披露的实施例的由深度图提取的示意直方图。图12所示的例子中，深度图是由相距6厘米的两个摄像头采集的图像生成的。如图12所示，横坐标表示亮度值(在这个例子里为0-255)，纵坐标表示像素的个数。较高的亮度值则指示该对象更接近摄像头。直方图的曲线下总面积即为深度图的像素总个数。

当所述有效目标出现在深度图的有效测量范围内时，大量像素点会聚集在一定的亮度值范围内。举例来说，当用户希望摄像头处于体感识别模式的时候，会走进摄像头A和C的FOV范围内。如图12所示，亮度值100-150范围内(约代表1.5-2.0米)聚集了很多像素点。这代表了用户正站在距离摄像头1米以外的地方，并想要激活远距离模式。在图示的直方图中，另一群像素点集聚在亮度值50-75范围。这代表了用户身后的背景所占的像素数。

所以，直方图中的一个凸起，则表示在深度图的测量范围内出现了一个有效目标。另外，当相距3厘米的摄像头采集的图像生成的深度图所对应的直方图中出现类似的凸起，则意味着用户想激活近距离模式。直方图的凸起可用曲线下的面积来量化。所述曲线下的面积可通过将凸起对应的亮度值(或深度值)范围的像素个数(Y值)依次相加得到。

回到图11，直方图信息可以从第一深度图和第二深度图提取。在一个实施例中，由第一深度图和第二深度图可获得表达像素数和深度值关系的合成直方图。所述合成直方图涵盖了两个深度图的有效测量范围。

举例来说，第一深度图的有效测量范围为0.5米到2.0米，第二深度图的有效测量范围为0.16米到0.75米，则合成的直方图包括了深度范围0.16米到2.0米的信息。

当两个深度图的观测区域存在重合时，可选取一个深度图为准获取重合区域的直方图信息，在另一个深度图中的重合区域的直方图信息可删除。可选的，在两个深度图的重合区域的像素个数可以取平均。这样，就可以获得所述深度图生成装置500所覆盖的全部深度范围的合成的直方图。

需要注意的是，在第一深度图和第二深度图中，同一亮度值代表的实际距离(深度)不同。举例来说，同样是有256个亮度值的深度图，相距3厘米的两个摄像头采集的图像生成的深度图中100这个亮度值代表0.5米的深度。100这个亮度值还可以代表相距6厘米的两个摄像头采集的图像生成的深度图中1.5米的深度。

所以，在结合两个深度图的直方图信息时，需要相应制定亮度值和深度值间的映射关系。

在一个实施例中，第一深度图的亮度值可转换为深度值，第二深度图的亮度值也转换为深度值。这样，可以获得第一深度图中对应转换后的深度值的像素个数，也可以获得第二深度图中对应转换后的深度值的像素个数。将这些信息合并，以深度值为横坐标，可结合两个深度图的信息生成合成的直方图。所述合成直方图涵盖了两个深度图的距离范围。所述合成直方图的横坐标为深度值，纵坐标为像素个数。

在另一个实施例中，代表第一深度图的亮度和像素数之间关系的直方图可以扩展，并添加第二深度图的亮度和像素数关系，来获取合成直方图。具体来说，将所述第二深度图的亮度值转换为一深度值组；然后，获取所述深度值组在所述第一深度图中对应的亮度值；这就可以得到所述第二深度图的亮度值和所述深度值组在所述第一深度图中对应的亮度值之间的映射关系。举例来说，第二深度图的亮度值100在第一深度图中映射为亮度值可能是250。

所以，所述第二深度图的与所述第一深度图亮度值对应的所述像素个数，可以添加到第一深度图的直方图中，获取涵盖两个深度图的深度范围的合成直方图。举例来说，第一深度图本来的直方图包括了256个亮度值，合成后的直方图可以包括500个亮度值。所述合成直方图的横坐标是以第一深度图为准的亮度值，纵坐标为像素个数。

接着，分析所述合成直方图来识别有效目标所属的深度范围，当所述有效目标在第一深度范围则选择远距离模式(第一模式)，在第二深度范围则选择近距离模式(第二模式)(S1110)。其中第一深度范围为第一深度图的有效测量范围，第二深度范围为第二深度图的有效测量范围。

具体来说，所述深度图生成装置500可设置高峰阈值、基线阈值、第一占比阈值和第二占比阈值。在所述合成直方图中，像素总数(所有Y值相加)可能等于或小于深度图像素数的两倍。

图13示出了基于本披露的实施例的自动确定工作模式的示意流程图。在这个例子中，第一深度图的有效测量范围为0.5米到2.0米，第二深度图的有效测量范围为0.16米到0.75米。在一个实施例中，所述流程图可用来分析一个合成直方图(比如范围0.16米到2.0米)。在另一个实施例中，所述流程图可用来分析两个直方图。这两个直方图分别对应第一深度图(范围0.5米到2.0米)和第二深度图(范围0.16米到0.75米)。

如图13所示，根据所提取的直方图信息，深度图生成装置500(如，工作模式判定模块504的识别单元5044)可通过判断第二深度范围内是否存在一个y值大于高峰阈值，来确定在第二深度范围内的是否有高峰。

当第二深度范围内有高峰，则识别包含该高峰的凸起。凸起是指沿横轴方向的连续数据点形成的区域，所述数据点是指包含高峰点并大于基线阈值的连续的点。可以计算所述凸起的曲线下面积，代表了凸起内的像素总个数。所述凸起的占比值可通过将凸起面积除以深度图的像素总个数(如640*480个像素)得到。

进一步地，所述深度图生成装置500可将计算得到的占比值与第二占比阈值(如10％)比较。当计算得到的占比值大于第二占比阈值，所述深度图生成装置500则判定第二深度范围内存在有效目标，并启用近距离模式。

当计算得到的占比值小于第二占比阈值，所述深度图生成装置500继续判断在第二深度范围内是否还存在高峰且该高峰不在已计算过的凸起内。当检测到另一个高峰，则重复上述判断步骤。

当第二深度范围内没有高峰满足要求，所述深度图生成装置500继续判断在第一深度范围内是否存在高峰。当第一深度范围内没有高峰，所述深度图生成装置500可处于待机模式。

当第一深度范围内有高峰，则在直方图中识别包含该高峰的凸起。计算该凸起的面积。凸起的占比值可通过将凸起面积除以深度图的像素总个数得到。

进一步地，所述深度图生成装置500可将计算得到的占比值与第一占比阈值(如20％)比较。当计算得到的占比值大于第一占比阈值，所述深度图生成装置500则判定第一深度范围内存在有效目标，并启用远距离模式。

当计算得到的占比值小于第一占比阈值，所述深度图生成装置500继续判断在第一深度范围内是否还存在高峰且该高峰不在已计算过的凸起内。当检测到另一个高峰，则重复上述判断步骤。

在一些实施例中，图13所示的流程可以循环一定次数(如30次)或在预设时间段内循环。当多次循环(超过25次循环或超过1秒的多次循环)所判定的工作模式一致时，深度图生成装置500可通知工作模式判定模块504激活所确定的工作模式。

本发明还提供了一种非短暂性的计算机可读介质，用于存储计算机程序，当处理器执行所述计算机程序时，实现一种深度图生成方法。所述方法包括提供含至少三个摄像头的相机模组，包括第一摄像头、第二摄像头和第三摄像头。所述第一摄像头、第二摄像头和第三摄像头在同一轴线上依次排列。所述方法还包括判定相机模组的工作模式。所述工作模式包括用非相邻摄像头采集图像的第一模式和用相邻摄像头采集图像的第二模式。根据所确定的工作模式，生成所述相机模组采集的图像的深度图。

所披露的实施例在深度图生成装置中有效利用了第三个摄像头(位于中间的摄像头)。在远距离工作模式中，可以关闭中间的摄像头。在近距离模式中，可以打开中间的摄像头并获取更全面的深度信息。

在各种实施例中，上述的示意性系统的各个模块可根据需要用于一个设备或多个设备。这些模块可以集成为用于处理指令的一个模块或多个模块。每个模块可以划分成一个或多个子模块，也可通过任何方式重组。

所披露的实施例仅为示意性举例。本领域的一般技术人员可知，本发明可包括合适的软件和/或硬件(例如，通用硬件平台)用于执行所披露的方法。例如，所公开的实施例可仅通过硬件实现、仅通过软件实现、或通过硬件和软件的组合来实现。该软件可以存储在存储介质中。该软件可包括令任何客户端设备(例如，包括数字照相机，智能终端，服务器，或者网络设备等)实现所公开的实施例的任何合适的指令。

对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。