深度图生成方法、装置和非短暂性计算机可读介质的制作方法

深度图生成方法、装置和非短暂性计算机可读介质的制作方法
【专利摘要】本发明提供了一种深度图生成方法。该方法包括获取一对具有第一分辨率的左(2D)图像和右2D图像，调整所述左2D图像和所述右2D图像的尺寸并获取具有第二图像分辨率的调整后左2D图像和调整后右2D图像，根据所述调整后左2D图像和所述调整后右2D图像生成深度图。
【专利说明】
深度图生成方法、装置和非短暂性计算机可读介质
技术领域
[0001] 本发明涉及图像处理技术，尤其涉及深度图生成方法、装置和非短暂性计算机可 读介质。
【背景技术】
[0002] 三维（three-dimens ion，3D)图像采集和显示技术已被广泛运用在3D电影、对象识 别等各个领域中。立体照相机拍摄的图像一般包括一对在不同视点描述同一场景的左2D图 像和右2D图像。深度图可以根据这对左右2D图像的视差获得。深度图包含了从视点到物体 表面的距离信息。深度图可以是灰度图像。深度图中像素的亮度表示其到相机的距离。具有 最大视差值的像素表示了离相机最近的距离，即最小可测量距离。
[0003] 现有技术通常采用固定尺度的芯片来搜索左右2D图像中的匹配像素对并计算视 差。然而，当相机参数和深度图分辨率确定时，所生成的深度图的最小可测量距离不能改 变，即其精度固定单一。
[0004] 本发明披露的方法和系统可用来解决上述一个或多个问题，以及其他问题。

【发明内容】

[0005] 本发明的一个方面提供了一种深度图生成方法，包括:获取一对具有第一分辨率 的左2D图像和右2D图像，调整所述左2D图像和所述右2D图像的尺寸并获取具有第二图像分 辨率的调整后左2D图像和调整后右2D图像，以及根据所述调整后左2D图像和所述调整后右 2D图像生成深度图。
[0006] 所述方法还包括调整生成的所述深度图至第三图像分辨率，以及输出调整后的深 度图。
[0007] 所述方法还包括根据所述左2D图像和所述右2D图像生成中间深度图，根据所述中 间深度图获取目标物体的深度，以及确定和所述目标物体的所述深度相应的所述第二图像 分辨率。
[0008] 进一步地，所述方法还包括:将多个深度范围和多个图像分辨率关联，其中所述深 度范围包括:近距离范围、中等距离范围和远距离范围，根据所述目标物体的所述深度，确 定所述目标物体所属的深度范围，以及将所述目标物体所属的深度范围相关联的图像分辨 率作为所述第二图像分辨率。
[0009] 生成所述深度图还包括：以固定计算尺度进行并行运算来识别所述调整后左2D图 像和所述调整后右2D图像中匹配的像素对，其中计算尺度指可同时匹配的像素的总个数， 计算匹配的像素对的视差值，以及根据计算后的所述视差值，指定深度图中像素的灰度值。 [0010]所述方法还包括:根据所述左2D图像和所述右2D图像生成中间深度图，确定所述 中间深度图的有效深度范围，以及根据所述中间深度图的所述有效深度范围确定所述第二 图像分辨率。其中所述有效深度是指其测量精度高于或等于阈值的深度值。
[0011]本发明的另一个方面提供了一种深度图生成装置，包括：图像采集模块，用于获取 一对具有第一分辨率的左2D图像和右2D图像；图像分辨率调整模块，用于调整所述左2D图 像和所述右2D图像的尺寸并获取具有第二图像分辨率的调整后左2D图像和调整后右2D图 像;深度图生成模块，用于根据所述调整后左2D图像和所述调整后右2D图像生成深度图。
[0012] 所述装置还包括深度分辨率调整模块，用于调整所述生成的深度图至第三图像分 辨率，并输出调整后的深度图。
[0013] 所述深度图生成模块还用于根据所述左2D图像和所述右2D图像生成中间深度图。 所述装置还包括精度控制模块，用于根据所述中间深度图获取目标物体的深度，并确定和 所述目标物体的所述深度相应的所述第二图像分辨率。
[0014] 所述精度控制模块还用于将多个深度范围和多个图像分辨率关联，根据所述目标 物体的所述深度，确定所述目标物体所属的深度范围，将所述目标物体所属的深度范围相 关联的图像分辨率作为所述第二图像分辨率。其中所述深度范围包括:近距离范围、中等距 离范围和远距离范围。
[0015] 进一步地，所述深度图生成模块还可用于：以固定计算尺度进行并行运算来识别 所述调整后左2D图像和所述调整后右2D图像中匹配的像素对，计算所述匹配的像素间的视 差值，以及根据计算后的所述视差值指定深度图中像素的灰度值。其中计算尺度指可同时 匹配的像素的总个数。
[0016] 进一步地，所述深度图生成模块还用于根据所述左2D图像和所述右2D图像生成中 间深度图。所述装置还包括精度控制模块，用于确定所述中间深度图的有效深度范围，并根 据所述中间深度图的所述有效深度范围确定所述第二图像分辨率，其中所述有效深度是指 其距离精度高于或等于阈值的深度值。
[0017] 本发明的另一个方面提供了一种非短暂性的计算机可读介质，用于存储计算机程 序，当处理器执行所述计算机程序时，实现一种深度图生成方法。所述方法包括获取一对具 有第一分辨率的左2D图像和右2D图像，调整所述左2D图像和所述右2D图像的尺寸并获取具 有第二图像分辨率的调整后左2D图像和调整后右2D图像，并根据所述调整后左2D图像和所 述调整后右2D图像生成深度图。
[0018] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括:调整 生成的所述深度图至第三图像分辨率，以及输出调整后的深度图。
[0019] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括:根据 所述左2D图像和所述右2D图像生成中间深度图，根据所述中间深度图获取目标物体的深 度，并确定和所述目标物体的所述深度相应的所述第二图像分辨率。
[0020] 进一步地，所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还 包括:将多个深度范围和多个图像分辨率关联。所述深度范围包括:近距离范围、中等距离 范围和远距离范围。根据所述目标物体的所述深度，确定所述目标物体所属的深度范围，并 将所述目标物体所属的深度范围相关联的图像分辨率作为所述第二图像分辨率。
[0021] 生成深度图还包括：以固定计算尺度进行并行运算来识别所述调整后左2D图像和 所述调整后右2D图像中匹配的像素对，其中计算尺度指可同时匹配的像素的总个数，计算 匹配的像素对的视差值，以及根据计算后的所述视差值，指定深度图中像素的灰度值。
[0022] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括根据 所述左2D图像和所述右2D图像生成中间深度图，确定所述中间深度图的有效深度范围，并 根据所述中间深度图的所述有效深度范围确定所述第二图像分辨率。其中所述有效深度是 指其测量精度高于或等于阈值的深度值。
【附图说明】
[0023]以下附图仅仅是为了示意的目的根据所披露的实施例而提供的例子，并不限制本 发明的范围。
[0024]图1不出了披露的实施例的不意应用环境。
[0025] 图2示出了基于披露的实施例的计算系统。
[0026] 图3示出了基于披露的实施例的用于生成深度图的示意系统。
[0027]图4示出了基于披露的实施例的深度计算原理。
[0028] 图5示出了基于披露的实施例的用于生成深度图的示意装置。
[0029] 图6示出了基于披露的实施例的第一深度图的深度和视差的关系图。
[0030] 图7示出了基于披露的实施例的第二深度图的深度和视差的关系图。
[0031 ]图8示出了基于披露的实施例的第三深度图的深度和视差的关系图。
[0032] 图9示出了基于披露的实施例的用于生成深度图的示意流程图。
【具体实施方式】
[0033] 下面将详细描述如附图所示的本发明的示意实施例。在可能的情况下，附图中的 各个部分提到的相同或相似的部分将采用相同的参考标记。显然地，所描述的实施例仅为 本申请的几个具体实施例。对于本领域的一般技术人员，依据本发明的思想，在具体实施方 式及应用范围上均会有改变之处，任何本领域的技术人员能思之的变化，都应落在本申请 的保护范围内。
[0034] 图1示出了披露的实施例的示意应用环境。如图1所示，环境100可以包括电视(TV) 102、遥控器104、服务器106、用户108和网络110。基于图1的说明可以省略某些装置和加入 其他装置以更好地描述的实施例。
[0035]电视102可包括任何适当类型的显示装置，诸如等离子电视、液晶(LCD)电视、触摸 屏电视、投影电视、智能电视等。电视102还可以包括其他计算系统，诸如个人计算机(PC)、 平板电脑、移动计算机或智能电话等。此外，电视机102可实现三维显示功能。电视102可以 包含任何适当类型的显示配置来创建立体显示效果，例如快门眼镜、偏振眼镜、补色立体眼 镜等。在某些实施例中，电视102可以实现裸眼三维显示技术。
[0036] 遥控器104可包括任何适当类型的能对电视102进行远程控制并通信的计算设备， 诸如定制的电视遥控器、通用遥控器、平板计算机、智能电话或其他任何能够支持执行远程 控制功能的计算设备。遥控器104还可以包括其他类型的设备，例如基于运动传感器的遥控 器、具有深度相机增强功能的遥控器以及简单的输入/输出设备，如键盘、鼠标、语音输入设 备等。
[0037] 遥控器104可以包括任何适当类型的传感器，用于检测用户108的输入信息以及与 电视机102进行通信，例如体温传感器、运动传感器、麦克风、照相机等。遥控器104可以内嵌 在电视102中，也可与电视102分离。在一个实施例中，遥控器104可以包括立体相机，用于捕 获3D场景的深度信息并跟踪用户108的动作和手势。
[0038] 用户108可以使用遥控器104与电视102进行交互，观看各种节目和执行其他感兴 趣的活动。用户可以使用手势或身体姿势来控制电视102。如果电视102是触摸屏电视，用户 108也可以与电视102通过触屏动作交互。用户108可以是单个用户或多个用户，例如一起观 看电视节目的家庭成员。
[0039] 服务器106可以包括任何适当类型的一个或多个服务器计算机，用于提供视频内 容给用户108。服务器106也可用于辅助电视102和遥控器104的通信、数据存储和数据处理 等。电视102、遥控器104和服务器106可以通过一个或多个通信网络110进行通信，如电缆网 络、电话网络、无线网络、和/或卫星网络等。网络110可包括任何数量的通信网络和服务器， 用于向服务器106提供各种媒体数据，如3D影音流和立体图像等。
[0040] 电视102、遥控器104和/或服务器106可在任何适当的计算电路平台实现。在运行 时，所述计算电路平台可以获取立体图像并生成基于所述立体图像的深度图。所生成的深 度图可以用在各种应用中，如检测身体姿势和3D显示虚拟内容等。图2示出了可用于实现电 视102、遥控器104和/或服务器106的示例性计算系统200的框图。
[0041] 如图2所示，计算系统200可以包括处理器202、存储介质204、显示器206、通信模块 208、数据库210和外围设备212。基于图2的说明可以省略某些装置和加入其他装置以更好 地描述的实施例。
[0042] 处理器202可以包括任何合适的单个或多个处理器。处理器202可包括多个内核， 用于多线程或并行处理。处理器202可以执行计算机程序指令序列以进行各种处理。存储介 质204可以包括存储器模块，诸如R0M、RAM、闪存存储器模块、和大规模存储器如⑶-ROM和硬 盘等。
[0043]存储介质204可以存储计算机程序，用于在被处理器202执行时实现各种功能，例 如呈现图形用户界面、实现脸部识别或手势识别处理等。当处理器202执行存储介质204的 计算指令时，可生成深度图。所述计算机指令可以被组织成模块来实施本发明公开的各种 计算与功能。
[0044] 通信模块208可以包括网络接口设备，用于通过通信网络建立连接。数据库210可 以包括一个或多个数据库，用于存储数据和对所存储的数据进行各种操作，如数据库检索。 数据库210可以存储图像、视频、用户108的个性化信息(如首选项设置、最喜爱的节目、用户 档案等）以及其他适当的内容。
[0045] 显示206可为用户或电视102的用户提供信息。显示206可包括任何适当类型的计 算机显示装置或电子显示设备诸如基于CRT或IXD装置。显示器206还可以实现3D显示技术， 为输入内容创建3D显示效果。外围设备212可包括各种传感器和其它I/O设备，如身体传感 器、运动传感器、麦克风、立体相机、RGB摄像机、红外摄像机等。
[0046]图3示出了基于本披露的实施例的用于生成深度图的示意系统。如图3所示，深度 图生成系统300可以包括图像采集模块302、深度图生成装置304、识别和重建模块306、控制 模块308和显示模块310。基于图3的说明可以省略某些装置和加入其他装置以更好地描述 的实施例。
[0047]图像采集模块302用于获取一对二维的左2D图像和二维的右2D图像，并将左2D图 像和右2D图像发送给深度图生成装置304。图像采集的来源可包括一个或多个彩色摄像机， 一个或多个红外照相机，本地数据存储，在线存储等。所述左2D图像和右2D图像具有第一图 像分辨率。在一个实施例中，图像采集模块302可包括一个立体相机。所述立体相机可以是 现实世界的相机，也可以是用于捕捉虚拟三维空间的场景的虚拟相机。
[0048]立体相机可包含多个镜头或摄像头，用于捕获图像。在这些镜头中，一对或多对镜 头会被识别使用。举例来说，一个立体相机可以包含三个镜头，也就是说，这个三个镜头可 以组成三对镜头。当立体相机拍摄一个场景时，一对镜头相可获取相应的一对图像。这对图 像即包括左2D图像和右2D图像(或称为左眼视图和右眼视图）。这对左2D图像和右2D图像也 可以由两个单独的相机获取。
[0049 ]在所披露的实施例中描述的立体相机是指一对左相机和右相机(例如，立体照相 机的两个镜头或两个光轴平行的独立相机）。应当指出的是，类似的方法和/或装置的实施 例也可以适用于两个以上的镜头的立体相机，以及两个或多个单独相机。在下文中，使用一 对左相机和右相机拍摄的一对二维图像可以被称为立体图像对。一个立体图像对包括描述 相同场景的两幅二维图像，从水平方向稍微分离的两点获取，这两点即为左相机和右相机 的位置。这两个图像可以被称为左2D图像和右2D图像。
[0050] 图像采集模块302还可用于获取相机参数，比如焦距和基线距离。基线距离是指左 相机和右相机之间的距离。
[0051] 应当注意，图像采集模块302还可用于获取三维视频。三维视频可以被划分成多个 帧。每个帧可以对应于一对左2D图像和右2D图像。
[0052]深度图生成装置304可用于调整所述左2D图像和所述右2D图像的分辨率并获取调 整后左2D图像和调整后右2D图像。所述调整后左2D图像和调整后右2D图像具有第二图像分 辨率。在一些实施例中，深度图生成装置304还可裁切图像来获取具有所需分辨率的图像。 [0053]深度图生成装置304还可用于根据所述左2D图像和所述右2D图像生成一个中间深 度图。进一步地，相机参数也可用于生成深度图。图4示出了基于披露的实施例的深度计算 原理。
[0054]如图4所示，一对左相机和右相机拍摄位置T处的目标物体，获取一对左2D图像和 右2D图像。位置A是左相机的光心，射线AC表示左相机的光轴。位置B是右相机的光心，射线 BC表示右相机的光轴。d为左右相机的光心间的距离（即AB两点间的距离）。(1也可称为基线 距离。h为目标物体的深度（即目标物体到相机焦平面的距离）。丨是左右相机摄像头透镜的 焦距。PL为左相机的投影平面(如CCD传感器上的投影面），PR为右相机的投影平面。XL是目 标物体T在左相机投影平面的像素位置，XR是目标物体T在右相机投影平面的像素位置。 [0055]进一步地，在左2D图像和右2D图像中，目标物体T会分别出现在不同位置，即XL位 置和XR位置。视差可由这两个像素位置的差值来确定，即△ X = XR-XL。接近立体相机的物体， 在左2D图像中会显示在更靠右的位置，在右2D图像中会显示在更靠左的位置，即具有更大 的视差值。距相机遥远的物体在两个图像会显示在大约相同的位置，即具有更小的视差值。 根据图4的三角关系，可以推出等式（1)。
[0056」所以，目标物体的深度扣根据视差值和立体儿何参数（如相机参数)计算。此外，当 相机参数确定后(例如，d和f固定），每一深度值对应于一个视差值，深度值与视差值反向相 关。也就是说，较大的视差值意味着物体更靠近相机，较小的视差值意味着物体远离相机。 这表明当相机参数已知，计算出视差值后即可找到相应的深度值。所以，在一些实施例中， 视差值可以直接用来生成深度图。
[0057]深度图可以是灰度图像，其灰度代表了距离，而不是纹理信息。回到图3,在实施例 中，左右2D图像对的其中一个图像（如左2D图像)可以用作基础图来生成深度图。每个像素 可根据其深度值被分配亮度值(灰度值）。如此产生的深度图和基础图描述的是相同的视图 场景。
[0058]对于左2D图像和右2D图像均拍摄到的内容，深度图生成装置304可在左2D图像和 右2D图像中找到一对相匹配的像素，获得匹配像素对的视差值，并根据所述视差值指定深 度图中对应像素的灰度值。当左2D图像作为深度图的基础图，则深度图对应的像素和左2D 图像的匹配像素在相同的位置。当输入图像是具有第二图像分辨率的所述调整后左2D图像 和所述调整后图像，深度图生成装置304可根据所述调整后左2D图像和所述调整后右2D图 像生成深度图。所生成的深度图也具有第二图像分辨率。
[0059] 识别和重建模块306可用于根据所述深度图识别各种物体和重建所获取的场景。 控制模块308可用于根据识别和重建模块306的识别或重建结果来执行相应的控制操作。显 示模块310可以用来显示接收的内容并促进用户交互。
[0060] 在一些实施例中，图像采集模块302可获取一个用户的左右2D图像。根据不同的应 用，识别和重建模块306可以识别对象，比如用户的脸部、用户的身体部分的位置、用户的动 作等。控制模块308用来执行根据所识别的对象进行相应的控制操作。
[0061 ]在一个实施例中，系统300可在身份验证应用中使用。识别与重构模块306可以执 行用户的脸部识别。控制模块308可将识别和重建模块306的结果与用户配置文件进行匹配 检索。当发现匹配时，控制模块308可以验证用户的身份，并允许用户访问相关的数据。
[0062]在另一个实施例中，系统300可在运动检测或运动控制应用中使用。识别与重构模 块306可以根据一系列深度图来跟踪用户的身体运动，如手指动作、手势、肢体语言等。控制 模块308可根据识别出的用户手势动作来执行相应的操作指令，如导航的用户界面，控制在 视频游戏中的角色等。
[0063]在一个实施例中，系统300可在三维扫描和三维重建应用中使用。识别和重建模块 306可基于所捕获的图像和其深度图来重构3D场景。在3D场景中的对象也可以被识别。显示 模块310可以采用3D显示技术。用户可以使用3D眼镜或裸眼观看重建的3D对象或重建的3D 场景。
[0064]图5示出了基于披露的实施例的用于生成深度图的示意装置。比如，该深度图生成 装置可以用做深度图生成装置304。如图5所示，深度图生成装置500可包括图像分辨率调整 模块502，精度控制模块504，深度图生成模块506和深度分辨率调整模块510。基于图5的说 明可以省略某些装置和加入其他装置以更好地描述的实施例。
[0065]深度图生成装置500还可包括图像采集模块(如图像采集模块302)，用于获取一对 二维的左2D图像和右2D图像。所述左2D图像和右2D图像具有第一图像分辨率。
[0066]图像分辨率调整模块502可用于调整所述左2D图像和所述右2D图像至所需的分辨 率并获取调整后左2D图像和调整后右2D图像。该所需的分辨率也可被称为第二图像分辨 率。在一个实施例中，所述左右2D图像对的第一图像分辨率可以是1280 X 720像素。第二图 像分辨率可能是QVGA(Quarter Video Graphics Array，四分之一视频图形阵列）分辨率， 艮P320 X 240像素。图像分辨率调整模块502可以将左2D图像和右2D图像从1280 X 720像素裁 剪到960 X 720像素，再将裁切的图像从960 X 720像素压缩到320 X 240像素。第二图像分辨 率可以由精度控制模块504确定。
[0067]深度图生成模块506,用于根据所述调整后左2D图像和所述调整后右2D图像生成 深度图。深度图生成模块506还可包括固定尺度特征匹配模块5062和视差计算模块5064。 [0068]固定尺度特征匹配模块5062可用于在一对左2D图像和右2D图像中搜索匹配的像 素对。视差计算模块5064可用于获得匹配像素对的视差值，并根据所述视差值指定深度图 中对应像素的深度值。
[0069]所述调整后左2D图像和所述调整后右2D图像可分别作为基础图和对照图。所生成 的深度图和基础图描述的是相同的视图场景。举例来说，选择左2D图像为基础图。产生的深 度图和左2D图像就具有相同的视图。也就是，目标物体在左2D图像的像素坐标和目标物体 在深度图中的像素坐标是相同的。固定尺度特征匹配模块5062可评估基础图和对照图中的 像素的特征的相似性来寻找匹配的像素对。所述特征可以包括如亮度差，梯度差等。
[0070]在一个实施例中，左2D图像和右2D图像可以是水平对齐的。因此，固定尺度特征匹 配模块5062可以沿水平线执行一维的搜索。其中，固定计算尺度指处理器可同时处理的像 素的总个数（同时进行特征匹配的像素个数）。计算尺度可以用像素个数来表示，如64、128、 256、512个像素等。在一些实施例中，具有并行计算功能的计算芯片可用来实现固定尺度特 征匹配功能。举例来说，处理器可以通过并行运算同时判断基础图的一个像素与对照图同 一行的256个像素的相似性，则该固定计算尺度为256。
[0071]比如，计算尺度是256像素，在运行时，对于基础图中的一个像素 Pl，同时计算对照 图中和Pl在同一行且距Pl最近的256个像素(包括和Pl像素坐标相同的像素）的特征并和Pl 匹配相似性。在这个例子中，固定计算尺度为256,在对照图的256个像素中，若像素 P2与基 础图的像素 Pl的特征最相似，则被确定为Pl的匹配像素。这样即可找到匹配的像素对。这个 过程可以重复用于基准图的所有像素。
[0072]当识别出一个匹配的像素对后，视差计算模块5064可以得到视差值。视差值是匹 配像素对的像素坐标(例如，Pl的坐标和P2的坐标)间的水平距离。这里，视差值的单位是像 素的个数。视差计算模块5064可将视差值转化为深度图中相应像素的亮度值，这个深度图 的相应像素的位置和基准图中的像素位置相同。当每个像素都处理完并分配了相应的亮度 值，就生成了深度图。在之前的例子中，当计算尺度是256像素，所述匹配像素对的像素坐标 间的水平距离可以是0到255。也就是说，深度图可以具有对应于256个视差值的256个亮度 等级。
[0073]深度图的最小可测距离为其最大视差值所对应的点的深度(在之前的例子中为视 差值255的点）。深度图的测量精度与其可测量的深度差值反相关。可测量的深度差值是指 当前等级亮度对应的深度和下一个等级亮度对应的深度间的距离差。举例来说，一个像素 亮度值对应的可测深度差值为0.02米，则其测量精度为50/米。可以理解的是，对于越接近 相机的物体，测量精度较高（即，可以检测到更细微的深度变化）。
[0074]有效深度范围是指从最小可测距离到测量精度达到预设阈值的距离之间的范围。 当超过有效深度范围时，其测量精度可能不够高且不能从图像中提取有意义的信息。随着 固定尺度特征匹配的计算尺度变大，测量精度可以提高。然而，在实践中，计算资源是有限 的。图像处理器受到最大计算尺度的限制。也就是说，深度图的测量精度不能无限提高。
[0075] 若所述调整后左2D图像和调整后右2D图像的分辨率（即第二图像分辨率)确定，使 用固定尺度特征匹配后，所生产的深度图的最小可测距离是确定的，所产生的深度图的有 效深度范围也是确定的。举例来说，给定第二图像分辨率是320X240像素、基线距离（SPd) 为12厘米、计算尺度为256,所生成的深度图的分辨率也是320 X 240像素，其有效深度范围 为约0.3米至2.2米。
[0076] 为生成所需图像分辨率的深度图以及可调节有效深度范围的深度图，所述深度图 生成装置500还包括一个精度控制模块504和深度分辨率调整模块510。精度控制模块504可 用于根据所需的深度图参数发送控制指令给图像分辨率调整模块502和深度图分辨率调整 模块510。所述所需的参数可包括输出深度图的所需图像分辨率。输出深度图的所需图像分 辨率也可被称为第三图像分辨率。所需的参数还可包括最小可测距离或有效深度范围。 [0077]在一个实施例中，从图像采集模块获取的一对所述左2D图像和右2D图像具有第一 图像分辨率。精度控制模块504可发送控制指令给图像分辨率调整模块502,调整所述左2D 图像和所述右2D图像至第二图像分辨率。第二图像分辨率可以根据输出深度图的所需参数 来确定。进一步地，深度图生成模块506可以生成具有第二图像分辨率的深度图，并发送到 深度分辨率调整模块510。深度图调整模块510可调整所生成的深度图的分辨率至第三图像 分辨率，并生成输出深度图。
[0078]在一个实施例中，深度图生成模块506还用于根据所述左2D图像和所述右2D图像 生成一个中间深度图。精度控制模块504可用于根据所述中间深度图获取一个目标物体的 深度，并确定和所述目标物体的深度对应的第二图像分辨率。
[0079] 更进一步地，精度控制模块504可将多个深度范围和不同的图像分辨率相关联。所 述深度范围包括：近距离范围、中等距离范围和远距离范围。当获取所述目标物体的深度 时，精度控制模块504可根据确定所述目标物体的深度确定其所属的深度范围，并将所述目 标物体所属的深度范围相关联的图像分辨率作为第二图像分辨率。举例来说，当目标物体 属于近距离范围时，精度控制模块504可确定与近距离范围相关联的图像分辨率为第二图 像分辨率。
[0080] 图6至图8示出了基于披露的实施例的三种深度图的深度和视差的关系图。在这三 个例子中，输入的左2D图像和右2D图像的分辨率（即，第一图像分辨率)为1280X960像素， 基线距离（即d)为12厘米，计算尺度为256,所需的输出深度图的分辨率（即第三图像分辨 率)为320 X 240像素。
[0081] 图中，X轴表示视差值，也代表了深度图中的灰度值。计算尺度是256,则视差值(或 灰度值)的范围为〇到255。￥轴表示以毫米为单位的深度值。y轴的范围是0到10米。当深度图 的像素对应的距离精度高于预设阈值(如，20每米），则认为该像素在有效深度范围内。 [0082]在第一个例子中，第二图像分辨率为320 X 240像素。如图6所示，深度图的最小可 测距离为约382毫米。深度图的有效深度范围为约0.3米至2.2米。在这个例子中，第二图像 分辨率和第三图像分辨率相同，故深度图生成模块506所生成的深度图可以直接输出。在某 些实施方案中，这个例子的有效深度范围适合短距离应用。
[0083]在第二个例子中，第二图像分辨率为640X480像素。如图7所示，深度图的最小可 测距离为约763毫米。深度图的有效深度范围为约0.7米至3.1米。在这个例子中，第二图像 分辨率比第三图像分辨率大，深度分辨率调整模块510可将生成的深度图从640 X 480像素 压缩到320X240像素。在某些实施方案中，这个例子的有效深度范围适合中等距离的应用。 [0084]在第三个例子中，第二图像分辨率为1280X960像素。如图8所示，深度图的最小可 测距离为约1528毫米。深度图的有效深度范围为约1.5米至4.5米。在这个例子中，第一图像 分辨率和第二图像分辨率相同，所以输入的左右2D图像对无需调整，图像分辨率调整模块 502可直接将左右2D图像对发送至深度图生成模块506。深度分辨率调整模块510可将生成 的深度图从1280 X 960像素压缩到320 X 240像素。在某些实施方案中，在这个例子的有效测 量范围适合长距离的应用。
[0085]此外，在一些实施例中，精度控制模块504可以根据深度图的所需参数、相机参数 和计算尺度来从多个预设选项中选择第二图像分辨率。例如，所述预设选项可以包括三个 设置:短距离，中距离和长距离。每个距离范围选项都有一个相应的第二图像分辨率。
[0086]在一个实施例中，给定了输入图像对的分辨率（即第一图像分辨率)为1280 X 960 像素，基线距离（即d)为12厘米，计算尺度是256,第三图像分辨率为320X240像素时，下面 的表格显示了对应不同的有效深度范围的第二图像分辨率。
LUUS/J 在一些买施例中，相机参=数（例如，基线跑呙和焦跑）和计算K度属t使仵参=数。也 就是说，当硬件确定后，硬件参数固定，分辨率控制模块504可基于深度图的所需参数来确 定第二图像的分辨率。
[0088]精度控制模块504可保存如上表所示的分辨率表格。所述表格包含与多个第二图 像分辨率对应的多个预设选项、多个第三图像分辨率和各种硬件参数(例如，相机参数和/ 或计算尺度）。也就是说，给定了第三图像分辨率和有效深度范围的预设选项，精度控制模 块504可以在分辨率表格中查询到相应的第二图像分辨率。
[0089]例如，给定了计算尺度为256和基线距离为12cm，当深度图的第三图像分辨率为 320 X 240像素，有效深度范围的预设的选择是中距离范围，分辨率控制模块504可确定所述 第二图像分辨率是640 X 480像素。
[0090] 在一些实施例中，分辨率控制模块504可用于根据所需的最小可测距离来确定第 二图像分辨率。精度控制模块504可保存一个分辨率表格，其中包含了在给定相机参数和计 算尺度后，与多个第二图像分辨率相应的最小可测距离。因此，精度控制模块504可以搜索 该表并查找第二图像分辨率。该第二图像分辨率对应的最小可测距离是表中与所需的最小 可测距离最接近的值。
[0091] 此外，若当前计算尺度和相机参数不在表中，精度控制模块504可基于当前计算尺 度和相机参数来计算适当的第二图像的分辨率。在一个实施例中，精度控制模块504可选择 多个候选分辨率。这些候选分辨率的范围处于第一图像分辨率和第三图像分辨率之间。例 如，当第一图像分辨率为1280 X 960像素而且第三图像分辨率为320 X 240像素时，候选的分 辨率可以是1280 X 960像素、640 X 480像素和320 X 240像素。
[0092]精度控制模块504可以计算每个候选分辨率对应的最小可测距离，并将所需的最 小可测距离和计算出的结果进行比较。在一个例子中，计算出的最小可测距离最接近所需 的最小可测距离的候选分辨率可被选择为第二图像分辨率。在另一个例子中，具有小于且 最接近所需值的最小可测距离对应的候选分辨率应可被选择为第二图像分辨率。
[0093]在一个实施例中，精度控制模块504可自动选择第二图像分辨率。举例来说，深度 范围选项可包括:近距离范围、中等距离范围和远距离范围。每个深度范围选项都有一个相 应的第二图像分辨率，依次为Rl、R2和R3。默认设置可以是中距离范围。运行时，系统300可 以根据默认设置处理第一对左2D图像和右2D图像。根据第一对左右2D图像生成中间深度 图，并具有图像分辨率R2。精度控制模块504可用于根据所述中间深度图自动获取一个目标 物体的深度。当目标物体的深度属于和默认设置不同的另一个深度范围（如短距离范围） 时，精度控制模块504可确定所述另一个深度范围对应的图像分辨率(如Rl)作为第二图像 分辨率。也就是说，在处理当前和以后的左右2D图像对时，精度控制模块504可以指示图像 分辨率调整模块502将左右2D图像对调整到第二图像分辨率。
[0094]在另一个例子中，系统300可使用默认设置在一个预定时间点（例如，开始前5秒， 或在每5分钟的第一秒)采集多个左右2D图像对。相应的，可以生成多个深度图。精度控制模 块504可根据所述多个深度图自动计算目标物体的平均深度。当目标物体的平均深度属于 和默认设置不同的另一个深度范围时，精度控制模块504可确定所述另一个深度范围对应 的图像分辨率作为第二图像分辨率。
[0095]图9示出了基于披露的实施例的用于生成深度图的示意流程图。如图9所示，生成 深度图的方法可包括下列步骤。
[0096]用立体相机采集一对具有第一图像分辨率的左2D图像和右2D图像(S902)。所述立 体相机可以是现实世界的相机，也可以是虚拟相机。也可获取相机参数，比如焦距和基线距 离。这对左2D图像和右2D图像的是在水平位置稍微不同的两个点采集的。
[0097]调整所述左2D图像和所述右2D图像的尺寸并获取具有第二图像分辨率的调整后 左2D图像和调整后右2D图像(S906)。
[0098]在执行步骤S906前，该方法可以进一步包括确定第二图像分辨率的步骤(S904)。 第二图像分辨率可以根据所需参数来确定。可选地，输出深度图的所需参数可以用于确定 第二图像分辨率。根据输出深度图的所需参数、相机参数以及计算尺度，可确定第二图像分 辨率。在一个实施例中，输出深度图的所需参数包括第三图像分辨率和有效深度范围。在另 一个实施例中，输出深度图的所需参数包括第三图像分辨率和最小可测距离。
[0099]另外，可以自动确定第二图像的分辨率。举例来说，多个深度范围可以和不同的图 像分辨率关联。根据步骤S902获取的左2D图像和右2D图像，可生成一个中间深度图。根据所 述中间深度图，可获取一个目标物体的深度。这个目标物体的深度是属于某一个深度范围 的。与目标物体所属的深度范围相对应的图像分辨率即可选为第二图像分辨率。再将所述 左2D图像和右2D图像调整至第二图像分辨率。
[0100]接着，以固定计算尺度运算，根据所述调整后左2D图像和所述调整后右2D图像生 成深度图。具体来说，生成深度图时，固定尺度特征匹配可用于在一对左2D图像和右2D图像 中搜索匹配的像素对(S908)。计算所述匹配的像素对的视差值。根据所得的视差值为深度 图中相同坐标的像素分配亮度值(灰度值）。于是，所生成的深度图也具有第二图像分辨率 (S910)〇
[0101] 在一些实施例中，生成的深度图可调整至第三图像分辨率，并输出调整后的深度 图（S912)。所以，输出的深度图可具有所需的分辨率。
[0102] 在一些实施例中，所述立体相机可以是现实世界的相机。用于进行固定尺度计算 和调整图像分辨率的计算芯片可以集成在立体相机中。也就是说，相机参数(例如，基线距 离和焦距），第一图像分辨率和计算尺度是确定的。所以，第二图像分辨率可仅根据最小可 测距离或有效深度范围确定。通过精度控制流程，本发明提供的方法和装置可用于生成精 度可调的深度图。
[0103] 本发明还提供了一种非短暂性的计算机可读介质，用于存储计算机程序，当处理 器执行所述计算机程序时，实现一种深度图生成方法。所述方法包括获取一对具有第一图 像分辨率的左2D图像和右2D图像，调整所述左2D图像和所述右2D图像的尺寸并获取具有第 二图像分辨率的调整后左2D图像和调整后右2D图像，并根据所述调整后左2D图像和所述调 整后右2D图像生成深度图。
[0104] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括调整 所述生成的深度图至第三图像分辨率，并输出调整后的深度图。
[0105] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括根据 所述左2D图像和所述右2D图像生成中间深度图，根据所述中间深度图获取一个目标物体的 深度，并确定和所述目标物体的所述深度相应的第二图像分辨率。
[0106] 更进一步地，将多个深度范围和多个图像分辨率关联。所述深度范围包括:近距离 范围、中等距离范围和远距离范围。根据所述目标物体的所述深度，确定所述目标物体所属 的深度范围，将所述目标物体所属的深度范围相关联的图像分辨率作为第二图像分辨率。
[0107] 生成深度图时，以固定计算尺度进行并行运算来识别所述调整后左2D图像和所述 调整后右2D图像中匹配的像素对。其中计算尺度指可同时匹配的像素的总个数，计算匹配 的像素对的视差值，根据计算后的所述视差值，指定深度图中像素的灰度值。
[0108] 所述非短暂性的计算机可读介质存储的计算机程序执行的所述方法还包括根据 所述左2D图像和所述右2D图像生成中间深度图，确定所述中间深度图的有效深度范围，并 根据所述中间深度图的所述有效深度范围确定所述第二图像分辨率。其中所述有效深度是 指其测量精度高于或等于阈值的深度值。
[0109] 在各种实施例中，上述的示意性系统的各个模块可根据需要用于一个设备或多个 设备。这些模块可以集成为用于处理指令的一个模块或多个模块。每个模块可以划分成一 个或多个子模块，也可通过任何方式重组。
[0110]所披露的实施例仅为示意性举例。本领域的一般技术人员可知，本发明可包括合 适的软件和/或硬件(例如，通用硬件平台）用于执行所披露的方法。例如，所公开的实施例 可仅通过硬件实现、仅通过软件实现、或通过硬件和软件的组合来实现。该软件可以存储在 存储介质中。该软件可包括令任何客户端设备(例如，包括数字照相机，智能终端，服务器， 或者网络设备等)实现所公开的实施例的任何合适的指令。
[0111]对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上 均会有改变之处，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。
【主权项】
1. 一种深度图生成方法，其特征在于，包括： 获取一对具有第一图像分辨率的左(2D)图像和右2D图像， 调整所述左2D图像和所述右2D图像的尺寸并获取具有第二图像分辨率的调整后左2D 图像和调整后右2D图像，以及 根据所述调整后左2D图像和所述调整后右2D图像生成深度图。2. 根据权利要求1所述的方法，其特征在于，还包括： 调整生成的所述深度图至第三图像分辨率，以及 输出调整分辨率后的深度图。3. 根据权利要求1或2所述的方法，其特征在于，还包括： 根据所述左2D图像和所述右2D图像生成中间深度图， 根据所述中间深度图，获取目标物体的深度，以及 确定和所述目标物体的所述深度相应的所述第二图像分辨率。4. 根据权利要求3所述的方法，其特征在于，还包括： 将多个深度范围和多个图像分辨率关联，其中所述深度范围包括:近距离范围、中等距 离范围和远距离范围， 根据所述目标物体的所述深度，确定所述目标物体所属的深度范围，以及 将所述目标物体所属的深度范围相关联的图像分辨率作为所述第二图像分辨率。5. 根据权利要求1或2所述的方法，其特征在于，生成所述深度图还包括： 以固定计算尺度进行并行运算来识别所述调整后左2D图像和所述调整后右2D图像中 匹配的像素对，其中计算尺度指可同时匹配的像素的总个数， 计算所述匹配的像素对的视差值，以及 根据计算后的所述视差值，指定所述深度图中像素的灰度值。6. 根据权利要求1或2所述的方法，其特征在于，还包括： 根据所述左2D图像和所述右2D图像生成中间深度图， 确定所述中间深度图的有效深度范围，其中所述有效深度是指其测量精度高于或等于 阈值的深度值，以及 根据所述中间深度图的所述有效深度范围，确定所述第二图像分辨率。7. -种深度图生成装置，其特征在于，包括： 图像采集模块，用于获取一对具有第一图像分辨率的左2D图像和右2D图像， 图像分辨率调整模块，用于调整所述左2D图像和所述右2D图像的尺寸并获取具有第二 图像分辨率的调整后左2D图像和调整后右2D图像，以及 深度图生成模块，用于根据所述调整后左2D图像和所述调整后右2D图像生成深度图。8. 根据权利要求7所述的装置，其特征在于，还包括： 深度分辨率调整模块，用于调整生成的所述深度图至第三图像分辨率，并输出调整后 的深度图。9. 根据权利要求7或8所述的装置，其特征在于， 所述深度图生成模块还用于根据所述左2D图像和所述右2D图像生成中间深度图， 所述装置还包括精度控制模块，用于根据所述中间深度图获取目标物体的深度，并确 定和所述目标物体的所述深度相应的所述第二图像分辨率。10. 根据权利要求9所述的装置，其特征在于，所述精度控制模块还用于： 将多个深度范围和多个图像分辨率关联，其中所述深度范围包括:近距离范围、中等距 离范围和远距离范围， 根据所述目标物体的所述深度，确定所述目标物体所属的深度范围，以及 将所述目标物体所属的深度范围相关联的图像分辨率作为所述第二图像分辨率。11. 根据权利要求7或8所述的装置，其特征在于，所述深度图生成模块还用于： 以固定计算尺度进行并行运算来识别所述调整后左2D图像和所述调整后右2D图像中 匹配的像素对，其中计算尺度指可同时匹配的像素的总个数， 计算所述匹配的像素对的视差值，以及 根据计算后的所述视差值，指定所述深度图中像素的灰度值。12. 根据权利要求7或8所述的装置，其特征在于， 所述深度图生成模块还用于根据所述左2D图像和所述右2D图像生成中间深度图， 所述装置还包括精度控制模块，用于确定所述中间深度图的有效深度范围，并根据所 述中间深度图的所述有效深度范围确定所述第二图像分辨率，其中所述有效深度是指其测 量精度高于或等于阈值的深度值。13. -种非短暂性的计算机可读介质，用于存储计算机程序，当处理器执行所述计算机 程序时，实现一种深度图生成方法，其特征在于，所述方法包括： 获取一对具有第一图像分辨率的左2D图像和右2D图像， 调整所述左2D图像和所述右2D图像的尺寸并获取具有第二图像分辨率的调整后左2D 图像和调整后右2D图像，以及 根据所述调整后左2D图像和所述调整后右2D图像生成深度图。14. 根据权利要求13所述的非短暂性的计算机可读介质，其特征在于，所述方法还包 括： 调整生成的所述深度图至第三图像分辨率，以及 输出调整分辨率后的所述深度图。15. 根据权利要求13或14所述的非短暂性的计算机可读介质，其特征在于，所述方法还 包括： 根据所述左2D图像和所述右2D图像生成中间深度图， 根据所述中间深度图，获取目标物体的深度，以及 确定和所述目标物体的所述深度相应的所述第二图像分辨率。16. 根据权利要求15所述的非短暂性的计算机可读介质，其特征在于，所述方法还包 括： 将多个深度范围和多个图像分辨率关联，其中所述深度范围包括:近距离范围、中等距 离范围和远距离范围， 根据所述目标物体的所述深度，确定所述目标物体所属的深度范围，以及 将所述目标物体所属的深度范围相关联的图像分辨率作为所述第二图像分辨率。17. 根据权利要求13或14所述的非短暂性的计算机可读介质，其特征在于，生成深度图 还包括： 以固定计算尺度进行并行运算来识别所述调整后左2D图像和所述调整后右2D图像中 匹配的像素对，其中计算尺度指可同时匹配的像素的总个数， 计算所述匹配的像素对的视差值，以及 根据计算后的所述视差值，指定所述深度图中像素的灰度值。18.根据权利要求13或14所述的非短暂性的计算机可读介质，其特征在于，所述方法还 包括： 根据所述左2D图像和所述右2D图像生成中间深度图， 确定所述中间深度图的有效深度范围，其中所述有效深度是指其测量精度高于或等于 阈值的深度值，以及 根据所述中间深度图的所述有效深度范围，确定所述第二图像分辨率。
【文档编号】H04N13/02GK106068646SQ201580002623
【公开日】2016年11月2日
【申请日】2015年12月18日 公开号201580002623.5, CN 106068646 A, CN 106068646A, CN 201580002623, CN-A-106068646, CN106068646 A, CN106068646A, CN201580002623, CN201580002623.5, PCT/2015/97882, PCT/CN/15/097882, PCT/CN/15/97882, PCT/CN/2015/097882, PCT/CN/2015/97882, PCT/CN15/097882, PCT/CN15/97882, PCT/CN15097882, PCT/CN1597882, PCT/CN2015/097882, PCT/CN2015/97882, PCT/CN2015097882, PCT/CN201597882
【发明人】赵星星, 赵骥伯
【申请人】京东方科技集团股份有限公司