用于消除深度伪影的图像处理方法和装置制造方法
【专利摘要】一种图像处理系统，包括配置用于在第一图像中识别出与至少一个深度伪影关联的一个或多个潜在地有缺陷的像素的，并且用于应用使用第二图像来重建一个或多个潜在地有缺陷的像素的深度信息的超分辨率技术的图像处理器。超分辨率技术的应用产生具有所重建的深度信息的第三图像。第一图像可以包括深度图像，而第三图像可以包括总体上与第一图像对应的但深度伪影已基本上被消除的深度图像。可以应用使用第四图像的附加的超分辨率技术。该附加的超分辨率技术的应用产生具有相对第三图像增加的空间分辨率的第五图像。
【专利说明】用于消除深度伪影的图像处理方法和装置
【背景技术】
[0001]用于实时地生成空间场景的三维(3D)图像的许多不同的技术是已知的。例如，空间场景的3D图像可以基于多个二维(2D)图像使用三角剖分来生成。但是，该技术的重大缺点在于它一般需要很密集的计算，并因此会消耗计算机或其他处理设备的过量可用计算资源。
[0002]其他已知的技术包括使用3D成像器(例如，结构光(SL)相机或飞行时间(ToF)相机)来直接生成3D图像。这种类型的相机通常是紧凑的，提供快速的图像生成，并且发射出少量的功率，并且在电磁波谱的近红外部分内操作以便避免对人视觉的干扰。结果，SL和ToF相机通常用于图像处理系统应用中，例如，在视频游戏系统中的手势识别或者需要基于手势的人机界面的其他系统。
[0003]遗憾的是，由SL和ToF相机生成的3D图像典型地具有非常有限的空间分辨率。例如，SL相机在x-y平面内的精度方面具有固有的困难，因为它们实施基于光图形的三角剖分，在该三角剖分中，图形尺寸无法任意地精细化以获得更高的分辨率。此外，为了避免眼损伤，在整个图形上的总的发射功率以及在每个图形元素(例如，直线或点)内的空间及角功率密度两者都受到限制。所产生的图像因此展示出低信噪比，并且仅提供质量有限的深度映射，有可能含有众多深度伪影。
[0004]尽管ToF相机能够比SL相机更精确地确定x-y坐标，但是ToF相机同样具有有关空间分辨率方面的问题。例如，采用z坐标的形式的深度测量值典型地使用在模拟电路中需要很快的开关和时间整合的技术在ToF相机中生成，这能够限制深度映射的可达到质量，再次导致可能含有相当多的深度伪影的图像。
【发明内容】
[0005]本发明的实施例提供以使得深度伪影基本上被消除或者按照特别有效率的方式减少的方式来处理深度映射或其他类型的深度图像的图像处理系统。这些实施例中的一个或多个包括应用使用基本上同一场景的、但可能来自另一图像源的至少一个2D图像的超分辨率技术，以便重建与在由3D成像器(例如，SL相机或ToF相机)生成的深度图像中的一个或多个深度伪影关联的深度信息。
[0006]在一种实施例中，图像处理系统包括配置用于在第一图像中识别出与至少一个深度伪影关联的一个或多个潜在地有缺陷的像素的并且应用使用第二图像来重建一个或多个潜在地有缺陷的像素的深度信息的超分辨率技术的图像处理器。超分辨率技术的应用产生具有所重建的深度信息的第三图像。第一图像可以包括深度图像，而第三图像可以包括总体上与第一图像对应的但深度伪影已基本上被消除的深度图像。第一、第二及第三图像可以全都具有基本上相同的空间分辨率。可以应用使用具有比第一、第二及第三图像的空间分辨率大的空间分辨率的第四图像的附加的超分辨率技术。该附加的超分辨率技术的应用产生具有相对第三图像增加的空间分辨率的第五图像。
[0007]本发明的实施例能够有效地从由SL和ToF相机以及其他类型的实时3D成像器生成的深度图像中去除失真以及其他类型的深度伪影。例如，与深度伪影关联的潜在地有缺陷的像素能够被识别并被去除，并且相应的深度信息使用第一超分辨率技术来重建，随后是使用第二超分辨率技术对所产生的深度图像进行空间分辨率增强。
【专利附图】
【附图说明】
[0008]图1是在一种实施例中的图像处理系统的框图。
[0009]图2是在一种实施例中的用于消除深度伪影的过程的流程图。
[0010]图3示出了包括含有多个潜在地有缺陷的毗邻像素的区域的深度伪影的示例性深度图像的一部分。
[0011]图4示出了在示例性深度图像内于给定的潜在地有缺陷的孤立像素周围的像素邻域。
[0012]图5是在另一种实施例中的用于消除深度伪影的过程的流程图。
【具体实施方式】
[0013]本发明的实施例将在此结合示例性的图像处理系统来说明，该图像处理系统包括图像处理器或其他类型的处理设备并且实现用于处理深度映射或其他深度图像以检测并基本上消除或者减少深度伪影的超分辨率技术。但是，应当理解，本发明的实施例更一般地可应用于其中所希望的是基本上消除或者减少深度伪影的任何图像处理系统或者相关设备或技术。
[0014]图1示出了在本发明的一种实施例中的图像处理系统100。图像处理系统100包括用于接收来自图像源104的图像并将已处理的图像提供给图像目的地106的图像处理器102。
[0015]图像源104包括，例如，3D成像器(例如，SL和ToF相机)以及一个或多个2D成像器(例如，配置用于生成2D红外图像、灰度图像、彩色图像或其他类型的2D图像的2D成像器)，上述元素可以任意组合。图像源104之一的另一个实例是用于给图像处理器102提供要处理的图像的存储设备或服务器。
[0016]图像目的地106说明性地包括，例如，人机界面的一个或多个显示屏，或者用于接收来自图像处理器102的已处理图像的至少一个存储设备或服务器。
[0017]尽管在本实施例中被示为与图像源104和图像目的地106分离的，但是图像处理器102可以至少部分地与一个或多个图像源或图像目的地结合于共同的处理设备上。因而，例如，图像源104和图像处理器102中的一个或多个可以被共同实现于同一处理设备上。类似地，图像目的地106和图像处理器102中的一个或多个可以被共同实现于同一处理设备上。
[0018]在一种实施例中，图像处理系统100被实现为视频游戏系统或者用于处理图像以便识别用户手势的其他类型的基于手势的系统。所公开的技术能够类似地适应于用在各种各样的需要基于手势的人机界面的其他系统中，并且还能够应用于除手势识别外的其他应用，例如，机器人的机器视觉系统以及其他工业应用。
[0019]图像处理器102在本实施例中使用至少一个处理设备来实现，并且包括与存储器112耦接的处理器110。同样包含于图像处理器102内的还有像素识别模块114和超分辨率模块116。像素识别模块114被配置用于在接收自图像源104之一的第一图像中识别与至少一个深度伪影关联的一个或多个潜在地有缺陷的像素。超分辨率模块116被配置用于使用接收自图像源104中可能不同的一个图像源的第二图像，以便重建一个或多个潜在地有缺陷的像素的深度信息，使得由此产生具有所重建的深度信息的第三图像。
[0020]在本实施例中，假定(但不限于):第一图像包括来自图像源104中的第一图像源的第一分辨率的深度图像，而第二图像包括来自图像源104中不同于第一图像源的另一个图像源的、基本上同一场景的且具有基本上与第一分辨率相同的分辨率的2D图像。例如，第一图像源可以包括3D图像源，例如，结构光或ToF相机，而第二图像源可以包括配置用于生成作为红外图像、灰度图像或彩色图像的第二图像的2D图像源。如上所述，在其他实施例中，同一图像源既供应第一图像也供应第二图像。
[0021]超分辨率模块116还可以被配置用于使用第四图像来处理第三图像，以便产生具有相对第三图像增加的空间分辨率的第五图像。在该布局中，第一图像说明性地包括来自图像源104中的第一图像源的第一分辨率的深度图像，而第四图像包括来自图像源104中不同于第一图像源的另一图像源的、基本上同一场景的且具有实质上比第一分辨率大的分辨率的2D图像。
[0022]使用图像处理器102的像素识别模块114和超分辨率模块116实现的示例性图像处理操作将在下文结合图2至5更详细地描述。
[0023]在图1的实施例中的处理器110和存储器112可以包括至少一个处理设备的各个部分，包括微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器(DSP)，或其他类似的处理设备构件，以及其他类型及布局的图像处理电路，上述元素可以任意组合。
[0024]像素识别模块114和超分辨率模块116或者它们的一些部分可以至少部分地以存储于存储器112内的并由处理器110执行的软件的形式来实现。用于存储由相应的处理器执行的软件代码的此类给定存储器是在此更一般地称为具有实现于其内的计算机程序代码的计算机可读介质或其他类型的计算机程序产品的实例，并且可以包括，例如，电子存储器(例如，随机存取存储器(RAM)或只读存储器(ROM))、磁存储器、光学存储器，或其他类型的存储设备，上述元素可以任意组合。如上所述，处理器可以包括微处理器、ASIC、FPGA,CPU、ALU、DSP或其他图像处理电路的一些部分或组合。
[0025]还应当意识到，本发明的实施例可以用集成电路的形式来实现。在给定的此类集成电路的实现方式中，相同的管芯通常按重复的图形形成于半导体晶圆的表面上。每个管芯都包括本文所描述的图像处理电路，并且可以包括其他结构或电路。个体管芯被从晶圆中切割或划片而来，然后被封装为集成电路。本领域技术人员应当知道如何对晶圆进行划片并封装管芯以产生集成电路。这样制造的集成电路被认为是本发明的实施例。
[0026]图1所示的图像处理系统100的具体配置只是示例性的，并且在其他实施例中的系统100除了具体示出的那些元件之外或作为它们替代还可以包括其他元件，包括常见于此类系统的常规实现方式中的类型的一个或多个元件。
[0027]现在参照图2的流程图，图中示出了在一种实施例中的用于消除由3D成像器生成的深度图像中的深度伪影的过程。假定该过程由图像处理器102使用其像素识别模块114和超分辨率模块116来实现。在本实施例中的过程开始于说明性地包括具有MXN个像素的空间分辨率或尺寸的深度图像D的第一图像200。假定这样的图像由3D成像器(例如，SL相机或ToF相机)提供，并且因此将典型地包括一个或多个深度伪影。例如，深度伪影可以包括通常在使用SL相机或其他3D成像器时出现的“阴影”。
[0028]在步骤202中，与深度图像D中的至少一个深度伪影关联的一个或多个潜在地有缺陷的像素被识别出。这些潜在地有缺陷的像素在本实施例及本文的其他实施例的背景下更具体地称为“破”像素，并且一般被理解为包括被确定为具有与在深度图像D中的一个或多个深度伪影关联的足够高的可能性的任何像素。这样识别的任何像素在步骤202中可以被标记或者被指示为破像素，以便促进这些像素的去除或其他后续处理。作为选择，只有破像素的一个子集会被标记以进行去除或者基于阈值或其他标准的其他后续处理。
[0029]在步骤204中，在步骤202中所识别的“破”像素被从深度图像D中去除。应当注意，在其他实施例中，破像素不必要完全去除。作为替代，能够基于阈值或其他规定的像素去除标准仅去除这些像素的一个子集，或者某些附加的处理操作能够被施加于这些像素的至少一个子集，以便促进深度信息的后续重建。因此，对在步骤202中被识别为潜在地有缺陷的所有像素的明确去除并不是必需的。
[0030]在步骤206中，超分辨率技术被应用于修改后的深度图像D，使用来自另一来源的在本实施例中被说明性地称为规则图像的第二图像208。因而，例如，第二图像208可以是基本上同一场景的但由图像源104中的不同图像源(例如，2D成像器)提供的图像，并且因此一般将不包括可见于深度图像D中的那种类型的深度伪影。在本实施例中假定第二图像208具有与深度图像D相同的分辨率，并且因此是MXN图像，但是包括与深度图像对比的规贝U图像。但是，在其他实施例中，第二图像208可以具有比深度图像D更高的分辨率。可以在本实施例以及本文所描述的其他实施例中使用的规则图像的实例包括由2D成像器生成的红外图像、灰度图像或彩色图像。
[0031]因此，在本实施例中，步骤206 —般使用两种不同类型的图像，破像素已去除的深度图像和规则图像，两者均具有基本上相同的尺寸。
[0032]在步骤206中，使用规则图像208的超分辨率技术的应用被用来重建在步骤204中被从图像中去除的破像素的深度信息，从而产生第三图像210。例如，在步骤204中所去除的破像素的深度信息可以通过将来自深度映射D中的相邻像素的深度信息与来自与第二图像208对应的红外、灰度或彩色图像的亮度数据结合来重建。
[0033]该操作可以被看作是从与所去除的像素关联的深度毛刺或其他深度伪影中恢复，不增加深度图像D的空间分辨率。第三图像210在本实施例中包括分辨率为MXN的深度图像E，该深度图像E不包括破像素，而是包括所重建的深度信息。步骤206的超分辨率技术能够处理深度点的非规则集合，因为相应的像素网格包括其中在随机位置处的破像素于步骤204中被去除的间隙。
[0034]以下将更详细地描述，在步骤206中所应用的超分辨率技术可以至少部分地基于例如马尔可夫随机场模型(Markov random field model)。但是,应当意识到,还可以使用适用于重建与所去除的像素关联的深度信息的许多别的超分辨率技术。
[0035]此外，步骤202、204和206可以重复，以便定位并基本上消除附加的深度伪影。
[0036]在图2的实施例中，第一图像200、第二图像208及第三图像210全都具有相同的空间分辨率或像素尺寸，即，分辨率为MXN个像素。第一及第三图像是深度图像，而第二图像是规则图像。更特别地，第三图像是总体上与第一图像对应的但该一个或多个深度伪影已基本上消除的深度图像。再者，第一、第二及第三图像全都具有基本上相同的空间分辨率。在下文将结合图5来描述的另一种实施例中，第三图像210的空间分辨率使用另一种超分辨率技术来增加，该超分辨率技术一般是与在步骤206中用来重建深度信息的技术不同的技术。
[0037]由图2的过程生成的深度图像E通常其特征在于:与原始深度图像D相比，具有较好的视觉及仪器质量，更规则且自然的形状的较尖锐边缘，较低的噪声影响，以及缺少深度异常值、斑点、来自高反射性表面的饱和点(saturated spot)或其他深度伪影。
[0038]在图2的过程的步骤202中用于在深度图像D中识别出潜在地有缺陷的像素的示例性技术现在将更详细地参照图3和4来描述。最初应当注意，这样的像素可以在某些实施例中识别为具有由关联的3D成像器(例如，SL相机或ToF相机)针对各自的预定误差值设定的深度值的任何像素。例如，这样的相机可以被配置以将深度值Z=O用作预定的误差值，以依据其深度信息指出相应的像素是潜在地有缺陷的。在这种类型的实施例中，具有预定误差值的任何像素都在步骤202中可以被识别为破像素。
[0039]用于在深度图像D中识别出潜在地有缺陷的像素的其他技术包括检测潜在地有缺陷的毗邻像素的区域，如图3所示，并且检测潜在地有缺陷的特定像素，如图4所示。
[0040]现在参照图3，深度图像D的一部分被示为包括包含多个潜在地有缺陷的毗邻像素的阴影区域的深度伪影。在阴影区域内的每个潜在地有缺陷的毗邻像素都可以包括毗邻像素具有与在阴影区域外的像素的深度值实质上不同的各自的意外深度值。例如，在本实施例中，阴影区域由无阴影的外周边界包围，并且阴影区域可以被限定，以便关于外周边界满足以下不等式:
[0041]I均值{d1:像素i在区域内}-均值{dj:像素j在边界上} I >dT
[0042]其中屯是阈值。如果这样的意外深度区域被检测到，在每个检测区域内的所有像素都被标记为破像素。在其他实施例中也可以使用许多别的技术来识别与给定的深度伪影对应的潜在地有缺陷的毗邻像素的区域。例如，上述不等式能够使用统计量更一般地表示如下:
[0043]I统计量W1:像素i在区域内}-统计量Wj:像素j在边界上} I >dT
[0044]其中统计量能够是如同前面所给出的均值，或者各种各样的其他类型的统计量中的任一种，例如，中值或者P范数距离度量。在P范数距离度量的情形中，在上述不等式中的统计量可以表示如下:
[0045]
【权利要求】
1.一种方法，包括: 在第一图像中识别与至少一个深度伪影关联的一个或多个潜在地有缺陷的像素；以及 应用超分辨率技术，利用第二图像来重建所述一个或多个潜在地有缺陷的像素的深度信息； 其中所述超分辨率技术的应用产生具有所重建的深度信息的第三图像； 其中所述识别和应用步骤在包括与存储器耦接的处理器的至少一个处理设备中实现。
2.根据权利要求1所述的方法，其中所述第一图像包括深度图像，而所述第三图像包括总体上与所述第一图像对应但是所述至少一个深度伪影已基本上消除的深度图像。
3.根据权利要求1所述的方法，还包括: 应用利用第四图像的附加的超分辨率技术； 其中所述附加的超分辨率技术的应用产生相对所述第三图像具有增加的空间分辨率的第五图像。
4.根据权利要求3所述的方法，其中所述第一图像包括深度图像，而所述第五图像包括总体上与所述第一图像对应但是所述至少一个深度伪影已基本上消除的且所述分辨率增加的深度图像。
5.根据权利要求1所述的方法，其中识别一个或多个潜在地有缺陷的像素包括: 标记所述潜在地有缺陷的像素的至少一个子集；以及 在应用所述超分辨率技术之前从所述第一图像中去除所标记的潜在地有缺陷的像素。
6.根据权利要求1所述的方法，其中所述第一图像包括来自第一图像源的第一分辨率的深度图像，而所述第二图像包括来自与所述第一图像源不同的另一图像源的、基本上同一场景的且具有基本上与所述第一分辨率相同的分辨率的二维图像。
7.根据权利要求3所述的方法，其中所述第一图像包括来自第一图像源的第一分辨率的深度图像，而所述第四图像包括来自与所述第一图像源不同的另一图像源的、基本上同一场景的且具有实质上比所述第一分辨率大的分辨率的二维图像。
8.根据权利要求1所述的方法，其中识别一个或多个潜在地有缺陷的像素包括:检测所述第一图像中具有由关联的深度成像器对各自的预定误差值设定的深度值的像素。
9.根据权利要求1所述的方法，其中识别一个或多个潜在地有缺陷的像素包括:检测毗邻像素的区域，所述毗邻像素具有与所述区域之外的像素的深度值实质上不同的各自的意外深度值。
10.根据权利要求9所述的方法，其中所述具有各自的意外深度值的毗邻像素的区域被限定为使得关于所述区域的外围边界满足以下不等式: 统计量W1:像素i在区域内}-统计量Wj:像素j在边界上} I >dT 其中dT是阈值，而统计量表示均值、中值和距离度量之一。
11.根据权利要求1所述的方法，其中识别一个或多个潜在地有缺陷的像素包括: 识别所述像素中的一个特定像素； 识别所述特定像素的像素邻域；并且 基于所述特定像素的深度值以及在所述像素邻域内的各个像素的深度值的均值和标准差中的至少一个而将所述特定像素识别为潜在地有缺陷的像素。
12.根据权利要求11所述的方法，其中识别所述特定像素的像素邻域包括:识别特定像素P的η个近邻的集合Sp:
Sp= Ip1,...，Ρη}， 其中η个近邻每个都满足以下不等式:
Ip - Pi 1〈山 其中d是邻域半径，而I 1.1 I表示像素P和Pi之间在χ-y平面内的距离度量。
13.根据权利要求11所述的方法，其中将所述特定像素识别为潜在地有缺陷的像素包括:只要满足以下不等式就将所述特定像素识别为潜在地有缺陷的像素:
I Zp - m| >k O， 其中zp是所述特定像素的深度值，m和σ分别是在所述像素邻域内的各个像素的深度值的均值和标准差，而k是指定置信度的乘因数。
14.根据权利要求1所述的方法，其中应用所述超分辨率技术包括:应用至少部分基于马尔可夫随机场模型的超分辨率技术。
15.根据权利要求3所述的方法，其中应用所述附加的超分辨率技术包括:应用至少部分基于双边过滤器的超分辨率技术。
16.一种具有实现于其内的计算机程序代码的计算机可读存储介质，其中所述计算机程序代码在由处理设 备执行时促使所述处理设备执行根据权利要求1所述的方法。
17.一种装置，包括: 至少一个处理设备，包括与存储器耦接的处理器； 其中所述至少一个处理设备包括: 像素识别模块，被配置用于在第一图像中识别与至少一个深度伪影关联的一个或多个潜在地有缺陷的像素；以及 超分辨率模块，被配置用于利用第二图像来重建所述一个或多个潜在地有缺陷的像素的深度信息； 其中所述超分辨率模块产生具有所重建的深度信息的第三图像。
18.根据权利要求17所述的装置，其中所述超分辨率模块还被配置用于利用第四图像来处理所述第三图像，以便产生相对所述第三图像具有增加的空间分辨率的第五图像。
19.根据权利要求17所述的装置，其中所述第一图像包括来自第一图像源的第一分辨率的深度图像，而所述第二图像包括来自与所述第一图像源不同的另一图像源的、基本上同一场景的且具有基本上与所述第一分辨率相同的分辨率的二维图像。
20.根据权利要求19所述的装置，其中所述第一图像源包括含有结构光相机和飞行时间相机之一的三维图像源。
21.根据权利要求19所述的装置，其中所述第二图像源包括被配置用于生成作为红外图像、灰度图像及彩色图像之一的所述第二图像的二维图像源。
22.根据权利要求18所述的装置，其中所述第一图像包括来自第一图像源的第一分辨率的深度图像，而所述第四图像包括来自与所述第一图像源不同的另一图像源的、基本上同一场景的且具有实质上比所述第一分辨率大的分辨率的二维图像。
23.一种图像处理系统，包括根据权利要求17所述的装置。
24.—种手势检测系统，包括根据权利要求23所述的图像处理系统。
【文档编号】H04N5/367GK104025567SQ201380003572
【公开日】2014年9月3日 申请日期:2013年5月17日 优先权日:2012年10月24日
【发明者】A·A·佩蒂尤什克, A·B·霍洛多恩克, I·L·马祖仁克, D·V·帕芬诺韦, D·N·巴宾 申请人:Lsi公司