基于边界的高分辨率深度图生成的制作方法

专利名称：基于边界的高分辨率深度图生成的制作方法
基于边界的高分辨率深度图生成技术领域：
本发明涉及三维图像处理，特别涉及使用基于边界的处理方法来生成高分辨率深度图。背景技术：
在三维(3D)图像处理(如3D计算机图形、3D建模、3D动画生成等)中，经常要使用到物体距离一个视点的深度信息。例如，包含场景物体表面离一个视点的距离信息的深度图(如一个图像或图像通道)可以用于提供二维(2D)图像中的深度信息。
但是，获取或得到高分辨率的深度信息还是很困难的。例如，尽管能拍摄高分辨率 2D图像的相机(在此称作图像照相机)已经很常见了(常见到包含在许多消费电子设备中， 例如手机、平板装置、和手提电脑)，而且并不昂贵，但是能够拍摄一个场景的深度信息的相机还很不常见，并且相当昂贵。这种深度相机通常只提供低分辨率的深度信息，因此不能准确地映射到相应的高分辨率图像上。
尽管已经有各种方法尝试对低分辨率深度信息进行采样或插值而得到更高分辨率的深度信息，但是这些方法都不是很令人满意。例如，现有技术的插值方法使用插值算法，检查包含不可靠样本的深度样本，因此使得插值结果中有不可靠的样本输入。另外，现有技术的插值方法不能准确地确定深度不连续之处，因此在生成的深度图中产生模糊和不正确的物体边界。而且，例如由于对每个像素进行双边滤波或插值、实施比较大的插值样本窗口大小等等，现有技术的插值方法通常需要相当多的处理过程。因此，上采样深度图通常不准确，而且还需要相当多的处理资源。发明概述
本发明是关于通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。本发明实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。根据本发明实施例，边界检测算法可以检测到物体边界(如深度不连续之处)，其中低分辨率深度样本通常是不准确的，因此需要根据高分辨率图像信息进行改善。根据本发明实施例， 基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息(如空间插值低分辨率深度信息)，从而提供更准确和可靠的高分辨率深度信息。
前述已经相当广泛地阐述了本发明的特征和技术优势，由此将更加容易理解以下本发明的详细描述。本发明的其他特征和优势将在其后描述，并构成本发明的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和具体实施例可以作为一个基础，用来修改或设计其它结构来执行本发明的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本发明精神和范围。被看作是本发明特征的新颖性特征，无论是其组织还是运算方法，与其它目的和优势一起，通过以下 的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本发明。

为了更完整地理解本发明，现结合附图参照以下的描述，其中
图1显示本发明实施例基于边界的深度处理的系统功能模块示意图2显示本发明实施例的能提供基于边界的深度处理功能的计算机系统；
图3显示本发明实施例的边界检测逻辑提供边界检测的运行流程图4显示本发明实施例的一个可以用于拟合不同深度的样本间隔统计而用于归一化的多项式曲线；
图5A和5B描述本发明实施例的从深度梯度和图像梯度中产生联合深度和图像梯度；
图6显示本发明实施例的基于边界的插值逻辑提供高分辨率深度信息的运行流程图7显示本发明实施例的一个非边界块及其8个相邻块表示；
图8A和SB显示本发明实施例的被分割成子区域的边界块；
图9显示本发明实施例的边界块及其8割相邻块。发明详述
图1是根据本发明实施例的基于边界的深度处理系统的高层(high level)功能模块示意图。运行时，所示实施例的系统100使用基于边界的处理方法从低分辨率(如 (600x400像素)深度信息110 (如由一个深度相机拍摄的低分辨率深度图111提供的)和高分辨率图像信息120 (如由一个图像照相机拍摄的高分辨率图像121提供的)中产生高分辨率(如> 1024x768像素)深度信息151。
所示实施例系统100提供的基于边界的深度处理，是对深度信息进行中间结果的的(intermediate)上采样，然后进行边界检测，并进行基于边界的插值，以从低分辨率深度信息和高分辨率图像信息中产生高分辨率的深度信息。因此，系统100包括深度信息上采样逻辑130、边界检测逻辑140、和基于边界的插值逻辑150，它们相互连接以提供基于边界的深度处理。
应当理解，以上逻辑可以以各种方式实施，包括硬件逻辑电路、软件、固件、以及其组合。当以软件实施时，本发明实施例的元素可以包括能在处理器系统(如图2所示的计算机系统200)上运行的代码段，以执行在此描述的工作。代码段可以存储在计算机可读介质中，如随机存取存储器(RAM) 203、只读存储器(ROM) 204、和/或存储设备206。另外，代码段可以通过计算机网络(如网络212)下载。
根据本发明实施例的计算机系统200可以包括配置有程序代码(如包括上述的代码段)的通用处理器系统，以提供在此所述的功能性。因此，所示实施例计算机系统200包括中央处理单元(CPU) 201，其连接到系统总线202。CPU201可以是任何通用CPU，如来自英特尔公司的PENTIUM或CORE系列的处理器，或者来自AM联盟(苹果公司、IBM公司和 Motorola公司)的POWERPC系列处理器。但是，本发明`并不限制CPU201的结构，只要CPU201 支持在此描述的本发明的运作。
所示实施例的总线202连接到RAM203 (如SRAM、DRAM、SDRAM、闪存等等)。R0M204 (如PR0M、EPR0M、EEPR0M)也连接到所示实施例的总线202。众所周知，RAM203和R0M204保存用户和系统数据以及程序。总线202也连接到输入/输出(I/O)控制器205、通信转接适 配器211、用户接口适配器208、和显示适配器209。
I/O控制器205连接存储设备206 (如一个或多个硬盘、光盘(如⑶或DVD)、软盘、 和磁带)到该计算机系统。所示实施例的I/O控制器205也连接到打印机214，其允许系统 打印信息，如文件、图片等等。该打印机可以是传统打印机(如点阵、激光等等)、传真机、复 印机等等。
通信转接适配器211用于连接计算机系统200到网络212，以提供通信连接往来外 部系统、设备、网络等。网络212可以包括公共交换电话网络(PSTN)、局域网(LAN)、城域网 (MAN)、广域网(WAN)、外联网、内联网、英特网、手机网、有线电视传输网络等等。
所示实施例的用户接口适配器208连接各种用户输入设备到该计算机系统。例 如，键盘213、指示设备207、和麦克风216都可以通过用户接口适配器连接，以接受各种形 式的用户输入。类似地，扬声器215可以通过用户接口适配器连接，以提供用户接口输出。
显示适配器209提供接口给显示器210。因此，CPU201可以控制各种信息的显示， 包括文字、图形、和图像，通过显示适配器209而显示在显示器210上。显示器210可以包 括阴极射线管(CRT)显示器、等离子显示器、液晶显示器(IXD)、投影仪等等。尽管在所示实 施例中没有清晰显示，但是显示器210可以提供数据输入，也可以提供数据输出。例如，根 据本发明实施例，显示器210可以包括触摸屏显示。
尽管在图2中显示的是通用处理器系统，但是应该理解，这个能够提供深度信息 上采样逻辑130、边界检测逻辑140、和基于边界的插值逻辑150或其部分的处理器系统，也 可以是一个专用处理器系统，如可以提供硬件逻辑电路以实施上述功能性。例如，根据本发 明实施例，一些或所有上述逻辑可以实施在一个专用集成电路(ASIC)或现场可编程门阵列 (FPGA)上。
参见图1，实施例的深度信息上采样逻辑130对深度信息进行中间结果的的 (intermediate)上采样。例如，对低分辨率深度信息110进行上采样，以提供中间结果的上 采样的深度信息131。该中间结果的上采样的深度信息131的分辨率最好能对应于高分辨 率图像信息120的分辨率。深度信息上采样逻辑130可以实施一个或多个空间插值算法(如 最近邻、双线性、双三次等等)，以对低分辨率深度信息进行上采样。尽管一些插值方法很容 易产生不准确的结果，特别是在物体边界处，因为在插值确定中它们使用了不可靠的样本； 但是本发明通过使用如下所述的进一步改善处理，可以提供可靠的高分辨率深度信息。
实施例的边界检测逻辑140执行一个算法以检测高分辨率图像121中的物体边界 (即深度不连续)，以提供边界信息，如边界图141所示。通常这些边界区域内的低分辨率深 度信息110的深度样本是不准确的，因此需要改善。
图3显示本发明实施例的边界检测逻辑140提供边界信息的运行流程图，如流程 300。在步骤301和302，分别计算深度和图像梯度。例如，可以使用众所周知的方法(如使 用相邻深度的差值)来计算中间结果的上采样深度信息131的深度梯度(如深度图中每个样 本在深度上的方向变化)。类似地，可以使用众所周知的方法(如使用相邻亮度和/或颜色 的差值)计算高分辨率图像信息120的图像梯度(如一个图像中每个样本在亮度或颜色上的 方向变化)。本发明实施例使用诸如苏贝尔算子(Sobel operator)计算一个或多个上述梯 度。
在步骤303，归一化步骤301中计算的深度梯度。例如，深度传感器经常使用不同 的采样间隔在不同的深度上(如对于很靠近视点的物体，会提供权重)。因此，本实施例在步 骤303上的处理是对具有不同采样间隔的样本的深度梯度进行归一化。在运行时，使用如 图4所示的一个多项式曲线去拟合在不同深度的采样间隔的统计。通过使用深度梯度的归 一化，基于深度梯度而判断深度不连续之处的标准就适应于实际中不同的深度。也就是说， 使用归一化的深度梯度，靠近视点的场景中物体的边界检测和远离视点的场景中物体的边 界检测都可以同样表现良好。
归一化的深度梯度和图像梯度在步骤304进行组合，以提供一个联合深度和图像 梯度，用于边界检测。在组合归一化的深度梯度和图像梯度中，实施例选择性地组合梯度信 息。例如，可以从归一化的深度梯度中去除太小的深度梯度，并同时去除这些过小的深度梯 度所对应的图像梯度(即图像中相应位置如像素位置上的深度和图像梯度)。例如，在深度 梯度归一化之后，太小的深度梯度可以是小于一个特定阈值(如O. 2/1，其中梯度被归一化 到
)的梯度。根据实施例，归一化的深度梯度是使用固定的阈值用于去除梯度。应该 理解，相当大的梯度通常意味着是一个边界，因此去除太小的梯度是去除对边界检测不必 要的信息。
或者，在步骤304中组合归一化深度梯度和图像梯度时，可以抑制非常大的深度 梯度，以强调对应的图像梯度。在深度梯度归一化后，该非常大的深度梯度可以是诸如大于 一个阈值(如O. 5/1)的梯度。根据实施例，归一化的深度梯度是使用一个固定的阈值用于 抑制梯度。应该理解，大的梯度通常意味着是一个边界。但是，中间结果的上采样深度信息 是对低分辨率深度信息进行简单的空间上采样得到的，因此，尽管其能够可靠地指出边界 的存在，但是关于边界的具体位置信息还是相当弱。但是，高分辨率图像信息是生来高分辨 率的，因此由该信息提供的梯度可以提供更精确的边界位置信息。因此，通过抑制非常大的 深度梯度，并定位相应的图像梯度作为边界，边界检测逻辑能够非常可靠地使用这些深度 梯度去确定边界的存在，并使用图像梯度去高度准确地定位边界的位置。
另外，在步骤304中组合归一化的深度梯度和图像梯度时，深度梯度和相应的图 像梯度可以根据方向的一致性而组合。应当理解，深度梯度和图像梯度的方向一致，将可靠 地指示图像中边界的存在联合深度和图像梯度。因此，当深度梯度和相应的图像梯度有相 似的方向时(如梯度向量方向之间的夹角在20°以内)，两者就可以合并在一起，组成联合 深度和图像梯度，如图5A所示(如深度梯度向量Gd的方向与图像梯度向量Gi的方向之间 的夹角在20°以内，因此这两个向量可以组合，生成一个联合深度和图像梯度向量Ge)。另 一方面，深度梯度和图像梯度方向的分歧则说明有信息冲突(如来源于图像中的阴影、表面 纹饰等等)。应当理解，在这种情况下，深度梯度通常更能显示边界存在。因此，当深度梯度 和相应的图像梯度方向上差别较大时(如梯度向量方向之间的夹角大于20° )，在联合深度 和图像梯度中，通常会丢弃图像梯度而仅仅保留深度梯度，如图5B所示(如深度梯度向量 Gd的方向和图像梯度向量Gi的方向之间的夹角大于20°，因此联合深度和图像梯度向量 Ge就等于深度梯度向量Gd)。
在步骤304提供了一个联合深度和图像梯度后，边界检测逻辑140的处理就行进 到步骤305，在联合深度和图像梯度中进行边缘检测。例如，可以使用现有技术中的边缘检 测方法(如Canny边缘检测法中使用的非最大抑制，然后滞后阈值)去确定边缘。
所示实施例的流程300并不是终止于边界检测的边缘检测步骤305，而是提供进 一步处理，以更精确地确定边界。因此，所示实施例行进到步骤306，去除步骤305中检测到 的重复的边缘。如以上步骤304讨论的关于深度梯度和图像梯度的组合以提供一个联合深 度和图像梯度，在步骤305中仅仅根据深度梯度提供的信息可以检测到一些边缘，而在步 骤305中根据深度梯度和图像梯度提供的信息还可以检测到其他边缘。当深度梯度和图像 梯度非常不同的时候，有时会检测到双边缘。因此，在本实施例的步骤306，要去除这些双边 缘。例如，执行方向非最大抑制(directional non-maximum suppression),根据边缘对应 的组合梯度Ge的大小和方向，去除双边缘中的其中一个边缘。具体地，对于每个边缘像素， 检查沿着其Ge向量方向附近的像素(即以该像素为中心沿着其Ge向量的一个线段)。如果 该像素的Ge大于沿着其Ge方向的所有邻近像素的Ge，那么就保留该边缘像素，否则去除该 边缘像素。
除了上述去除重复边缘，步骤306还会进一步处理检测到的边缘。例如，进一步处 理可以包括边缘连接和清洁，从而绘制完整而整齐的边缘。
步骤306中进一步处理的检测到的边缘被确定为图像中的深度边界。因此，通过 流程300的运行，边界检测逻辑140提供输出边界图141，如图1所示。
基于边界的插值逻辑150使用由边界检测逻辑140提供的边界图141，还使用低分 辨率深度信息110和中间结果的采样的深度信息131，以进一步改善深度信息，提供高分辨 率的深度信息151。因此，本实施例的基于边界的插值逻辑执行的算法使用边界图141以改 善中间结果的采样的深度信息131。对中间结果的采样的深度信息进行的改善是基于边界 的，因为通常边界表示区域内的低分辨率深度信息的深度样本都是不准确的，因此需要改 善。根据实施例，所进行的改善仅限于这些边界，优化改进结果的同时也要最小化图像处理 所需的资源。
根据本发明实施例，基于边界的插值逻辑150使用基于块的插值，根据边界图 141，改善中间结果的采样的深度信息131。使用的块尺寸最好取决于用于产生中间结果的 上采样深度信息的上采样率。例如，上采样率越大，块尺寸就越大。根据本发明实施例，高 分辨率深度图中的每个块都对应原始低分辨率深度图中的单个深度样本(如高分辨率深 度图中一个块的深度就是对应一个低分辨率样本的深度)。在此描述的示范实施例的块尺 寸是4个像素X 4个像素，当然也可以根据需要使用其他块尺寸。
在本实施例使用的基于块的插值中，块被分成多个类别，根据要处理的特定块的 类别，使用不同的插值算法。由基于块的插值算法使用的块的类别可以包括诸如边界块(即 包括边界像素的块)和非边界块(即不包括边界像素的块)。非边界块还可以再分成不可靠 块(即此块的8个紧邻块至少有一个是边界块，并且所有8个紧邻块的深度都不同于此块) 和可靠块(即不是不可靠块的非边界块)。
图6显示本发明实施例的基于边界的插值逻辑150的运算流程600以提供高分辨 率深度信息。根据实施例，对中间结果的采样的深度信息131的每个块都执行流程600，以 改善各个块，从而提供高分辨率深度信息151。
在步骤601，确定此块是边界块还是非边界块。例如，基于边界的插值逻辑150可 以使用边界图信息141来确定此块是否包括一个或多个在此边界图中确定为边界的像素。 如果此块被确定为非边界块，那么行进到步骤602。
在步骤602，确定此非边界块和其所有相邻块是否是可靠的。例如，基于边界的插值逻辑150可以分析此块的8个紧邻块(即此块的2个上下块、2个左右块、和4个对角线上的块)，以确定所有这8个块是否被分类成可靠块(非边界块)。如果是，那么确定此块远离所检测到的边界，因此此块的像素不需要进行任何改善(步骤604)。但是，如果8个紧邻块中任何一个是被分类成不可靠块(即边界块或不可靠的非边界块)，那么行进到步骤603。在步骤603，确定紧邻块是否提供足够的可靠信息用于插值改善此块像素。例如，基于边界的插值逻辑150可以分析这8个紧邻块，确定是否有多于一个阈值(如多于I)的紧邻块被分类成可靠的非边界块。如果确定紧邻块没有提供足够的可靠信息用于插值改善此块像素(即在这8个紧邻块中可靠的非边界块的数量小于2(〈=1))，那么此块的像素不进行任何改善(步骤604)。也就是说，因为紧邻块提供的信息并不比此块提供的信息更可靠，所以此块像素不可能基于其紧邻块而得到改善。但是，如果确定紧邻块可以提供足够可靠的信息用于插值改善此块像素(即在这8个紧邻块中可靠的非边界块的数量大于1)，那么行进到步骤605。在步骤605，使用插值方法对此块像素进行改善。例如，可以关于一个或多个紧邻块使用空间和深度双边插值来改善此块像素。在步骤605提供的空间和深度双边插值中，应该知道，此块(如图7中的块700)是非边界块，且其8个紧邻块(如图7中的质心点711-716、721、和722)不全是可靠块(如质心点711-716表示的块是可靠的，而如质心点721和722表示的块是不可靠的)。也就是说，此块接近深度不连续，因此一些紧邻块的深度如果用于参考可能不可靠。所以，只基于一些可靠的紧邻样本，使用空间和深度双边插值来改善此块的一个或多个像素(如像素701 )。例如，该实施例对此块的每个像素 进行3 X 3深度和空间双边插值，其中3 X 3深度样本是来自此块(即块700)和8个紧邻块中的可靠块(即质心点711-716表示的块)。根据此实施例，对此块一个像素进行深度和空间双边插值，以下等式(I)提供了一个可靠样本的加权和，其中d(p)是被插值像素P的深度，P是一个2D向量(X，y)。
i/(p) = [exp(-K-办 I/q)-exp(-1l ρ -P Il/σ2)· /Α.
ksR( I )
如上所述，R仅包括可靠深度样本(在图 中，R包括块700和质心点711-176)。对于深度加权(等式(I)中第一个指数项)，此块中所有像素都有相同的参考深度dr，其即是可靠深度样本的中间值。对于空间加权(等式(I)中第二个指数项)，每个像素都有其自身的参考位置P。如果在步骤601确定此块是一个边界块，那么行进到步骤606。在步骤606，此块被分割成若干子区域(例如通过对非边界像素进行4邻域选择(4-neighbor selection))。应该理解，因为边界块跨越深度不连续之处，由此划分的各个子区域将对应于不同的物体，也因而具有不同的参考深度dr。根据实施例，此块被分割成子区域，如图8A和8B所示。例如，图8A中的边界块800a被分割成子区域811a和812a，它们被边界像素801a_804a分割。类似地，图8B中的边界块800b被分割成子区域811b、812b、和813b，它们被边界像素801b_805b分割。如上所述，每个子区域可以对应一个不同的参考深度(如前景物体表面、背景物体表面等等)。因此，本实施例为每个子区域确定一个参考深度。例如，在确定参考深度时，本实施例可以使用从此块中心穿过各个子区域质心点的方向(如图8A中穿过子区域811a和812a的箭头821a和822a,图8B中穿过子区域811b、812b、和813b的箭头821b、822b、和823b)来指示子区域的参考深度dr (即8个紧邻块中某一个块的深度)用于深度加权。如果参考深度不可靠，基于边界的插值逻辑150就确定其他候选者的参考深度，如图9中邻近块901的灰色方块和邻近块902的灰色点块。在步骤607，确定边界块的此子区域是否有可靠的参考深度信息。根据参考深度被确定为可靠的还是不可靠的，对此子区域的像素可以使用不同的插值方法。如果在步骤607确定此子区域有可靠的参考深度信息，那么行进到步骤605，进行如上所述的插值以改善此子区域的像素。例如，可以对应8个邻居量化为8个方向，对子区域进行插值，计算该子区域的参考深度。但是，如果在步骤607确定此子区域没有可靠的参考深度，行进到步骤608。在步骤608，使用插值方法对此子区域的像素进行改善，例如，可以使用所有紧邻块的深度样本，进行空间和颜色的双边插值，改善此子区域的像素。应该理解，步骤608使用空间和颜色的双边插值，而不是步骤605的空间和深度的双边插值，这是因为此子区域的参考深度dr并不能可靠地用于空间和深度双边插值里的深度加权。对边界块和不可靠的非边界块进行如图6的插值后，基于边界的插值逻辑150提供了准确可靠的高分辨率深度信息151。根据实施例，在生成高分辨率深度信息时，基于边界的插值逻辑使用了被确定为可靠的样本数据，因此能提供准确可靠的深度信息。而且，本实施例使用的插值方法所需的计算资源也同时得到最小化。尽管已经详细描述了本发明及其优势，但应该明白，可以对其作出各种改变和替换，而不会脱离由所附权利要求定义的本发明精神和范围。此外，本发明应用的范围不受限于说明书里描述的过程、机器、制造、物质组成、方法和步骤的特定实施例。从本发明的披露，本领域普通技术人员将会容易明白，可以使用当前已有的或未来开发的且能够执行与在此所述对应实施例相同的功能或获得相同的结果的过程、机器、制造、物质组成、方法、或步骤。因此，所附权利要求意在包括这些过程、机器、制造、物质组成、方法和步骤在其范围内。
权利要求
1.ー个方法，包括 接收低分辨率深度信息； 接收高分辨率图像信息； 对所述低分辨率深度信息进行上采样，以提供和所述高分辨率图像信息具有相同分辨率的中间结果的上采样深度信息； 根据所述中间结果的上采样深度信息和所述高分辨率图像信息产生ー边界图； 使用基于边界的插值和所述边界图，根据所述中间结果的上采样深度信息产生高分辨率深度信息。
2.根据权利要求1所述的方法，其中所述对所述低分辨率深度信息进行上采样，使用了ー个空间插值算法。
3.根据权利要求1所述的方法，其中所述产生边界图包括 根据所述中间结果的上采样深度信息计算，计算深度梯度； 归ー化所述深度梯度； 根据所述高分辨率图像信息，计算图像梯度； 根据所述归ー化深度梯度和所述图像梯度，产生ー联合深度和图像梯度； 使用所述组合深度和图像梯度，检测边缘，其中一个或多个被检测到的边缘被用作为所述边界图中的边界。
4.根据权利要求3所述的方法，还包括 处理所述检测到的边缘，用于确定所述边界图中的所述边界。
5.根据权利要求4所述的方法，其中所述处理检测到的边缘的处理过程选自以下 通过方向性非最大抑制去除重复的边缘； 进行边缘连接； 清洁所检测到的边缘。
6.根据权利要求3所述的方法，其中所述归ー化深度梯度包括 对具有不同采样间隔的样本，进行所述深度梯度归一化。
7.根据权利要求3所述的方法，其中所述产生联合深度和图像梯度包括 根据所述归ー化的深度梯度和图像梯度，选择性地组合梯度信息，以提供所述联合深度和图像梯度。
8.根据权利要求7所述的方法，其中所述选择性地组合包括 从所述归ー化的深度梯度中去除小的深度梯度和它们对应的图像梯度，然后产生所述联合深度和图像梯度。
9.根据权利要求7所述的方法，其中所述选择性地组合包括 在所述联合深度和图像梯度中抑制大的深度梯度，以强调它们对应的图像梯度。
10.根据权利要求7所述的方法，其中所述选择性地组合包括 根据所述深度梯度和图像梯度之间的方向一致性，组合深度梯度和对应的图像梯度。
11.根据权利要求1所述的方法，其中所述产生高分辨率深度信息包括 对所述中间结果的上采样深度信息使用基于块的分析，对所述边界图中被确定为边界的一部分的块进行改善，对被确定为具有不可靠深度信息的块进行改善。
12.根据权利要求11所述的方法，其中所述基于块的分析包括；使用所述边界图，确定ー个目标块是否是边界块。
13.根据权利要求12所述的方法，其中如果所述目标块被确定为不是边界块 那么确定所述目标块是否有任何紧邻块是边界块或是不可靠块； 如果所述目标块被确定为没有任何紧邻块是边界块或是不可靠块，那么对所述目标块不进行深度信息改善； 如果所述目标块被确定为有紧邻块是边界块或是不可靠块，如果有两个或多个紧邻块被确定为具有可靠深度信息，那么对所述目标块进行深度信息改善。
14.根据权利要求13所述的方法，其中所述对目标块进行深度信息改善包括 仅使用可靠紧邻块的深度信息，进行空间和深度双边插值。
15.根据权利要求12所述的方法，其中如果所述目标块被确定为边界块 那么将所述块根据所述边界分割成子区域，并对每个子区域进行单独的深度信息改兹
16.根据权利要求15所述的方法，还包括 确定ー个目标子区域是否有可靠的參考深度信息； 如果所述目标子区域被确定为具有可靠的參考深度信息，那么仅使用可靠的紧邻块的深度信息，进行空间和深度双边插值； 如果所述目标子区域被确定为不具有可靠的參考深度信息，那么对所述目标子区域的深度信息，进行空间和颜色双边插值。
17.—个系统,包括 深度信息上采样逻辑，其对低分辨率深度信息进行上采样，提供中间结果的上采样深度ィ目息; 边界检测逻辑，其使用高分辨率图像信息，从所述中间结果的上采样深度信息，产生ー个边界图； 基于边界的插值逻辑，其使用所述边界图，从所述中间结果的上采样深度信息，产生高分辨率深度信息，其中所述高分辨率深度信息的分辨率至少和所述高分辨率图像信息的分辨率ー样高。
18.根据权利要求17所述的系统，其中所述边界检测逻辑从所述中间结果的上采样深度信息计算出深度梯度，归ー化所述深度梯度，并从所述高分辨率图像信息计算出图像梯度，然后从所述归ー化的深度梯度和所述图像梯度中产生联合深度和图像梯度，然后使用所述联合深度和图像梯度检测边缘，其中一个或多个检测到的边缘被用作为所述边界图中的边界。
19.根据权利要求18所述的系统，其中所述边界检测逻辑在产生所述组合深度和图像梯度时，会从所述归ー化深度梯度中去除小的深度梯度和它们对应的图像梯度，然后产生联合深度和图像梯度。
20.根据权利要求18所述的系统，其中所述边界检测逻辑在产生所述组合深度和图像梯度时，会在所述组合深度和图像梯度中抑制大的深度梯度以强调它们对应的图像梯度。
21.根据权利要求18所述的系统，其中所述边界检测逻辑在产生所述组合深度和图像梯度时，会根据所述深度梯度和图像梯度之间的方向一致性，组合深度梯度和对应的图像梯度。
22.根据权利要求17所述的系统，其中所述基于边界的插值逻辑对于所述中间结果的上采样深度信息中被确定为边界块的那些块，选择性地使用空间和深度双边插值，以及空间和颜色双边插值，其中所述边界块是指包含一部分所述边界图中被确定为边界的那些块。
23.根据权利要求17所述的系统，其中所述基于边界的插值逻辑对于所述中间结果的上采样深度信息中被确定为非边界块的那些块，选择性地使用空间和深度双边插值，以及不插值，其中所述非边界块是指不包含任何所述边界图中被确定为边界的那些块。
24.ー种方法，包括 对低分辨率深度信息进行上采样，提供中间结果的上采样深度信息； 从所述中间结果的上采样深度信息和高分辨率图像信息，产生边界图，其中所述产生边界图包括 从所述中间结果的上采样深度信息计算出深度梯度； 归ー化所述深度梯度； 从所述高分辨率图像信息计算出图像梯度； 从所述归ー化深度梯度和图像梯度，产生联合深度和图像梯度； 使用所述组合深度和图像梯度，检测边缘，其中一个或多个检测到的边缘被用作为所述边界图中的边界； 使用基于边界的插值和所述边界图，从所述中间结果的上采样深度信息中产生高分辨率深度信息，其中所述产生高分辨率深度信息包括 确定所述中间结果的上采样深度信息中一个目标块是否是ー个边界块，其中所述边界块是指包含一部分所述边界图中被确定为边界的那些块； 如果所述目标块被确定为是ー个边界块，确定紧邻所述目标块的紧邻块是否有可靠的深度信息； 根据所述目标块是否是ー个边界块和紧邻所述目标块的紧邻块是否是可靠的，对所述目标块的像素使用不同的改善方法。
25.根据权利要求24所述的方法，其中所述使用不同的改善方法包括 只有当所述目标块是ー个边界块，或是ー个非边界块却有多于ー个但少于8个紧邻块具有可靠的深度信息时，才对所述目标块的像素使用改善方法。
26.根据权利要求24所述的方法，其中所述使用不同的改善方法包括 如果所述目标块被确定为是ー个边界块，那么对所述目标块的子区域选择性地使用空间和深度双边插值，以及空间和颜色双边插值。
27.根据权利要求26所述的方法，其中所述使用不同的改善方法包括 如果所述目标块被确定为是ー个非边界块，那么对所述目标块选择性地使用空间和深度双边插值，和不插值。
28.根据权利要求24所述的方法，其中所述归ー化深度梯度包括 对具有不同采样间隔的样本，进行深度梯度归一化。
29.根据权利要求24所述的方法，其中所述产生联合深度和图像梯度包括 从所述归ー化的深度梯度和所述图像梯度中选择性地组合梯度信息，以提供所述联合深度和图像梯度。
全文摘要
本发明披露了通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。首先，边界检测算法可以检测到物体的边界(即深度不连续之处)，这附近的低分辨率深度信息通常是不准确的，需要利用高分辨率的图像信息来改善。然后，基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息(如通过对低分辨率深度信息进行空间插值来得到)，从而提供更加准确的高分辨率深度信息。
文档编号G06T7/00GK103049914SQ201310009640
公开日2013年4月17日 申请日期2013年1月10日 优先权日2012年12月19日
发明者崔春晖 申请人:香港应用科技研究院有限公司