深度图增强的制作方法

深度传感器在许多类型的计算设备中正变得容易获得。许多深度传感器具有有限的图像分辨率。本发明的概念可以增加由这些深度传感器捕获的深度图的有效分辨率。

技术实现要素：

本描述涉及深度图像(例如，深度图)并且通过深度相关测量建模获得更高的分辨率深度图像。一个示例可以接收由深度相机所捕获的场景的深度图像集。该示例可以获得针对深度相机的深度相关像素平均函数。该示例还可以利用深度相关像素平均功能根据深度图像集生成场景的高分辨率深度图像。

以上所列出的示例旨在提供快速的参考以辅助阅读者并且不旨在定义本文所描述的概念的范围。

附图说明

附图图示了在本申请中传达的构思的实现。通过参考结合附图的以下描述可以更容易地理解所图示的实现的特征。各个附图中的相同附图标记在可行的情况下被用于指示相同元件。进一步地，每个附图标记的最左边的数字传达附图和首先引入附图标记的相关联的讨论。

图1、图2和图10示出了根据本构思的一些实现的深度图像分辨率增强系统。

图3至图5示出了根据一些实现的一些示例结果的图形表示。

图6至图9示出了根据一些实现的本深度图像分辨率增强概念可以应用到的低分辨率深度图像和对应的高分辨率深度图像。

图11至图12是根据本构思的一些实现的深度图图像增强技术的流程图。

具体实施方式

概述

本描述涉及增强深度图像(例如，深度图)分辨率。单个的深度传感器具有捕获给定分辨率的深度图的能力。本实现可以增强该给定分辨率。例如，本实现可以产生具有作为给定分辨率两倍或三倍(或更多)分辨率的增强深度图。例如，本实现的一些实现可以使用给定场景的稍微偏移版本增加所捕获的深度图的有效分辨率(例如，超分辨率)。为此目的，这些实现可以在超分辨捕获的深度图中在距离上解决像素平均函数和噪声函数。

从另一视角察看，本发明构思中的一些构思可以从相同场景的深度图的若干偏移版本创建更高分辨率的深度图。采用这些发明方面的实现可以在两个阶段之间迭代。即，这些实现可以使用输入深度图和当前权重估计更高分辨率的深度图。然后，这些实现可以基于较高分辨率的深度图的当前估计、深度相关噪声特点和/或深度相关像素平均函数，更新权重。

场景示例

图1示出了示例系统100，其包括设备102。出于解释的目的，设备102在图1中出现多次。在这种情况下，设备表现为智能电话，其包括深度相机104(以虚影示出，因为其面向远离读者)。例如，深度相机可以是独立的部件或深度相机可以是红、绿、蓝+深度相机的一部分。该特定设备102还可以包括显示器106。

设备102可以捕获对象110的深度图像(L)(例如，深度图)108的集合。在这种情况下，对象是洋蓟，但是当然设备可以捕获任何对象的图像。所捕获的深度图像108可以被称为低分辨率深度图像，其可以在112处共同地处理以创建对象110的高分辨率图像或潜在图像114。(注意，在后续讨论中，高分辨率图像可以被称为“H”并且低分辨率图像可以被称为“L”)。在该实现中，处理112可能需要深度相关测量建模(或DDM建模)116。在一些实现中，DDM建模可以考虑深度相关像素平均(DDPA)函数118和/或深度相关噪声特点(DDNC)120。在一些情况下，处理112可以以在122处指示的迭代方式执行以从深度图像118的集合获得高分辨率图像114。下面更详细地描述了这些方面。

换句话说，由本实现解决的一个技术问题是从可用的低分辨率图像集生成高分辨率(例如，超分辨率)深度图像的能力。现有的彩色图像超分辨率技术在应用到深度图像时提供次佳分辨率。该技术方案可以利用深度相关像素平均函数生成比利用现有技术可以获得的分辨率更高分辨率的超分辨率深度图像。因此，不管深度相机的分辨率，本技术可以提供更高的分辨率深度图像。该更高的分辨率深度图像可以向可能本来对由深度相机经由现有技术所提供的结果不满意的用户提供深度细节。

深度相关像素平均函数

图2示出了用于标识针对深度相机104的深度相关像素平均函数的示例系统200。图3示出了来自系统200的深度结果。图2的系统被用于标识深度相机104的深度相关像素平均函数，并且在图3中示出结果。出于解释的目的，深度相关像素平均函数将被标识用于单独的深度相机104。注意，在许多情况下，深度相关像素平均函数可以被标识用于深度相机的模型。例如，可以由制造商执行标识。然后，所标识的深度相关像素平均函数可以被应用到该模型的单个深度相机。

在系统200中，深度相机104被定位在平台202上。系统包括场景或对象110(1)。场景的第一部分204在z参考方向上的第一深度d1处，并且场景的第二部分206在深度d₂处。场景还包括第一部分204与第二部分206之间的深度不连续性。深度相机104可以包括图像传感器(诸如可以捕获信息的像素210的电荷耦合器件(CCD))。在这种情况下，为了便于解释，特别地标记和讨论仅一个像素(210(1))。单个像素可以包括来自区域α内的场景的信息。为了说明的简单性，系统200在两个维度(x和z)上被讨论但是包括第三(y)维度。此处相对于x参考轴或维度所讨论的方面还可以被应用到y参考轴。

可以在x参考方向上精确地移动平台202。例如，可以在沿着x参考轴的子像素增量上移动平台。出于简洁的缘故，在图2中示出三个实例，但是实际上，可以在沿着x参考轴的几百或几千个增量位置处获得深度图像。

现在该讨论共同地参考图2-3。在图2的实例一处，区域α专有地覆盖第一部分204。如此，图形300上的记录的z方向深度是如在302处所指示的深度d₁。记录的深度继续是近似d₁直到区域α包括第一部分204和第二部分206，如在实例二处所示(例如，区域α包括不连续性208)。这反映在图形300上的304处。在实例三处，正x方向上的进一步的运动使得区域α专有地覆盖部分206，如在图形300上的306处所反映的。从一个视角，图形部分304可以被认为是表示单个像素210(1)的阶跃响应函数。单个的阶跃响应函数可以是噪声并且因此测量阶跃响应函数的形状和散布之一可能是困难的。为了补救这一点，可以采取许多捕获并且计算平均分布。备选地，如果不连续性208的界限确切地沿着图像的y方向，则跨越相同图像中的边缘的行可以被平均以降低噪声。响应函数的宽度将取决于界限的深度。例如，图4中的图形400示出针对三个不同的深度的阶跃响应函数：实线402，其表示与第一深度相关联的一个阶跃响应函数；虚线404，其表示与第二深度相关联的另一阶跃响应函数；和点线406，其表示与第三深度相关联的第三阶跃响应函数。

图5示出了图示一个平均分布502的示例的图形500。可以通过将阶跃函数拟合到所有分布并且使阶跃函数偏移一定量以使得所有阶跃函数关于阶跃不连续性对齐来获得平均分布502。可以从对齐的阶跃函数计算针对所有像素的平均分布。返回参考图2-3，如图5所示，平均分布502可以图形地指示深度相机104的深度相关像素平均函数的形状。与其他图像增强技术(诸如被用于彩色图像的那些图像增强技术)相反，深度相关像素平均函数不简单地是d₁和d₂处的相邻值的平均。进一步地，在304处的深度相关像素平均函数的宽度不必与不连续性208处的区域α的宽度相同。相反，斜坡函数的宽度可以取决于深度并且可以随着深度单调地增加。这可以促进在图像的不同区域处的可变大小的内核的使用。如上文所提到的，图5示出了相对于距离传感器(例如，深度相机)的距离良好拟合的(并且潜在地最佳拟合的)斜坡函数的宽度深度相机的变化。在这种情况下，宽度跨越从200毫米(mm)到1200mm的深度范围从约1.8像素到约3.2像素变化。因此，不连续性可以被期望是对于z方向上的小距离而言是非常锐利的，但是在z方向上的较大的距离处是极其模糊的。当然，在304处的深度相关误差的形状仅是一个可能的形状，并且针对其他深度相机的深度相关像素平均函数可以具有其他形状。

深度相关噪声特点

来自深度相机(诸如图1的深度相机104)的深度测量结果可以由很多误差源损坏。基本上，传感器噪声的强度取决于深度。

虽然噪声的强度取决于深度，但是许多采样的平均值被期望非常靠近正确深度值。为此目的，一些实现可以采取对平面的多个观测(诸如500至1000或更多个)。然后，可以确定观测的平均值。然后，第二平面可以适配到平均值。第二平面可以被认为是地面实况并且与该平面的偏离可以被分析为噪声分布。一些实现可以适配2D样条函数以表征第二平面内的空间误差分布。然后，样条函数可以延伸到3D来校正不同的深度处的类似误差。

进一步地，深度相机的单个传感器可以不总是给定针对给定场景的相同深度读数(例如，深度读数可以随着环境条件变化)。例如，捕获帧(在所有像素上)的平均深度对时间的图可以图示，即使针对静态场景，平均深度可以不是常量，而是可以在规则的模式中波动。该波动可以是深度相机的内部温度和/或房间的外部温度的函数。为了克服这一点，一些实现可以在每个位置处捕获相对大量的帧(例如500-1000)(一旦深度相机已经稳定到正常模式中)并且然后采取邻近帧集(诸如100)，其在其平均深度方面尽可能是彼此接近的。在不同的条件下获得的信息可以被存储在诸如查找表中。当深度相机随后在类似条件下捕获深度图像时，可以访问该信息。换句话说，深度相机可以被预校准到最接近的存储的条件集并且内插可以被用于对校准进行微调。

帧之间的差异可以被建模为加性噪声；尽管使用仿射模型也是可能的。如此，单个帧可以被调节为具有相同平均强度。

随机噪声

一些实现可以通过将平面放置在深度相机前面的前面平行位置中测量深度相机104的随机噪声特点。可以捕获若干帧(诸如500-1000个)。可以通过平均深度图的每个位置处的这些500-1000个帧计算平均帧。第二平面可以被拟合到该平均帧并且被认为是地面实况深度。可以在每个位置处的每个帧中测量和返回地面实况与深度之间的误差来建造误差的直方图。可以在多个深度处重复该过程。误差分布往往是近似高斯。而且，误差往往在较大的深度处是大得多的(分布具有较大的方差)。可以计算这些分布对深度的拟合高斯的西格马(σ)变化。西格马往往具有对场景深度(Z)的线性依存性。

算法示例

图6至图8共同地图示了在高层处可以与本构思一起利用的示例算法。在以上讨论的各章节中介绍了该内容中的一些内容。图6至图8用于解释端到端场景。在讨论之后更详细的描述相对于图6至图8所讨论的具体内容。

出于解释的目的，假定更高分辨率(例如，超分辨率的)图像的初始估计是可用的并且在图6中被指派为输出H。还假定在H与低分辨率图像(例如，深度图输入L^k)中的任一个之间存在变换T^k(由旋转R_k和平移t_k组成)。然后，本实现可以将点从H投影到L^k中的每一个，如在602处所示。L^k中的每个像素处的深度具有某个不确定性；该不确定性以先前所测量的深度相关误差函数的形式(上文示出为高斯分布)。另外，从所估计的深度相关误差函数，H的局部值可以以L^k的形式被组合(潜在地)以最佳地解释观测如在604处所指示的(高分辨率图像H与低分辨率图像L^k之间的给定旋转R_k和平移t_k)。因此，可以在不同的深度处绘制噪声特点。如所提到的，基于距离深度传感器的每个距离处的平面的偏差，可以计算绘图。在每个距离处，可以根据许多(例如，几百个)样本估计平面方程。

图7与图2类似并且图示了图示为足迹702的一个像素210(1)(A)的深度相关像素平均函数的示例。该足迹跨越两个深度：d₁和d₂。深度相关像素平均函数确定从两个深度给予测量值什么样的样本。在该实现中，深度相关像素平均函数是不同的深度处的每个区域中的像素的覆盖范围的百分比的函数。换句话说，深度相关像素平均函数可以从在高分辨率图像H中所表示的深度704(1)、704(2)和704(3)确定低分辨率图像L^k的深度。

图8可以组合在图6至图7中上文介绍的构思。该特定算法具有两个阶段。第一，可以计算超分辨率的图像H的估计H'。H'可以被设定到H，并且可以计算自身与输入深度图L^k之间的几何变换T^k。基于H中的像素中的多少落在L^k中的像素下面，可以计算面积矩阵A。初始地，权重矩阵C可以被设定到单位矩阵。第二，给定H'，可以更新误差分布和深度相关像素平均函数、几何变换T^k、面积矩阵A和权重矩阵C，这导致H'＝H的新估计。可以迭代第一和第二阶段直到到达收敛或预指定的迭代数目。

该章节提供用于从深度传感器所捕获的位移的低分辨率深度图像L^k的集合计算高分辨率深度图像H、合并深度相关像素平均函数以及深度相关噪声特点的附加细节。

使用深度相关像素平均函数

如先前所讨论的，将高分辨率图像H投影到低分辨率图像L^k上可能需要知道高分辨率图像自身。出于解释的目的，开始假定高分辨率图像H的估计是获得的。高分辨率图像H可以被投影到低分辨率图像中的每一个上(特别地到L^k上)。让l_j是一个这样的低分辨率点，如在图9中所示，并且让r表示使用针对传感器(例如，深度相机)的深度相关像素平均函数的深度相关模型计算的斜坡函数的宽度。让n_j是与针对低分辨率点l_j(例如，由单个像素所捕获的)的平均面积相交的投影高分辨率像素的数目。让h_i是与由a_ji给定的区域(图9中的阴影区域)中的平均宽度相交的一个这样的像素。脉冲响应函数可以是box函数(即，通过a_ji确定每个高分辨率像素h_i对l_j的贡献)，并且因此可以在以下等式中对所有样本相等地加权：

使用深度相关噪声

以上讨论指示可以使用高斯函数表征深度相关噪声-因此可以不相等地处理所有样本。相反，取决于低分辨率样本l_j距高分辨率样本h_i多远，置信测度可以被定义为：

该置信测度可以被集成到公式中，使得形成等式看起来像

组合来自每个低分辨率图像的约束，等式可以简洁地写作：

L^k＝(C^k*A^k)·H， (5)

其中*表示矩阵的元素依次相乘，

并且C^k＝{c_ji}，A^k＝{a_ji}

迭代算法

注意，交点a_ji和c_ji二者的面积取决于h_i的值；c_ji通过其定义，和a_ji，因为hi的值指示该样本将投影到图像中的每一个中的何处。在联合优化中一起求解a_ji、c_ji和h_i使问题难以处理。因此，一些实现可以使用下面所示的算法1中所示的迭代算法解决问题：

在算法的每次迭代中，高分辨率图像被投影到低分辨率图像L^k中的每一个中，并且交点a_ji的面积和基于噪声模型c_ji的置信测度被计算以相应地形成矩阵A^k和C^k。通过计算在最小二乘方意义上解释所有L^k的(潜在地)最佳H更新高分辨率图像H。

一些实现可以通过如在902处所指示的将低分辨率图像L^k投影到的高分辨率网格上初始化高分辨率图像H并且跟随相同相交程序来计算a_ji。换句话说，可以利用如由斜坡宽度r给定的l_j周围的区域计算高分辨率像素h_i的相交的面积。这些实现可以设定并且求解H的方程组。然后，H的该值可以被用于初始化期望最大化(EM)算法。

系统示例

图10图示了示出深度图增强构思的各种设备实现的示例系统1000。在这种情况下，图示了三个设备实现。从图1转入设备102。相对于图10介绍了附加设备1002(1)、1002(2)和1002(3)。设备102被表现为智能电话类型设备。设备1002(1)被表现为可穿戴智能设备；在这种情况下为智能眼镜。设备1002(2)被表现为3-D打印机。设备1002(3)被表现为娱乐控制台。当然，并非可以图示所有设备实现，并且其他设备实现从以上和以下描述对于技术人员应当是显而易见的。可以经由网络1004耦合设备102、1002(1)、1002(2)和/或1002(3)。网络还可以连接到其他资源(诸如定位在云1006中的资源)。

单独的设备102、1002(1)、1002(2)和/或1002(3)可以包括一个或多个深度相机104。可以采用各种类型的深度相机。例如，可以采用结构化光、飞行时间和/或立体深度相机。

其中，单独的设备102、1002(1)、1002(2)和/或1002(3)可以被表现为两个所图示的配置1008(1)和1008(2)中的一个。简要地，配置1008(1)表示操作系统中心配置，并且配置1008(2)表示片上系统配置。配置1008(1)被组织为一个或多个应用1010、操作系统1012和硬件1014。配置1008(2)被组织为共享资源1016、专用资源1018和其之间的接口1020。

在任一配置中，设备102、1002(1)、1002(2)和/或1002(3)可以包括存储装置1022、处理器1024、传感器1026和/或通信部件1028。单个设备可以备选地或附加地包括其他元件(诸如输入/输出设备、总线、图形卡(例如，图形处理单元(GPU))等)，出于简洁的缘故它们未被图示或讨论。

许多类型的传感器1026可以被包括在单独的设备102、1002(1)、1002(2)和/或1002(3)中/上。深度相机104可以被认为是传感器。附加传感器的示例可以包括可见光照相机，诸如红绿蓝(RGB)照相机(例如，彩色照相机)和/或组合RGB加深度相机(RGBD相机)。其他传感器的示例可以包括加速度计、陀螺仪、磁强计和/或麦克风等。

通信部件1028可以允许单独的设备102、1002(1)、1002(2)和/或1002(3)相互通信和/或与基于云的资源通信。该通信部件可以包括接收器和发射器和/或用于使用各种技术(诸如蜂窝、Wi-Fi(IEEE 802.xx)、蓝牙等)通信的其他射频电路。

注意，在一些情况下，单个设备上的深度相关测量建模部件116可以是鲁棒的并且允许单独的设备以一般地自含式方式操作。例如，如相对于图1所描述的，设备102可以获取对象110的低分辨率深度图像108的集合。深度相关测量建模部件116可以对低分辨率深度图像的集合使用深度相关像素平均函数118和深度相关噪声校正120。然后，深度相关测量建模部件116可以生成高分辨率图像114。然后，设备102可以以各种方式使用高分辨率图像114。一个使用可以是将高分辨率图像发送给3-D打印设备1002(2)。然后，3-D打印机设备可以利用打印头1130打印对象的复制品，所述打印头1130被配置为根据高分辨率图像沉积材料层。

备选地，用户可以将对象(例如，图1的示例中的洋蓟)放置在3-D打印设备1002(2)中。3-D打印设备可以使用其深度相机104捕获低分辨率深度图像集。3-D打印设备的深度相关测量建模部件116可以使用存储在设备的存储装置1022上的其深度相机104的深度相关像素平均函数以生成对象的高分辨率图像。在相对于图8的以上讨论中提供特定技术、函数的示例和等式的示例。打印头1130可以然后从高分辨率图像生成对象的复制品。

在其他情况下，单独的设备102、1002(1)、1002(2)和/或1002(3)可以具有较不鲁棒的深度相关测量建模部件116。在这样的情况下，设备可以将(未处理或部分处理的)低分辨率图像集发送给基于深度相关测量建模部件116(3)的云，其可以利用针对单独设备的深度相关像素平均函数118(3)生成对应的高分辨率图像。例如，单独设备可以发送具有低分辨率图像的深度相关像素平均函数作为元数据。备选地，基于深度相关测量建模部件116(3)的云可以维持和/或访问包括针对深度相机的各种模型的深度相关像素平均函数的表。基于深度相关测量建模部件116(3)的云可以使用针对单独设备中的深度相机的模型的对应的深度相关像素平均函数以生成高分辨率图像。然后，基于深度相关测量建模部件116(3)的云可以将高分辨率图像返回到单独设备、将高分辨率图像存储在云中和/或采取其他动作(诸如将高分辨率图像发送给3-D打印设备1002(2))。

从一个视角，设备102、1002(1)、1002(2)和/或1002(3)中的任一个可以被认为是计算机。如本文使用的术语“设备”、“计算机”或“计算设备”可以意指具有一定数量的处理能力和/或存储能力的任何类型的设备。处理能力可以由一个或多个处理器提供，其可以执行以计算机可读指令的形式的数据来提供功能。数据(诸如计算机可读指令和/或用户相关数据)可以被存储在存储装置(诸如可以在计算机的内部或外部的存储装置)上。其中，该存储装置可以包括以下各项中的任何一项或多项：易失性或非易失性存储器、硬盘驱动器、闪速存储设备和/或光学存储设备(例如，CD、DVD等)、远程存储(例如，基于云的存储)。如本文所使用的，术语“计算机可读介质”可以包括信号。相反，术语“计算机可读存储介质”不包括信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括易失性存储介质(诸如RAM)和非易失性存储介质(诸如硬盘驱动器、光盘和闪速存储器)等。

如上文所提到的，配置1008(2)可以被认为是片上系统(SOC)类型设计。在这样的情况下，由设备所提供的功能可以被集成在单个SOC上或多个耦合的SOC。一个或多个处理器可以被配置为与共享资源1016(诸如存储器、存储装置等)和/或一个或多个专用资源1018(诸如被配置为执行某个特定功能的硬件块)相配合。因此，如本文所使用的术语“处理器”还可以指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核心或其他类型的处理设备。

一般地，可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合实施本文所描述的功能中的任一个。如本文所使用的术语“部件”一般地表示软件、固件、硬件、全部设备或网络或其组合。在软件实现的情况下，例如，这些可以表示当在处理器(例如，(一个或多个)CPU)上被执行时执行特定任务的程序代码。该程序代码可以被存储在一个或多个计算机可读存储器设备(诸如计算机可读存储介质)中。部件的特征和技术是平台独立的，这意味着其可以被实现在具有各种处理配置的各种商业计算平台上。

在一些配置中，深度相关测量结果建模部件116和/或设备模型特定深度相关像素平均函数118可以在计算机的制造期间或由准备将计算机销售给终端用户的中介安装为硬件、固件或软件。在其他实例中，终端用户可以安装深度相关测量建模部件116和/或设备模型特定深度相关像素平均函数118(诸如以可下载的应用和相关联的数据(例如，函数)的形式)。

计算设备的示例可以包括传统的计算设备，诸如个人计算机、台式计算机、笔记本型计算机、手机、智能电话、个人数字助理、平板型计算机、娱乐控制台、3-D打印机和/或无数不断演变或还将研发的类型的计算设备中的任一个。进一步地，系统1000的各方面可以显示在单个计算设备上或分布在多个计算设备上。

第一方法示例

图11示出了示例深度图像分辨率增强方法1100。

在这种情况下，在框1102处，方法可以相对于具有深度不连续性的场景定位深度相机。深度相机可以包括捕获场景的像素的传感器。

在框1104处，方法可以利用深度相机捕获场景的图像。

在框1106处，方法可以平行于场景子像素距离递增地移动深度相机并且捕获附加图像。

在框1108处，方法可以重复递增地移动和捕获附加图像来捕获进一步的图像，使得深度相机捕获深度不连续性。

在框1110处，方法可以从图像、附加图像和进一步的图像标识深度相机的深度相关像素平均函数。因此，方法1100可以标识针对单个的深度相机的深度相关像素平均函数。在方法1100中，深度相关像素平均函数可以被用于增强来自该深度相机或针对类似深度相机(例如，相同模型的深度相机)的深度图像。

第二方法示例

图12示出了示例深度图像分辨率增强方法1200。

在这种情况下，在框1202处，方法可以接收由深度相机所捕获的场景的深度图像集。

在框1204处，方法可以获得针对深度相机的深度相关像素平均函数。例如，可以利用针对深度相机或类似深度相机的方法1100标识针对照相机的深度相关像素平均函数。

在框1206处，方法可以利用深度相关像素平均函数从深度图像集生成场景的高分辨率深度图像。

可以通过相对于图1至图10上文所描述的系统和/或设备和/或通过其他设备和/或系统执行上文所描述的方法。描述方法的顺序不旨在被解释为限制的，并且任何数目的所描述的动作可以以任何顺序组合以实施方法或备选方法。而且，可以以任何适合的硬件、软件、固件或其组合实施方法，使得设备可以实施方法。在一个情况下，方法在计算机可读存储介质上被存储为指令集，使得通过计算设备的执行引起计算设备执行方法。

结论

尽管以结构特征和/或方法动作的特定语言描述了关于深度图像分辨率增强的技术、方法、组件、设备、系统等，但是应理解到，附加的权利要求中定义的主题不必限于所描述的特定特征或动作。而是，特定特征和动作被公开为实施所主张的方法、组件、设备、系统等的示例性形式。