用于生成三维彩色图像的装置和用于生成三维彩色图像的方法与流程

实施例涉及用于产生图像的概念，并且具体地涉及用于生成三维彩色图像的装置和用于产生三维彩色图像的方法。

背景技术：

深度感测系统（例如，飞行时间感测系统或例如其他三维深度感测系统）可能遭受诸如低分辨率和/或噪声的不良深度图像质量。例如，当前的方法和操作可能不能以高性能融合深度和彩色数据，和/或可能不能实现例如适当的深度数据质量增强。另外，由于数据相关性和/或不能将算法划分为例如并行任务而导致许多方法不能在图形处理单元（gpu）上被有效地实现。

技术实现要素：

一些实施例涉及一种用于生成三维彩色图像的装置。该装置包括用于接收至少对象的彩色图像和至少该对象的低分辨率深度图像的输入接口。该装置还包括图像处理模块，该图像处理模块被配置为基于彩色图像的第一彩色像素的第一彩色像素图像数据和至少该对象的导出的高分辨率深度图像的第一导出深度像素的第一导出深度像素图像数据来产生用于生成至少该对象的三维彩色图像的数据。图像处理模块被配置为基于低分辨率深度图像的测量深度像素的测量深度像素图像数据和与测量深度像素图像数据相关联的加权因子来计算第一导出深度像素图像数据。加权因子基于在第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值。该参考彩色像素具有对应于该对象的导出高分辨率深度图像中的测量深度像素的彩色图像中的像素位置。该装置还包括用于提供所生成的三维彩色图像的输出接口。

一些实施例涉及一种用于产生至少对象的三维彩色图像的方法。该方法包括基于在彩色图像的第一彩色像素和彩色图像的参考彩色像素之间的路径的彩色边缘幅度求和值导出与低分辨率深度图像的测量深度像素的测量深度像素图像数据相关联的加权因子。该方法还包括基于测量深度像素图像数据和与测量深度像素图像数据相关联的加权因子导出高分辨率深度图像的第一深度像素的第一深度像素图像数据。该方法还包括基于彩色图像的第一彩色像素的第一彩色像素图像数据和第一导出深度像素图像数据来提供至少对象的三维彩色图像。

一些实施例涉及一种相机系统。该相机系统包括用于生成至少对象的彩色图像的二维高分辨率相机模块。相机系统还包括用于生成至少对象的深度图像的三维相机模块。相机系统还包括用于生成至少对象的三维彩色图像的装置。

附图说明

下面将仅通过示例并参考附图来描述装置和/或方法的一些实施例，在附图中，

图1a示出了用于生成三维彩色图像的装置的示意图；

图1b示出了高分辨率深度图像和彩色图像的至少一部分的示意图；

图1c示出了高分辨率深度图像的至少一部分的示意图；

图1d示出了彩色图像的至少一部分的示意图；

图2a示出了边缘引导图像的至少一部分的示意图；

图2b示出了说明多个彩色边缘幅度求和值的确定的表；

图3a至3d示出了映射深度值的像素解析层级的示意图；

图4示出了用于产生三维图像的方法的流程图；以及

图5示出了照相机系统的示意图。

具体实施方式

现在将参考附图更全面地描述各种示例实施例，在附图中图出了一些示例实施例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。

因此，虽然示例实施例能够具有各种修改和替代形式，但是其实施例通过附图中的示例示出并且将在本文中详细描述。然而，应当理解，没有意图将示例实施例限制为所公开的具体形式，而是相反地，示例实施例要覆盖落入本公开范围内的所有修改、等同物和替代物。遍及附图的描述，相同的附图标记指代相同或相似的元件。

将理解的是，当元件被称为“连接”或“耦合”到另一元件时，元件可以直接连接或耦合到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦合”到另一元件时，不存在中间元件。用于描述元件之间的关系的其他词语应以类似的方式解释（例如，“在...之间”对“直接在...之间”、“相邻”对“直接相邻”等）。

本文所使用的术语仅出于描述具体实施例的目的，并且不意在限制示例实施例。如本文所使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”旨在包括复数形式。将进一步理解的是，当在本文中使用时，术语“包括”、“包括着”、“包含”和/或“包含着”指定所述特征、整体、步骤、操作、元件和/或部件的存在，但是并不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。

除非另有定义，否则本文使用的所有术语（包括技术和科学术语）具有与示例实施例所属领域的普通技术人员通常理解的相同的含义。将进一步理解的是，术语（例如在通常使用的字典中定义的术语）应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过度形式化的意义被解释，除非本文如此明确地定义。

图1a示出了用于生成三维彩色图像的装置100的示意图。

装置100包括用于接收至少对象的彩色图像102和至少该对象的低分辨率深度图像103的输入接口101。

装置100还包括图像处理模块104，该图像处理模块104被配置为基于彩色图像102的第一彩色像素的第一彩色像素图像数据以及至少该对象的导出高分辨率深度图像的第一导出深度像素的第一导出深度像素图像数据来产生用于生成至少该对象的三维彩色图像106的数据。

图像处理模块104被配置为基于低分辨率深度图像103的测量深度像素的测量深度像素图像数据和与测量深度像素图像数据相关联的加权因子来计算第一导出深度像素图像数据。加权因子基于在第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值。参考彩色具有像素在彩色图像102中的与对象的导出的高分辨率深度图像中的测量深度像素相对应的像素位置。

装置100还包括用于提供所生成的三维彩色图像106的输出接口105。

由于加权因子基于在第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值，所以可以改善在所生成的三维彩色图像106的分辨率和/或噪声降低方面的深度质量。另外，例如，可以在保持高性能的同时实现所生成的三维彩色图像106的深度质量增强。

（至少）对象的彩色图像102可以是高分辨率二维彩色图像。彩色图像102可以是彩色像素的二维阵列。彩色图像102的每个彩色像素可以包括例如与对象相关的二维彩色信息（例如，rgb彩色空间信息或者替代地其他彩色空间信息）。

（至少）对象的低分辨率深度图像103可以是深度像素的二维阵列。低分辨率深度图像103的每个深度像素可以包括与对象相关的距离（例如深度，例如三维3d）信息。例如，深度信息可以与对象的表面到例如参考平面或参考点的距离相关。

例如，由装置的输入接口101接收的对象的彩色图像102可以具有比低分辨率深度图像103的分辨率更高的分辨率（例如像素分辨率）。分辨率或像素分辨率可以指图像的二维阵列的像素的数目。

图像处理模块104可以被配置为导出至少对象的高分辨率深度图像107。例如，作为起始情况，深度可以被映射成高分辨率彩色图像102。例如，图像处理模块104可以被配置为至少基于低分辨率深度图像103的测量深度像素来导出对象的高分辨率深度图像107。例如，图像处理模块104可以被配置为通过将低分辨率深度图像103的每个测量深度像素的测量深度像素图像数据转换为对象的彩色图像102的图像空间以便获得高分辨率深度图像107的至少一部分，来导出对象的高分辨率深度图像107。

图像处理模块104可以被配置为将对象的低分辨率深度图像103的测量深度像素的测量深度像素图像数据映射成对象的彩色图像102的图像空间（如图1b所示）。因此，要导出的高分辨率深度图像107可以具有彩色图像102的（相同）图像空间。图像处理模块104可以被配置为基于对象的低分辨率深度图像103来导出高分辨率深度图像107。例如，低分辨率图像103中的深度像素的数目可以与高分辨率深度图像107中的映射像素112相同。例如，高分辨率深度图像107可以具有与彩色图像102相同的尺寸（例如，相同的像素分辨率）。例如，上采样的高分辨率深度图像107的像素数目可以与彩色图像102的像素数目相同（或者例如相等）。

例如，由图像处理模块104导出（或可导出）的高分辨率深度图像107可以包括基于低分辨率深度图像103的测量深度像素的测量深度像素图像数据导出的至少一个（例如，一个或多个，或者例如多个）深度像素。例如，高分辨率深度图像107可以包括（或具有）第一组深度像素。可以基于低分辨率深度图像103的多个不同测量深度像素的测量深度像素图像数据来导出高分辨率深度图像107的第一组深度像素的每个深度像素。

图像处理模块104可以被配置为计算高分辨率深度图像107的第二组深度像素的每个深度像素。第二组深度像素的深度像素可以排除（或者例如可以不同于）高分辨率深度图像的第一组深度像素的深度像素。

图像处理模块104可以被配置为导出高分辨率深度图像107的第二组深度像素的深度像素（例如，每个深度像素），以生成高分辨率深度图像107。例如，图像处理模块104可以被配置为计算（或例如导出）针对高分辨率深度图像107的（第二组深度像素的）每个深度像素的深度像素图像数据。

例如，图像处理模块104可以被配置为计算高分辨率深度图像107的第一导出深度像素的第一导出深度像素图像数据。例如，图像处理模块104可以被配置为基于高分辨率深度图像107的（或者例如至少一个，或者例如一个或多个）测量深度像素的测量深度像素图像数据和与测量深度像素的测量深度像素图像数据相关联的加权因子w来计算第一导出深度像素的第一导出深度像素图像数据。例如，多个深度值（来自低分辨率深度图像）可以影响每个高分辨率深度值的结果。

图像处理模块104可以被配置为基于在第一彩色像素和参考彩色像素之间的路径（例如从第一彩色像素到参考彩色像素的路径）的彩色边缘幅度求和值se来计算与测量深度像素的测量深度像素图像数据相关联的加权因子。

参考彩色像素具有在彩色图像102中的对应于对象的导出高分辨率深度图像107中的测量深度像素的像素位置。例如，参考彩色像素可以具有彩色图像102中的像素位置，该像素位置可以与对象的导出高分辨率深度图像107中的测量深度像素的像素位置相同（如图1c至图1d所示）。

加权因子w基于在接收的彩色图像102的第一彩色像素和接收的彩色图像102的参考彩色像素之间的路径（例如像素路径）的彩色边缘幅度求和值se。例如，加权因子w可以随着在第一彩色像素和参考彩色像素之间的增加的彩色边缘幅度求和值se而减小。例如，加权因子w可以随着在第一彩色像素和参考彩色像素之间的增加的彩色边缘幅度求和值se而指数地减小。

加权因子（其可以被称为插值权重）w量化每个（测量）深度值的影响。将彩色边缘幅度求和值se转换为加权因子w的函数或公式可以是允许se的小变化导致w的大变化的函数或公式。另外，如果在边缘的另一侧上存在有效的深度测量，则可能需要限制深度值在边缘上传播。例如，因为减小的加权因子，所以可以限制深度值跨越边缘传播。

自然指数函数（e）可以很好地适用于该目的。例如，图像处理模块104可以被配置为根据以下关系基于彩色边缘幅度求和值se计算加权因子w：

。

w可以表示加权因子。

se可以表示基于在第一彩色像素和参考彩色像素之间的彩色边缘幅度值之和的彩色边缘幅度求和值。

σ可以表示标量参数。参数σ可以缩放指数函数的自变量，以便于将加权因子w的范围限制为例如浮点数据类型（例如，32位浮点数据类型）的边界。例如，标量参数越小，指数函数就越陡并且影响衰减就越大。因此，较小的标量参数可以导致更加锐利的未缩放的深度图像。例如，参数σ可以小于0.6（或例如小于0.05，或例如小于0.01）。例如，图像处理模块104可以被配置为选择标量参数的值。可选地，参数σ可以被选择为尽可能小。

可选地，例如，加权因子w可以仅基于（或只基于）彩色边缘幅度求和值se和标量参数。换言之，例如，彩色边缘幅度求和值se可以是影响加权w的唯一可变参数。

图像处理模块104可以被配置为基于至少一个测量深度像素来计算第一导出深度像素的第一导出深度像素图像数据。可选地，图像处理模块104可以被配置为基于影响要导出的第一导出深度像素的第一导出深度像素图像数据的多于一个测量深度像素（或者例如多个测量深度像素）来计算第一导出深度像素的第一导出深度像素图像数据。

例如，第一导出深度像素可以位于第一测量深度像素的第一像素影响半径内，并且位于第二测量深度像素的第二像素影响半径内。因此，图像处理模块104可以被配置为基于与第一测量深度像素的第一测量深度像素图像数据相关联的加权因子和与第二测量深度像素的第二测量深度像素图像数据相关联的加权因子来计算（或导出）第一导出深度像素的第一导出深度像素图像数据。例如，图像处理模块104可以被配置为导出与每个测量深度像素n相关联的每个加权因子wn，其中第一导出深度像素位于其像素影响半径中。

每个加权因子wn可以基于相应的彩色边缘幅度求和值se被导出。例如，图像处理模块104可以被配置为基于在第一彩色像素和第一参考彩色像素之间的路径的彩色边缘幅度求和值se来导出与第一测量深度像素的第一测量深度像素图像数据相关联的加权因子。第一参考彩色像素具有在彩色图像102中的对应于对象的导出高分辨率深度图像107中的（第一）测量深度像素的像素位置。另外，图像处理模块104可以被配置为基于在第一彩色像素和第二参考彩色像素之间的路径的彩色边缘幅度求和值se来导出与第二测量深度像素的第二测量深度像素图像数据相关联的加权因子。第二参考彩色像素具有在彩色图像102中的对应于对象的导出高分辨率深度图像107中的（第二）测量深度像素的像素位置。

图像处理模块104可以被配置为基于由图像处理模块104导出的多个彩色边缘幅度值的至少一个彩色边缘幅度值来确定（或每个）彩色边缘幅度求和值se。另外可选地或替代地，彩色边缘幅度求和值se可以基于所有交叉的彩色边缘的和。

图像处理模块104可以被配置为通过基于对象的彩色图像102导出边缘引导图像（例如，图2a所示）来确定多个彩色边缘幅度值。例如，图像处理模块104可以被配置为通过彩色图像102的边缘滤波操作来确定与彩色图像102的多个彩色像素相对应的多个彩色边缘幅度值。例如，可选地，可以基于来自（仅）像素的直接相邻像素的彩色信息导出多个彩色像素的（或每个）彩色像素的（或每个）彩色边缘幅度值。例如，边缘滤波操作可以基于围绕彩色像素的4个像素的彩色信息（或例如彩色值）来确定多个彩色像素的彩色像素的彩色边缘幅度值。

图像处理模块104可以被配置为基于彩色图像102的sobel操作（或应用于彩色图像102）来导出多个彩色边缘幅度值。替代地或可选地，图像处理模块104可以被配置为通过对彩色图像102应用边缘滤波操作（诸如canny操作、高斯拉普拉斯操作或prewitt操作）来导出多个彩色边缘幅度值。

图像处理模块104可以包括边缘幅度值存储器。图像处理模块104可以被配置为例如将多个彩色边缘幅度值存储在图像处理模块104的边缘幅度值存储器中。

图像处理模块104可以被配置为在确定和/或存储多个彩色边缘幅度值之后计算（或导出）多个彩色边缘幅度求和值。图像处理模块104可以被配置为计算多个彩色边缘幅度求和值se，每一个对应于位于测量深度像素的像素影响区域内的要导出的多个导出深度像素。

图像处理模块104可以被配置为基于存储在边缘幅度值存储器中的多个彩色边缘幅度值的至少一个（例如一个或多个，或者例如多个）彩色边缘幅度值来确定（或每个）彩色边缘幅度求和值se。例如，图像处理模块104可以被配置为基于沿着在第一彩色像素和参考彩色像素之间的像素路径（例如，从第一彩色像素到参考彩色像素）（或在该像素路径上，或该像素路径）的彩色边缘幅度值的和（例如，相加或者例如求和）来确定彩色边缘幅度求和值se。例如，彩色边缘幅度求和值se可以基于沿着在第一彩色像素和参考彩色像素之间的像素路径的彩色边缘幅度值的和（例如，相加或例如求和），包括第一彩色像素的彩色边缘幅度值和参考彩色像素的彩色边缘幅度值（如图2b所示）。

为了满足se是沿着在像素i（像素i可以表示要导出的每个导出深度像素）和映射深度值dn（dn可以表示影响导出深度像素图像数据的测量深度像素n的测量深度像素图像数据）之间的像素路径的所有边缘（例如，边缘幅度）的和，周围像素可能需要以特定顺序被解析（如图3a至3d所示）。

围绕测量深度像素331的像素影响区域可以由例如到测量深度像素的欧几里得距离的像素半径来定义。受影响的像素332可以位于例如由像素半径r限定的像素影响区域内。每个新处理的像素可以取决于其沿着像素路径的前身。

图像处理模块104可以被配置为计算对应于要根据解析顺序导出的多个导出深度像素的多个彩色边缘幅度求和值se。例如，图像处理模块104可以被配置为根据沿着围绕测量深度像素的至少一个圆形路径的解析顺序来计算多个彩色边缘幅度求和值se。

图像处理模块104可以包括用于根据解析顺序存储多个彩色边缘幅度求和值se的存储器阵列。图像处理模块104可以被配置为基于存储在存储器阵列中的多个彩色边缘幅度求和值的解析顺序来计算与多个导出深度像素图像数据相对应的多个加权因子。

在计算期间计算像素路径可以通过查找表来避免。该表可以以正确的顺序存储路径上的相对像素位置。小阵列可以用于缓冲针对每个像素的路径se上的边缘权重的和，因此它可以在路径上的下一像素操作期间被查找。这可以避免沿着径向像素路径解析像素的先决条件，只要图3a至3d所示的层级被满足。因此，可以清除查找表中的所有冗余操作，并且例如可能仅需要针对n个影响像素的n个像素操作。

所得到的高分辨率深度图像的每个（深度）像素可能受到若干深度值（例如，多于一个，或者例如多于两个，或者例如多于4个，或者例如多于5个）的影响，例如，该深度值然后通过它们的传播影响而被插值。如果仅一个深度值影响像素，则像素值可以与例如深度值相同。如果没有深度值影响像素，则不存在插值，并且该值例如保持未定义。

图像处理模块104可以被配置为基于与影响要导出的（第一）导出深度像素图像数据的至少一个测量深度像素（或例如多个测量深度像素）相关联的加权因子的和以及加权深度值的和来计算第一导出深度像素的（第一）导出深度像素图像数据。加权深度值的和的每个加权深度值可以基于测量深度像素图像数据dn和与测量的深度像素相关联的加权因子wn的乘积（例如，乘法）。

例如，图像处理模块104可以被配置为基于下述关系（或例如插值公式）来计算高分辨率深度图像的每个导出深度像素图像数据di：

。

di可以表示例如高分辨率深度图像的导出深度像素i的导出深度像素图像数据。例如，di可以表示针对每个彩色像素i的最终插值深度。

例如，k可以表示影响导出深度像素的测量深度像素的数目。

例如，dn可以表示影响导出深度像素图像数据的测量深度像素n的测量深度像素图像数据。

例如，wn可以表示与测量深度像素n相关联的关联加权因子。

影响像素i的k个深度值dn可以通过使用权重w的比率用插值公式来插值，从而得到最终深度di。深度值可以将其影响传播到其他深度值的影响球面以减少噪声。由于彩色边缘可以大大减小影响，所以噪声减少可以是边缘保持。

可以用一些修改来有效地实现所引入的算法。可以减少计算和存储器存取操作的次数。例如，插值公式可以被重新形成为更新公式。例如，可以针对每个像素存储dsum和wsum，并且dsum和wsum可以替换插值公式中的上下分数项。dsum和wsum可以在每次深度值对像素操作时更新。

图像处理模块104可以被配置为，如果新的测量深度像素影响要导出的第一导出深度像素图像数据，则更新与要导出的第一导出深度像素图像数据相关联的加权深度值的总和dsum。加权深度值的总和的每个加权深度值可以基于影响要导出的第一导出深度像素图像数据的测量深度像素的测量深度像素图像数据和与测量深度像素相关联的加权因子的乘积（例如，乘法）。图像处理模块104可以被配置为根据以下关系更新加权深度值的和dsum：

wnew可以表示影响要导出的第一导出深度像素图像数据的新的测量深度像素的新加权因子。

图像处理模块104可以被配置为，如果新的测量深度像素影响要导出的第一导出深度像素图像数据，则更新与要导出的第一导出深度像素图像数据相关联的加权因子的和wsum。加权因子的和的每个加权因子可以与影响要导出的第一导出深度像素的第一导出深度像素图像数据的（不同的）测量深度像素相关联。图像处理模块104可以被配置为根据以下关系更新加权因子的和wsum：

图像处理模块104可以包括用于存储与要导出的第一导出深度像素图像数据相关联的加权因子的和wsum的加权因子存储器。

图像处理模块104可以包括用于存储与要导出的第一导出深度像素图像数据相关联的加权深度值的和dsum的加权深度值存储器。

可以通过根据以下关系在每个像素i上划分dsum和wsum来计算导出深度像素的最终深度像素图像数据di：

图像处理模块104可以包括用于存储第一导出深度像素的至少第一导出深度像素图像数据d1的导出深度像素图像数据存储器。例如，导出深度像素图像数据存储器可以存储多个导出深度像素的每个导出深度像素的导出深度像素图像数据di。

图像处理模块104可以被配置为，基于先前存储的第一导出深度像素的导出深度像素图像数据和与第一导出深度像素图像数据相关联的新的加权深度值来更新第一导出深度像素图像数据。例如，深度值的映射位置可以每帧地改变，并且可能不可能预测多少深度值可以影响关于每个帧的输出像素。

操作可能需要每像素至少3个存储器存取操作（例如，存取加权因子存储器、加权深度值存储器和导出深度像素图像数据存储器）。例如，每个像素具有其自己的di、dsum和wsum值，其可以在gpu（图形处理单元）上产生三个图像大小的缓冲器。

可选地，可以减少存储器存取操作的次数。例如，为了避免至少一个缓冲器，可以每次重新计算而不是保存加权深度值的和dsum。例如，如果在深度影响传播期间计算和更新di，则可以通过使di乘以wsum来提取dsum。在不存储针对每个像素的dsum的情况下，可以根据以下关系在每个像素操作处更新深度di和wsum：

因此，每个像素可以使用一次较少的存储器存取操作（例如2个存储器存取操作）。

图像处理模块104被配置为，基于接收到的彩色图像102的第一彩色像素的第一彩色像素图像数据和（至少）对象的导出高分辨率深度图像107的第一导出深度像素的第一导出深度像素图像数据d1来产生用于生成（至少）对象的三维彩色图像106的数据。第一彩色像素可以具有在彩色图像102中的对应于对象的导出高分辨率深度图像107中的第一导出深度像素的像素位置。三维彩色图像106的所导出的第一三维彩色像素可以具有三维彩色图像106中的与导出的高分辨率深度图像107中的第一导出深度像素对应的像素位置和彩色图像102中的第一彩色像素的像素位置。

例如，图像处理模块104可以被配置为，基于接收到的彩色图像102的多个彩色像素的彩色像素图像数据和对象的导出高分辨率深度图像107的多个导出深度像素的导出深度像素图像数据di来产生用于生成对象的三维彩色图像106的数据。例如，可以基于导出的高分辨率深度图像107的导出深度像素和彩色图像的彩色像素来导出三维彩色图像106的多个导出的三维彩色像素的导出的三维彩色像素。导出的深度像素可以具有在导出的高分辨率深度图像107中的与导出的三维彩色像素相同的像素位置，并且彩色像素可以具有在彩色图像102中的与导出的三维彩色像素相同的像素位置。

例如，由图像处理模块104生成的三维彩色图像106可以具有与高分辨率深度图像107和彩色图像102相同的像素分辨率。

图像处理模块104可以被配置为，基于通过装置100的输入接口101接收的多个彩色图像102（例如彩色图像帧）和多个低分辨率深度图像103（例如低分辨率深度图像帧）来产生用于生成三维彩色图像106的数据。例如，图像处理模块104可以被配置为例如在gpu上每秒处理至少5（或至少10到15）个帧。

装置100可以是计算机微控制器（例如中央处理单元cpu）、处理器，或者可以是例如计算机、处理器或微控制器的一部分。例如，装置100可以是可以包括用于生成深度图像的3d相机和用于生成2d彩色图像的彩色相机的相机系统（例如，移动设备，或者例如电信设备，或者例如计算机或者例如膝上型计算机）的一部分。

例如，装置100的每个模块（例如，图像处理模块）可以是下述各项（或可以是下述各项的一部分或可以包括下述各项）：计算机（例如中央处理单元cpu）、处理器、微控制器或电路。

输入接口101可以是例如计算机、处理器或微控制器的输入端口。输入接口101可以例如经由有线或无线连接耦合到装置100。

装置100的输入接口101可以被配置为，从可以被配置为生成低分辨率深度图像的三维（3d）感测设备接收至少该对象的低分辨率深度图像。例如，输入接口101可以被配置为从飞行时间（tof）相机、用于产生三维图像的相机（例如3d相机模块）或超声波传感器中的至少一个接收低分辨率深度图像。另外，装置100的输入接口101可以被配置为从二维（2d）感测设备（例如，来自二维高分辨率相机模块）接收至少该对象的高分辨率彩色图像，该二维（2d）感测设备可以被配置为生成高分辨率彩色图像。

例如，用于提供所生成的三维彩色图像106的装置100的输出接口105可以包括（或可以是）视频端口，该视频端口可以被配置为将所生成的三维彩色图像106提供给显示设备。

例如，对象可以是要被拍摄的人或事物或风景。例如，对象可以是三维的和/或可以具有彩色。

本文所述的示例可以涉及彩色和深度融合。例如，对于许多应用，深度图像可以与高分辨率彩色相机组合。彩色信息可以用于增加深度质量以利用可用于每个像素的深度信息获得高分辨率彩色图像。例如，高分辨率（3d）彩色图像可以用于计算摄影、基于深度的图像滤波应用、对象检测和/或对象跟踪。

本文描述的示例可以涉及基于针对实时应用的性能要求的插值低分辨率深度数据。使用彩色边缘，所描述的各种示例可以在分辨率和噪声降低方面改善深度（图像）质量。本文描述的示例可以实现深度质量增强，同时保持高性能。本文描述的示例可以通过能够以低计算复杂度执行高质量tof和/或彩色传感器融合的算法来解决其他方法的性能问题。该算法的设计可以被优化用于在gpu上执行。这涉及例如并行执行和捆绑数据操作的能力。所提出的传感器融合提供具有放大分辨率、增加的锐度、较少噪声、较少运动伪影的深度图像，并且同时实现高的帧速率。

本文所描述的示例可能涉及能够增加深度分辨率和噪声降低的高效深度插值过程。在示例中，深度影响可以在彩色图像上传播。例如，在彩色图像边缘上的传播可以显著减少深度影响。在该示例中，对每个彩色像素的影响可以用于插值深度。

深度放大方法或方式可以包括全局方法或局部方法。与全局优化问题相关的全局方法可以产生良好的质量，但是可能非常慢。局部方法可能具有质量缺点，并且可能基于迭代解。形成为优化问题的深度插值方法、基于图形或迭代逼近，其导致慢的性能。例如，它们可能不被优化用于高效计算。这可能在交互式和时间关键系统中取消应用程序的资格。快速方法可能缺乏深度图像质量。例如，联合双边滤波可能产生较差的图像质量，特别是对于大的放大因子，并且由于其被迭代地应用而可能显著较慢。

在本文所描述的示例中，图像处理模块104可以被配置为执行插值算法。可以在高分辨率图像中传播深度值的插值权重。彩色图像边缘可能限制传播，因为彩色边缘通常是深度图像边缘。这可以使得深度值在均匀表面之间传播，从而产生例如高分辨率和降低的噪声。

用于深度放大算法的输入可以是具有相同分辨率的彩色图像和稀疏映射的深度图像。准备步骤可以是用sobel算子（或边缘滤波算子）从彩色图像中提取边缘信息。该算法可以获取稀疏深度图像中的每个映射的深度值，并且执行插值过程。该算法可以针对每个深度值并行执行，并且可以被解释为深度值对彩色图像上的局部圆形区域的影响的传播。可以解析从映射的深度值位置到每个受影响的像素的径向路径。

在本文所描述的示例中，像素可以在路径上并且关于其间的所有边缘被解析，而与局部性无关。在本文描述的示例中，可以避免迭代过程。在本文描述的示例中，可以使用快速插值并且可以避免数学优化。在本文描述的示例中，例如，可以避免沿着深度值之间的路径和最小生成树的插值。可以替代地使用来自每个深度值的径向路径并覆盖现有的深度值。在本文描述的示例中，可以增加或改善分辨率。

图1b示出了高分辨率深度图像107（例如，稀疏深度帧）和彩色图像102的至少一部分的示意图。例如，深度可以被映射成高分辨率彩色图像102。

如图1b所示，可以将对象的低分辨率深度图像的测量深度像素的测量深度像素图像数据映射成彩色图像102的图像空间，以获得高分辨率彩色图像107。例如，图1b示出了基于低分辨率深度图像的多个不同测量深度像素的测量深度像素图像数据导出的高分辨率深度图像107的第一组深度像素112。

图1c示出了由图像处理模块104导出的对象的高分辨率深度图像107（例如，稀疏深度帧）的至少一部分的示意图。例如，图1c示出了影响传播。例如，图1c和1d示出了例如针对每个深度值（例如dn）沿着圆形路径的像素解析。

如图1c所示，第一组深度像素112的深度像素可以包括深度像素7,5、深度像素5,2和深度像素2,5，每一个可以基于例如低分辨率深度图像103的不同测量深度像素的测量深度像素图像数据来导出。

例如，图像处理模块104可以被配置为计算导出（或可导出）高分辨率深度图像107的第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据（例如d1）。例如，图像处理模块104可以被配置为，基于高分辨率深度图像107的深度像素（例如，深度像素7,5）和与测量深度像素（例如，深度像素7,5）的测量深度像素图像数据相关联的加权因子w来计算第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据。用于导出高分辨率深度图像107的第一导出深度像素的高分辨率深度图像107的深度像素（例如，深度像素7,5）可能已经由图像处理模块104基于低分辨率深度图像103的测量深度像素的测量深度像素图像数据来导出。

在图1c中图示了深度影响传播路径的示例。深度值对输出的影响取决于在映射的深度值（在7,5处）和要导出的每个像素（例如，第一导出深度像素3,6）之间的边缘（幅度）值se之和。

图1d示出由图像处理模块104接收的对象的彩色图像102（例如，彩色图像帧）的至少一部分的示意图。

如图1d所示，参考彩色像素（例如，彩色像素7,5）在对象的导出的高分辨率深度图像107中具有对应于测量深度像素（例如，深度像素7,5）的彩色图像102中的像素位置。例如，参考彩色像素（例如，彩色像素7,5）可以具有彩色图像102中的像素位置，该像素位置可以与对象的导出的高分辨率深度图像107中的测量深度像素（例如深度像素7,5）的像素位置相同。

图像处理模块104可以被配置为，基于在第一彩色像素（彩色像素3,6）和参考彩色像素（7,5）之间路径的彩色边缘幅度求和值se来计算与测量深度像素（例如，深度像素7,5）的测量深度像素图像数据相关联的加权因子。

虚线可以标记在所测量的深度像素（例如深度像素7,5）和要导出的目的像素（例如，第一导出深度像素3,6）之间的行进像素路径。对于路径上的每个像素，可以计算和更新影响。例如，在步骤1和2没有彩色边缘交叉。例如，在步骤3和4（在图1d中）交叉的彩色边缘减小了深度影响。当彩色图像的边缘被通过时，影响可能减小。例如，在彩色像素5,6和彩色像素4,6之间的步骤3可以通过不同彩色的区域。在该步骤后影响减小。在步骤4期间，可以通过另一彩色边缘，并且影响再次减小。另外或可选地，从要导出的每个像素（例如，第一导出深度像素3,6）到深度值（例如，测量深度像素7,5）的空间距离可以没有影响。例如，彩色边缘幅度求和值和/或加权因子可以独立于要导出的每个像素（例如，第一导出深度像素3,6）和测量深度像素7,5之间的空间距离。加权因子随着彩色边缘的幅度的和而减小。例如，较小边缘不如较强边缘贡献那么多。

加权因子w基于在所接收的彩色图像102的第一彩色像素（例如，彩色像素3,6）与所接收的彩色图像102的参考彩色像素（例如，彩色像素7,5）之间的路径（例如像素路径）的彩色边缘幅度求和值se。例如，加权因子w可以随着在第一彩色像素（例如，彩色像素3,6）和参考彩色像素（例如，彩色像素7,5）之间的增加的彩色边缘幅度求和值se而减小。例如，加权因子w可以随着第一彩色像素（例如彩色像素3,6）和参考彩色像素（例如彩色像素7,5）之间的增加的彩色边缘幅度求和值se而指数地减小。

图像处理模块104可以被配置为基于至少一个测量深度像素（例如，深度像素7,5）来计算第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据。可选地，图像处理模块104可以被配置为基于影响要导出的第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据的多于一个测量深度像素（或例如多个测量深度像素）来计算第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据。

例如，第一导出深度像素（例如，深度像素3,6）可以位于第一测量深度像素（例如，深度像素7,5）的第一像素影响半径内并且在第二测量深度像素（例如深度像素2,5）的第二像素影响半径内。因此，图像处理模块104可以被配置为基于与第一测量深度像素（例如深度像素7,5）的第一测量深度像素图像数据的相关联的加权因子以及与第二测量深度像素（例如深度像素2,5）的第二测量深度像素图像数据相关联的加权因子来计算（或导出）第一导出深度像素（例如深度像素3,6）的第一导出深度像素图像数据。例如，图像处理模块104可以被配置为导出与每个测量深度像素n相关联的每个加权因子wn，其中第一导出深度像素（例如，深度像素3,6）位于其像素影响半径中。

可以基于相应的彩色边缘幅度求和值se来导出每个加权因子wn。例如，图像处理模块104可以被配置为基于在第一彩色像素（例如彩色像素3,6）和第一参考彩色像素（例如彩色像素7,5）之间的路径的彩色边缘幅度求和值se导出与第一测量深度像素（例如，深度像素7,5）的第一测量深度像素图像数据相关联的加权因子。第一参考彩色像素（例如，彩色像素7,5）具有在彩色图像102中的对应于对象的导出的高分辨率深度图像107中的（第一）测量深度像素（例如，深度像素7,5）的像素位置。另外，图像处理模块104可以被配置为基于在第一彩色像素（例如彩色像素3,6）和第二参考彩色像素（例如彩色像素2,5）之间的路径的彩色边缘幅度求和值se导出与第二测量深度像素（例如，深度像素2,5）的第二测量深度像素图像数据相关联的加权因子。第二参考彩色像素（例如彩色像素2,5）具有在彩色图像102中的对应于对象的导出高分辨率深度图像107中的（第二）测量深度像素（例如深度像素2,5）的像素位置。

图像处理模块104可以被配置为基于沿着在第一彩色像素（例如彩色像素3,6）和参考彩色像素（例如彩色像素7,5）之间的像素路径的彩色边缘幅度值的和（例如相加，或例如求和）来确定彩色边缘幅度求和值se。

图2a示出了由图像处理模块104导出的对象的边缘引导图像211的至少一部分的示意图。

图像处理模块104可以被配置为通过彩色图像102的边缘滤波操作（例如sobel操作）确定与彩色图像102的多个彩色像素对应的多个彩色边缘幅度值。

可以基于来自（仅）像素的直接相邻像素的彩色信息来导出多个彩色像素的（或每个）彩色像素的（或每个）彩色边缘幅度值。边缘滤波操作可以基于直接围绕彩色像素的像素的彩色信息（或例如彩色值）来确定每个彩色像素的彩色边缘幅度值。例如，边缘滤波操作可以基于直接围绕第一参考彩色像素（例如像素7,4、像素7,6、像素6,5和像素8,5）的像素的彩色信息（或例如彩色值）来确定第一参考彩色像素的彩色边缘幅度值（0.25），如图2b所示。

边缘引导图像可以是边缘图像的现实样本。它可以通过使用sobel或类似的边缘滤波器来导出。例如，边缘引导图像可以用从黑色（例如，其表示无边缘）到白色（其表示强边缘）的灰度级编码。

图2b示出了图示沿着在第一彩色像素（例如，彩色像素3,6）和参考彩色像素（例如，彩色像素7,5）之间的像素路径的多个彩色边缘幅度求和值se的确定的表。

如图2b所示，可以基于在参考彩色像素和要导出的导出深度像素之间的彩色边缘幅度值的和（例如相加，或例如求和）来计算与要导出的导出深度像素对应的每个彩色边缘幅度求和值se。

可以基于在参考彩色像素（例如彩色像素7,5）和第一彩色像素（例如，彩色像素3,6）之间的彩色边缘幅度值的和来计算与要导出的第一导出深度像素（例如，深度像素3,6）相对应的彩色边缘幅度求和值se。要导出的第一导出深度像素（例如深度像素3,6）位于所测量的深度像素（例如深度像素7,5）的像素影响区域内。在该示例中，在步骤4，se=2.0。新处理的像素（例如对应于深度像素3,6的彩色边缘幅度求和值se）可以取决于其沿着像素路径的前身（4,6）。

根据解析顺序，可以计算与要导出的另一导出深度像素（例如深度像素5,6）相对应的另一彩色边缘幅度求和值se。要导出的另一导出的深度像素（例如深度像素5,6）也位于测量深度像素（例如深度像素7,5）的像素影响区域内。例如，可以基于在参考彩色像素（例如，彩色像素7,5）和另一彩色像素（例如彩色像素5,6）之间的彩色边缘幅度值的和来计算对应于另一导出深度像素（例如深度像素5,6）的另一彩色边缘幅度求和值se。在示例中，在步骤2，se=0.75。所处理的像素（例如，对应于深度像素5,6的彩色边缘幅度求和值se）可以取决于其沿像素路径的前身（6,5）。由于解析顺序，例如，可以在第一导出深度像素（例如，深度像素3,6）之前计算要导出的另一导出深度像素（例如，深度像素5,6）。

看起来se增长直到步骤2，尽管没有穿过任何彩色边缘。这可能是由于边缘检测的性质而导致的，所述边缘检测检测除了边缘之外的像素，而不是（或独立于）精确的像素边界。这不影响结果，因为例如对于每个深度值，效果大致相同。

结合上文或下文描述的实施例提及更多细节和方面。图2a至2b中示出的实施例可以每一个包括对应于结合所提出的概念或上文（例如图1a至1d）或下文（图3a至图5）描述的一个或多个实施例提及的一个或多个方面的一个或多个可选附加特征。

图3a至3d示出了每个映射的深度值331的像素解析层级的示意图。例如，图3a至3d图示了由径向解析原理引起的相关性层级。

如图3a所示，围绕所测量的深度像素的像素影响区域可以由像素半径r来限定。受测量深度像素影响的像素影响区域可以被称为核。例如，图3a示出3的像素半径（或内核大小）。例如，3的内核大小处理与测量深度像素相距3个像素的欧几里得距离内的所有像素。图像处理模块104可以例如被配置为基于接收的彩色图像102的分辨率比和/或接收的低分辨率深度图像107的分辨率比来控制（或选择或计算）像素影响区域和/或像素半径。例如，可以基于以下关系计算像素影响半径r（假设高度和宽度之间的比率总是相同的）：

rcx可以表示像素中的彩色图像的宽度。

rcy可以表示像素中的彩色图像的高度。

rdx可以表示像素中的深度图像的宽度。

rdy可以表示像素中的深度图像的高度。

qf可以表示质量因子。qf可以是例如在1和4之间的值。

如图3b至图3d所示，图像处理模块104可以被配置为计算与要根据沿着围绕测量深度像素331的一个或多个圆形路径的解析顺序导出的多个导出深度像素相对应的多个彩色边缘幅度求和值se。例如，图3b至3d示出了与要根据围绕测量深度像素331的扩展圆形路径导出的多个导出深度像素相对应的多个彩色边缘幅度求和值se的处理像素。

结合上文或下文描述的实施例提及更多细节和方面。图3a至3d中示出的实施例可以每一个包括对应于结合所提出的概念或上文（例如图1a至2b）或下文（图4至图5）描述的一个或多个实施例所提及的一个或多个方面的一个或多个可选的附加特征。

图4示出了用于产生至少对象的三维彩色图像的方法400的示意图。

方法400包括基于在彩色图像的第一彩色像素和彩色图像的参考彩色像素之间的路径的彩色边缘幅度求和值来导出410与低分辨率深度图像的测量深度像素的测量深度像素图像数据相关联的加权因子。

方法400还包括基于测量深度像素图像数据和与测量深度像素图像数据相关联的加权因子导出420高分辨率深度图像的第一深度像素的第一深度像素图像数据。

方法400还包括基于彩色图像的第一彩色像素的第一彩色像素图像数据和第一导出深度像素图像数据来提供430至少该对象的三维彩色图像。

由于基于在第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值导出加权因子，在所提供的三维彩色图像的分辨率和/或噪声减少方面的深度质量可以被改善。另外，例如，可以在保持高性能的同时实现所提供的三维彩色图像的深度质量增强。

加权因子w基于接收的彩色图像102的第一彩色像素与接收的彩色图像102的参考彩色像素之间的路径（例如像素路径）的彩色边缘幅度求和值se。例如，加权因子w可以随着在第一彩色像素和参考彩色像素之间的增加的彩色边缘幅度求和值se而减小。例如，加权因子w可以随着在第一彩色像素和参考彩色像素之间的增加的彩色边缘幅度求和值se而指数地减小。

方法400还可以包括基于多个彩色边缘幅度值的至少一个彩色边缘幅度值来确定彩色边缘幅度求和值se。确定彩色边缘幅度求和值se可以包括沿着在第一彩色像素和参考彩色像素之间的像素路径求和（例如，相加）彩色边缘幅度值。第一彩色像素可以具有在彩色图像中的对应于对象的导出高分辨率深度图像中的第一导出深度像素的像素位置。

方法400还可以包括通过应用彩色图像的边缘滤波操作来确定多个彩色边缘幅度值。边缘滤波操作可以是sobel操作、canny操作、高斯拉普拉斯操作或prewitt操作。

例如，三维彩色图像可以具有与高分辨率深度图像和彩色图像相同的分辨率。例如，三维彩色图像的导出的第一三维彩色像素可以具有在三维彩色图像中的对应于导出高分辨率深度图像中的第一导出深度像素的像素位置和彩色图像中的第一彩色像素的像素位置。

结合上文或下文描述的实施例提及更多细节和方面。图4所示的实施例可以包括对应于结合上文（图1a至3d）或下文（图5）描述的一个或多个实施例或所提出的概念提及的一个或多个方面的一个或多个可选附加特征。

图5示出了相机系统500的示意图。

相机系统500包括用于生成至少对象523的彩色图像的二维高分辨率相机模块521。相机系统500还包括三维相机模块522，用于生成至少对象523的深度图像。相机系统500还包括用于生成至少对象523的三维彩色图像的装置100。

由于相机系统500包括装置100，相机系统500可以生成高分辨率三维彩色图像。由于用于生成三维彩色图像的加权因子基于在第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值，可以改善在所生成的三维彩色图像的分辨率和/或噪声减少方面的深度质量。另外，例如，可以在保持高性能的同时实现所生成的三维彩色图像的深度质量增强。

装置100可以包括结合图1至4描述的装置100的一个或多个或全部特征。例如，装置100包括用于接收至少对象的彩色图像和至少该对象的低分辨率深度图像的输入接口101。

装置100还包括图像处理模块104，图像处理模块104被配置为基于彩色图像的第一彩色像素的第一彩色像素图像数据和至少该对象的导出高分辨率深度图像的第一导出深度像素的第一导出深度像素图像数据来产生用于生成至少该对象的三维彩色图像的数据。

图像处理模块104被配置为基于低分辨率深度图像的测量深度像素的测量深度像素图像数据和与测量深度像素图像数据相关联的加权因子来计算第一导出深度像素图像数据。加权因子基于第一彩色像素和参考彩色像素之间的路径的彩色边缘幅度求和值。参考彩色像素具有在彩色图像中的与对象的导出高分辨率深度图像中的测量深度像素相对应的像素位置。

装置100还包括用于提供所生成的三维彩色图像106的输出接口105。

三维相机模块522可以是（或可以包括）飞行时间（tof）相机、用于产生三维图像的相机（例如3d相机）或超声波传感器。低分辨率深度（3d）图像的每个深度像素可以包括与对象相关的距离（例如深度，例如三维3d）信息。例如，深度信息可以与对象的表面到例如参考平面或参考点的距离相关。

例如，二维高分辨率相机模块521可以是配置为生成高分辨率彩色图像的二维（2d）感测设备。（至少）对象的彩色图像可以是高分辨率二维彩色图像（例如，没有深度信息）。例如，彩色图像的每个彩色像素可以包括与对象相关的二维彩色信息（例如，rgb彩色空间信息，或者替代地其他彩色空间信息）。

例如，相机系统500可以是以下各项（或可以是以下各项的一部分，或可以包括以下各项）：计算机（例如中央处理单元cpu）、处理器、微控制器或电路。例如，相机系统500可以是或可以包括移动设备、电信设备、计算机或膝上型计算机。

例如，相机系统的每个相机模块（例如，二维高分辨率相机模块521和三维相机模块522）可以包括计算机（例如中央处理单元cpu）、处理器、微控制器或用于生成至少与对象相关的图像的电路。

本文描述的各种实施例涉及例如利用彩色信息增加深度图像质量（例如飞行时间深度图像质量）的高效方式。

结合一个或多个特定示例提及的各方面和特征（例如，装置、三维彩色图像、输入接口、彩色图像、对象、低分辨率深度图像、图像处理模块、第一彩色像素图像数据、第一彩色像素、第一导出深度像素图像数据、第一导出深度像素、导出高分辨率深度图像、加权因子、测量深度像素图像数据、测量深度像素、彩色边缘幅度求和值、彩色边缘幅度值、边缘幅度值存储器、解析顺序、加权深度值、加权因子存储器、加权深度值存储器、导出深度像素图像数据存储器、插值算法、更新公式、像素路径、输出接口）可以与一个或多个其他示例组合。

示例实施例还可以提供一种具有用于在计算机或处理器上执行计算机程序时执行上述方法之一的程序代码的计算机程序。本领域技术人员将容易地认识到，各种上述方法的动作可以由编程的计算机执行。本文中，一些示例实施例还旨在涵盖机器或计算机可读并且编码机器可执行或计算机可执行指令程序的程序存储设备，例如数字数据存储介质，其中指令执行上述方法的一些或全部动作。程序存储设备可以是例如数字存储器、磁存储介质诸如磁盘和磁带、硬盘驱动器、或光可读数字数据存储介质。另外的示例实施例还旨在涵盖被编程为执行上述方法或（现场）可编程逻辑阵列（（f）pla）或（现场）可编程门阵列（（f）pga）的动作的计算机、编程为执行上述方法的动作的计算机。

描述和附图仅图示了本公开的原理。因此，将领会的是，本领域技术人员将能够设计出各种布置，尽管本文没有明确描述或示出该各种布置，但是该各种布置体现本公开的原理并且被包括在本公开的精神和范围内。此外，本文叙述的所有示例主要明确旨在仅仅出于教学目的，以帮助读者理解本公开的原理和（多个）发明人为促进本领域而贡献的概念，并且被解释为不具有限于这种具体叙述的示例和条件。此外，本文中叙述本公开的原理、方面和实施例以及其具体示例的所有陈述旨在涵盖其等同物。

表示为“用于...的装置”（执行特定功能）的功能块应当被理解为包括配置为分别执行特定功能的电路的功能块。因此，“用于某事物的装置”也可以被理解为“被配置为或适合于某事物的装置”。因此，配置为执行特定功能的装置不意味着这种装置必然正在执行该功能（在给定时刻）。

图中所示的各种元件（包括标记为“装置”、“用于提供传感器信号的装置”、“用于生成发射信号的装置”等的任何功能块）的功能可以通过使用诸如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供。此外，本文中描述为“装置”的任何实体可以对应于或被实现为“一个或多个模块”、“一个或多个设备”、“一个或多个单元”等。当由处理器提供时，由单个专用处理器、由单个共享处理器或由多个单独处理器提供功能，其中一些可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他地指能够执行软件的硬件，并且可以暗示地包括但不限于数字信号处理器（dsp）硬件、网络处理器、专用集成电路（asic）、现场可编程门阵列（fpga）、用于存储软件的只读存储器（rom）、随机存取存储器（ram）和非易失性存储器。还可以包括常规和/或定制的其他硬件。

本领域技术人员应当领会到，本文中的任何框图表示体现本公开的原理的说明性电路的概念视图。类似地，将领会的是，任何流程图、流程图表、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并由此由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。

此外，所附权利要求被并入具体实施方式中，其中每个权利要求可以独立作为单独的实施例。尽管每个权利要求可以独立地作为单独的实施例，但是应当注意（尽管从属权利要求可以在权利要求中指代与一个或多个其他权利要求的特定组合）其他实施例还可以包括从属权利要求与每个其他从属或独立权利要求的主题的组合。在本文中提出了这种组合，除非声明不期望特定的组合。此外，旨在还包括任何其他独立权利要求的权利要求的特征，即使该权利要求不直接从属于独立权利要求。

还应注意，在说明书或权利要求中公开的方法可以由具有用于执行这些方法的每个相应动作的装置的设备来实现。

此外，应当理解，在说明书或权利要求中公开的多个动作或功能的公开可以不被解释为在特定顺序内。因此，多个动作或功能的公开将不限制这些为特定顺序，除非这种动作或功能由于技术原因而不可互换。此外，在一些实施例中，单个动作可以包括或可以分成多个子动作。这种子动作可以被包括并且是该单个动作的公开的一部分，除非被明确排除。