专利名称：深度指示图的产生的制作方法
技术领域：
本发明涉及产生深度指示图。更具体而非穷举地说，本发明涉及产生多视像的深度指示图。
背景技术：
近几十年来，随着数字信号表示和通信逐渐取代模拟表示和通信，各种源信号的数字编码也变得日益重要。目前正在进行持续的研究和开发来提高可从编码图像和视频序列获取的质量，同时将数据速率保持在可接受水平。此外，对图像和视频处理的关注也在增加。除了二维图像平面之外，还进一步考虑图像的深度方面。例如，三维图像已成为许多研究和开发的主题。的确，图像的三维呈现例如通过3D电视、计算机显示器等的形式引入消费市场。这些方法通常基于产生提供给用户的多个视图。例如，当前的许多3D内容基于产生立体视图，其中第一图像呈现给观众的右目艮，第二图像呈现给观众的左眼。有些显示器能够提供相对多数量的视图，允许针对多个观看点为观众提供适当的视图。实际上，此类系统可允许用户环视对象，例如，看到中心视点无法看到的被遮挡对象。已经提出不同的方法来提供有效的三维场景信息表示。例如，可针对提供给用户的每个视图提供单独图像。此方法对于其中将预定图像呈现给观众右眼和左眼的简单立体系统有效。因此，此方法相对适合于只为用户提供预定三维体验(例如，为观众呈现三维电影)的系统。但是，此方法不适合其中需要为观众提供较多数量视图的更灵活的系统，具体是指不适合其中需要在呈现/表现点上灵活地改变或更改观众观看点的应用。此方法同时也是其中深度效应不固定而是可以改变的变基线立体图像应用的次优选择。具体而言，需要改变深度效应强度，如果没有不同对象的深度信息，可能很难分别使用用于左右眼的固定图像实现。实际上，带有固定左右视图的立体表示已在BD 3D (蓝光光盘只读格式第三部分:视听基本规范版本2.4)中实现标准化。但是，固定视图格式的灵活性有限。为实现诸如适应不同屏幕大小或对深度感觉强度的用户定义的调整以避免不适感等期望特征，要求传输更多的信息。此外，固定左右视图不提供任何用于实现高级显示(例如，需要两个以上视图的自动立体显示)的实际规定。此外，此方法不能轻松支持产生任意视点的视图。为了解决这些问题，已提出提供具有一个或多个图像的深度图。所述深度图一般可以提供图像中所有部分的深度信息。因此，深度图可针对每个像素指示该像素图像对象的相对深度。深度图可以显著增加呈现的灵活性，例如可使图像适于对应于不同的视点。具体而言，视点的移位一般可导致依赖于像素深度的图像的像素移位。在某些情况下，具有关联深度图的单个图像允许产生不同视图，从而例如允许产生三维图像。但是，一般提供多个对应于不同视图的图像来提高性能。例如，可在提供对应于视图左右眼的两个图像之时另外提供一个或两个深度图。实际上，在许多应用中，单个深度图足以提供基本优点。但是，这些方法也包含一些固有的劣势或缺点。实际上，此方法要求提供适当的深度图。对于新内容，具体对于计算机根据三维模型产生的图像而言，这相对容易做到。但是，对于创建时未包括深度信息的现有内容而言，产生足够精确的深度图是一项艰难、繁重的任务。实际上，多数产生现有内容(例如，现有画面或电影)深度信息的方法都需要大量人工参与，从而使深度图产生工作变得耗时、耗成本。另外，包括深度图本质上需要分布和/或存储额外的数据。这样，含深度像(例如视频序列)的编码数据据速率本质上高于同一不含深度图的图像。因此，有效地对深度图执行编码和解码非常重要。所以，需要改进的基于深度图的图像系统。具体而言，将有利地使用产生、编码或解码深度图的改进方法。特别是，有利地使用可增加灵活性、便利实施和/或操作、改进和/或便利深度数据的编码、解码和/或产生、降低编码数据速率和/或提高性能的系统。
发明内容
因此，本发明旨在优选地以单独形式或任何组合的形式弱化、减轻或消除上述一个或多个缺点。根据本发明的一个方面，提供一种编码与图像关联的深度指示图的方法，所述方法包括:接收所述深度指示图；响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及响应于所述映射，通过编码所述深度指示图产生输出编码数据流。本发明可以提供改进的编码。例如，它可以允许深度指示图的编码适应并面向特定特性。本发明例如可以提供允许解码器产生深度指示图的编码。具体而言，在许多实施例中，使用基于参考图像的映射可允许对图像和/或深度特性进行自动和/或改进的适应，无需针对特定图像或深度特性开发或应用预定的规则或算法。可被视为与组合关联的图像位置例如可以针对特定输入集被判定为满足特定输入集的图像空间位置邻域标准的图像位置。例如，它可以包括以下图像位置，其小于距输入集位置的给定距离，与输入集的位置属于同一图像对象，落在针对输入集定义的位置范围内等。组合例如可以是将多个色坐标值组合为更少值(具体是指组合为单个值)的组合。例如，组合可以将色坐标(例如，RGB值)组合为单个亮度值。作为另一实例，组合可以将邻近像素值组合为单个平均或微分值。在其他实施例中，组合可以替代地或额外地为多个值。例如，组合可以是包括多个邻近像素中每个像素的像素值的数据集。因此，在某些实施例中，组合可以对应于一个额外映射维度(即，除了空间维度之外)，在其他实施例中，组合可以对应于多个额外映射维度。色坐标可以是反映像素视觉特征的任何值，并且具体可以是亮度值、色度值或色差值。组合在某些实施例中可以只包括一个对应于输入集中图像空间位置的像素值。
所述方法可以包括动态地产生映射。例如,新映射可针对视频序列中每个图像产生，或者针对每一第N个图像产生，其中N为整数。所述深度指示图可以是对应于图像的部分或完整图。所述深度指示图可以包括提供图像深度指示的值，具体可以包括每个像素或像素组的深度指示值。所述深度指示图的深度指示例如可以是深度(Z)坐标或视差值。所述深度指示图具体可以是深度视差图或深度图。在某些实施例中，还可以提供图像遮挡数据。例如，图像可被表示为分层图像，其中第一层表示可从图像的视点看到的对象，并且一个或多个进一步的层提供从该视图无法看到的对象图像数据。深度指示数据可以仅针对顶层提供/产生，也可以针对一个或多个遮挡层提供/产生。所述遮挡数据可以在不同的比特流层中发送，即，它可以包括在输出数据流增强层中。根据本发明的可选特征，所述方法进一步包括接收所述图像；响应于所述映射，根据所述图像预测深度指示图；响应于所述预测的深度指示图和所述图像，产生残差深度指示图；编码所述残差深度指示图以产生编码深度数据；以及将所述编码深度数据包括在所述输出编码数据流中。本发明可以提供改进的深度指示图编码。具体而言，可实现根据图像对深度指示图的改进预测，从而允许减少的残差信号，以便更有效地进行编码。所述深度指示图编码数据的数据速率可以降低，从而能降低整个信号的数据速率。所述方法可允许预测基于对深度指示图和图像之间特定关系的改进适应和/或自动适应。所述方法在许多情况下允许反相兼容仅使用包括输入图像编码的基本层，而深度指示图数据在增强层提供的现有设备。此外，所述方法可允许低复杂度实现，从而降低成本、资源要求和使用量，或者便利设计或制造。所述预测基本图像可以具体通过编码所述输入以产生编码数据来产生，以及通过解码所述编码数据来产生所述预测基本图像。所述方法可以包括产生所述输出编码数据流以具有包括所述输入图像编码数据的第一层和包括所述残差深度指示图编码数据的第二层。所述第二层可以是可选层，具体而言，所述第一层可以是基本层，所述第二层可以是增强层。所述残差深度指示图的编码可以具体地包括通过比较所述输入深度指示图和所述预测的深度指示图，产生至少部分所述深度指示图的残差数据；以及通过编码所述残差数据，产生至少部分所述编码深度指示图。根据本发明的可选特征，每个输入集对应于每个空间图像维度的空间区间和所述组合的至少一个值区间，并且产生所述映射包括针对所述参考图像的至少一组图像位置中的每个图像位置:判定至少一个匹配输入集，其具有对应于所述每个图像位置的空间区间以及对应于所述图像中每个图像位置组合值的所述组合的值区间；以及响应于所述参考深度指示图中所述每个图像位置的深度指示值，判定所述匹配输入集的输出深度指示值。 这样提供一种有效、精确的方法来判定用于产生深度指示图的适当映射。在某些实施例中，所述方法进一步包括响应于匹配第一输入集的至少一组图像位置的所有图像位置深度指示值的贡献平均，判定所述第一输入集的输出深度指示值。
根据本发明的可选特征，所述映射为以下至少一项:空间二次取样映射；时间二次取样映射；以及组合值二次取样映射。这样可以在许多实施例中提高效率和/或降低数据速率或资源需求，同时仍允许执行有利的操作。所述时间二次取样可以包括更新图像/图序列中图像/图子集的映射。所述组合值二次取样可以包括对所述组合的一个或多个值应用比所述像素值的量化更粗的量化。所述空间二次取样可以包括涵盖多个像素位置的每个输入集。根据本发明的可选特征，所述方法进一步包括:接收所述图像；响应于所述映射，根据所述图像产生所述深度指示图的预测；以及响应于所述深度指示图与所述预测的比较，适应所述映射和所述残差深度指示图的至少一项。这样可以改进编码并且可以在许多实施例中针对特定图像特性适应数据速率。例如，可动态适应所述数据速率以实现可变的最低数据速率，从而将所述数据速率降为给定质量等级所需的水平。在某些实施例中，所述适应可以包括判定是否修改部分或全部所述映射。例如，如果所述映射导致预期的深度指示图相对于所述输入深度指示图偏离给定量，则可以部分或全部地修改所述映射以改进预测。例如，所述适应可以包括修改映射针对特定输入集提供的特定深度指示值。在某些实施例中，所述方法可以包括响应于所述输入深度指示图与所述预测的深度指示图的比较，选择映射数据和残差深度指示图数据的至少一项的元素以包括在所述输出编码数据流中。所述映射数据和/或残差深度指示图数据例如可以限于其中所述输入深度指示图与所述预测的深度指示图之差超过给定阈值的区域。根据本发明的可选特征，所述输入图像为所述参考图像，所述参考深度指示图为所述深度指示图。这样可以在许多实施例中更有效地根据输入图像预测深度指示图，并可以在许多情况下提供特别有效的深度指示图编码。所述方法可以进一步包括映射描述所述输出编码数据流中至少部分映射的特征的数据。根据本发明的可选特征，所述方法进一步包括对所述图像进行编码，其中所述图像和所述深度指示图联合编码，其中所述图像的编码不依赖于所述深度指示图，并且所述深度指示图使用来自所述图像的数据进行编码，所述编码数据被分为单独的数据流，其中包括包含所述图像数据的主数据流和包含所述深度指示图数据的次数据流，其中所述主数据流和次数据流多路复用到所述输出编码数据流，并且为所述主数据流和次数据流的数据提供单独代码。这样可以提供特别有效的数据流编码，这种编码能改善后向兼容性。所述方法可以组合联合编码与后向兼容性的优点。根据本发明的一方面，提供一种产生图像的深度指示图的方法，所述方法包括:接收所述图像；提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及响应于所述图像和所述映射，产生所述深度指示图。本发明可实现用于根据图像产生深度指示图的特别有效的方法。具体而言，所述方法可以减少人工介入需求，并允许根据参考以及从此类参考中自动提取的信息产生深度指示图。所述方法可以例如允许产生例如通过人工或自动处理进一步细化的深度指示图。所述方法具体可以是指对深度指示图进行解码的方法。所述图像可作为编码图像接收，所述编码图像首先进行解码，然后对所述解码图像应用映射以提供深度指示图。具体而言，所述图像可通过对编码数据流的基本层图像进行解码来产生。所述参考图像和对应参考深度指示图具体可以是先前解码的图像/图。在某些实施例中，所述图像可以在编码数据流中接收，所述编码数据流还可以包括描述所述映射和/或所述参考图像和/或所述参考深度指示图的特征或识别所述映射和/或所述参考图像和/或所述参考深度指示图的数据。根据本发明的可选特征，产生所述深度指示图包括针对至少部分预测的深度指示图的每个位置，通过以下操作判定至少部分所述预测的深度指示图:判定至少一个匹配所述每个位置以及关联于所述每个位置的像素值色坐标的第一组合的匹配输入集；从所述映射中检索所述至少一个匹配输入集的至少一个输出深度指示值；响应于所述至少一个输出深度指示值，判定所述预测的深度指示图中所述每个位置的深度指示值；以及响应于至少部分所述预测的深度指示图，判定所述深度指示图。这样可以提供特别有利的深度指示图产生。在许多实施例中，所述方法允许对深度指示图进行特别有效的编码。具体而言，可实现根据图像自动适应和/或有效地产生深度指示图的预测。响应于至少部分所述预测的深度指示图产生所述深度指示图可以包括直接使用至少部分所述预测的深度指示图，或者例如可以包括使用残差深度指示图数据增强至少部分所述预测的深度指示图，所述残差深度指示图数据可以包括在包含图像的层以外的编码
信号层中。根据本发明的可选特征，所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。这样可允许有效执行操作，具体是指可允许对具有对应图像和深度指示图的视频序列进行有效编码。例如，所述方法可根据图像预测至少部分深度指示图，然后基于此预测实现精确编码，无需在编码器和解码器之间传输有关所应用映射的任何信息。 根据本发明的可选特征，所述先前深度指示图进一步响应于所述先前深度指示图相对于所述先前图像的预测深度数据的残差深度数据产生。这样可以提供特别精确的映射，从而改进预测。根据本发明的可选特征，所述图像为视频序列中的图像，并且所述方法进一步包括使用所述视频序列中的至少某些图像的标称(nominal)映射。这样可允许特别有效地对许多深度指示图进行编码，具体是指可以有效地适应视频序列中的不同图像/图。例如。标称映射可用于那些没有适当的参考图像/图的深度指示图，例如，场景改变之后的第一图像/图。在某些实施例中，所述视频序列可作为编码视频信号的一部分接收，所述编码视频信号进一步包括可用参考映射的图像的参考映射指示。在某些实施例中，所述参考映射指示指示所应用的从预定参考映射集中选择的参考映射。例如，可预定编码器与解码器之间的N个参考映射，并且所述编码可以包括有关所述解码器应该针对特定深度指示图使用哪个参考映射的指示。根据本发明的可选特征，所述组合指示所述图像空间位置的纹理、梯度和空间像素值变化中的至少一项。这样可提供特别有利的深度指示图产生。根据本发明的可选特征，所述深度指示图与多视像中的第一视像关联，所述方法进一步包括:响应于所述深度指示图，产生所述多视像中的第二视像的进一步的深度指示图。所述方法可允许特别有效的多视图深度指示图产生/解码，并且可允许将数据速率改进为质量比率和/或便利实现。所述多视像可以是包括多个对应于同一场景不同视图的图像，并且深度指示图可与每个视图关联。所述多视像具体可以是包括左右图像(例如对应于观众左右眼的视点)和左右深度指示图的立体图像。所述第一视图深度指示图具体可用于产生所述第二视图深度指示图的预测。在某些情况下，所述第一视图深度指示图可直接用作所述第二视图深度指示图的预测。在某些实施例中，产生所述第二视图深度指示图的步骤包括:提供将采取图像空间位置以及关联于所述图像空间位置的深度指示值的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映所述第一视图的参考深度指示图与所述第二视图的对应参考深度指示图之间的关系；以及响应于所述第一视图深度指示图和所述映射，产生所述第二视图深度指示图。这样可提供根据所述第一视图深度指示图产生所述第二视图深度指示图的特别有利的方法。具体而言，它允许根据参考深度指示图进行精确的映射或预测。所述第二视图深度指示图的产生可以基于自动产生映射，并且例如可以基于先前第二视图深度指示图和先前第一视图深度指示图。所述方法例如可允许在编码器和解码器端独立地产生映射，从而允许根据所述映射有效地进行编码器/解码器预测，无需将其他任何映射数据从所述编码器传输到所述解码器。根据本发明的一方面，提供一种对关联于图像的深度指示图进行编码的设备，所述设备包括:接收器，用于接收所述深度指示图；映射产生器，用于响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及输出处理器，用于响应于所述映射，对所述深度指示图进行编码来产生输出编码数据流。所述设备例如可以是集成电路或其一部分。根据本发明的一方面，提供一种装置，包括:上一段落所述的设备；输入连接构件，用于接收包括所述深度指示图的信号以及将此信号馈入所述设备；以及输出连接构件，用于从所述设备输出所述输出编码数据流。根据本发明的一方面，提供一种产生图像的深度指示图的设备，所述设备包括:接收器，用于接收所述图像；映射处理器，用于提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及图像产生器，用于响应于所述图像和所述映射，产生所述深度指示图。所述设备例如可以是集成电路或其一部分。
根据本发明的一方面，提供一种装置，包括:上一段落所述的设备；输入连接构件，用于接收所述图像以及将此图像馈入所述设备；输出连接构件，用于从所述设备输出包括所述高深度指示图的信号。所述装置例如可以是机顶盒、电视机、计算机监视器或其他显示器、媒体播放器、DVD或BluRay 播放器等。根据本发明的一方面，提供一种编码信号，包括:编码图像；以及深度指示图的残差深度数据，至少部分所述残差深度数据指示所述图像的所需深度指示图与向所述编码图像应用映射导致的预测深度指示图之差，其中所述映射将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联，所述映射反映参考图像与对应参考深度指示图之间的关系。根据本发明的特征，提供一种包括上一段落所述的编码信号的存储介质。所述存储介质例如可以是诸如DVD或BluRay 盘之类的数据载体。可提供一种执行本发明任一方面或特征的方法的计算机程序产品。另外，可以提供包括执行本发明任一方面或特征的方法的可执行代码的存储介质。本发明的这些和其他方面、特征和优点通过下面描述的(多个)实施例将变得显而易见，并通过这些实施例进行阐述。
将参考附图并仅借助实例描述本发明的实施例，在所述附图中:
图1是根据本发明的某些实施例的传输系统实例的图示；
图2是根据本发明的某些实施例的编码器实例的图示；
图3是根据本发明的某些实施例的编码方法实例的图示；
图4和5是根据本发明的某些实施例的映射实例的图示；
图6是根据本发明的某些实施例的编码器实例的图示；
图7是根据本发明的某些实施例的编码器实例的图示；
图8是根据本发明的某些实施例的解码方法实例的图示；
图9是根据本发明的某些实施例的高动态范围图像预测实例的图示；
图10是根据本发明的某些实施例的映射实例的图示；
图11是根据本发明的某些实施例的解码器实例的图示；
图12是根据本发明的某些实施例的解码器实例的图示；
图13是根据本发明的某些实施例可以在编码器中使用的基本编码模块实例的图示； 图14-17示出使用图13中的基本编码模块的编码器的实例；
图18示出数据流多路复用的实例；
图19是根据本发明的某些实施例可以在解码器中使用的基本解码模块实例的图示；
以及
图20-22示出使用图18中的基本解码模块的解码器的实例。
具体实施例方式下面的描述着重在适用于对视频序列中的对应图像和深度指示图进行编码和解码的本发明实施例。但是将理解，本发明不限于此应用，可以在其他许多情况下应用所述原理。具体而言，所述原理不限于涉及编码或解码的深度指示图产生。图1示出根据本发明的某些实施例传输视频信号的传输系统100。传输系统100包括通过网络105与接收器103相连的发送器101，网络105具体是指因特网，或者诸如数字电视广播系统之类的广播系统。在特定实例中，接收器103为单个播放设备，但可以理解，在其他实施例中，所述接收器可用于其他应用以及其他目的。在特定实例中，接收器103可以是显示器，例如电视机，也可以是用于产生外部显示器(例如，计算机监视器或电视机)的显示输出信号的机顶盒。在特定实例中，发送器101包括提供图像和对应深度指示图的视频序列的单个源107。图像的深度图可以包括图像深度信息。此类深度指示具体可以是z坐标(B卩，指示沿垂直于图像平面(x-y平面)的方向偏移的深度值)、视差值或其他任何提供深度信息的值。深度指示图可以是涵盖整个图像的完整指示图，也可以是仅提供一个或多个图像区域深度指示的局部深度指示图。深度指示图具体可以提供整个图像每个像素或图像的一个或多个部分的深度值。信号源107本身可以产生图像和深度指示图，也可以例如从外部源接收图像和/或深度指示图。下面将描述简单图像及关联的深度指示图的实例。但是，在某些实例中，可进一步提供图像的遮挡数据，实际上还可以提供遮挡数据的深度指示数据，例如深度指示图。信号源107与编码器109相连，该编码器继续根据下面将详细描述的编码算法对视频序列进行编码。具体而言，视频序列中的图像可使用传统编码标准进行编码，而深度指示图将使用下面将详细描述的基于对应图像的预测进行编码。编码器109与网络发送器111相连，该网络发送器接收编码信号并与通信网络105连接。网络发送器可通过通信网络105将编码信号发送到接收器103。将理解，在许多其他实施例中，可使用其他分发或通信网络，例如陆地或卫星广播系统。接收器103包括接收器113，该接收器与通信网络105连接并从发送器101接收编码信号。在某些实施例中，接收器113例如可以是因特网接口或无线或卫星接收器。接收器113与解码器115相连。解码器115被馈入已接收的编码信号，然后继续根据下面将详细描述的解码算法对编码信号进行解码。解码器115具体可以使用传统解码算法产生解码图像，并且可以使用下面将详细描述的根据解码图像的预测对深度指示图进行解码。在其中支持信号播放功能的特定实例中，接收器103进一步包括信号播放器117，该播放器从解码器115接收解码视频信号(包括深度指示图)并使用适当的功能向用户呈现解码视频信号。本领域的技术人员知道，信号播放器117具体可以根据解码图像和深度信息呈现来自不同视图的图像。信号播放器117本身可以包括能呈现编码视频序列的显示器。作为替代或补充，信号播放器117可以包括能够产生针对外部显示装置的适当驱动信号的输出电路。因此，接收器103可以包括接收编码视频序列的输入连接构件以及提供显示器输出驱动信号的输出连接构件。图2示出根据本发明的某些实施例的编码器实例109。图3示出根据本发明的某些实施例的编码方法实例。编码器包括用于接收包括输入图像的视频序列的接收器201，以及用于接收对应深度指示图序列的接收器203。首先，编码器109执行步骤301，其中接收视频序列中的输入图像。输入图像被馈入图像编码器205，该图像编码器对视频序列中的视频图像进行编码。将理解，可使用任何适当的视频或图像编码算法，并且所述编码具体可以包括本领域的技术人员已知的运动补偿、量化、转换变换等。具体而言，图像编码器205可以是H-264/AVC标准编码器。因此，在步骤301之后执行步骤303，其中将输入图像进行编码以产生编码图像。编码器109然后继续根据输入图像产生预测的深度指示图。所述预测基于预测基本图像，所述预测基本图像例如可以是输入图像本身。但是，在许多实施例中，可以产生预测基本图像以对应于解码器通过对编码图像进行解码产生的图像。在图2的实例中，图像编码器205相应地与图像解码器207相连，该图像解码器继续通过对图像的编码数据进行解码产生预测基本图像。所述解码可以是实际输出数据流解码，也可以是中间数据流解码，例如在最终的无损失熵编码之前对编码数据流执行的解码。因此，图像解码器207执行步骤305，其中通过对编码图像进行解码来产生预测基本图像bas—IMG0图像解码器207与预测器209相连，该预测器继续根据预测基本图像产生预测的深度指示图。所述预测基于映射处理器211提供的映射。因此，在实例中，在步骤305之后执行步骤307，其中产生映射，接着执行步骤309，其中执行预测以产生预测的深度指示图。预测器209进一步与深度编码器213相连，该深度编码器进一步与深度指示图接收器203相连。深度编码器213接收输入深度指示图和预测的深度指示图，然后继续根据预测的深度指示图对输入深度指示图进行编码。作为特定低复杂度实例，深度指示图的编码可以基于相对于预测的深度指示图产生残差深度指示图以及对残差深度指示图进行编码。因此，在此实例中，深度编码器213可以继续到执行步骤311，其中响应于输入深度指示图与预测的深度指示图之间的比较，产生残差深度指示图。具体而言，深度编码器213可用输入深度指示图减去预测的深度指示图来产生残差深度指示图。因此，残差深度指示图表示输入深度指示图与根据对应(编码)图像预测的指示图之间的误差。在其他实施例中，可进行其他比较。例如，可采用深度指示图除以预测的深度指示图的方法。深度编码器213然后可以执行步骤313，其中对残差深度指示图进行编码以产生编码的残差深度数据。将理解，可使用用于对残差深度指示图进行编码的任何适当编码原理或算法。实际上，在许多实施例中，预测的深度指示图可用作多个预测中的一个可能的预测。因此，在某些实施例中，深度编码器213可被配置为在包括预测的深度指示图的多个预测之间做出选择。其他预测可以包括来自同一或不同深度指示图的空间或时间预测。所述选择可以基于对不同预测的精确度量(例如基于相对于输入深度指示图的残差量)。所述选择可以针对整个深度指示图执行，也可以例如针对深度指示图的不同区域或部分单独执行。例如，深度指示图编码器可以使用H264编码器进行编码，其中深度值被映射到亮度值(luma vlaue)。传统的H264编码器可利用不同的预测，例如时间预测(帧之间，例如运动补偿)或空间预测(即，根据图像的一个区域预测另一区域)。在图2的方法中，此类预测可通过根据图像产生的深度指示图预测来补充。H.264编码器然后继续到在各种可能的预测之间进行选择。该选择根据宏块执行，并且基于选择导致该宏块的最低残差的预测。具体而言，可执行速率失真分析来针对每个宏块选择最佳预测方法。因此，做出局部决定。于是，基于H264的编码器可针对不同的宏块使用不同的预测方法。对于每个宏块，可产生残差数据并对其进行编码。因此，输入HDR图像的编码数据可以包括每个宏块的残差数据，其中每个宏块由针对该宏块的特定选定预测导致。此外，编码数据可以包括有关针对每个单独的宏块使用哪种预测方法的指示。因此，深度指示图预测所依据的图像可以提供可由深度编码器选择的其他可能的预测。对于某些宏块，此预测可以导致低于其他预测的残差，并因此将针对该宏块选择此预测。该块的最终残差深度指示图然后表示输入深度指示图与该块的预测的深度指示图之差。编码器可以在实例中使用不同预测方法之间的选择，而非使用这些方法的组合，因为这样做会导致不同的预测经常发生相互干扰。图像编码器205和深度编码器213与输出处理器215相连，该输出处理器接收编码的图像数据和编码的残差深度数据。输出处理器215然后继续到执行步骤315，其中产生输出编码数据流EDS以包括编码的图像数据和编码的残差深度数据。在实例中，所产生的输出编码数据流为分层数据流，并且编码的图像数据包括在第一层中，编码的残差深度数据包括在第二层中。所述第二层具体可以是不兼容深度处理的解码器或设备能够放弃的可选层。因此，第一层可以是基本层，第二层可以是可选层，具体而言，第二层可以是增强或可选层。此方法允许在深度处理设备利用附加深度信息的同时实现后向兼容性。此外，使用预测和残差图像编码允许针对给定质量，以低数据速率实现高效编码。在图2的实例中，深度指示图的预测基于映射。所述映射被配置为从采取图像空间位置以及与图像空间位置关联的像素值色坐标组合的输入集形式的输入数据映射到采取深度指示值形式的输出数据。因此，具体可实现为查找表的映射基于由输入集中组织的大量参数定义的输入数据。因此，输入集可被视为包括多个参数值的多维集合。参数包括空间维度，具体可以包括二维图像位置，例如水平维度参数(范围)和垂直维度参数(范围)。具体而言，映射可将图像区域分为多个具有给定横向和纵向延伸的空间块。对于每个空间块，映射然后包括一个或多个根据像素值色坐标产生的参数。作为简单实例，除了空间参数之外，每个输入集还可以包括单个亮度值。因此，在这种情况下，每个输入集为具有两个空间参数和一个亮度参数的三维集合。对于各种可能的输入集，映射提供输出深度指示值。因此，在具体实例中，映射可以是从三维输入数据到单个深度指示(像素)值的映射。因此，该映射提供到适当深度指示值的同时依赖于空间和颜色分量(仅包括亮度分量)的映射。映射处理器211被配置为响应于参考图像和对应参考深度指示图产生映射。因此，映射不是预定或固定的映射，而是可根据参数图像/深度图自动和灵活地产生/更新的映射。参考图像/图具体可以是视频序列中的图像/图。因此，映射根据视频序列中的图像/图动态地产生，从而提供针对特定图像/图映射的自动适应。作为特定实例，映射可以基于正在编码的实际图像和对应深度指示图。在该实例中，可以产生映射以反映输入与输入深度指示图之间的空间和颜色分量关系。作为特定实例，映射可以产生为由NX X NY X Ni个箱(bin)(输入集)构成的三维网格。这种网格方法在应用于三维的量化度方面提供巨大灵活性。在实例中，第三(非空间)维度是仅对应于亮度值的强度参数。在下面的实例中，在宏块级别上使用28个强度箱(SP，使用8位值)执行深度指示图预测。对于高清图像而言，这意味着网格大小为:120x68x256个箱。每个箱对应于映射输入集。对于参考图像中的处于位置(X，y)和强度K的每个输入像素，首先确定该位置和强度的匹配箱。在实例中，每个箱对应于空间水平区间，空间垂直区间和强度区间。匹配箱(即，输入集)可通过最近邻插值判定:
K =[> ],
其中Ix、Iy和I1分别为水平、垂直和强度方向的网格坐标，&、Sy和S1为沿这些维度的网格间距(区间长度)，[]表示最近整数运算符。因此，在实例中，映射处理器211判定匹配输入集/箱，该匹配输入集/箱具有对应于像素图像位置的空间区间以及对应于参考图像中特定位置上像素强度值的强度值区间。映射处理器211然后继续到响应于参考深度指示图中位置的深度指示值，判定匹配输入集/箱的输出深度指示值。具体而言，在构造网格期间，深度值D和权值W均针对所考虑的每个新位置进行更新(其中Dk表示参考深度指示图中某个位置的深度指示值):
电，Iy，Φ D{lx，Iy，Zi)+ Dr (x,y\
计算(evaluate)完参考图像/图的所有像素之后，通过权值对深度指示值进行归一化以导出箱的输出深度指示值B:
B= D /W,
其中每个值的数据值A包含对应于特定箱/输入集的位置和输入强度的输出深度指示像素值。因此，网格内的位置可以通过参考图像判定，而网格中存储的数据对应于参考深度指示图。因此，映射输入集根据参考图像判定，映射输出数据根据参考深度指示图判定。在特定实例中，已存储的输出深度指示值是落入输入集/箱内像素的平均深度指示值，但是将理解，在其他实施例中，可使用其他方法，具体是指更高级的方法。
在实例中，自动产生映射以将深度反映到参考图像与深度指示图之间的空间和像素值关系。这对于在参考与被编码的图像和深度指示图密切相关之时，根据图像预测深度指示图尤其有用。如果参考图像和指示图实际就是被编码的图像和指示图，则这种深度反映也会特别有用。在这种情况下，所产生的映射自动适应输入图像与深度指示图之间的特定关系。因此，虽然图像与深度指示图之间的关系一般无法提前获知，但是所述方法可自动适应关系，无需任何现有信息。这样允许精确的预测，从而获得相对于输入深度指示图的较小差别，因此产生可被更有效编码的残差图像。在被编码的输入图像/图直接用于产生映射的实施例中，这些参考一般不能在解码器端上使用。因此，解码器自身无法产生映射。因此，在某些实施例中，编码器可进一步被配置为包括描述输出编码流中至少部分映射的特征的数据。例如，在使用固定和预定的输入集间隔(即，固定箱)的·情况下，编码器可以在输出编码流中包括所有箱输出值，例如作为可选层的一部分。尽管这样可增加数据速率，但由于在产生网格之时执行二次取样，因此开销相对较低。因此，使用精确的自适应预测方法实现的数据简化可能胜于映射数据传输导致的任何数据速率增加。当产生预测的深度指示图时，预测器209可继续一次一个像素地逐一扫描解码图像。对于每个像素，使用图像中像素的空间位置和强度值识别映射的特定输入集/箱。因此，对于每个像素，根据像素的空间位置和图像值选择箱。然后检索该输入集/箱的输出深度指示值，并且在某些实施例中，这些输出深度指示值可直接用作像素的深度指示值。但是，由于对映射进行空间二次取样可能提供特定的马赛克(blockiness)，因此在许多实施例中，深度指示值可通过在多个输入箱的输出深度指示值之间插值产生。例如，也可提取邻近箱的值(在空间和非空间两个方向上)，并且可产生深度指示像素值作为这些值的插值。具体而言，可通过在空间坐标和图像指定的分数位置上划分网格来构建预测的深度指示图:
Bb= Fjnt (B (x/S, y/S^ I/S,)),
其中表示适当的插值运算符，例如，最邻近插值或双三次插值。在许多情况下，图像可由多个颜色分量(例如，RGB或YUV)表示。产生映射的实例在图4和5中提供。在这些实例中，图像深度映射关联使用图像和深度训练参考建立，并且映射表中的位置通过图像中的水平(X)和垂直(y)像素位置以及图像像素值(例如，图4实例中的亮度(Y)和图5实例中的熵(E))组合来判定。如上所述，映射表在指定位置上存储关联的深度指示训练数据。编码器15因此产生包括编码图像的编码信号。该图像具体可以包括在编码比特流的强制或基本层中。此外，包括这样的数据，其允许在解码器上根据编码图像有效地产生深度图像。 在某些实施例中，该数据可以包括可被解码器使用的数据或采取可被解码器使用的数据形式。但是，在其他实施例中，对于部分或全部图像，不包括此映射数据。相反，解码器本身可以根据先前的图像产生映射数据。所产生的编码信号可进一步包括深度指示图的残差深度指示数据，其中残差图像数据指示对应于图像的所需深度指示图与向解码图像应用映射导致的预测深度指示图之差。所需深度指示图具体为输入深度指示图，因此残差深度数据表示可修改解码器产生的深度指示图，以使其更接近地对应于所需深度指示图(即，对应于对应的输入深度指示图)的数据。在许多实施例中，可以有利地将附加残差深度数据包括在可被适当配置的解码器使用并且被不具备所需功能的旧解码器忽略的可选层(例如，增强层)中。所述方法例如可允许所描述的基于映射的预测集成在新的后向兼容视频格式中。例如，两个层都可使用传统的数据变换(例如，waVelet、DCT)操作和量化操作进行编码。帧内预测和运动补偿帧间预测可提高编码效率。在这种方法中，从图像到深度的层间预测对其他预测进行了补充并进一步提高增强层的编码效率。信号可以具体为例如可以在图1实例中的网络上分发或传输的比特流。在某些情况下，信号可存储在适当的存储介质上，例如磁盘/光盘上。例如，信号可以存储在DVD或BluRay 盘。在上面的实例中，映射信息包括在输出比特流中，从而允许解码器根据已接收的图像再现预测。在这种以及其他情况下，使用对映射的二次取样尤其有利。实际上，可有利地使用空间二次取样，以便不针对每个单独的像素存储单独的输出深度值，而是针对像素组，具体是指针对像素区域存储。在特定实例中，单独的输出值针对每个宏块存储。作为替代或补充，可使用输入非空间维度的二次取样。在特定实例中，每个输入集可涵盖图像中的多个可能的强度值，从而减少可能的箱数量。这种二次取样可对应于在产生映射之前应用较粗的量化。这种空间或值二次取样可显著降低传输映射所需的数据速率。但是作为替代或补充，它可以显著减小编码器(和对应的解码器)的资源需求。例如，它可以显著减小存储映射所需的存储空间。在许多实施例中，它还减少产生映射所需的处理资源。在实例中，映射的产生基于当前的图像和深度指示图，S卩，基于正被编码的图像和对应深度指示图，但是，在其他实施例中，可使用视频序列中的先前图像作为参考图像，以及使用针对先前图像视频序列产生的先前深度指示图作为参考深度指示图(或在某些情况下，使用对应的先前输入深度指示图)来产生映射。因此，在某些实施例中，用于当前图像的映射可以基于先前对应的图像和深度指示图。作为实例，视频序列可以包括一系列具有相同场景的图像，因此，连续图像之间的差别会很小。因此，适合于一个图像的映射也极有可能适合于后续图像。因此，使用先前图像和深度指示图作为参考产生的映射也极有可能适用于当前图像。针对当前图像使用根据先前图像的映射的优点是:解码器可单独产生映射，因为这样也能使先前的图像可用(通过对这些图像进行解码)。因此，无需包括有关映射的信息，从而进一步降低编码输出流的数据速率。使用此方法的特定编码器实例在图6中示出。在该实例中，映射(在特定实例中为查找表，LUT)根据先前重建的(延迟τ)图像和先前重建的(延迟τ)深度指示图在编码器和解码器端二者上构建。在此情况下，无需将任何映射值从编码器发送到解码器。而是，解码器仅使用已经可用的数据复制深度指示图预测过程。虽然层间预测质量可能稍有降低，但是由于视频序列中的后续帧之间具有高度的时间相关性，因此这种降低幅度并不重要。在实例中，针对图像使用yuv420颜色方案，针对映射使用yuv444/422颜色方案，因此，首先执行颜色上转换，然后产生和应用LUT (映射)。优选地使延迟τ尽可能小，以便提高图像和深度指示图尽可能相似的概率。但是，在许多实施例中，最小值可能依赖于所使用的具体编码结构，因为需要解码器能够根据已解码的画面产生映射。因此，最佳延迟可能依赖于所使用的GOP (画面组)类型，具体是指依赖于所使用的时间预测(运动补偿)。例如，对于IPPPP G0P, τ可以是单个图像延迟，而根据IBPBP G0P，它将是至少两个图像延迟。在实例中，图像中的每个位置只对网格的一个输入集/箱做出贡献。但是，在其他实施例中，映射处理器可以识别用于产生映射的至少一组图像位置中的至少一个位置的多个匹配输入集。然后可以响应于参考深度指示图中的位置的深度指示值，确定所有匹配输入集的输出深度指示值。具体而言，不使用最近邻插值来构建网格，单个数据也可以遍布于邻近箱而非仅遍布于单个最佳匹配箱。在这种情况下，每个像素不对单个箱做出贡献，而是对例如它的所有邻近箱(在3D网格中，有8个箱)做出贡献。所述贡献例如可以与像素与邻近箱中心之间的三维距离成反比。图7示出图2的编码器的互补解码器实例115，图8示出其操作方法的实例。解码器115包括接收电路701，该接收电路执行步骤801，其中从接收器113接收编码数据。在其中图像编码数据和残差深度数据在不同层编码的特定实例中，接收电路被配置为提取和分用图像编码数据和采取残差深度指示图数据形式的可选层数据。在其中已接收的比特流包括映射信息的实施例中，接收电路701可进一步提取该数据。接收电路701与接收编码图像数据的图像解码器703相连。该图像解码器然后继续到执行步骤803，其中对图像进行解码。图像解码器703将与解码器109的图像编码器205互补并且具体可以是H-264/AVC标准解码器。图像解码器703与接收解码图像的解码预测器705相连。解码预测器705进一步与解码映射处理器707相连，该解码映射处理器被配置为执行步骤805，其中针对解码预测器705产生映射。解码映射处理器707产生的映射对应于当产生残差深度数据时被编码器使用的映射。在某些实施例中，解码映射处理器707可以仅响应于在编码数据流中接收的映射数据而产生映射。例如，网格中每个箱的输出数据值可以在已接收的编码数据流中提供。解码预测器705然后继续到执行步骤807，其中根据解码图像以及解码映射处理器707产生的映射产生预测的深度指示图。所述预测可遵循编码器中使用的同一方法。为了简洁和清晰起见，该实例将着重描述简化的实例，其中编码器仅基于图像到深度预测，因此，产生整个图像到深度指示图的预测(因此为整个残差深度图)。但是将理解，在其他实施例中，此方法可与诸如时间或空间预测之类的其他预测方法一起使用。具体而言，将理解，并非将所述方法应用于整个图像，而是仅将此方法应用于个别图像区域或块，其中图像到深度预测由编码器选择。图9示出如何执行预测操作的具体实例。在步骤901，选择深度指示像中的第一像素位置。然后在步骤903，针对该像素位置判定映射的输入集，即，判定网格中的适当输入箱。例如可通过识别涵盖位置所落入的空间区间以及解码图像的解码像素值所落入的强度区间的网格来执行此判定。在步骤903之后执行步骤905，其中从映射中检索输入集的输出深度值。例如，可使用所判定的输入集数据定址LUT，并且检索针对该定址存储的结果输出数据。在步骤905之后执行步骤907，其中根据检索的输出判定像素深度值。作为简单实例，可将深度值设为检索到的深度指示值。在更复杂的实施例中，像素深度值可通过在不同输入集的多个输出深度值之间插值产生(例如，考虑所有邻近箱以及匹配箱)。此过程可以针对深度指示图中的所有位置重复，从而导致正被产生的预测的深度指示图。解码器115然后将继续到根据预测的深度指示图产生输出深度指示图。在特定实例中，输出深度指示图通过考虑已接收的残差深度指示数据产生。因此，接收电路701与接收残差深度指示数据的残差解码器709相连，该残差解码器继续到执行步骤809，其中对残差深度指示数据进行解码以产生解码的残差图像。残差解码器709与组合器711相连，该组合器进一步与解码预测器705相连。组合器711接收预测的深度指示图和解码的残差深度指示图并继续到执行步骤811，其中组合这两个指示图以产生输出深度指示图。具体而言，该组合器可以逐像素针对两个图像添加深度值，从而产生输出深度指示图。组合器711与输出电路713相连，该输出电路执行步骤813，其中产生输出信号。输出信号例如可以是能够驱动适当显示器(例如，电视机)以呈现图像或根据图像和深度指示图产生备选图像的显示器驱动信号。例如，可产生对应于不同视点的图像。在特定实例中，映射根据编码数据流中包括的数据判定。但是，在其他实施例中，映射可响应于解码器已接收的先前图像/图(例如，视频序列中的先前图像和深度指示图)产生。对于该先前图像，解码器将具有通过图像解码获取的解码图像并将此图像用作参考图像。此外，已通过首先执行预测，然后使用残差深度指示图进一步校正预测的深度指示图产生出深度指示图。因此，所产生的深度指示图非常接近地对应于编码器的输入深度指示图并可相应地用作参考深度指示图。根据这两个参考图像，解码器可使用与编码器完全相同的方法产生映射。因此，该映射将对应于编码器使用的映射，从而导致相同的预测(因此，残差深度指示数据将精确地反映解码器预测的深度指示图与编码器端的输入深度指示图之差)。因此，此方法提供始于标准图像编码的后向兼容深度编码。此方法根据可用图像数据使用深度指示图的预测，从而减少所需的残差深度信
肩、O此方法使用从不同图像值到深度值映射的改进特征，自动考虑了图像/场景的细节。所述方法可针对特定局部特征提供特别有效的映射适应，并且在许多情况下，可以提供特别精确的预测。这在图10的实例中示出，该实例示出图像Y的亮度与对应深度指示图中的深度D之间的关系。图10示出恰好包括三个不同对象元素的特定宏块的关系。因此，像素亮度与深度之间的关联(通过多个点指示)位于三个不同的群集1001、1003、1005中。简单应用仅对关系执行线性回归，从而产生亮度值与深度值之间的线性关系，例如由直线1007指示的关系。但是，此方法对于至少某些值(例如，属于群集1003的图像对象的值)提供相对较差的映射/预测。与之相对，上述方法将产生精确得多的映射，例如直线1009指示的映射。该映射更精确地反映所有群集的特征和适当映射，从而导致改进的映射。实际上，该映射不仅提供与群集对应的精确亮度结果，而且还精确地预测亮度之间的关系，例如1011指示的区间。此类映射可通过插值获取。此外，可根据参考图像/图(在具体情况下，根据两个参考宏块)执行简单处理以自动判定此类精确映射信息。另外，编码器和解码器可根据先前的图像独立地判定精确映射，无需在数据流中包括映射信息。这样可以最小化映射开销。在上面实例中，此方法针对图像和深度指示图用作解码器的一部分。但是将理解，所述原理可用于许多其他应用和情况。例如，此方法可用于仅根据图像产生深度指示图。例如，适当的局部参考图像和深度指示图可在局部选择以用于产生适当映射。然后将映射应用于图像以产生深度指示图(例如，使用插值)。然后使用所获得的深度指示图呈现图像(例如，利用已改变的视点)。另外将理解，在某些实施例中，解码器不会考虑任何残差数据(因此，编码器不需要产生残差数据)。实际上，在许多实施例中，通过对解码图像应用映射产生的深度指示图可直接用作输出深度指示图，无需任何进一步的修改或增强。所述方法可用于许多不同的应用和情况，例如可用于根据图像视频信号动态地产生实时深度指示图信号。例如，解码器115可在机顶盒或其他包含接收视频信号的输入接连器以及输出带有关联深度指示图信号的视频信号的输出连接器的装置中实现。作为特定实例，所述视频信号可存储在可被Bluray 播放器读取的Bluray 盘上。Bluray 播放器可通过HDMI线缆连接到机顶盒，所述机顶盒然后产生深度指示图。所述机顶盒可通过另一 HDMI连接器连接到显示器(例如电视机)。在某些情况下，解码器或深度指示图产生功能可作为信号源的一部分而被包括，例如Bluray 播放器或其他媒体播放器。作为另一备选，此功能可实现为诸如计算机监视器或电视机之类的显示器的一部分。因此，显示器可接收能修改为根据局部产生的深度指示图提供不同图像的图像流。因此，可以提供诸如媒体播放器或显示器(例如提供明显改善的用户体验的计算机监视器或电视机)之类的信号源。在特定描述的实例中，映射的输入数据只存在于两个空间维度和单个像素值维度中，所述像素值维度表示例如可对应于该像素亮度值或对应于颜色通道强度值的强度值。但是更一般地说，映射输入可以包括图像像素色坐标的组合。每个色坐标可以仅对应于一个像素值，例如对应于RGB信号的R、G和B值之一，或者对应于YUV信号的Y、U、V值之一。在某些实施例中，所述组合可以仅对应于选择色坐标值之一，即，它可以对应于其中所有远离选定色坐标值的色坐标按零权值加权的组合。在其他实施例中，所述组合可以是单个像素的多个色坐标的组合。具体而言，可以仅组合RGB信号的色坐标以产生亮度值。在其他实施例中，可使用更灵活的方法，例如具有以下特征的加权亮度值:其中考虑所有颜色通道，但是形成网格的颜色通道的权重大于其他颜色通道。在某些实施例中，所述组合可以考虑多个像素位置上的像素值。例如，可产生单个亮度值，其不仅考虑被处理位置的像素的亮度，也考虑其他像素的亮度。
实际上，在某些实施例中，可产生不仅反映特定像素特征，而且还反映像素位置特征(具体是指反映此类特征如何围绕像素变化)的组合值。作为实例，亮度或颜色强度梯度分量可包括在组合中。例如，产生组合值时可考虑当前像素值亮度与每个周围像素亮度之差。进一步地，可判定与所述周围像素的外围像素(即，下一同心层)亮度之差。然后使用加权求和法对这些差别进行求和，其中权值取决于到当前像素的距离。权值可以进一步取决于空间方向，例如通过对相反方向的差别应用相反符号。可以将此类基于组合差的值视为指示实施特定像素周围的可能亮度梯度。因此，应用此类空间增强映射可允许根据图像产生的深度指示图考虑空间变化，从而允许其更精确的反映此类空间变化。作为另一实例，可产生组合值以反映包括当前像素位置的图像区域的纹理特征。此类组合值例如可通过判定小型周围区域上的像素值变化产生。作为另一实例，当判定组合值时，可检测到重复图案并考虑这些重复图案。实际上，在许多实施例中，组合值可以有利地反映当前像素值周围像素值的变化指示。例如，变化可直接判定并用作输入值。作为另一实例，所述组合可以是局部熵值之类的参数。所述熵是随机性的统计度量，例如可用于描述输入图像纹理的特征(除该实例之外，可使用其他纹理或对象识别度量，例如对全部可对预测做出贡献的邻边或邻角度量求和(需要根据(粗)方向和与当前位置的距离进一步整理，例如指示局部点或像素区域位于锯齿形边缘的左侧)，无论位于单独的映射/查找表中还是位于聚合映射/查找表中)。熵值"例如可计算为:
权利要求
1.一种编码与图像关联的深度指示图的方法，所述方法包括: 接收(301)所述深度指不图； 响应于参考图像和对应参考深度指示图，产生(307)将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及 响应于所述映射，通过编码所述深度指示图产生(307-315)输出编码数据流。
2.根据权利要求1的方法，进一步包括: 接收所述图像； 响应于所述映射，根据所述图像预测(309)预测的深度指示图； 响应于所述预测的深度指示图和所述图像，产生(313)残差深度指示图； 编码所述残差深度指示图以产生编码深度数据；以及 将所述编码深度数据包括(315)在所述输出编码数据流中。
3.根据权利要求1或2的方法，其中所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。
4.根据权利要求1、2或3的方法，其中每个输入集对应于每个空间图像维度的空间区间和所述组合的至少一个值区间，并且产生所述映射包括针对所述参考图像的至少一组图像位置中的每个图像位置: 判定至少一个匹配输入集，其具有对应于所述每个图像位置的空间区间和对应于所述图像中每个图像位置组合值的所述组合的值区间；以及 响应于所述参考深度指示图中所述每个图像位置的深度指示值，判定所述匹配输入集的输出深度指示值。
5.根据权利要求1、2、3或4的方法，其中所述映射为以下至少一项: 空间二次取样映射； 时间二次取样映射；以及 组合值二次取样映射。
6.根据权利要求1的方法，进一步包括: 接收所述图像； 响应于所述映射，根据所述图像产生所述深度指示图的预测；以及响应于所述深度指示图与所述预测的比较，适应所述映射和所述残差深度指示图的至少一项。
7.根据权利要求1或2的方法，其中所述图像为所述参考图像，所述参考深度指示图为所述深度指示图。
8.根据权利要求1的方法，进一步包括对所述图像进行编码，其中所述图像和所述深度指示图联合编码，其中所述图像的编码不依赖于所述深度指示图，所述深度指示图使用所述图像的数据进行编码，所述编码数据被分为单独的数据流，其中包括包含所述图像数据的主数据流和包含所述深度指示图数据的次数据流，其中所述主数据流和次数据流多路复用到所述输出编码数据流，并且为所述主数据流和次数据流的数据提供单独代码。
9.一种产生图像的深度指示图的方法，所述方法包括:接收(801)所述图像； 提供(805)将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指不图之间的关系；以及 响应于所述图像和所述映射，产生(807-813)所述深度指示图。
10.根据权利要求9的方法，其中产生所述深度指示图包括针对至少部分预测的深度指示图的每个位置，通过以下操作判定至少部分所述预测的深度指示图: 判定至少一个匹配所述每个位置以及关联于所述每个位置的像素值色坐标的第一组合的匹配输入集； 从所述映射中检索所述至少一个匹配输入集的至少一个输出深度指示值，以及 响应于所述至少一个输出深度指示值，判定所述预测的深度指示图中所述每个位置的深度指示值；以及 响应于至少部分所述预测的深度指示图，判定所述深度指示图。
11.根据权利要求9或10的方法，其中所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。
12.根据权利要求11的方法，其中所述先前深度指示图进一步响应于所述先前深度指示图相对于所述先前图像的预测深度数据的残差深度数据而产生。
13.根据权利要求9或10的方法，其中所述图像为视频序列中的图像，并且所述方法进一步包括使用所述视频序列中的至少某些图像的标称映射。
14.根据权利要求9的方法，其中所述组合指示所述图像空间位置的纹理、梯度和空间像素值变化中的至少一项。
15.根据权利要求9的方法，其中所述深度指示图与多视像中的第一视像关联，所述方法进一步包括: 响应于所述深度指示图，产生所述多视像中的第二视像的进一步的深度指示图。
16.一种对与图像关联的深度指示图进行编码的设备，所述设备包括: 接收器(203)，用于接收所述深度指示图； 映射产生器(211)，用于响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及 输出处理器(209、213、215、217)，用于响应于所述映射，对所述深度指示图进行编码来产生输出编码数据流。
17.一种装置，包括: 根据权利要求16的设备； 输入连接构件，用于接收包括所述深度指示图的信号以及将此信号馈入根据权利要求16的设备；以及 输出连接构件，用于从根据权利要求16的设备输出所述输出编码数据流。
18.—种产生图像的深度指示图的设备，所述设备包括:接收器(701)，用于接收所述图像； 映射处理器(707)，用于提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指不图之间的关系；以及 图像产生器(709、711、713)，用于响应于所述图像和所述映射，产生所述深度指示图。
19.一种装置,包括: 根据权利要求18的设备； 输入连接构件，用于接收所述图像以及将此图像馈入根据权利要求18的设备；以及 输出连接构件，用于从根据权利要求18的设备输出包括所述深度指示图的信号。
20.—种编码信号,包 括: 编码图像；以及 深度指示图的残差深度数据，至少部分所述残差深度数据指示所述图像的所需深度指示图与向所述编码图像应用映射导致的预测深度指示图之差，其中所述映射将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联，所述映射反映参考图像与对应参考深度指示图之间的关系。
21.一种包括根据权利要求20的所述编码信号的存储介质。
全文摘要
提供一种根据图像产生深度指示图的方法。所述产生使用将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射执行。所述映射根据参考图像和对应参考深度指示图产生。因此，根据对应参考图像产生从图像到深度指示图的映射。所述方法可用于在编码器和解码器中根据图像预测深度指示图。具体而言，所述方法可用于产生深度指示图预测并且用于提供改进的深度指示图编码，所述深度指示图允许产生残差图像。
文档编号H04N13/00GK103181171SQ201180053135
公开日2013年6月26日 申请日期2011年10月25日 优先权日2010年11月4日
发明者W.H.A.布鲁伊斯, R.T.J.穆伊斯 申请人:皇家飞利浦电子股份有限公司