重建数据在分层信号质量层次中的传送的制作方法

重建数据在分层信号质量层次中的传送的制作方法
【专利摘要】如本文中所讨论的一个配置包括信号处理器。所述信号处理器从储存库中检索重建数据。重建数据依据包括多个质量水平的分层层次被编码。所述信号处理器将重建数据的所选部分传送到解码器资源。所述解码器资源基于所传送的重建数据的部分来重建诸如图像/帧之类的信号的部分的再现。在传送的步骤期间，所述信号处理器改变检索到的并且传送到所述解码器资源的所述重建数据的质量水平。并且，有时所述信号处理器从它们允许重建的所述信号的所述部分的自然序列当中传送所述质量水平的所述重建数据，从而预期或者推迟与所述信号的特定部分相关的特定质量水平的重建数据的传输。所述解码器资源解码所接收到的重建数据来以不同的质量水平来重放所述信号。
【专利说明】重建数据在分层信号质量层次中的传送
【背景技术】
[0001 ] 现今互联网业务的大多数由视频内容制成,所述视频内容的大部分通过视频流被传送。同时，大部分TV内容现在使用数字视频传输来广播。
[0002]然而，常规视频编解码器(例如，MPEG族编解码器或其他基于频率变换的/基于块的编解码器)未被考虑用视频流来开发，因为在它们被开发时的时间互联网仍然处于其初期并且可用带宽不允许有效的视频流。
[0003]结果，当视频流功能性被添加时，主要算法和格式已经被定义了，并且不允许在通过可能存在可变的/不可预见的位速率和可变的/不可预见的噪声的数字信道的视频传输背景下是重要的特征。
[0004]例如，当前算法和位流格式不允许流服务器-从单个编码的文件开始-动态地使视频流的质量水平适应于在接收端的特定解码器/显示设备的特性:如果信号被用高质量编码，则即使当接收端拥有低分辨率显示设备(例如，移动电话、平板等)也必须以全分辨率传送它(显著地利用在解码端的带宽和计算资源)。
[0005]以相同的方式，不可以动态地使视频流的质量水平适应于可用带宽(例如，在网络拥塞或有限的可用带宽情况下)，或者适应于由解码器设备所请求的服务水平(例如，依赖于流的质量水平的按次计费(pay-per-view)服务)。
[0006]另一局限性是在由于有噪声信道而导致的传输错误情况下，非常可见的“块状”赝像(artifact)出现(作为关于信号的整个块的信息可能已被毁坏的事实的结果)，同时没有典型为模拟传输的更柔性信号降级的可能性。
[0007]并且，不可以允许解码器在已结束下载/缓冲整个流之前通过视频流的低质量版本浏览(例如，快进)，结果是解码器设备将必须还下载将从不被重放的信号的段(结果浪费了时间和带宽)。
[0008]此外，当前算法和传输格式未被设计以得到可用带宽在恒定位速率(CBR)情况下的最好利用，结果是它们必须对信号进行编码以便使得包含最多信息的图像不超过恒定位速率(对于其他图像中的全部来说具有CBR的后续较低使用)。
[0009]最后，传统的MPEG族编解码器在结构上是非并行的。这源于它们是基于块的事实，并且每个图像块必须被顺序地编码和解码，因为为了实现高效压缩，所有块都必须被制成在某些方面取决于彼此。结果，同样位流未被组织以便通过许多独立计算核心/设备来允许并行解码。
[0010]这种局限性对视频流(2D或多视图)成立，但同样移行到正变得日益重要的应用的其他领域，诸如在诸如医疗成像、科学成像等之类的领域中正变得越来越重要的3D或容积成像的高效传输。

【发明内容】

[0011]本文中实施例相对于常规系统和方法脱离了。例如,本文中实施例针对使用重建数据以一个或多个不同的质量水平来重建信号的再现的唯一方式。[0012]更具体地，本文中一个实施例包括被配置成从储存库中检索重建数据的信号处理器。重建数据依据包括多个质量水平的分层层次被编码。信号处理器将重建数据的所选部分传送到解码器资源。解码器资源基于所传送的重建数据的部分来重建信号的再现。在传送的步骤期间，从储存库中检索重建数据的信号处理器改变传送到解码器资源的重建数据的质量水平。解码器资源解码所接收到的重建数据以便以不同的质量水平来重放信号。因此，信号能够被编码成包括以最高质量水平来重建信号的每个帧的适当的重建数据。然而，信号处理器能够被配置成选择性地将重建数据的部分传送到诸如解码器之类的远程资源。
[0013]在一个实施例中，改变传送到解码器资源的重建数据的质量水平能够包括:将第一组重建数据传送到解码器资源以用于信号的第一部分的重放并且将第二组重建数据传送到解码器资源以用于信号的第二部分的重放。第一组重建数据(例如，重建数据的X个层)指示如何依据分层层次中的第一质量水平来重建信号的第一部分的再现。第二组重建数据(例如，重建数据的Y个层)指示如何依据分层层次中的第二质量水平来重建信号的第二部分的再现。当X > Y时，第一质量水平大于第二质量水平；当Y > X时，相反的是真的。
[0014]出于许多不同的原因能够以不同的质量水平来传送重建数据的层。例如，可以响应于检测到由于网络拥塞而不能根据第一质量水平传送第二组重建数据来以第二质量水平代替第一质量水平将第二组重建数据从信号处理器传送到解码器资源。依据这样的实施例，用来重建信号的第一部分的重建数据能够包括X个质量水平的重建数据；用来重建信号的第二部分的重建数据能够包括Y个质量水平的重建数据。降低传送数据(例如，重建数据)的量使得解码器能够至少重建信号的较低质量水平版本。
[0015]在一个实施例中，信号处理器改变重建数据的质量水平以基本上实时地通过解码器资源来促进信号的重放。
[0016]依据另一实施例，信号处理器能够被配置成响应于接收到以第二质量水平代替第一质量水平传送第二组重建数据的请求来以第二质量水平传送第二组重建数据。例如，诸如解码器资源之类的源能够依据比先前传送的帧/帧组更高或更低的质量来请求信号的传输。响应于该请求，解码器资源以所请求的质量水平来传送重建数据。
[0017]在一个实施例中，信号处理器针对信号的每多个帧中的每一个来改变传送到解码器资源的重建数据的最高质量水平，以便针对该信号的多个连续帧中的每一个将基本上恒定位速率的分层重建数据传送到解码器资源。因此，能够改变传送到解码器的重建数据的质量水平以便产生基本上恒定位速率的数据流。
[0018]取决于从储存库中检索到的并且被从信号处理器转发到解码器资源的重建数据的水平能够根据不同的质量水平来传送用于信号的帧的重建数据。例如，在一个实施例中，改变重建数据的质量水平能够包括:1)针对信号的第一部分，从储存库中检索重建数据并且产生第一组重建数据以包括从层次中的最低质量水平直到第一质量水平的重建数据的序列；以及ii)针对信号的第二部分，从储存库中检索重建数据并且产生第二组重建数据以包括从层次中的最低质量水平直到第二质量水平的重建数据的序列。如所提到的那样，第二质量水平能够高于或者低于第一质量水平。信号处理器依据第一质量水平将第一组重建数据传送到解码器资源以用于信号的第一部分的重放；信号处理器依据第二质量水平将第二组重建数据传送到解码器资源以用于信号的第二部分的重放。[0019]依据另外的实施例，信号处理器能够被配置成针对后面是更高质量水平的重建数据的传输的信号的多个部分中的每一个来传送较低质量水平的重建数据。例如，信号处理器能够被配置成产生第一组重建数据以包括依据层次中的第一质量水平来重建信号的多个部分的重建数据。信号处理器依据第一质量水平将第一组重建数据传送到解码器资源以在信号之中使得能实现导航。在一个实施例中，能够在相对少的时间内实现第一组重建数据的传输，因为第一组重建数据根据低质量水平使得能实现重建。解码器资源能够启动第一组重建数据的重放从而使得相应的用户能够在信号的低分辨率(例如，较低质量水平)版本的重放之中迅速地导航(例如，经由诸如快进、倒带等之类的命令)。基于观看低分辨率信号，用户能够选择用于以更高质量水平重放的信号中的位置的指针值。
[0020]响应于低分辨率数据流中的特定位置的选择，信号处理器产生第二组重建数据(可能地从如由指针指所请求的位置开始)以包括依据层次中的第二质量水平来重建信号的重建数据。信号处理器依据更高质量水平将第二组重建数据传送到解码器资源以用于信号的第二部分的重放。
[0021]第一组重建数据(初始传输)和第二组重建数据(后续传输)的组合依据第二质量水平使得能实现信号的重放。更具体地，基于如上面所讨论的导航示例，第二组重建数据(例如，以更高质量水平来重建信号的重建数据)相对于第一组重建数据是补充重建数据。第二组重建数据指示如何修改基于第一组重建数据所生成的信号的再现以便根据第二质量水平来重建紧跟指针值之后的信号的部分。
[0022]依据另外的实施例，能够基于费用表来分发重建数据，在所述费用表中取决于传送到解码器资源的重建数据的质量水平操作解码器资源的相应用户被收取不同量的钱或费用。用户最初能够根据第一质量水平来接收重建数据，并且随后请求附加的重建数据的传输以根据第二更高质量水平来重放内容。
[0023]依据另外的实施例，注意，能够经由数字版权管理相对于重建数据的所选部分的应用来保护重建数据的部分。例如，如所提到的那样，信号的每个部分(例如，图像、帧、部分等)能够由用来重建该信号的再现的相应分层的一组重建数据来定义。用重建数据的更高层进行解码使得能够以更高质量水平重放信号。本文中实施例包括相对于仅较低层的重建数据集(例如，较低质量水平重建数据)来实现数字版权管理。依据这样的实施例，这防止重建数据在较低质量水平下的未授权解码。重建数据的更高层是可访问的并且可能不被数字版权管理保护。然而，在因为它们经由数字版权管理被保护而没有解码较低质量水平重建数据的能力的情况下，未授权解码器资源不能够使用更高质量水平重建数据来产生信号的有意义再现。换句话说，更高质量水平重建数据的使用取决于对应的较低质量水平重建数据的成功解码，这被数字版权管理保护。
[0024]依据另一实施例，信号处理器能够以一个或多个质量水平来生成重建数据集以包括使得能实现信号的重放的冗余编码。在低质量水平下的重建数据能够包括在错误情况下使得能实现较低质量水平重建数据的重放的冗余编码。信号处理器生成更高质量水平重建数据以包括非冗余编码。因此，当更高质量水平重建数据可能被毁坏时接收该重建数据的用户更可能将能够在错误情况下至少以较低质量水平重放信号。
[0025]依据又一些实施例，信号处理器能够被配置成将重建数据解析成分组。在一个实施例中，重建数据的分组中的每一个都表示信号的基于时间的部分(例如，图像、帧、段、片等)。重建数据的分组中的每一个都能够包括在层次上从最低质量水平到更高质量水平的层次上分层的重建数据的多个序列。依据这样的实施例，从最低质量水平到更高质量水平的分层重建数据的多个序列中的每一个都指示与信号相关联的连续元素的相应拼贴(tile)的设定。
[0026]重建数据到解码器资源的传输能够包括按照顺序次序、一个接一个地、在位流中串行地将多个序列中的每一个传送到解码器，以及在位流中提供标记信息以针对分层重建数据的每个序列来指示每个拼贴的相应开始和结束。解码器资源能够包括多个处理器，其中的每一个都被配置成解码多个序列中的一个以产生重建数据的拼贴。拼贴的组合产生用来以更高质量水平获得信号的再现的重建数据。
[0027]可替换地，用于信号的一部分的重建数据的传输能够包括针对与信号的一部分相关联的多个序列在位流中传送从在较低质量水平下的重建数据开始到用于更高质量水平的重建数据的分层重建数据。信号处理器能够在位流中提供标记信息以针对每个质量水平来指示分层重建数据的相应开始和结束。
[0028]信号处理器能够被配置成通过数据流的多个部分来传送用于信号的给定部分的重建数据。例如，在一个实施例中，信号处理器将用于发送重建数据的数据流分割成包括至少第一段和第二段的多个段。数据流的第一段包括用来重放信号的第一图像/帧的重建数据；数据流的第二段包括用来重放信号的第二图像/帧的重建数据。
[0029]在一个实施例中，信号处理器填充数据流的第一段以包括用来重建信号的第一图像/帧的多个质量水平的重建数据；信号处理器填充数据流的第二段以包括:1)用来重建信号的第二图像/帧的多个质量水平的重建数据，以及ii)用来重建信号的第一图像/帧的至少一个质量水平的重建数据。因此，代替在专用于信号的相应部分的数据流的对应段中传送用于该部分的重建数据，能够通过数据流的多个段展开用于信号的一部分的重建数据。
[0030]解码器资源能够被配置成缓冲由信号处理器所传送的数据流。例如，解码器基于数据流的第一段中的多个质量水平的重建数据和数据流的第二段中(并且可能地同样在附加的另外的段中)的重建数据来重建信号的第一图像/帧。信号处理器基于第二段中的多个质量水平的重建数据来重建信号的第二图像/帧。以这种方式，能够在相应的数据流中展开更高质量水平重建数据。
[0031]这些和其他实施例变化被在下面更详细地讨论。
[0032]如上面所提到的那样，注意，本文中实施例能够包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型计算机等等的配置以执行和/或支持本文中所公开的方法操作中的任一个或全部。换句话说，一个或多个计算机化设备或处理器能够被编程和/或配置成像本文中所说明的那样操作来执行不同的实施例。
[0033]除如上面所讨论的上采样之外，本文中又一些其他实施例包括执行上面总结的和在下面详细地公开的步骤和操作的软件程序。一个这种实施例包括计算机可读硬件存储资源(即，非暂时性计算机可读媒体)，所述计算机可读硬件存储资源包括编码在其上的计算机程序逻辑、指令等等，所述计算机程序逻辑、指令等等当在具有处理器和对应的存储器的计算机化设备中被执行时对处理器进行编程和/或使处理器执行本文中所公开的操作中的任一个。这种布置能够被提供为在计算机可读介质上布置或者编码的软件、代码和/或其他数据(例如，数据结构)，所述计算机可读介质诸如光学介质(例如，CD-ROM)、软盘或硬盘或其他介质，诸如一个或多个ROM或RAM或PROM芯片中的固件或微码或作为专用集成电路(ASIC)。软件或固件或其他这种配置能够被安装到计算机化设备上以使该计算机化设备执行本文中所说明的技术。
[0034]因此，本公开的一个特定实施例针对包括具有存储在其上以用于支持信号处理操作的指令的计算机可读硬件存储介质的计算机程序产品。例如，在一个实施例中，指令当被相应计算机设备的处理器执行时，使所述处理器:从储存库中检索重建数据，所检索到的重建数据依据包括多个质量水平的分层层次被编码；将所检索到的重建数据传送到解码器，所述解码器被配置成基于所传送的重建数据来重建信号的再现；以及在传送期间，改变检索到的并且传送到解码器的重建数据的质量水平。
[0035]为了清楚起见已经添加了步骤的排序。能够以任何适合的次序来执行这些步骤。
[0036]本公开的其他实施例包括用来执行上面总结的和在下面详细地公开的方法实施例步骤和操作中的任一个的软件程序、固件和/或相应的硬件。
[0037]并且，应当理解的是，如本文中所讨论的系统、方法、装置、计算机可读存储媒体上的指令等能够被严格地具体化为软件程序，具体化为软件、固件和/或硬件的混合，或者具体化为诸如在处理器内或在操作系统内或在软件应用内的单独硬件等。
[0038]如上面所讨论的那样，本文中技术很适合于在对信号进行编码的软件、固件和/或硬件应用中使用。然而，应该注意的是，本文中实施例不限于在这种应用中使用，并且本文中所讨论的技术也很适合于其他应用。
[0039]附加地，注意，尽管在本文中可以在本公开的不同地方讨论不同的特征、技术、配置等中的每一个，但意图是，能够独立于彼此或者与彼此相结合地执行构思中的每一个。因此，能够以许多不同的方式来体现和观看如本文中所描述的一个或多个本发明、实施例等。
[0040]并且，注意，本文中实施例的这个初步讨论不规定本公开或要求保护的(一个或多个)发明的每个实施例和/或逐渐新颖的方面。替代地，本
【发明内容】
仅呈现新颖性优于常规技术的通用实施例和对应的点。为得到(一个或多个)发明的附加的细节和/或可能的观点(排列)，读者被导向如在下面进一步讨论的本公开的【具体实施方式】部分和对应的图。
【专利附图】

【附图说明】
[0041]本发明的前述和其他目的、特征以及优点从如附图中所图示的本文中优选实施例的以下更特定的描述中将是显而易见的，在附图中相同的附图标记在不同的视图中自始至终指代相同的部分。图未必按比例绘制，同时重点替代地被放在举例说明实施例、原理、构思等上O
[0042]图1是图示了根据本文中实施例的重建数据的生成和使用的示例图。
[0043]图2是图示了根据本文中实施例的父元素划分成子元素的示例图。
[0044]图3是图示了根据本文中实施例的处理、转发以及解码重建数据的示例图。
[0045]图4是图示了根据本文中实施例的包括不同质量水平的重建数据的数据流的示例图。
[0046]图5是图示了根据本文中实施例的转发到解码器的重建数据的质量水平中的变化的示意图。
[0047]图6是图示了根据本文中实施例的转发到解码器的重建数据的质量水平中的变化的示意图。
[0048]图7是图示了根据本文中实施例的后面是更高质量水平重建数据的传输的一组较低质量水平重建数据的传输的示例图。
[0049]图8是图示了根据本文中实施例的用于重建数据的分发的费用结构的示例图。
[0050]图9是图示了根据本文中实施例的数字版权管理在一个或多个较低质量水平下的使用的示例图。
[0051]图10是图示了根据本文中实施例的用于在一个或多个较低质量水平下的重建数据的冗余信息的示例图。
[0052]图1lA和IlB是图示了根据本文中实施例的用于多层中的每一个的重建数据的示例图。
[0053]图12是图示了根据本文中实施例的用于多个层中的每一个的重建数据的不同方式的示例图。
[0054]图13是图示了根据本文中实施例的重建数据的缓冲的示例图。
[0055]图14是图示了根据本文中实施例的用于执行计算机代码、固件、软件、应用、逻辑等的示例计算机架构的图。
[0056]图15是图示了根据本文中实施例的利用重建数据的方法的示例流程图。
【具体实施方式】
[0057]图1是图示了根据本文中实施例的重建数据的生成的示例图。
[0058]如所示，信号处理器100-1以在层次中的较低质量水平将信号115下采样成不同的再现。一般而言，对信号115进行下采样能够包括以不同质量水平中的每一个来产生信号的再现以及生成规定如何在层次中将信号在第一质量水平下的给定再现转换成信号在下一个更高质量水平下的再现的重建数据。
[0059]信号处理器100-2利用重建数据150来以不同的质量水平重建信号的再现。信号处理器100-2能够从任何适合的源(例如，通信链路、存储设备等)接收重建数据150。
[0060]注意，与信号115的再现和信号在较低质量水平下的对应再现相关联的值能够表示任何适合类型的数据信息。通过非限制性示例的方式，信号115可以是音频数据、图像数据(例如，静止或移动视频、图像、帧、运动图、残差数据等)、符号、容积数据等，从而指示相应图像等中的多个信号元素(例如，图元/平面元素、像素/图片元素、体素/容积图片元素等)中的每一个的设定。
[0061]在一个实施例中，信号115中的一个或多个分量或元素中的每一个都能够定义相应的色彩设定。依据这样的实施例，如由信号数据所规定的元素的色彩分量依据诸如YUV、RGB、HSV等之类的适合的色彩空间标准被编码。重建数据150规定如何为信号115的再现中的每个元素生成一个或多个设定。重建数据150能够被配置成规定属性设定的多个平面。
[0062]通过非限制性示例的方式，由信号115所表示的图像可以是二维(例如，图片、视频帧、2D运动图等)、三维(例如，3D/容积图像、全息图像、CAT-扫描、医疗/科学图像、3D运动图等)或甚至比三个维度更多特征的基于时间的信号(例如，音频信号、视频信号等)等等。当信号115表示3-D信号时，每个元素是容积元素。为了简化起见，本文中所图示的实施例常常指的是被显示为设定的2D平面的图像(例如，适合的色彩空间中的2D图像)，诸如例如图片。然而，相同的构思和方法同样适用于任何其他类型的信号。
[0063]信号元素或分量的设定指示如何重建原始信号以用于在相应的重放设备上重放。如所提到的那样，重建数据150能够包括重建数据150的多个平面。可能需要许多参数来为信号115的给定元素定义设定。
[0064]依据另外的实施例，注意，信号115能够表示原始信号或包括多个元素的高分辨率信号。在这样的实施例中，信号的再现(例如，信号的再现115-3、信号的再现115-2、信号的再现115-1、...)中的每一个能够类似已被从信号115下采样为较低质量水平的原始信号的简略表示。信号115在更高质量水平下的再现包括更具体的重放信息。
[0065]在一个实施例中，信号115在较低质量水平下的再现捕获原始信号的较粗糙属性，而不是原始信号的更具体的较精细属性。具体的较精细属性出现在信号在更高质量水平下的再现中。
[0066]通过另外的非限制性示例的方式，在一个实施例中，信号处理器100-1将原始信号115下米样成信号的再现115-3 ;信号处理器100-1将信号的再现115-3下米样成信号的再现115-2 ;信号处理器100-1将信号的再现115-2下采样成信号的再现115-1 ;并且依此类推至最低质量水平。信号115能够被从最高质量水平下采样成任何数目的适合水平。
[0067]如所提到的那样，当将信号115的再现下采样至每个较低质量水平时，信号处理器110-1生成相应的重建数据150。在每个水平下的重建数据指示如何将信号在较低质量水平下的再现上采样、转换、修改等成信号在下一个更高质量水平下的再现。例如，重建数据150-1指示如何将信号的再现115-0转换成信号的再现115-1 ;重建数据150-2指示如何将信号的再现115-1转换成信号的再现115-2 ;重建数据150-3指示如何将信号的再现115-2转换成信号的再现115-3 ;等等。
[0068]重建数据150能够包括指示如何以更高质量水平来重建信号115的多个不同类型的数据中的任一个。例如，重建数据包括不同类型的重建数据的一个或多个集、平面等中的任一个，诸如上采样操作的参数、量化阈值信息、残差数据、运动区、运动矢量、关于噪声的谱信息、元数据、调整、类信息等，以便以不同的水平来重建信号115。
[0069]在下采样相应信号并且产生重建数据的附加的非限制性示例细节中，信号处理器能够被配置成测试并且创建不同的重建数据集以将信号的再现从一个质量水平转换为另一质量水平。
[0070]如所提到的那样，重建数据150能够包括用于信号处理的任何适合的数据。例如，每组重建数据150能够包括元数据、残差数据等。元数据能够包括诸如其中用来将信号的再现从一个质量水平转换为下一个的一组一个或多个上采样操作之类的数据；残差数据能够指示诸如待对在不同质量水平下的信号元素做出的调整之类的信息等等。更具体地，在一个实施例中，重建数据150能够规定指示诸如色彩或元素、强度、上采样操作、上采样操作的参数、量化阈值、在图像/帧内的残差数据、运动区、运动矢量之类的参数的多平面元素设定信息，残差数据指示在来自先前的图像/帧的元素的运动压缩之后应用关于噪声的谱信息、其他元数据等的调整。[0071]再次注意，重建数据集能够包括指示待在将信号在第一质量水平下的再现上采样成信号在下一个较高质量水平下的再现期间做出的调整的残差数据。
[0072]本文中实施例包括利用继承来降低对重建数据150进行编码所需的位、符号等的量。例如，信号在较低质量水平下的再现中的元素被分配了特定设定信息。在特定情况下，分配给在较低质量水平下的相应元素的设定信息能够被再用于相应元素在更高质量水平下的子划分。换句话说，能够针对下一个质量水平将在一个质量水平下的父元素划分成多个子元素。每个子元素(和子元素被以更高质量水平划分成的对应子元素)能够继承父元素的属性设定中的一个或多个。
[0073]在这个实例中，不是以更高质量水平将重建数据编码成为每个子元素复制父元素的设定，而是本文中实施例包括使用适当的符号来向信号处理器100-2 (例如，解码器)通知哪些子元素继承父元素的属性设定。
[0074]依据另外的实施例，信号处理器100-2接收重建数据150来以层次中的第一质量水平重建信号115。信号处理器100-2能够通过相应的通信链路来接收重建数据150。
[0075]图2是图示了根据本文中实施例的将在第一质量水平下的相应父元素划分成在下一个较高质量水平下的多个子元素的示例图。
[0076]在一个实施例中，信号115表不图像信息。假定在这个非限制性不例中,信号115和对应的重建数据指示如何在给定比例因子(例如，在这个非限制性示例中比例因子为2)情况下将较低分辨率图像转换或者扩展成更高分辨率图像。
[0077]进一步地，假定编码的重建数据150集当被解码时，指示如何控制图像元素在每个质量水平下的设定 。例如，在质量水平J下的图像210-1包括图像元素W的字段；在质量水平J+1下的图像210-2包括图像元素X的字段；图像210-3包括图像元素Y的字段；等。
[0078]针对质量水平J的重建数据指示如何控制图像210-1中的图像元素W的设定(例如，信号的再现115-0);针对质量水平J+1的重建数据指示如何为在图像210-2中被分成四个X元素的图像210-1中的每个图像元素W来转换并且生成设定信息；针对质量水平J+2的重建数据指示如何为在图像210-3中被分成四个Y元素的图像210-2中的每个图像元素X来转换并且生成设定信息；等等。因此，在更高质量水平下的重建数据依赖于在较低质量水平下的重建数据。
[0079]图3是图示了根据本文中实施例的重建数据的使用的示例图。
[0080]在一个实施例中，诸如解码器资源之类的信号处理器100-1选择性地从储存库180中检索重建数据150。储存库180存储重建数据的分组ΑΡ..Α8、Β1...Β8、(^..08、01...D8等。注意，不同质量水平的数目仅通过非限制性示例的方式来示出并且重建数据能够包括任何适合数目的层(例如，质量水平)。
[0081]重建数据A的分组中的重建数据Al指示如何以最低质量水平来重建信号115的图像/帧Fl ;重建数据Α2指示如何基于针对质量水平#1所生成的图像/帧Fl的再现以质量水平#2 (例如，高于质量水平#1的一个质量水平)来重建信号115的图像/帧Fl ;重建数据A3指示如何基于针对质量水平#2所生成的图像/帧Fl的再现以质量水平#3 (例如，高于质量水平#2的一个质量水平)来重建信号115的图像/帧Fl ;重建数据Α4指示如何基于针对质量水平#3所生成的图像/帧F3的再现以质量水平#4 (例如，高于质量水平#3的一个质量水平)来重建信号115的图像/帧Fl ;重建数据Α5指示如何基于针对质量水平#4所生成的图像/帧Fl的再现以质量水平#5 (例如，高于质量水平#4的一个质量水平)来重建信号115的图像/帧Fl ;重建数据A6指示如何基于针对质量水平#5所生成的图像/帧Fl的再现以质量水平#6 (例如，高于质量水平#5的一个质量水平)来重建信号115的图像/帧Fl ;重建数据A7指示如何基于针对质量水平#6所生成的图像/帧Fl的再现以质量水平#7 (例如，高于质量水平#6的一个质量水平)来重建信号115的图像/帧Fl ;重建数据AS指示如何基于针对质量水平#7所生成的图像/帧Fl的再现以质量水平#8 (例如，高于质量水平#7的一个质量水平)来重建信号115的图像/帧F1。因此，以更高质量水平来创建信号115的再现取决于以较低质量水平正确解码重建数据。
[0082]重建数据B的分组中的重建数据BI指示如何以最低质量水平来重建信号115的图像/帧F2 ;重建数据B2指示如何基于针对质量水平#1所生成的图像/帧F2的再现以质量水平#2 (例如，高于质量水平#1的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B3指示如何基于针对质量水平#2所生成的图像/帧F2的再现以质量水平#3 (例如，高于质量水平#2的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B4指示如何基于针对质量水平#3所生成的图像/帧F2的再现以质量水平#4 (例如，高于质量水平#3的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B5指示如何基于针对质量水平#4所生成的图像/帧F2的再现以质量水平#5 (例如，高于质量水平#4的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B6指示如何基于针对质量水平#5所生成的图像/帧F2的再现以质量水平#6 (例如，高于质量水平#5的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B7指示如何基于针对质量水平#6所生成的图像/帧F2的再现以质量水平#7 (例如，高于质量水平#6的一个质量水平)来重建信号115的图像/帧F2 ;重建数据B8指示如何基于针对质量水平#7所生成的图像/帧F2的再现以质量水平#8 (例如，高于质量水平#7的一个质量水平)来重建信号115的图像/帧F2。
[0083]以类似的方式，储存库180中的重建数据的不同分组中的每一个都使得能实现信号115的相应图像/帧的重建。
[0084]注意，能够在通过引用结合在本文中的相关申请中找到用于创建分层的重建数据集的附加的示例细节。
[0085]在一个实施例中，信号中的帧F1、F2、F3、F4等的序列是当被媒体播放机310重放时作为移动图片或视频出现的图像的序列。
[0086]如本文中所讨论的那样，信号处理器100-1在数据流400中将重建数据中的全部或所选部分传送到信号处理器100-2 (例如，解码器资源)。信号处理器100-2被配置成基于所接收到的重建数据来重建原始信号115的再现。
[0087]在一个实施例中，在重建数据的传输期间，信号处理器100-1改变传送到信号处理器100-2的重建数据的质量水平。信号处理器100-2解码所接收到的重建数据以在重放设备310上以不同的质量水平来重放信号。
[0088]图4是图示了根据本文中实施例的包括不同质量水平的重建数据的数据流的示例图。
[0089]如上面所提到的那样，在一个实施例中，信号处理器100-1改变传送到信号处理器100-2的重建数据的质量水平。
[0090]例如，信号处理器100-1将第一组重建数据(例如，重建数据Al、A2、A3、A4、A5、A6、A7、AS)传送到信号处理器100-2中的解码器资源以用于信号115的第一部分(例如，诸如Fl之类的帧)的重放。
[0091]信号处理器100-1将第二组重建数据(例如，B1、B2、B3、B4、B5)传送到解码器资源以用于信号115的第二部分(例如，诸如帧F2之类的帧)的重放。
[0092]数据流400中的第一组重建数据(例如,包括重建数据的X=8个层的分组A重建数据)指示如何重建在分层层次中直到质量水平#8的信号的第一部分(例如，帧Fl)的再现。
[0093]数据流400中的第二组重建数据(例如,包括重建数据的Y=5个层的分组B重建数据)指示如何重建在分层层次中直到质量水平#5的信号的第二部分(例如，帧F2)的再现。
[0094]数据流400中的第三组重建数据(例如,包括重建数据的5个层的分组C重建数据)指示如何重建在分层层次中直到质量水平#5的信号的第三部分(例如，帧F3)的再现。
[0095]第四组重建数据(例如，包括重建数据的8个层的分组D重建数据)指示如何重建在分层层次中直到质量水平#8的信号的第四部分(例如，帧F4)的再现。
[0096]以这种方式，信号处理器100-1选择并且改变到信号处理器100-2以用于信号115通过媒体播放机310的重放的重建数据的质量水平。
[0097]图5是图示了根据本文中实施例的传送到解码器的重建数据的质量水平中的变化的另一示例图。
[0098]由于许多不同的原因能够以不同的质量水平传送用来重建信号115的再现的重建数据的层。
[0099]例如，在一个实施例中，可以响应于检测到由于相应通信链路中的网络拥塞而不能根据最高质量水平传送重建数据来以所选的较低质量水平(例如，在最高质量水平之下的质量水平)代替最高质量水平将用于分组B、C以及D的重建数据从信号处理器100-1传送到解码器资源。
[0100]如这个示例中所示，信号处理器100-1传送用于图像/帧Fl的重建的重建数据Al...AS ;信号处理器100-1传送用于图像/帧F2的重建的重建数据B1...B4 ;信号处理器100-1传送用于图像/帧F3的重建的重建数据Cl...C4 ;信号处理器100-1传送用于图像/帧F4的重建的重建数据Dl...D5 ;信号处理器100-1传送用于图像/帧F5的重建的重建数据El...E8 ;等等。
[0101]因此,在一个实施例中，信号处理器针对信号的多个图像/帧中的每一个来改变传送到解码器资源的重建数据的最高质量水平。
[0102]依据另外的实施例，信号处理器100-1改变传送到解码器的重建数据的最高质量水平以便针对信号的多个连续图像/帧中的每一个将基本上恒定位速率的分层重建数据传送到解码器资源。例如，用于相应图像/帧在更高质量水平下的重建数据能够包括大量的数据。消除重建数据在更高质量水平下的传输确保至少较低质量水平重建数据能够被媒体播放机毫不延迟地接收和重放。因此，网络拥塞能够引起信号在较低质量水平下的重放。
[0103]在一个实施例中，信号处理器100-1改变传送到解码器的重建数据的质量水平以基本上实时地通过解码器资源来促进信号的重放。例如，不是高分辨率“实况”图像到解码器的延迟传输，而是信号处理器100-1可以降低传送到解码器的重建数据的质量水平以确保解码器能够根据至少低质量水平毫不延迟地重放信号。因此，本文中实施例支持“实况”或基本上“实况”视频订阅源(video feeds)在具有不同的计算能力(和/或显示设备分辨率)的多个解码资源上的重放，同时消除对传送特定解码器将不能够利用的信息的需要。
[0104]同样注意，信号115和对应的重建数据能够得自较旧的记录。在网络拥塞情况下，例如，在拥塞期间降低针对一个或多个图像/帧所传送的重建数据的质量水平使得解码器能够毫不延迟地重放信号。
[0105]图6是图示了根据本文中实施例的转发到解码器的重建数据的质量水平中的变化的示意图。
[0106]如所示，信号处理器100-1最初针对图像/帧F1、F2以及F3传送直到第一质量水平(例如，质量水平#4)的重建数据A、B以及C。质量水平#4可以是其中用来传送重建数据的默认质量水平。
[0107]信号处理器100-1能够被配置成响应于从诸如用户之类的源接收到以不同的质量水平来传送重建数据的请求以第二质量水平(例如，质量水平#8)紧跟在时间Tl之后传送重建数据。例如，诸如解码器资源、用户等之类的源能够依据比先前传送的图像/帧更高或更低的质量来请求信号的传输。响应于以不同的质量水平来传送重建数据的请求，信号处理器100-1以新近请求的质量水平来传送重建数据。在这个示例中，信号处理器100-1响应于用户请求以更高质量水平观看信号115来以更高的质量传送重建数据的图像/帧F4、F5以及后续图像/帧。
[0108]解码器资源接收如由信号处理器100-1所传送的针对图像/帧的重建数据，并且依据不同的质量水平来重放信号115。例如，信号处理器100-2解码所接收到的重建数据并且以第一质量水平重放直到图像/帧F3的信号115的图像/帧；信号处理器100-2解码重建数据并且以第二质量水平重放信号115的后续图像/帧(例如，在F4之后的图像/帧)。
[0109]图7是图示了根据本文中实施例的后面是更高质量水平重建数据的传输的一组较低质量水平重建数据的传输的示例图。
[0110]依据另外的实施例，信号处理器100-1能够被配置成针对诸如后面是更高质量水平的重建数据的传输的信号115的图像/帧之类的多个部分中的每一个来传送较低质量水平的重建数据。
[0111]例如，如所示，信号处理器100-1产生第一组重建数据以包括重建数据Al...A4、B1...B4、Cl...C4等，并且在数据流800中将这组重建数据传送到解码器。基于重建数据的这个初始集，解码器能够以相应的较低质量水平来重放信号。
[0112]在一个实施例中，信号处理器依据第一质量水平(例如，通过非限制性示例的方式，质量水平#4)将第一组重建数据810-1传送到解码器资源以在信号115之中使得能实现导航。能够在相对少的时间内实现第一组重建数据在数据流800中的传输，因为第一组重建数据810-1当它根据低质量水平使得能实现重建时是相对紧凑的。
[0113]基于来自用户的输入，解码器资源启动第一组重建数据810-1的重放从而使得相应的用户能够在信号的低分辨率(例如，较低质量水平)版本的重放之中迅速地导航(例如，经由诸如快进、倒带等之类的命令)。基于观看到经由重建数据810-1所生成的低分辨率信号，用户能够选择并且生成指示用于以更高质量水平重放的信号中的位置的指针值。
[0114]响应于低分辨率信号中的位置的选择，信号处理器100-1产生包括用于信号在更高质量水平下的所有图像/帧的重建数据的第二组重建数据(例如，在更高质量水平下尚未发送到解码器的重建数据)或从像通过指针值那样在所请求的位置处开始的更高质量水平开始的一组重建数据(其尚未被发送)。信号处理器100-1依据更高质量水平将第二组重建数据810-2传送到解码器资源以用于信号的重放。
[0115]因此，第一组重建数据810-1使得能够实现根据第一质量水平(例如，质量水平#4)的信号的重放。第一组重建数据810-1和第二组重建数据810-2的组合使得能够实现依据更高质量水平(例如，质量水平#8)的信号的重放。
[0116]如本文中所讨论的那样，第二组重建数据810-2 (例如，包括以更高质量水平来重建信号的重建数据)相对于第一组重建数据可以是补充重建数据。也就是说，重建数据A5...AS指示如何修改由重建数据Al...A4所产生的信号的再现的上质量水平；重建数据B5...B8指示如何修改由重建数据B1...B4所产生的信号的再现；等等。
[0117]在这个示例中，假定用户接收到第一组重建数据810-1以便以较低质量水平来扫描感兴趣区域的对应内容。假定用户以较低质量水平#4观看内容并且生成了以更高分辨率观看紧跟分组D之后的信号的一部分的请求。在一个实施例中，响应于接收到该请求，信号处理器100-1立即将重建数据D5...D8、E5...ES等流式传输给用户以用于在所选位置处开始的信号的重放。在这样的实例中，不需要信号处理器100-1传送重建数据A5...AS、B5...B8、C5...C8，因为用户(在这个示例中)对以更高分辨率观看这个数据不感兴趣。因此，用户能够以较低质量水平来观看内容(例如，信号115)，并且决定哪些部分(如果有的话)将用更高分辨率观看。
[0118]图8是图示了根据本文中实施例的用来重放信号的再现的重建数据的分发的费用结构的示例图。
[0119]例如，依据一个实施例，能够基于费用表来分发不同质量水平的重建数据。用户基于重建数据的检索来操作解码器资源并且启动信号115的重放。取决于传送到解码器资源并且由用户所重放的重建数据的质量水平用户被收取不同的费用(例如，钱的量)。
[0120]在这个示例中，用户基于直到质量水平#5的重建数据集的传输和接收被收取费用700-1 ;用户基于直到质量水平#7的重建数据的传输和接收被收取费用700-2 ;用户基于直到质量水平#9的重建数据的传输和接收被收取费用700-3等等。
[0121]注意，如在上述示例中所指示的那样，操作信号处理器100-2 (例如，解码器)的用户最初能够根据第一质量水平(例如，质量水平#5)接收重建数据以得到信号115的重放和观看。较低质量水平重建数据的传输对于用户而言可能是免费的，或者由不同的费用来表征。基于来自用户以更高质量水平观看信号的请求，信号处理器100-1检索并且传送直到第二更高质量水平(例如，质量水平#7、质量水平#9等)的重建数据以满足用户的请求。用户可以像上面针对重建数据在更高质量水平下的接收所讨论的那样被收取相应的费用。
[0122]在另一实施例中，不管对操作信号处理器100-2 (例如，解码器)的用户收取的费用，可以基于传送到信号处理器100-2的质量水平对信号处理器100-1的操作员应用不同的版税费用结构。
[0123]图9是图示了根据本文中实施例的数字版权管理算法在一个或多个质量水平下的使用的示例图。[0124]例如，如所提到的那样，信号115的每个部分(例如，图像、帧等)能够由用来重建信号的该部分的相应分层的一组重建数据来定义。本文中实施例包括相对于重建数据集的选择的较低层(例如，通过非限制性示例的方式，质量水平#1)来实现数字版权管理910。
[0125]在一个实施例中，数字版权管理901的使用防止重建数据在较低质量水平下的未授权解码。例如，信号处理器100-2执行相应的应用从而使得能实现最低质量水平#1的解码。重建数据的更高层是可访问的并且可能不被数字版权管理保护。信号处理器100-2使用相应的数字版权管理应用来解码较低质量水平#1的重建数据(例如，重建数据Al、B1、C1、D1、E1等)。能够在没有数字版权管理应用的情况下解码在更高质量水平下的附加的重建数据(例如，在质量水平#2、质量水平#3、质量水平M等下的重建数据)。
[0126]在一个实施例中，在质量水平#1下的重建数据(例如，重建数据Al、B1、Cl、D1、EU...)依据适当的协议被加密。信号处理器100-2接收相应的解密密钥以解密在质量水平#1下所接收到的重建数据。如所提到的那样，不需要加密更高质量水平重建数据，因为重建数据在质量水平#2、#3等下的使用取决于重建数据在质量水平#1下的正确解码。在没有在质量水平#1下解码较低质量水平重建数据的能力的情况下，不具有相应的解密密钥的解码器资源不能够使用更高质量水平重建数据来产生信号的有意义再现。换句话说，更高质量水平重建数据的使用依赖于对应的较低质量水平重建数据的成功解码。
[0127]图10是图示了根据本文中实施例的在一个或多个较低质量水平下的重建数据的冗余的示例图。
[0128]依据这样的实施例，信号处理器生成重建数据集以包括在较低质量水平下的冗余编码以在错误情况下使得能实现较低质量水平重建数据的重放。信号处理器生成更高质量水平重建数据以包括非冗余编码。因此，接收到重建数据的用户更可能将能够在错误情况下重放具有柔性降级的信号，因为更高质量水平重建数据可能是被破坏的，但包含在较低质量水平的信号中的“粗糙信息”将是完整的。
[0129]作为示例，冗余信息RA可以是基于重建数据Al、A2、A3、A4以及A5的；冗余信息RB可以是基于重建数据B1、B2、B3、B4以及B5的；冗余信息RC可以是基于重建数据Cl、C2、C3、C4以及C5的；等。
[0130]图1lA是图示了根据本文中实施例的基于拼贴解析的重建数据的示例图。
[0131]在一个实施例中，重建数据被解析成分组(例如，A、B、C、D等)；重建数据的分组中的每一个都包括重建信号的基于时间的部分(例如，图像/帧)的信息。例如，如所提到的那样，重建数据A包括指示如何重建图像/帧Fl的信息；重建数据B包括指示如何重建图像/帧F2的信息；重建数据C包括指示如何重建图像/帧F3的信息；等。
[0132]重建数据的分组中的每一个都能够包括在层次上从最低质量水平到更高质量水平的层次上分层的重建数据的多个序列。例如，用于重建在网格1110中的拼贴Tl处信号的一部分(例如，图像/帧Fl)的重建数据包括重建数据Al-Tl、A2-T1、A3-T1、A4-T1、A5-T1、A6-TUA7-T1以及A8-T1的序列；用于重建在拼贴T2处信号的一部分(例如，图像/帧Fl)的重建数据包括重建数据 A1-T2、A2-T2、A3-T2、A4-T2、A5-T2、A6-T2、A7-T2 以及 A8-T2 的序列；用于重建在拼贴T3处信号的一部分(例如，图像/帧Fl)的重建数据包括重建数据A1-T3、A2-T3、A3-T3、A4-T3、A5-T3、A6-T3、A7-T3 以及 A8-T3 的序列；等等。
[0133]用于重建在拼贴Tl处信号的一部分(例如，图像/帧F2)的重建数据包括重建数据 Bl-Tl、B2-T1、B3-T1、B4-T1、B5-T1、B6-T1、B7-T1 以及 B8-T1 的序列；用于重建在拼贴T2处信号的一部分(例如，图像/帧Fl)的重建数据包括重建数据B1-T2、B2-T2、B3-T2、B4-T2、B5-T2、B6-T2、B7-T2以及B8-T2的序列；用于重建在拼贴T3处信号的一部分(例如，图像 / 帧 Fl)的重建数据包括重建数据 B1-T3、B2-T3、B3-T1、B4-T1、B5-T1、B6-T1、B7-T1、B8-T1的序列；等等。
[0134]因此，从最低质量水平到更高质量水平的分层重建数据的多个序列中的每一个都指示与信号相关联的连续元素的相应拼贴的设定。
[0135]如所提到的那样，网格1110图示了由解码器使用根据拼贴分解的重建数据所产生的信号115的再现中的拼贴。在层次中的最低质量水平下的每个拼贴能够包括一个或多个元素。如本文中所讨论的那样，在层次中的相应质量水平下的拼贴中的每个元素被划分成在下一个更高质量水平下的多个子元素；在每个相应质量水平下用于拼贴的重建数据指示元素的设定。因此，在最低质量水平下的拼贴中的每个元素被以每个水平细分成子元素直到相应拼贴的最高质量水平。
[0136]在一个实施例中，信号处理器100-2包括多个处理器。每个处理器能够被分配成基于针对该拼贴在多个质量水平下的相应重建数据为给定拼贴(例如，该拼贴能够包括元素的分组)产生信号的相应再现。元素的拼贴然后被组合以产生信号115的总体再现以得到重放。使用一个或多个处理器并行处理拼贴使得能实现用于在重放设备上重放的信号的更快重建。例如，每个处理器能够被配置成针对每个不同的图像/帧来重建信号115的拼贴。
[0137]图1lB是图示了根据本文中实施例的基于拼贴解析的重建数据的另一示例图。
[0138]在一个实施例中，重建数据被解析成分组(例如，A、B、C、D等)；重建数据的分组中的每一个都包括熵编码数据。在每个不同的质量水平下熵编码数据的每个拼贴的尺寸能够像所示出的那样变化。例如，拼贴Al-Tl比拼贴A1-T2在质量水平#1下包括更多元素的熵编码数据；拼贴A1-T2比拼贴A1-T3在质量水平#1下包括更多元素的熵编码数据。因此，在给定质量水平下的熵编码的重建数据的拼贴的覆盖的尺寸和特定区能够变化。
[0139]附加地，拼贴的数目和针对熵编码的重建数据的每个拼贴的相应覆盖能够针对不同的质量水平而变化。例如，质量水平#1包括熵编码的重建数据的三个拼贴；质量水平#2包括熵编码的重建数据的五个拼贴；质量水平#3包括熵编码的重建数据的十五个拼贴；
坐寸ο
[0140]因此，从最低质量水平到更高质量水平的分层重建数据的多个序列中的每一个都指示与信号相关联的连续元素的相应拼贴的设定。
[0141]图12是图示了根据本文中实施例的用于多个拼贴中的每一个的重建数据的不同方式的示例图。
[0142]如数据流1210-1中所示，重建数据从信号处理器100-1到解码器资源(即，信号处理器100-2)的传输能够包括按照顺序次序、一个接一个地、在位流(即，数据流1210-2)中串行地将多个序列(例如，序列Al-TU A2-T1、A3-T1、A4-T1、A5-T1、A6-T1、A7-T1以及A8-T1 ;序列 A1-T2、A2-T2、A3-T2、A4-T2、A5-T2、A6-T2、A7-T2 以及 A8-T2 ;序列 A1-T3、A2-T3、A3-T3、A4-T3、A5-T3、A6-T3、A7-T3 以及 A8-T3 ;等等)中的每一个传送到解码器。
[0143]信号处理器100-2能够被配置成在数据流1210-1中提供标记信息以指示用于每个拼贴的分层重建数据的每个序列的相应开始和结束。例如，信号处理器100-1能够在重建数据A8-T1与A1-T2之间、在重建数据A8-T2与A1-T3之间等等插入标记(例如，符号、界限等)。
[0144]依据另一实施例，用于信号的相应部分的重建数据从信号处理器100-1到相应解码器的传输能够包括针对重建数据的给定图像/帧在数据流1210-2中传送从在较低质量水平下的重建数据开始到用于与信号的一部分相关联的多个序列的更高质量水平的重建数据的分层重建数据。
[0145]例如，依据这样的实施例，信号处理器100-1传送包括Al-Tl、A1_T2、A1-T3、A1-T4、A1-T5、A1-T6等的较低质量水平熵编码的重建数据，后面是序列A2-T1、A2-T2、A2-T3、A2-T4、A2-T5、A2-T6 等，后面是 A3-T1、A3-T2、A3-T3、A3-T4、A3-T5、A5_T6 等，依此类推，如数据流1210-2中所示。依据这样的实施例，信号处理器100-1能够在数据流1210-2中提供标记信息(例如，唯一(unique)符号)以指示每个质量水平的分层重建数据的相应开始和结束。例如，信号处理器100-1能够在Al-1V与A2-T1之间提供标记(其中r是拼贴的最高数目)；信号处理器100-1能够在A2-1V与A3-T1之间提供标记(其中r是拼贴的最闻数目);等等。
[0146]如所提到的那样，解码器资源能够包括多个处理器，其中的每一个都被配置成解码用于相应拼贴的熵编码数据以产生重建数据的拼贴。以给定质量水平来熵解码拼贴的组合针对整个质量水平产生重建数据。例如，多个处理器中的每一个都能够以给定质量水平针对相应拼贴来熵解码熵编码数据。基于熵编码数据的所有拼贴的熵解码，每个相应的处理器产生以对应的质量水平重建元素的拼贴的重建数据。使用针对给定质量水平整体上应用于帧的全局上采样操作，针对该质量水平的相应重建数据然后被用来将信号的再现上采样为下一个更高质量水平。能够以每个水平重复以不同的质量水平来熵解码不同尺寸的和/或不同数目的拼贴的这个过程，直到以最高质量水平再生了信号为止。
[0147]图13是图示了根据本文中实施例的重建数据的缓冲的示例图。
[0148]如图13中所示，信号处理器100-1能够被配置成通过数据流1310的多个段(例如，两个或更多个段)来传送用于信号的给定部分(诸如相应的图像/帧)的重建数据。
[0149]更具体地，在一个实施例中，信号处理器100-1将数据流1310分割成段1320 (例如，段1320-1、段1320-2、段1320-3等)以便将重建数据发送到诸如解码器之类的远程资源。在一个实施例中，数据流1310的每个段1320都支持基本上相等数目的数据位的传输。一般而言，每个段都能够包括重建诸如相应图像/帧之类的信号115的一部分的重建数据。
[0150]如所示，信号处理器100-1生成数据流1310的段1320-1以包括重建数据A1、A2、A3...AS以重放信号的第一图像/帧；信号处理器100-1生成数据流1310的段1320-2以包括重建数据B1、B2、B3、..B8以重放信号的第二图像/帧；信号处理器100-1生成数据流1310的段1320-3以包括重建数据C1、C2、C3、...、C8以重放信号的第三图像/帧。
[0151]在一个实施例中，信号处理器100-1填充数据流1310的第一段1320-1以包括用来重建信号的第一图像/帧的多个质量水平的重建数据。信号处理器100-1填充数据流1310的第二段1320-2以包括用来重建信号的第二图像/帧的多个质量水平的重建数据。信号处理器100-1填充数据流1310的第二段1320-2以包括:i)用来重建信号的第二图像/帧的多个质量水平的重建数据，以及ii)用来重建信号的第三图像/帧的至少一个质量水平的重建数据。第三段1320-3包括用来重建第三图像/帧的附加的重建数据。因此，代替在数据流的对应段中传送重建数据，能够通过多个段展开用于信号的一部分的重建数据。
[0152]在一个实施例中，解码器资源被配置成缓冲由信号处理器100-1所传送的数据流1310。例如，当接收数据的点越过重建数据D4时，信号处理器100-2基于数据流1310的段1320-3中的多个质量水平的重建数据Cl...C6以及基于数据流1310的段1320-2中的重建数据C7和CS来重建与段1320-3相关联的图像/帧。以这种方式，能够在数据流1310的不同段中展开更高质量水平重建数据。缓冲重建数据并且延迟重放使得解码器能够接收适当的重建数据以依据质量水平#8解码信号并且重放该信号。
[0153]图14是根据本文中实施例的提供信号处理的计算机系统800的示例框图。
[0154]计算机系统800可以是或者包括作为交换机、路由器、服务器、客户端等操作的计算机化设备，诸如个人计算机、处理电路、电视、重放设备、编码设备、工作站、便携式计算设备、控制台、网络终端、处理设备、网络设备。
[0155]注意，以下讨论提供了指示如何执行与如本文中所讨论的资源中的任一个相关联的功能性的基本实施例，所述资源诸如信号处理器100-1、信号处理器100-2、媒体播放机等。然而，应该注意的是，用于执行操作的计算机系统800的实际配置能够取决于相应应用而变化。
[0156]如所示，本示例的计算机系统800包括耦合其中数字信息能够被存储和检索的诸如非暂时性类型的媒体、计算机可读硬件存储介质等之类的计算机可读存储媒体812的互连811。计算机系统800能够进一步包括处理器813、I/O接口 814以及通信接口 817。
[0157]I/O接口 814将连通性提供给储存库180，并且如果存在的话，将连通性提供给显示屏、诸如键盘、计算机鼠标等之类的外围设备816。
[0158]计算机可读存储介质812 (例如，硬件存储媒体)可以是任何适合的设备和/或硬件，诸如存储器、光学储存器、硬盘驱动器、软盘等。计算机可读存储介质可以是用来存储与信号处理器840相关联的指令的非暂时性存储媒体。指令被诸如信号处理器840之类的相应资源执行来执行如本文中所讨论的操作中的任一个。
[0159]通信接口 817使得计算机系统800能够通过网络190通信以从远程资源检索信息并且与其他计算机、交换机、客户端、服务器等进行通信。I/o接口 814同样使得处理器813能够从储存库180中检索或者尝试检索存储的信息。
[0160]如所示，计算机可读存储媒体812能够被编码为有被处理器813作为信号处理器过程840-2执行的信号处理器应用840-1。
[0161]注意，计算机系统800同样能够被具体化成包括计算机可读存储介质812 (例如，硬件存储媒体、非暂时性存储媒体等)以用于存储数据和/或逻辑指令。
[0162]计算机系统800能够包括执行这种指令并且执行如本文中所讨论的操作的处理器813。因此，当被执行时，与信号处理应用840-1相关联的代码能够支持如本文中所讨论的处理功能性。如所提到的那样，如本文中所讨论的信号处理器能够被配置成支持编码和/或解码。
[0163]在一个实施例的操作期间，处理器813经由互连811的使用来访问计算机可读存储媒体812以便启动、运行、执行、解释或者以其他方式执行在计算机可读存储介质812中存储的信号处理器应用840-1的指令。信号处理器应用840-1的执行在处理器813中产生处理器功能性。换句话说，与处理器813相关联的信号处理器过程840-2表示在计算机系统800中的处理器813之内或之上执行信号处理器应用840-1的一个或多个方面。
[0164]本领域的技术人员将理解，计算机系统800能够包括其他过程和/或软件及硬件部件，诸如控制硬件处理资源的分配和使用以执行信号处理器应用840-1 (例如，编码器、解码器等)的操作系统。
[0165]依据不同的实施例，注意计算机系统可以是各种类型的设备中的任一个，包括但不限于个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、笔记本式计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储设备、诸如相机、录像机、机顶盒、移动设备、视频游戏控制台、手持式视频游戏设备之类的消费电子设备、诸如交换机、调制解调器、路由器之类的外围设备或一般而言任何类型的计算设备或电子设备。
[0166]图15是图示了根据本文中实施例的使用重建数据的方法的示例流程图1500。
[0167]在步骤1510中，信号处理器100-1从储存库180中检索重建数据。所检索到的重建数据依据包括多个质量水平的分层层次被编码。
[0168]在步骤1520中，信号处理器100-1将所检索到重建数据传送到诸如解码器之类的远程源。解码器能够被配置成基于所传送的重建数据来重建信号的再现。
[0169]在步骤1530中，在传送期间，信号处理器100-1改变从储存库中检索到的和传送到解码器的重建数据的质量水平。
[0170]再次注意，本文中技术很适合于在处理并且重建信号时使用。然而，应该注意的是，本文中实施例不限于在这种应用中使用，并且本文中所讨论的技术也很适合于其他应用。
[0171]基于本文中所阐述的描述，许多特定细节已被阐述来提供对要求保护的主题的彻底理解。然而，本领域的技术人员将理解的是，在没有这些特定细节的情况下可以实践要求保护的主题。在其他实例中，尚未对将被普通技术人员获知的方法、装置、系统等进行详细的描述以便不混淆要求保护的主题。已经在对存储在诸如计算机存储器之类的计算系统存储器内的数据位或二进制数字信号的操作的算法或符号性表示方面呈现了具体描述的一些部分。这些算法描述或表示是由数据处理领域的普通技术人员用来向本领域的其他技术人员传达他们的作品的内容的技术的示例。如本文中并且一般地描述的算法被认为是导致期望结果的操作或类似处理的独立序列。在这个上下文中，操作或处理涉及物理量的物理操纵。典型地，尽管没有必要，但是这种量可以采取能够被存储、转移、组合、比较或者以其他方式操纵的电信号或磁信号的形式。主要由于公共使用的原因，将这种信号指定为位、数据、值、元素、符号、字符、项、数、数码等等有时已经证明是方便的。然而，应该理解的是，这些或类似项中的全部将与适当的物理量关联并且仅仅是方便的标签。除非另外具体地陈述，否则如从以下讨论中显而易见的那样，应该领会的是，遍及本说明书利用诸如“处理”、“计算”、“运算”、“确定”等等之类的术语的讨论指的是诸如计算机或类似电子计算设备之类的计算平台的动作或过程，所述计算平台操纵或者变换表示为该计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
[0172]虽然已经参考其优选实施例特别示出并且描述了本发明，但是本领域的技术人员将理解，在不背离如由所附权利要求所限定的本发明的精神和范围的情况下，可以在其中做出形式和细节上的各种改变。这种变化旨在被本申请的范围涵盖。同样地，本申请的实施例的前述描述不旨在为限制性的。相反地，对本发明的任何限制被呈现在以下权利要求书中。
【权利要求】
1.一种方法，其包括: 从储存库中检索重建数据，所检索到的重建数据依据包括多个质量水平的分层层次被编码； 将所述检索到的重建数据传送到解码器，所述解码器被配置成基于所传送的重建数据来重建信号的再现；以及 在所述传送期间，改变检索到的并且传送到所述解码器的所述重建数据的质量水平。
2.如权利要求1中所述的方法，其中改变所述质量水平包括: 将第一组重建数据传送到所述解码器以用于所述信号的第一部分的重放，所述第一组重建数据指示如何重建直到所述分层层次中的第一质量水平的所述信号的所述第一部分的再现；以及 将第二组重建数据传送到所述解码器以用于所述信号的第二部分的重放，所述第二组重建数据指示如何重建直到所述分层层次中的第二质量水平的所述信号的所述第二部分的再现。
3.如权利要求2中所述的方法，其中所述第一质量水平高于所述第二质量水平；并且 其中所述第二组重建数据响应于检测到在传输信道中当前可用的带宽而被以所述第二质量水平代替所述第一质量水平传送。
4.如权利要求2中所述的方法，其中所述第二组重建数据响应于接收到以所述第二质量水平代替所述第一质量水平来传送所述第二组重建数据的请求而被以所述第二质量水平传送。
5.如权利要求2中所述的方法，其中所述第二组重建数据响应于检测到所述解码资源的特性而被以所述第二质量水平传送。
6.如权利要求1中所述的方法，其中用于所述信号的图像/帧的所述重建数据的多个质量水平中的每一个都指示如何依据不同的质量水平来重建所述信号的再现。
7.如权利要求1中所述的方法，其中改变所述质量水平包括: 针对所述信号的第一部分，产生第一组重建数据以包括从所述层次中的最低质量水平到所述第一质量水平的重建数据的序列； 依据所述第一质量水平将所述第一组重建数据传送到所述解码器以用于所述信号的所述第一部分的重放； 针对所述信号的第二部分，产生第二组重建数据以包括从所述层次中的最低质量水平到所述第二质量水平的重建数据的序列，所述第二质量水平不同于所述第一质量水平；以及 依据所述第二质量水平将所述第二组重建数据传送到所述解码器以用于所述信号的所述第二部分的重放。
8.如权利要求1中所述的方法，其中改变传送到所述解码器的所述重建数据的所述质量水平包括: 产生第一组重建数据以包括依据所述层次中的第一质量水平来重建所述信号的部分的重建数据； 依据所述第一质量水平将所述第一组重建数据传送到所述解码器以在所述信号之中使得能实现重放和导航；产生第二组重建数据以包括依据所述层次中的第二质量水平来重建所述信号的重建数据；以及 在传送所述第一组重建数据之后，依据所述第二质量水平将所述第二组重建数据传送到所述解码器以用于所述信号的重放。
9.如权利要求8中所述的方法，其中所述第二组重建数据相对于所述第一组数据是补充重建数据，所述第二组重建数据指示如何修改基于所述第一组重建数据所生成的所述信号的再现以根据所述第二质量水平来重建所述信号。
10.如权利要求1中所述的方法，其中改变传送到所述解码器的所述重建数据的所述质量水平包括: 产生第一组重建数据以依据所述层次中的第一质量水平来重建所述信号； 将所述第一组重建数据传送到所述解码器以在以所述第一质量水平重放的所述信号之中使得能实现导航； 接收指示所述信号中的位置的指针值，所述指针值通过用户观看如基于所述第一组重建数据所生成的所述信号在所述第一质量水平下的重放来生成； 产生第二组重建数据以包括重建在由所述指针所规定的所述位置处开始的所述信号的重建数据，所述第二组重建数据依据所述层次中的第二质量水平被编码；以及 将所述第二组重建数据传送到所述解码器来以所述第二质量水平使得能实现紧跟如由所述指针值所规定的所述位置之后的所述信号的部分的重放。
11.如权利要求9中所述的方法，其中所述第二组重建数据相对于所述第一组数据是补充重建数据，所述第二组重建数据指示如何修改基于所述第一组重建数据所生成的所述信号的再现以根据所述第二质量水平来重建在如由所述指针值所规定的所述位置处开始的所述信号。
12.如权利要求1中所述的方法，其进一步包括: 改变所述重建数据的所述质量水平以基本上实时地通过所述解码器来促进所述信号的重放。
13.如权利要求1中所述的方法，其进一步包括: 实现费用表或版税表，其中取决于传送到所述解码器的所述重建数据的质量水平用户被收取不同的费用/版税。
14.如权利要求1中所述的方法，其进一步包括: 对所述重建数据进行编码以包括第一组重建数据和第二组重建数据，所述第一组重建数据被配置成使得能实现直到所述层次中的第一质量水平的所述信号的重建，所述第二组重建数据被配置成使得能实现直到所述层次中的第二质量水平的所述信号的重建，所述第二质量水平高于所述第一质量水平； 其中所述第二组重建数据是指示以所述第一质量水平对如基于所述第一组重建数据所生成 的所述信号做出的调整以便根据所述第二质量水平来重建所述信号的补充重建数据；以及 相对于仅所述第一组重建数据来实现数字版权管理以防止所述第一组重建数据的未授权解码。
15.如权利要求1中所述的方法，其进一步包括:对所述重建数据进行编码以包括第一组重建数据和第二组重建数据，所述第一组重建数据被配置成使得能够实现根据所述层次中的第一质量水平的所述信号的重建，所述第二组重建数据被配置成使得能够实现根据所述层次中的第二质量水平的所述信号的重建，所述第二质量水平高于所述第一质量水平； 其中所述第二组重建数据是指示以所述第一质量水平对如基于所述第一组重建数据所生成的所述信号做出的调整以便根据所述第二质量水平来重建所述信号的补充重建数据； 生成所述第一组重建数据以包括使得能够相对于所述第一组重建数据在错误情况下实现所述第一组重建数据的重放的冗余编码；以及生成所述第二组重建数据以包括非冗余编码。
16.如权利要求1中所述的方法，其中所述重建数据被解析成重建数据的分组，重建数据的所述分组中的每一个都表示所述信号的基于时间的部分，重建数据的所述分组中的每一个都包括分层重建数据的段；并且 其中分层重建数据的所述段中的每一个都指示在给定质量水平下用于与所述信号相关联的连续元素的相应拼贴的重建数据。
17.如权利要求16中所述的方法，其中将所述重建数据的部分传送到所述解码器包括: 按照顺序次序、一个接一个的完整序列、在位流中将多个序列中的每一个传送到所述解码器；以及 在所述位流中提供标记信息以指示分层重建数据的段的每个完整序列的相应开始和结束。
18.如权利要求16中所述的方法，其中将所述重建数据的部分传送到所述解码器包括: 针对所述多个序列在位流中传送从来自用于所述较低质量水平的所述多个序列的重建数据开始到来自用于所述更高质量水平的所述多个序列的重建数据的所述分层重建数据； 在所述位流中提供标记信息以针对每个质量水平并且针对每个序列来指示分层重建数据的相应开始和结束。
19.如权利要求1中所述的方法，其中将所述重建数据的部分传送到解码器进一步包括: 针对所述信号的每个部分来改变传送到所述解码器的重建数据的最高质量水平，以便针对所述信号的多个连续部分中的每个部分将基本上恒定位速率的分层重建数据传送到所述解码器。
20.如权利要求1中所述的方法，进一步包括: 将数据流分割成包括至少第一段和第二段的多个段，所述第一段包括用来重放所述信号的第一部分的重建数据，其中所述信号的所述第一部分是图像/帧，所述第二段包括用来重放所述信号的第二部分的重建数据，其中所述信号的所述第二部分包括一组至少一个后续图像/帧； 填充所述数据流的所述第一段以包括用来重建所述信号的所述第一部分的多个质量水平的重建数据；以及 填充所述数据流的所述第二段以包括:i)用来重建所述信号的所述第二部分的多个质量水平的重建数据，以及ii)用来重建所述信号的所述第一部分的至少一个质量水平的重建数据。
21.如权利要求20中所述的方法，其中所述解码器被配置成缓冲所述数据流并且基于所述第一段中的所述多个质量水平的重建数据和所述第二段中的所述至少一个质量水平的重建数据来重建所述信号的所述第一部分。
22.如权利要求20中所述的方法，其中所述信号的所述第一部分是I帧(内帧)并且所述第二部分包括一个或多个P帧(预测帧)。
23.如权利要求22中所述的方法，其中所述解码器同样基于关于在所述第二段中包含的所述信号的所述第一部分的附加的重建数据来重建所述信号的所述第二部分的再现和所述信号的后续部分的再现。
24.一种具有存储在其上的指令的计算机可读存储硬件，所述指令当被处理设备执行时，使所述处理设备执行以下操作: 从储存库中检索重建数据，所检索到的重建数据依据包括多个质量水平的分层层次被编码； 将所述检索到的重建数据传送到解码器，所述解码器被配置成基于所传送的重建数据来重建信号的再现；以及 在所述传送期间，改变检索到的并且传送到所述解码器的所述重建数据的质量水平。
25.一种计算机系统，其包括: 处理器； 存储器单元，其存储与由所述处理器所执行的应用相关联的指令；以及 互连，其耦合所述处理器和所述存储器单元，使得所述计算机系统能够执行所述应用并且执行以下操作: 从储存库中检索重建数据，所检索到的重建数据依据包括多个质量水平的分层层次被编码； 将所述检索到的重建数据传送到解码器，所述解码器被配置成基于所传送的重建数据来重建信号的再现；以及 在所述传送期间，改变检索到的并且传送到所述解码器的所述重建数据的质量水平。
【文档编号】H04N21/4402GK103843353SQ201280036095
【公开日】2014年6月4日 申请日期:2012年7月20日 优先权日:2011年7月21日
【发明者】卢卡·罗萨托, 圭多·梅亚尔迪 申请人:卢卡·罗萨托, 圭多·梅亚尔迪