(较低分辨率)样本，即，相对于参考位置(O，O)移位(+1/2，O)。在第三投影(C)中，较低分辨率的栅格向下移位另外半个样本，即，相对于第二移位再移位(O，+ 1/2)或相对于参考位置移位(+1/2，+ 1/2)。在第四投影中，较低分辨率的栅格向左移位另外半个样本，g卩，相对于第三投影移位(-1/2，O)或相对于参考位置移位(O，+1/2)。合在一起，这些移位组成移位模式。
[0027]在图12中，这是通过参考第一投影(a)的较低分辨率样本S(m，n)而被图示的，其中m和η分别是较低的分辨率栅格在水平和垂直方向上的坐标索引(取第一投影(a)的栅格作为参考)。作为第二投影(b)的样本的、对应的、移位的较低分辨率样本然后被定位在其自身相应的栅格内的位置(m，n)，这对应于相对于第一投影的位置(m+l/2，n)。作为第三投影(c)的样本的、另一个对应的、移位的较低分辨率样本被定位在第三投影的相应的栅格内的位置(m，n)，这对应于相对于第一投影的栅格的位置(m+1/2，n+1/2)。作为第四投影(d)的样本的、又一个对应的、移位的较低分辨率样本被定位在其自身的位置(m，n)，这对应于相对于第一投影的位置(m，n+1/2)。每个投影被形成在相应不同的帧中。
[0028]每个投影中的较低分辨率样本的数值通过组合由该较低分辨率样本所覆盖的较高分辨率样本的数值(g卩，通过组合该较高分辨率样本表示的相应一组较低分辨率样本的数值)而被取得。这是基于相应的组，针对每个投影的每个较低分辨率样本而完成的，从而在帧序列上生成图像的多个不同的减小分辨率的版本。
[0029]所述模式在多个帧序列上重复进行。每帧的投影被编码，并以编码视频信号发送到解码器，例如，通过诸如互联网之类的基于分组的网络而传输。可替换地，编码视频信号可被存储以供随后由解码器进行解码。
[0030]在解码器处，帧序列的不同投影然后可被用来根据较低分辨率样本的重叠区域重建较高分辨率样本尺寸。例如，在关于图12描述的实施例中，来自不同投影的任何一组的四个重叠样本定义唯一的交集。图12中的阴影区域S’对应于来自投影(a)、(b)、(c)和(d)的较低分辨率样本S(m，n)的交集。对应于这个重叠或交集的较高分辨率样本的数值可以通过在考虑中的区域处重叠的较低分辨率样本的数值之间进行外推(例如，通过取平均值，诸如平均数或加权平均数)而被找到。其他的较高分辨率样本中的每一个都可以从较低分辨率样本的类似交集中找到。
[0031]在帧序列上，视频图像可被细分成完整的一组投影，例如，当移位是半个样本时，在一个四帧的序列上提供四个投影，并且在四分之一移位的情形下，在十六个帧上提供十六个投影。因此，总体上，将其所有投影包括在一起的帧仍然可以重新创建相同的分辨率，就好像没有应用超级分辨率技术一样，尽管这要花费更长的时间来构建该分辨率。
[0032]然而，视频图像被分解为分开的图形(descript1n)，它们可以被分开地或不同地操纵。对于将视频分成多个投影而言，可以存在许多潜在有利的用途，例如，如下所述。
[0033].每个投影可被分开地编码作为单独的流。投影中的至少一个投影或一些投影并且潜在地全部投影都被独立地编码，而不是相对于流中的任何其他一个流被编码，即，它们是可被独立解码的。
[0034].在这之后，为了增强鲁棒性，不同投影可以通过网络作为分开的相应流来被发送。因此，如果流中的一个或一些在传输中丢失或被故意地丢弃，则解码器至少仍然可以根据剩余的一个或多个流来重新创建视频的较低分辨率版本。
[0035].提供了用于通过省略或丢弃一个或多个投影而进行缩放的新的机会，即，新形式的分层编码。
[0036].每帧的编码信号中带来的比特数量减小。
[0037]还要注意，在实施例中，多个投影是通过预定的移位模式而创建的，不会通过网络将所述预定的移位模式从编码器发信号传送到解码器，并且所述预定的移位模式不被包括在编码比特流中。投影的顺序可以确定与移位模式相组合的移位位置。也就是，所述投影的每个投影都可以是所述帧的序列中的相应不同的帧，并且所述帧序列中的每帧的投影可以是不同投影的预定模式中的相应投影，其中所述模式在连续的所述帧的序列上重复。解码器然后被配置成基于在接收端处预存储的或预编程的预定模式(而不是基于从传输端接收的、任何流中的预定模式)来重新生成视频的较高分辨率版本。
[0038]然而，当被转换成较低分辨率投影的帧通过使用帧间预测编码(S卩，运动预测)而被编码时，在发信号传送运动向量时可能发生问题。为了编码较低分辨率投影，运动向量从较高分辨率尺度缩小到较低分辨率尺度。然而，可以假设在解码器处运动估计是由编码器在较高分辨率尺度上完成的，所以解码器将需要较高分辨率的运动向量来执行重建。当运动向量在编码器处从较高分辨率尺度缩小到较低分辨率尺度并且然后在解码器处被按比例放大回较高分辨率尺度时，这将会引入舍入误差。
[0039]在两帧之间的这种舍入误差是可容忍的，但当该误差经过成倍的帧而传播时，那么它可能变成一个问题。该问题将通过参照图9和10的示例所图示的、本发明的下面描述的实施例而被解决。
[0040]首先，参照图3的示意性框图，描述可以在其中采用各种实施例的示例通信系统。
[0041]通信系统包括第一传输端12和第二接收端22。例如，每个端12、22可包括以下的一项:移动电话或智能电话、平板电脑、膝上型计算机、台式计算机或其他家用电器(诸如电视机、机顶盒、立体声系统等)。第一和第二端12、22每个操作地耦合到通信网络32，并且第一传输端12由此被布置成传输将被第二接收端22接收的信号。当然，传输端12也可以能够接收来自接收端22的信号，并且反之亦然，但为了讨论的目的，传输在本文是从第一端12的角度描述的，而接收在本文是从第二端22的角度描述的。通信网络32可包括例如基于分组的网络(诸如广域网和/或局域网)和/或移动蜂窝网。
[0042]第一端12包括计算机可读介质14，诸如闪存或其他电子存储器、磁存储装置和/或光学存储装置。第一端12还包括具有一个或多个核的处理器或CPU形式的处理设备16 ;收发信机，诸如至少具有发射机18的有线或无线调制解调器；以及视频摄像机15，其可以或可以不被放置在与所述端12的其余部分相同的罩壳中。存储介质14、视频摄像机15和发射机18每个都操作地耦合到处理设备16，并且发射机18经由有线或无线链路操作地耦合到网络32。类似地，第二端22包括计算机可读存储介质24 (诸如，电子、磁和/或光学存储装置)；以及具有一个或多个核的CPU形式的处理设备26。第二端包括诸如至少具有接收机28的有线或无线调制解调器之类的收发信机；以及屏幕25，其可以或可以不放置在与所述端22的其余部分相同的罩壳内。第二端的存储介质24、屏幕25和接收机28每个都操作地耦合到相应的处理设备26，并且接收机28经由有线或无线链路操作地耦合到网络32ο
[0043]在第一端12上的存储介质14至少存储被布置成在处理设备16上执行的视频编码器。当编码器被执行时，其接收来自视频摄像机15的“原始的(raw)” (未编码的)输入视频信号，对所述视频信号进行编码以便把它压缩成较低比特率的流，并输出编码视频以用于经由发射机18和通信网络32传输到第二端22的接收机28。第二端22上的存储介质至少存储被布置在其自身的处理设备26上执行的视频解码器。当解码器被执行时，其接收来自接收机28的编码视频信号，并对其进行解码，以用于向屏幕25输出。可被使用来指代编码器和/或解码器的通用术语是编解码器。
[0044]图6给出了可被存储在传输端12和在传输端12上运行的编码系统的示意性框图。编码系统包括投影生成器60和编码器40，例如，它们被实现为软件模块(但是没有排除以下选项，即:在专用硬件电路中实现功能性的某些或者全部)。投影生成器具有输入，所述输入被布置成接收来自摄像机15的输入视频信号，其包括如图12的上部所图示的、将被编码一系列帧。编码器40具有输入，其操作地耦合到投影生成器60的输出；以及输出，其被布置成将视频信号的编码版本供应给发射机18以用于通过网络32进行传输。
[0045]图4给出编码器40的示意性框图。编码器40包括操作地耦合到来自投影生成器60的输入的前向变换模块42、操作地耦合到前向变换模块42的前向变换模块44、其每个都操作地耦合到前向量化模块44的帧内预测编码模块45和帧间预测(运动预测)编码模块46以及熵编码器48，其操作地耦合到帧内以及帧间预测编码模块45和46并且被布置成将所编码的输出供应给发射机18以用于通过网络32进行传输。
[0046]在操作中，投影生成器60将输入视频信号细分成多个投影，从而生成针对每个连续帧的相应投影，如以上参照图12讨论的。
[0047]每个投影可以被单独地传递到编码器40，并且被视作分开的流。对于编码，每个投影可被划分成多个块(每个块具有多个较低分辨率样本S的尺寸)。
[0048]在给定的投影内，前向变换模块42把每个块从空间域表示变换成变换域表示(典型地，频域表示)以便把该块的样本转换成一组变换域的系数。这样的变换的示例包括傅立叶变换、离散余弦变换(DCT)和Karhunen-Lc^ve变换(KLT)，它们的细节对于本领域技术人员来说是熟悉的。每个块的变换系数然后被传递到前向量化模块44，在前向量化模块44中，这些系数被量化为离散的量化电平(该电平比初始地用来表示系数值的电平更粗)。已变换的、已量化的块然后通过预测编码阶段45或46进行编码，并且然后通过无损编码阶段(诸如熵编码器48)进行编码。