(t)的块的已变换量化系数进行编码。将该块说成是根据前一帧预测的。因此，编码器只需发射块的预测版本与实际块之间的差(在本领域中称为残差)以及运动矢量。由于残差值往往较小，所以其在通过熵编码器48时要求较少的位以进行编码。
[0037]所述前一帧的部分的位置由运动矢量确定，该运动矢量由帧间预测模块46中的运动预测算法确定。根据其中将每个帧分成多个投影的本发明的实施例，运动预测可以是在来自不同帧的两个相应投影之间，即在在其各帧内具有相同移位的投影之间。例如参考图9，可根据帧F(t-l)的投影(a)来预测来自帧F(t)的投影(a)的块，可根据帧F(t-l)的投影(b)来预测来自帧F(t)的投影(b)的块，以此类推。替换地，可根据在前一帧中具有不同移位的不同投影来预测来自一个帧的一个投影的块，例如根据帧F(t-l)中的投影(a)的一部分来预测来自帧F(t)的投影(b)、(c)和/或(d)的块。在后一种情况下，可将表示帧之间的运动的运动矢量与表示不同投影之间的移位的矢量相加，以便获得正确的预测。这在图11中示意性地图示出。
[0038]如果使用帧间预测，则已变换量化样本替代地经受帧内预测模块45。在这种情况下，相对于同一帧内的块(通常为相邻块)对来自当前帧F (t)的块的已变换量化系数进行编码。编码器然后只需发射块的预测版本与相邻块之间的残差差。再次地，由于残差值往往较小，所以其在通过熵编码器48时要求较少的位以进行编码。
[0039]在本发明的实施例中，帧内预测模块45可具有在来自同一帧的不同投影的块之间进行预测的特殊功能。也就是说，相对于投影中的一个基础投影中的相应块对来自投影中的一个或多个的块进行编码。例如，可根据投影中的一个或多个中的每个较低分辨率样本在基础投影中的对等样本来预测所述每个较低分辨率样本，例如使得根据第一投影(a)中的样本S(m, η)且类似地针对每个块的其他样本预测投影(b)、(c)和(d)中的每个较低分辨率样本S (m，η)。因此，编码器只需在相对于基础投影的残差方面对投影中的除一个之外的全部进行编码。
[0040]这可呈现用于减小残差的大小的更多机会，因为来自不同投影的相应对等样本将往往是类似的，并且因此导致小的残差。在实施例中，可将帧内预测模块45配置成选择投影中的哪个投影以用作基础投影和选择哪个投影来相对于基础投影进行编码。例如，因此帧内预测模块可以替代地选取投影(c)作为基础投影，并且然后相对于投影(C)对投影(a)、(b)和(d)进行编码。可将帧内预测模块45配置成选择哪个投影是基础投影，以便使残差最小化或者至少使其减小，例如通过尝试全部可能性或其子集并选择导致最小总残差位速率的那个来进行编码。
[0041]一旦被帧内预测编码模块45或帧间预测编码模块46编码，不同投影的样本的块就被传递至熵编码器48，在那里，其经受进一步的无损编码级。由熵编码器48输出的已编码视频然后被传递至发射机18，该发射机18在一个或多个流33中将已编码视频通过网络32 (优选地诸如因特网之类的基于分组网络)而发射到接收终端22的接收机28。
[0042]图7给出了可存储在接收终端22上并在其上面运行的解码系统的示意性框图。该解码系统包括解码器50和超分辨率模块70，优选地实现为软件模块(但不排除在专用硬件电路中实现某些或所有功能的选项)。解码器50具有被布置成从接收机28接收已编码视频的输入端以及可操作地耦合到超分辨率模块70的输入端的输出端。超分辨率模块70具有被布置成向屏幕25供应已解码视频的输出端。
[0043]图5给出解码器50的示意性框图。解码器50包括熵解码器58以及帧内预测解码模块55和帧间预测(运动预测)解码模块54、逆量化模块54和逆变换模块52。熵解码器58可操作地耦合到来自接收机28的输入端。帧内预测解码模块55和帧间预测解码模块56中的每一个可操作地耦合到熵解码器58。逆量化模块54可操作地耦合到帧内和帧间预测解码模块55和56，并且逆变换模块52可操作地耦合到逆量化模块54。逆变换模块可操作地耦合以向超分辨率模块70供应输出。
[0044]在操作中，可使每个投影单独地通过解码器50并作为单独流进行处理。
[0045]熵解码器58根据熵编码技术对已编码视频信号33的每个投影执行无损解码操作，并且取决于在编码中使用帧内预测还是帧间预测(运动预测)，将结果产生的输出传递到帧内预测解码模块55或帧间预测解码模块56以用于进一步解码。
[0046]如果使用帧间预测，则帧间预测模块56使用在已编码信号中接收到的运动矢量来基于前一帧的一部分预测来自一个帧的块。如所讨论的，此预测可以是在不同帧中的相同投影之间或者在不同帧的不同投影之间。在后一种情况下，如图11中所示地将运动矢量和移位相加。
[0047]如果使用帧内预测，则帧内预测模块55根据同一帧中的另一块来预测一块。在实施例中，这包括基于另一、基础投影的块来预测一个投影的块。例如，参考图9，可根据投影(a)来预测投影(b)、(C)和/或(d)。
[0048]然后使已解码投影通过其中将量化水平转换到解量化标度上的逆量化模块54以及其中将解量化系数从变换域转换成空间域中的较低分辨率样本的逆变换模块52。该解量化、逆变换样本被继续供应到超分辨率模块70。
[0049]超分辨率模块使用来自同一帧的不同投影的较低分辨率样本来将该帧的较高分辨率版本“缝合(Stich)在一起”。如所讨论的，这可以通过从同一帧的不同投影取重叠的较低分辨率样本并生成与重叠区相应的较高分辨率样本来实现。例如通过取平均，通过在重叠较低分辨率样本的值之间进行外推来找到较高分辨率样本的值。例如参见图9中的由来自四个不同投影(a)至(d)的四个较低分辨率样本S重叠的阴影区。这允许在解码器侧重构较高分辨率样本S’。
[0050]在实施例中，从多个投影重构帧的过程可以是无损的。例如，如果每个较低分辨率样本如图9中所示的那样表示原始输入帧的四个较高分辨率样本，并且例如分别用(0，O)；(O, +?)^+?, +?);以及(+?, O)的移位来创建四个投影，则情况可以如此。这意味着来自四个不同投影的四个较低分辨率样本的唯一组合将在解码器处可用于要重新创建的每个较高分辨率样本。在这种情况下，在解码器侧重构的较高分辨率样本尺寸可与在编码器侧的原始输入帧的较高分辨率样本尺寸相同。
[0051]在其他实施例中，该过程可涉及到某种退化，并且在解码器侧重构的较高分辨率样本不需要如在编码器侧的原始输入帧的较高分辨率样本尺寸那样高。例如，如果每个较低分辨率样本表示原始输入帧的四个较高分辨率样本，但例如用(0，O)和(+?, +?)的移位创建仅两个投影，则情况可以如此。在这种情况下，某些信息在该过程中丢失。然而，该损失可认为在感知上是可容忍的。
[0052]针对被解码的视频信号中的每个帧序列执行此过程。输出重构的较高分辨率帧以便供应到屏幕25，使得视频被显示给接收终端22的用户。
[0053]在一个实施例中，将不同的投影在单独的分组流中通过网络32从发射终端12发射到接收终端22。因此，每个投影在构成各流的单独一组分组中发射，优选地由用于包括在该流的分组中的每个流的单独流标识符进行区分。
[0054]图8给出如将从在发射终端12上运行的编码器发射到在接收终端22上运行的解码器的已编码视频信号33的示意性表示。已编码视频信号33包括用于每个块的多个已编码量化样本。进一步地，已编码视频信号被划分成分别承载不同投影(a)、(b)、(c)、(d)的单独流33a、33b、33c和33d。在一个应用中，可将已编码视频信号作为实况(实时)视频电话呼叫的一部分发射，所述实况(实时)视频电话呼叫诸如发射和接收终端12、22之间的VoIP呼叫(VoIP呼叫还可以包括视频)。
[0055]在不同流中进行发射的结果是可以丢弃流中的一个或多个，并且仍有可能将来自投影中的一个的视频的至少较低分辨率版本或者潜在地来自剩余投影的子集的较高(而并非全)分辨率版本解码。
[0056]可响应于来自接收终端22或来自网络32的在接收终端处存在不足资源或者网络条件不适合于处理视频的全或较高分辨率版本或者接收终端不要求全或较高分辨率的反馈，或者事实上如果发射终端不具有足够的资源以便以全或较高分辨率解码，由发射终端12丢弃投影。替换地或另外，承载不同投影的流中的一个或多个可由诸如路由器或中间服务器之类的网络32的中间元件响应于网络条件或来自接收终端的存在不足资源以处理全或较高分辨率或者不要求此类分辨率的信息而丢弃。
[0057]例如，比方说给定帧在编码器侧被分成四个投影(a)至(d)，每个投影在单独的流中。如果接收终端22接收到全部四个流，则解码系统可以重新创建该帧的全分辨率版本。然而，如果一个或多个流被丢