一种用于对数字化图像的序列进行编码的方法与流程

一种用于对数字化图像的序列进行编码的方法本发明涉及一种用于对数字化图像的序列进行编码的方法以及涉及一种用于对这样的序列进行解码的方法。此外，本发明涉及一种编码装置和一种解码装置以及涉及一种包括编码装置和解码装置的系统。对于以高编码效率进行编码的数字视频，使用了所谓的运动补偿。在运动补偿中，待编码的图像和对应参考图像中的相似像块之间的运动矢量被确定。运动矢量参考了参考图像中的参考块，所述参考块具有与待编码的图像中的块相同的或非常相似的图像信息。运动补偿考虑在图像中的许多结构仅仅被移位并且从一个图像到下一个不改变。基于图像块及其对应的参考块，那些块之间的预测误差被计算并用于编码。在某些情况下，存在将被用于预测的参考块限制到参考图像中的特定区域的需要。例如，在文档[1]、[2]以及[3]中，描述了一种视频编码过程，其中仅每个图像中的一个区的逐渐帧内刷新被执行。结果，图像包括具有已经帧内编码的区的更新区域和具有尚未帧内编码的区的非更新区域。在这个场景中，禁止根据参考图像的非更新区域中的参考块来预测图像的更新区域中的图像块。否则，在随机访问视频流情况下，这些参考将导致失配，因为非更新区域中的块未被正确地解码。在文档[4]中，公开了一种用于基于若干输入视频流生成编码视频流的方法。在这个文档中提到，将仅在那些图片的边界内执行用于对一个视频流中的图片进行编码的预测。本发明的目的是提供用于以高编码效率对数字化图像的序列进行编码并且相对于图像块的时间预测考虑编码限制的方法。这个目的通过独立权利要求来解决。本发明的优选实施例在从属权利要求中被限定。在根据本发明的方法中，执行了运动补偿过程，所述运动补偿过程使用了涉及当前图像中的许多像素的图像块与涉及参考图像中的许多像素的参考块之间的运动矢量，所述参考图像是基于出自序列的一个或多个图像的。在运动补偿过程内，针对当前图像的至少一部分的每个图像块，执行了基于由运动矢量所指示的对应参考块的时间预测，从而产生图像块与对应参考块之间的预测误差。这个预测误差通过适当的编码技术而被编码。根据本发明的方法，数字化图像的序列中的当前图像被划分成若干图像区域，参考图像中的参考区域与每个图像区域相关联，其中图像区域中的图像块的时间预测是基于至少部分地位于与图像区域相关联的参考区域中并且排他地包括来自这个参考区域的像素信息的参考块的。本发明具有能够针对若干图像块考虑相对于时间预测的限制的优点。这个通过参考区域与图像区域的适当关联来实现，其中仅从关联的参考区域到图像区域的预测是容许的。如上面所提到的那样，参考块仅可以部分地位于参考区域中。然而，参考块中的像素信息必须排他地基于所述参考区域内的信息。在优选实施例中，除完全位于参考区域中的参考块之外，延伸超过对应参考区域的边界参考块能够被用于时间预测，其中位于参考区域之外的边界参考块的像素的值基于边界参考块在参考区域内部的像素的值而被排他地确定。为了这样做，众所周知的边界扩展算法能够被用于获得在参考区域之外的像素的像素值。特别地，位于参考区域的边界处的边界参考块的像素的值被分配给位于参考区域之外的边界参考块的像素。这是用于将在参考区域边界处的像素值分配给该区域外部的像素的众所周知的外推法技术。特别地，图像中的对应扩展方向，例如在水平或垂直方向上，能够被定义以用于将在边界处的像素值扩展超过参考区域。在本发明的另一实施例中，参考图像是从在编码期间压缩的图像生成的重建图像或者包括来自若干重建图像的各部分。在本发明的另一变体中，预测的编码包括变换步骤、量化步骤以及无损熵编码步骤。这些编码步骤在现有技术中是众所周知的。优选地，形成参考图像的经重建的图像或重建的各图像是通过变换步骤和量化步骤压缩并通过执行逆变换和逆量化而重建的图像。在特别优选的实施例中，本发明的方法被用于包括若干视频的混合视频流，其中每个图像区域和与所述图像区域相关联的参考区域对应于混合视频流中的(公共)视频。通过将预测限制到单独的视频，避免了运动补偿过程中的失配。在本发明的另一实施例中，图像区域中的一个或多个被各划分成子区域，其中对于所述子区域中的一个或多个附加的编码限制适用。为了指示图像成为图像区域和子区域的划分，能够使用分层索引方案。根据这个方案，相同的分层索引值指的是对其允许时间预测的当前图像和参考图像中的对应区域。在优选实施例中，子区域可以被划分成还能够由上面提到的索引方案用信号发送的进一步更小的子区域。在另一实施例中，索引方案中的附加的索引被保留，所述附加的索引被用来指示能够根据参考图像中的所有子区域被临时地预测的图像区域中的子区域，所述所有子区域处于与所述图像区域中的子区域相同的层次级中。在本发明的另一实施例中，至少一个图像区域中的空间上随后的部分从一个当前图像到下一个被帧内编码，其中帧内编码循环被定义使得，在预定数目的图像已被编码之后，整个图像区域已被帧内编码。这个实施例是基于图像区域的运动补偿与如文档[1]、[2]以及[3]中所定义的逐渐帧内刷新编码的组合。使用这个帧内编码技术，对应图像区域的完全帧内更新在许多图像之后被实现。这个方法当在恒定位速率信道上传送图像的序列时减少了缓冲器大小并导致低延迟。在上面描述的实施例的变体中，所述至少一个图像区域被分成更新子区域和非更新子区域，更新子区域指的是在帧内编码循环中已经被帧内编码的那些部分而非更新子区域指的是在帧内编码循环中尚未被帧内编码的那些部分。更新子区域中的图像块的时间预测是优选基于排他地包括来自与该图像区域相关联的参考区域的更新子区域的像素信息的参考块的，然而非更新子区域中的图像块的时间预测是基于能够包括来自参考区域的更新子区域和非更新子区域的像素的参考块的，所述像素即来自非更新子区域或更新子区域或来自更新子区域和非更新子区域两者的像素。在另一实施例中，特别针对帧内预测和/或去块滤波和/或环内滤波和/或内插滤波，当前图像中的图像区域和/或附加的图像区域相对于除时间预测以外的一个或多个预定处理步骤被独立于彼此地处理。能够以不同的方式用信号发送根据本发明的图像成为图像区域的划分。在一个实施例中，这个划分在每个编码图像中被用信号发送。此外或可替换地，所述划分还能够在与编码图像分别定义的参数集中被用信号发送。除上述的编码方法之外，本发明还涉及用于对由本发明方法所编码的数字化图像的序列进行解码的方法。在这个解码方法中，经编码的信号中的预测误差被解码并且运动补偿过程使用与用于编码相同的运动矢量来执行。从而，用于编码的运动矢量在用于解码的方法中是可用的。例如，运动矢量在经编码的视频流中作为另外的信息被传送。在解码方法中，经解码的预测误差被用于计算运动补偿过程的参考图像。本发明还涉及用于对数字化图像的序列进行编码和解码的方法，其中，图像通过上面描述的编码方法而被编码并且经编码的图像通过上面描述的解码方法而被解码。本发明还包括用于对数字化图像的序列进行解码的装置，其包括：–用于执行运动补偿过程的装置，所述运动补偿过程使用了涉及当前图像中的许多像素的图像块与涉及参考图像中的许多像素的参考块之间的运动矢量，所述参考图像是基于出自序列的一个或多个图像的，其中针对当前图像的至少一部分的每个图像块执行了基于由运动矢量所指示的对应参考块的时间预测，从而产生图像块与对应参考块之间的预测误差；–用于对所述预测误差进行编码的装置。用于在这个装置中执行运动补偿过程的装置包括用于将序列中的当前图像划分成若干图像区域的装置，所述参考图像中的参考区域与每个图像区域相关联，其中图像区域中的图像块的时间预测是基于至少部分地位于所述参考区域中并排他地包括来自所述参考区域的像素信息的参考块的。所述装置被优选布置用于执行根据本发明的编码方法的上面描述的优选实施例中的任一个。本发明还涉及用于对由根据本发明的编码方法所编码的数字化图像的序列进行解码的装置。这个装置包括用于对预测误差进行解码的装置以及用于使用与用于编码相同的运动矢量来执行运动补偿过程的装置。本发明还包括用于对数字化图像的序列进行编码和解码的装置，系统包括根据本发明的上面描述的编码装置和上面描述的解码装置。将在下文中相对于附图对本发明的实施例进行描述，其中：图1示出了图示根据本发明的实施例的视频流的编码和解码的示意图；图2图示了根据现有技术的针对经历逐渐帧内刷新的图像的运动补偿过程；图3图示了基于本发明的实施例的运动补偿过程；图4示出了基于本发明的另一实施例的运动补偿过程；以及图5是图示了根据本发明的实施例的用于对视频流进行编码和解码的系统的示意图。图1示出了基于本发明的实施例的用于对视频流进行编码和解码的步骤。在图1的左边部分中，示出了用于对视频流X进行编码的编码装置COD。图1的右边部分图示了解码装置DEC，所述解码装置DEC被用于由编码装置COD所编码的视频流的解码。视频流X包括经历了编码过程的多个图像I。在这个过程中，预测误差信号被编码。这个信号表示形成待编码的当前图像的输入信号I与在图1的实施例中作为前面图像的参考图像的运动补偿重建之间的差。然而，参考图像还可以根据图像在视频流中的时间顺序由当前图像以前和/或以后的不同图像的各部分组成。在图1中通过加法装置A而被确定为输入图像与预测图像之间的差的预测误差经历变换T，尤其是众所周知的DCT变换(DCT=离散余弦变换)。由这个变换所生成的变换系数其后在量化装置Q中被量化。结果，获得了用于图像中的对应宏块的符号S。这些符号表示包括变换系数、用于预测的运动矢量以及另外的编码参数的编码图像信息。在编码期间使用的运动矢量在图3中被指定为MV。那些运动矢量在运动估计步骤ME中被确定，其中对于当前图像I中的图像块来说参考图像中的相似图像块被确定，其中参考图像被存储在图像储存器SP中。运动矢量描述当前图像中的图像块与参考图像中的对应的相似图像块之间的移位。需要那些运动矢量执行解码。从而，运动矢量像由图1中的虚线所指示的那样被传送到解码装置DEC。储存器SP中的参考图像通过执行逆量化IQ和逆变换IT而由符号S生成，从而产生重建的预测误差。这个预测误差通过加法装置A’而被加到储存器SP中的前面重建的参考图像，从而产生新的参考图像。描述到目前为止涉及从现有技术知道的通用编码过程。根据本发明，待编码的图像被划分成若干图像区域，其中对应的参考图像中的参考区域与每个图像区域相关联。图像区域和参考区域基于运动补偿过程来限制时间预测，使得用于计算图像区域中的图像块的预测误差的参考块排他地包括来自与该图像区域相关联的参考区域的信息。通过图像区域和参考区域的适当定义，避免了编码误差。这在图像区域指的是在由图像I的序列所表示的视频流中包括的单独视频的情况下是特别有帮助的。将稍后相对于图3和4给出基于图像区域和参考区域的上面提到的运动补偿过程的具体描述。图1中的编码装置COD进一步包括众所周知的熵编码装置EC。这个编码装置执行符号S的无损熵编码并导致较高的编码效率。经熵编码的符号S’被传送到解码器DEC，所述解码器DEC执行熵解码ED、逆量化IQ以及逆变换IT。因此，解码预测误差被确定。基于这个误差和被传送到解码器并在储存器SP中存储的运动矢量MV，用于确定原始解码图像的运动补偿过程被执行。为了这样做，预测误差通过加法装置A’’而与储存器SP中的运动补偿解码图像组合。在详细地说明本发明之前，如文档[1]、[2]以及[3]中所示出的现有技术运动补偿过程被描述。这个运动补偿过程可以与根据本发明的运动补偿过程组合。现有技术运动补偿过程在图2中被图示，图2示出了待编码的当前图像I以及用于运动补偿的对应参考图像RI。根据图2中的编码过程，仅图像的一部分被帧内编码。这个部分被指定为图2中的部分SE并且从一个图像向下移动到下一个。帧内编码在帧内编码循环中被执行，其中，在编码循环内已对所有图像进行编码之后，图像中的所有部分已被帧内编码步骤更新。在图2中，在线L之上的区域A1形成已在对应编码循环中被帧内编码的各部分的更新区域。与之相反，区域A2形成在当前帧内编码循环中尚未被帧内编码的部分的非更新区域。与图像I类似，参考图像RI包括更新区域A1’和非更新区域A2’，其中更新区域A1’同A1比较起来是较小的，因为部分SE在参考图像RI中尚未被帧内编码。在图2中执行的时间预测中，必须禁止根据从在参考图像RI中的非更新区域A2’中包括的参考块来预测已经更新的区域A1中的图像块。由于这个编码限制，仅可以根据诸如参考块R1之类的区域A1’中的参考块来预测更新区域A1中的图像块。参考块R2和R3不被允许用于区域A1中的图像块，因为那些块被至少部分地包括在非更新区域A2’中。与之相反，对于非更新区域A2中的图像块，可以使用参考图像RI中处于任意位置中的参考块，即参考块R1以及参考块R2或R3可以被用于预测。在文档[1]、[2]以及[3]中，公开了用信号发送如上面所描述的更新区域的方法。这允许在例如块R2的两个区域中的参考块的特殊处理。虽然位于更新区域内的块R2的部分被用于参考，但是在非更新区域内的块R2的部分被通过外推法从更新区域所生成的像素代替。不同于本发明的方法，在文档[1]、[2]以及[3]中所公开的方法用信号发送单个区域边界，即更新区域与非更新区域之间的边界。然而，区域的这个描述不适于描述若干图像区域和参考区域，因为仅具有限制参考的单个区域能够被用信号发送。此外，所强加的唯一限制是不允许从非更新区域到更新区域的预测。图3示出了基于本发明的第一实施例的运动补偿过程。这个图图示了当前图像I，其中对应的参考图像RI的结构与这个图像相同。从而，对应的参考图像在括号中被指示为RI。图像I被划分成四个图像区域IA1、IA2、IA3以及IA4。相同的参考区域RA1、RA2、RA3以及RA4被包括在参考图像RI中。与图像区域IA1相关联的参考区域被指定为RA1，与图像区域IA2相关联的参考区域被指定为RA2，与图像区域IA3相关联的参考区域被指定为RA3，并且与图像区域IA4相关联的参考区域被指定为RA4。图3中所示出的实施例指的是混合视频流，其中图像区域IA1至IA4中的每一个都对应于单独的视频。为了避免不同视频之间的时间预测，针对相应的图像区域IA1至IA4中的图像块的预测被仅允许基于排他地包括来自所关联的参考区域RA1至RA4的像素信息的参考块。在图3中，图像块B1的示例被示出。这个块仅能够根据完全位于对应的参考区域RA1内或者部分地位于区域RA1内但仅包括来自这个区域的像素信息的参考块来预测。在部分地位于关联的参考区域之外的参考块情况下，仅活动参考区域的像素被使用。其他像素(即邻近图像区域中的像素)使用众所周知的边界扩展算法例如外推法而被外推。在优选实施例中，在参考区域的边界处的像素的值被用作为位于该参考区域之外的像素的值。特别地，像素值相对于垂直边界在水平方向上或者相对于水平边界在垂直方向上扩展。如关于图3所描述的实施例参考矩形图像区域和参考区域。然而，原则上各区域的任意形状是容许的。为了用信号发送图像成为较小图像区域的子划分，两个选项是可能的。在第一选项中，子划分在每个编码图像内被定义并用信号发送。在第二选项中，图像的子划分能够被与编码的图像单独地定义，例如在图片参数集中。子划分然后通过参考所述参数集而被指示。图3中所示出的实施例还能够与图2中所示出的实施例组合。为了这样做，每个图像区域IA1能够通过如图2中所示出的图像I来表示，以便相对于更新和非更新区域的相同的预测限制适用于图像区域中的每一个。此外，仅能够根据关联的参考区域来预测图像块的限制在这样的组合实施例中也是有效的。图4示出了这样的组合实施例。与图3类似，图像I被划分成四个图像区域IA1、IA2、IA3以及IA4。对于每个图像区域来说，在对应的参考图像RI中存在处于相同位置中的关联的参考区域RA1、RA2、RA3以及RA4。每个图像区域IA1至IA4在混合视频流中形成单独的视频，其中各视频中的每一个都被用如相对于图2所描述的部分帧内刷新编码来编码。对应图像区域中的更新区域A1与非更新区域A2之间的边界由线L来指示。作为示例，区域A2中的图像块被指示为B2而区域A2中的图像块被指示为B3。为了用信号发送图像I中的预测限制，使用了分层索引“x.y”，其规定了所有图像区域。根据这个分层索引，仅允许根据具有相同的索引x和相同的子索引y的参考区域来预测。然而，如果子索引“y”是0，则能够根据具有相同的索引“x”的所有图片区域实现预测。分层索引被用来标识图像I中的所有图像区域中的对应的更新和非更新区域。那些区域被指定为PA1.0、PA1.1、PA2.0、PA2.1、PA3.0、PA3.1、PA4.0以及PA4.1。具有值0的子索引“y”指的是更新区域，然而具有值1的子索引“y”指的是非更新区域。基于上面描述的分层索引，例如能够根据其中边界L因为帧内编码循环在后是一个步长而在参考图像中被略微向上移位的参考图像中的图像区域PA1.0和PA1.1来预测当前图像I的图像区域PA1.0。为了允许从参考图片的所有区域的预测还可以使用上述的索引方案。这个能够由索引0.0(相当于索引0)来指示。相似规则还能够适用于具有较高的索引层次的图像区域的定义，例如“x.y.z”。一般而言，允许当前图像中的图像区域的预测的参考图像的参考区域的列表能够通过上面描述的分层索引方案而被用信号发送或者定义。图像区域的上述定义还可以被用来定义跨越其帧内预测是不容许的图像内部的人工边界。这个机制避免失配。例如，在混合视频流中，没有根据来自邻近图像区域的像素的预测被实现，因为这些像素不可用于混合以前的原始编码视频中的帧内预测。此外，在使用部分帧内刷新的视频流中，正常地从非更新区域到更新区域的帧内预测能够发生。在随机进入视频流情况下，非更新区域中的像素可能不再是可用的，即未被正确地解码。在这些情况下图像区域的使用将禁止帧内预测。同样对于除帧内预测(例如去块滤波、环内滤波、内插滤波等等)外的其他处理步骤来说，人工边界能够使用针对当前图像的图像区域来定义。与帧内预测的情况类似，来自邻近图像区域的图片值不必被用于活动图像区域内部的处理。如果邻近关系改变则避免了失配(例如，由于流的混合或随机进入使用部分帧内刷新的编码流)。与图像块的预测相反，能够跨越图像区域实现熵编码。联合统计模型能够被用来对图像中的所有信息(即语法元素)进行编码。上下文模型的重置是不必要的。因此，图像区域的使用对于导致编码效率的熵编码允许更多的灵活性。如上面所描述的本发明具有若干优点。针对混合视频流的边界感知运动补偿过程能够通过定义适当的图像区域和关联的参考区域来执行。在如文档[1]、[2]以及[3]中所描述的更新和非更新区域的定义情况下是不可能的。能够针对混合视频流和使用部分帧内刷新的编码视频流使用边界感知运动补偿的统一信令。能够在混合视频流中避免帧间预测、帧内预测以及其他图片内处理步骤的失配。本发明的优选实施例导致较高的编码效率。特别地，通过对位于对应的参考区域之外的参考块的像素使用边界扩展算法，在用于预测的参考块的选择方面存在较高的灵活性。相对于熵编码，联合统计能够被用于若干或所有图像区域，因为不需要在图像区域之间的边界处实现上下文模型的重置。图5示出了根据本发明的用于对视频流进行编码和解码的系统的实施例。数字视频流X通过包括用于执行运动补偿过程的装置101的编码装置1而被编码，所述运动补偿过程使用当前图像中的图像块与参考图像中的参考块之间的运动矢量，其中针对每个图像块或当前图像的至少一部分，执行了基于由运动矢量所指示的对应参考块的时间预测，从而产生图像块与对应参考块之间的预测误差。编码装置进一步包括用于对由运动补偿装置101所产生的预测误差进行编码的装置103。运动补偿装置101进一步包括用于将视频流中的当前图像划分成若干图像区域的装置，参考图像中的参考区域与每个图像区域相关联，其中图像区域中的图像块的时间预测是基于至少部分地位于与图像区域相关联的参考区域中并且排他地包括来自这个参考区域的像素信息的参考块的。由编码装置1所编码的视频流被指定为S’并且由对应的解码装置2来处理。这个解码装置包括用于对在流S’中包括的预测误差进行解码的装置201以及用于使用已被用于在编码装置1中进行编码的相同的运动矢量来执行运动补偿过程的装置202。为了这样做，在编码装置1中所确定的运动矢量被传送到解码装置2。结果，解码视频流X’被解码装置2输出。参考文献的列表：[1]KimihikoKazui,JunpeiKoyama,AkiraNakagawa,“EvaluationresultofJCTVC-B031”,ISO/IECJTC1/SC29/WG11andITU-TSG16WP3,documentJCTBC-C021/M18028,Guanzhou,China,October2010.[2]KimihikoKazui,JunpeiKoyama,AkiraNakagawa,“Draftdescriptionofproposedsyntaxandsemanticsforverylowdelaycoding”,ISO/IECJTC1/SC29/WG11andITU-TSG16WP3,documentJCTVC-D053/M1800,Daegu,Korea,January2011.[3]KimihikoKazui,JunpeiKoyama,AkiraNakagawa,“BenefitofthenewsyntaxandsemanticsforverylowdelaycodinginHEVC”,ISO/IECJTC1/SC29/WG11andITU-TSG16WP3,documentJCTVC-D053/M1801,Daegu,Korea,January2011.[4]DE102007049351A1。