专利名称：压缩视频分组已编码视频数据的方法和设备的制作方法
技术领域：
本发明涉及一种用于压缩由视频分组编码的视频数据的方法和设备。本发明位于对差错具有鲁棒性并基于视频分组的使用的视频压缩实现技术领域。具体地，可以在集成了这样的工具的H.263、MPEG-2和MPEG-4的环境内设计其应用。
背景技术：
视频分组在于在每一个视频图像的编码期间，产生空间上彼此无关的二进制数据。图像的二进制序列由多个由再同步标志彼此隔离的分组组成。每一个分组可以由在其前面的同步标志来标记。可以对其进行解码，而无需知道周围分组的数据。由于分组丢失不会引起差错的空间传播，该工具确保了在分组丢失的情况下对于解码的更好的鲁棒性。
压缩视频数据的成本通常取决于接收时所需的图像质量。该关系是已知的，并且主要取决于DCT系数的量化间隔的值。传统上，通过实现利用了由编码方案所提供的所有选项的有效编码策略来改善压缩。这些策略必须涉及以下两点-选择图像编码、宏块和块的模式，确保在这些块中的编码质量和编码成本之间的令人满意的折中；-针对时间预测的图像，选择确保了时间预测质量和矢量编码的成本之间的令人满意的折中的运动矢量。
尽管在一些标准中通常所定义的这些编码过程是非常有效的，但是其有助于实现减少编码成本的附加手段，传输和带宽的成本仍保持为主要问题。实际上，这是找到诸如增加量化间隔的传统压缩过程和新过程之间的折中的问题，以获得更好的图像质量/编码成本比值。
发明内容
本发明的目的是缓解前述的缺陷。
本发明的目的是一种用于压缩视频数据的方法，其中通过实现差错掩蔽算法来对压缩数据进行解码，包括对提供按照分组排列的数据的二进制序列的视频数据进行编码的步骤，其特征在于所述方法还包括-缩减二进制序列的步骤，所述步骤在于从所述二进制序列中删除一个或多个视频分组，以便提供缩减的二进制序列；-对缩减的二进制序列实现差错掩蔽算法的步骤，从而计算校正后的退化的局部解码图像，所述校正后的退化的局部解码图像是根据缩减的二进制序列和掩蔽算法重构的图像；-确认步骤，用于作为校正后的退化的局部解码图像的质量的函数，确认或不确认二进制序列的缩减；-根据是否存在确认，选择缩减的二进制序列或所述二进制序列的步骤。
作为一个特定的实施例，使用基于被称为参考图像的先前图像的时间预测的方法包括存储校正后的退化的局部解码图像的附加步骤，从而在对下一个图像的编码期间，利用所述校正后的退化的局部解码图像作为参考图像(5)。
一个特定的实施例在于用于压缩数据的掩蔽算法与用于解码所压缩的数据的算法相同。
一个特定的实施例在于根据与源图像相关的该图像的信号噪声比或PSNR，计算所述图像的质量。
根据另一实施例，在确认步骤期间，将校正后的退化的局部解码图像的质量与所述局部解码图像的质量进行比较。
根据另一实施例，作为根据缩减的二进制序列所获得的校正后的局部解码图像的质量的函数，进行从数据流中要去除的分组的选择。
根据另一实施例，由缩减步骤、确认步骤和选择步骤的逐分组地或逐分组的组地顺序迭代，实现与图像有关的二进制序列数据的选择，对在先前迭代中所选择的二进制序列进行二进制序列的缩减及其确认。
本发明还涉及一种视频数据编码器，其中通过实现差错掩蔽算法对编码数据进行解码，所述编码器包括对用于提供按照分组排列的数据的二进制序列的视频数据进行编码的电路，其特征在于所述视频数据编码器还包括-缩减二进制序列的电路，执行一个或多个视频分组的删除；-对缩减的二进制序列实现差错掩蔽算法的电路，从而计算校正后的退化的局部解码图像，所述校正后的退化的局部解码图像是根据缩减的二进制序列重构的图像；-确认电路，用于作为校正后的退化的局部解码图像的质量的函数，确认二进制序列的缩减；-根据是否存在确认，选择缩减的二进制序列或所述二进制序列的电路。
本发明还涉及一种编码/解码系统，包括根据上述编码器和解码器，其特征在于所述编码器实现了与由解码器所使用的算法相同的差错掩蔽算法。
本发明中所提出的方法的目的在于在使用视频分组的编码的情况下，缩减压缩的成本。所述方法能够在使图像质量恶化程度较小的同时，缩减编码成本。为了这样做，考虑到在解码器实现的差错掩蔽策略来改善在编码器级的压缩避免了能够在解码器有效重构的数据的产生，或者通过利用这些差错掩蔽算法，去除了将能够在解码器处令人满意地重构的视频分组。因此，如果编码器知道并采用与解码器相同的差错掩蔽策略，则该解决方案在质量方面特别有效。然后，诸如此类的“兼容”解码器将能够按照与编码器所进行的方式完全相同的方式重构丢失的数据，并因而在输出端获得与由编码器所产生的解码图像相同的已解码图像。利用另一掩蔽算法的“不兼容”解码器将获得略微不同的图像，并且在实现编码方案中的时间预测的情况下，在时间上可能会出现漂移。
在通过非限定性的实例所给出和参考附图所提供的以下描述中，本发明的其他特征和优点将变得显而易见，其中，-图1示出了本方法的示意图；-图2示出了将要编码的图像分割为分组；-图3示出了从已编码的图像中去除视频分组；-图4示出了在差错掩蔽之后的已解码图像。
具体实施例方式
图1示出了根据本发明的编码方法的示意图。
在按照传统的方式执行图像的完整编码的第一步骤1期间，对传送到实现了该方法的编码设备的输入的源序列进行处理。该编码步骤在其输出端提供传送到下一个步骤2的已编码二进制序列，所述二进制序列由同步标志所定义的视频分组组成。其还向该步骤2和步骤4传送局部编码图像。根据已编码的数据，在编码步骤1期间，按照已知的方式对该图像进行重构。针对使用时间预测的编码模式，例如，图像间类型(inter-image)，在编码期间使用其作为参考图像。
步骤2的作用是从数据流中删除视频分组，并计算相应的图像。根据已经从中删除了与一个或多个视频分组相对应的宏块的局部解码图像，获得被称为退化的局部解码图像的该图像。该步骤2计算退化的局部解码图像、以及要传送的已编码数据。这些数据与确认信号相关。如果未确认视频信号的删除，则这涉及到从步骤1中接收到的二进制序列，或者如果确认了该删除，则这涉及到缩减的二进制序列。
然后，在下一个步骤3中，利用差错掩蔽算法对退化的局部解码图像进行处理，以获得校正后的退化的局部解码图像，该图像是根据退化的图像和差错掩蔽算法重构的图像。此类算法的目的是计算作为丢失或错误数据替代的数据，例如，在传输期间，按照这样的方式，限制了图像的退化。如果其调用图像间时间校正，则该步骤还存储该图像或多个先前图像，作为掩蔽算法的函数。
下一个步骤4是确认二进制序列的缩减的步骤。在第一输入端上，其接收校正后的局部退化的解码图像，在第二输入端上，其接收从编码步骤1中发起的局部解码图像，最后，在第三输入端上，其接收源序列的源图像。从该步骤中输出的图像取决于确认的结果。如果确认了二进制序列的缩减，则在步骤1中，作为下一个图像的编码的参考图像而采用的图像是校正后的局部解码图像。在未确认的情况下，将在步骤1中计算得到的局部解码图像，作为参考图像。将确认信号传送到步骤2，以便选择要传送的编码数据。在确认的情况下，所得到的二进制序列是缩减的二进制序列(即，去除了刚好已确认了其删除的视频分组)。在未确认的情况下，未去除视频分组，并且完整地保留该二进制序列。
针对要编码的视频序列的每一个图像，在步骤1中首先进行“完整”的编码。该编码提供了由完全地描述了该图像的视频分组构成的二进制数据序列。例如，在采用MPEG-4视频标准的情况下，分组No 1描述了宏块1到N1，分组No 2描述了宏块N1+1到N2，分组No 3描述了宏块N2+1到N3，等等。可以根据这些视频分组对图像的所有宏块进行重构。图2示出了将该图像切割为4个视频分组。
缩减二进制序列的步骤2的目的在于缩减从编码中产生的二进制数据的量，即，增加数据压缩或减少编码成本。步骤2在于从二进制数据流中去除一个或多个视频分组。用于选择要去除的视频分组的标准主要取决于所采用的差错掩蔽策略。按照通常的方式，提供了最大有效性的差错掩蔽算法必须利用时间掩蔽，所述时间掩蔽在于在运动方面上，在先前的图像中搜索丢失的信息。因此，该步骤利用低预测残余，优先选择必须按照INTER模式对其数据进行编码的视频分组。再次采用图2中的实例，图3示出了去除在已解码的图像上的视频分组的结果。黑色区域对应于丢失的数据。根据接收到的、已经从中删除了与一个或多个分组相对应的块的退化的局部解码图像，构造退化的局部解码图像。
下一个步骤3实现了差错掩蔽算法。已经从二进制序列中去除的视频分组将在解码器处产生事实上与其中不再存在要解码的任何信息的图像区域相对应的差错。因此，解码器将使用差错掩蔽算法来填充这些空白区域。所提出的方法在于在解码器级，将相同的算法应用于与预先去除的视频分组相对应的区域。图4示出了在汽车实例中的掩蔽效果。如果掩蔽重构了丢失的信号，其决不会这样来处理差错。例如，该窗口的尺寸示出了掩蔽不是非常好。
步骤4具有确认所进行的二进制序列缩减的目的。这涉及对下列的确认相对于从完整编码中获得的图像，随后是产生的差错的掩蔽的一个或多个视频分组的去除不会引起所得到的图像的太显著的退化。因此，该处理在于利用源图像作为参考，将配有局部解码或重构图像的、从完整编码中所获得的图像质量与配有校正后的退化局部解码或校正后的图像的、从缩减二进制序列和从差错掩蔽中获得的图像的质量进行比较。按照传统的方式，质量的测量可以是信噪比或PSNR(表示峰值信号与噪声比值的首字母缩写词)。
例如，确定测试为如果PSNR(校正后的图像)≥PSNR(重构图像)-λ，则确认缩减，并从二进制序列中实际去除所选择的视频分组。
λ是可以取决于源图像的阈值。例如，其是与所去除的分组相对应的区域的复杂度的函数，并且表示图像退化中的容差。
图像I的PSNR由以下关系来定义PSNR=-10(Σi,j=l,li,j=l,c(I(i,j)-Isrc(i,j))2)lLc]]>其中，i，j是图像I中的像素的坐标，l和c对应于在图像I中的像素的行和列的数量，I(i，j)对应于在图像I中具有坐标(i，j)的像素的亮度值，而Isrc(i，j)对应于在源图像中具有坐标(i，j)的像素的亮度值。
该确定还可以包括时间相干性测量，目的在于限制时间波动并避免可能会对所得到图像的质量产生增加的恶化的、对多个连续图像中的相同的宏块集合的去除。
根据所采用的确定，重构图像或校正后的图像将充当在时间预测编码的情况下，用于对后续的视频序列的图像进行编码的参考图像。因此，避免了在时间预测期间在解码器级处的漂移。使用与编码器相同的差错掩蔽策略的解码器将配备有与编码器相同的参考图像。
本发明的一个变体在于现在不确定是否去除视频分组，而是根据作为在校正后的图像中所产生的差错的函数，确定哪些分组是那些想要从二进制流中去除的分组。从数据流中去除第一分组，并且进行对相应的校正后的退化的局部解码图像的质量测试。作为第一分组的替代，去除第二分组，并进行新的测试。针对与图像有关的所有分组，反复这样做。在第二遍期间，实际上，从数据流中去除了针对其校正后的退化的局部解码图像具有最佳质量的分组。
还可以对校正后的退化的局部解码图像的质量进行相同的测试，以通过在连续地去除一个、两个、三个分组等之后，计算校正后的退化的局部解码图像，确定图像中能够去除的分组数量，直到该图像的质量不再适当为止。针对测试，选择分组的次序可以取决于在每个分组的单一去除期间所获得的校正后的退化图像的质量，如先前所示出的那样。
在图1中，由连接步骤4与步骤2的虚线来表示这些变化。在从二进制流中每一次去除分组之后，进行确认，即，质量测试。
另一变体在于在编码器的传统确定算法、步骤1中并入数据去除的选择和差错掩蔽策略。与先前的解决方案的主要差别在于将数据去除的选择包括在编码模块中。该方法在于将被称为“宏块掩蔽”模式的编码模式添加到诸如帧内、前向预测、后向预测模式等传统编码模式中。因此，除了所提出的所有其他模式之外，需要针对每一个宏块计算其在掩蔽之后的表示，这将在解码器通过实现差错掩蔽算法来实现。该掩蔽算法能够获得新的宏块。根据该新宏块，例如，根据PSNR，来计算质量标准。确定标准包括两项，一项涉及对于该“宏块掩蔽”模式为零的编码成本，而另一项涉及作为质量标准的编码质量。对这两个项目进行评估以确定编码的选择。由于稍后在编码中所使用的预测图像考虑了该新模式，因此，这里还避免了漂移的现象。
确定宏块掩蔽的编码模式可能会受到附加限制可以按照该模式对分组的宏块的整个集合或最小百分率的分组的宏块进行编码。然后，针对分组的宏块的整个集合，根据该宏块掩蔽的编码，进行分组的宏块的整个集合进行第一遍的确定。
本发明的应用尤其涉及用于传输或存储分组类图像的数据的压缩。
权利要求
1.一种用于压缩视频数据的方法，其中通过实现差错掩蔽算法来对压缩数据进行解码，包括对提供按照分组排列的数据的二进制序列的视频数据进行编码的步骤(1)，其特征在于所述方法还包括-缩减二进制序列的步骤(2)，所述步骤在于从所述二进制序列中删除一个或多个视频分组，以便提供缩减的二进制序列；-对缩减的二进制序列实现差错掩蔽算法的步骤(3)，从而计算校正后的退化的局部解码图像，所述校正后的退化的局部解码图像是根据缩减的二进制序列和掩蔽算法重构的图像；-确认步骤(4)，用于依据作为校正后的退化的局部解码图像的质量的函数，确认或不确认二进制序列的缩减；-根据是否存在确认，选择缩减的二进制序列或所述二进制序列的步骤(2)。
2.根据权利要求1所述的方法，其特征在于使用基于被称为参考图像的先前图像的时间预测，所述方法包括存储校正后的退化的局部解码图像的步骤(4)，从而在对下一个图像的编码(1)期间，利用所述校正后的退化的局部解码图像作为参考图像(5)。
3.根据权利要求1所述的方法，其特征在于用于压缩数据的掩蔽算法与用于解码所压缩的数据的算法相同。
4.根据权利要求1所述的方法，其特征在于根据与源图像相关的该图像的信号噪声比或PSNR，计算所述图像的质量。
5.根据权利要求1所述的方法，其特征在于在确认步骤(4)期间，将校正后的退化的局部解码图像的质量与所述局部解码图像的质量进行比较。
6.根据权利要求1所述的方法，其特征在于依据作为根据缩减的二进制序列所获得的校正后的局部解码图像的质量(4)的函数，进行对从数据流中要去除的分组的选择(2)。
7.根据权利要求1所述的方法，其特征在于由缩减步骤(3)、确认步骤(4)和选择步骤(4)的逐分组地、或逐分组的组地顺序迭代，实现与图像有关的二进制序列数据的选择，对在先前迭代中所选择的二进制序列进行二进制序列(3)的缩减及其确认(4)。
8.根据权利要求1所述的方法，其特征在于所述方法实现了MPEG类编码。
9.一种视频数据编码器，其中通过使用差错掩蔽算法对编码数据进行解码，所述编码器包括对用于提供按照分组排列的数据的二进制序列的视频数据进行编码的电路(1)，其特征在于所述视频数据编码器还包括-缩减二进制序列的电路(2)，执行一个或多个视频分组的删除；-对缩减的二进制序列实现差错掩蔽算法的电路(3)，从而计算校正后的退化的局部解码图像，所述校正后的退化的局部解码图像是根据缩减的二进制序列重构的图像；-确认电路(4)，用于依据作为校正后的退化的局部解码图像的质量的函数，确认二进制序列的缩减；-根据是否存在确认，选择缩减的二进制序列或所述二进制序列的电路(2)。
10.一种编码/解码系统，包括根据权利要求9所述的编码器和解码器，其特征在于所述编码器实现了与由解码器所使用的算法相同的差错掩蔽算法。
全文摘要
一种压缩视频分组编码后的视频数据的方法和设备，其特征在于所述方法包括缩减二进制序列的步骤(2)，所述步骤在于从所述二进制序列中删除一个或多个视频分组，以便提供缩减的二进制序列；对缩减的二进制序列实现差错掩蔽算法的步骤(3)，从而计算校正后的退化的局部解码图像，所述校正后的退化的局部解码图像是根据缩减的二进制序列和掩蔽算法重构的图像；确认步骤(4)，用于作为校正后的退化的局部解码图像的质量的函数，确认或不确认二进制序列的缩减；根据是否存在确认，选择缩减的二进制序列或所述二进制序列的步骤(2)。
文档编号H04N7/64GK1606881SQ02825536
公开日2005年4月13日 申请日期2002年12月17日 优先权日2001年12月19日
发明者爱德华·弗朗索瓦, 多米尼克·托罗, 让·基普雷奥斯, 菲利普·吉约泰尔, 菲利普·博尔德 申请人:汤姆森许可贸易公司