基于错误隐蔽的编码数字图像的方法

专利名称：基于错误隐蔽的编码数字图像的方法
技术领域：
本发明涉及编码一个数字图像的一种方法，该数字图像在一个二进制数据流中包括宏数据块，该方法包括一个估计步骤，用于宏数据块，经一个错误隐蔽方法重新构建它的容量，一个判定步骤，用于从编码中除去宏数据块，基于被重新构建的该宏数据块进行从编码中除去一个宏数据块的一个判定。
背景技术：
根据由W.Zeng和B.Liu在用于视频技术的电路和系统的IEEE学报上的文章“Geometric-Structure-Based Error Concealment with Novel Application inBlock-Based Low-Bit-Rate Coding”，Vol.9，No.4，1999年6月，这种类型的编码方法是熟知的。该文章描述了排除属于宏数据块的数据块的方法，数据块组合，所述宏数据块能够被相互编码或内部编码。该文章建议用视频编码标准协调这种数据块排除，而且，在第一种解决方式中，通过用常数块，例如黑块，代替未编码的块，然后由接收机检测，或者，在第二种解决方式中，当一个宏数据块中的所有数据块被除去时，通过修改字符，该字符定义一个宏数据块内哪个数据块被编码，该修改与宏数据块的地址字的修改同时发生。分配确定数量的比特以便在相互编码的宏数据块中传递排除的数据块的地址。
本发明与下列考虑有关MPEG-4标准定义了一种编码语法和建议了确定数量的工具来用于管理传输错误。这些用于管理传输错误的工具受到某种约束。在这些工具当中，MPEG-4标准建议用于再同步二进制数据流的工具周期地把再同步标记插入数据流中。由接收机使用这些标记，整个解码过程中由于它们的存在，接收机被重新同步。当在数据流中出现错误时，接收机不能读出更多的数据直到它检测到一个随后的再同步标记。由标记以及在该标记和随后标记之间的数据所形成的组被称为一个视频数据分组。再同步标记被包括在视频数据分组的一个首标单元中。首标单元还包含视频数据分组的第一宏数据块的数，以允许空间再同步，和允许接收机继续解码的参数。随后的宏数据块的数不出现在数据流中。MPEG-4标准所定义的再同步可以如点再同步这样被限制，因为它的存在只用于一个流中的确定数据项，数据流的其余部分被动地翻译。按照前述引用文章中所建议的第二种解决方式，在此情况下当然不可能改变宏数据块的地址或表明没被编码的数据块。如果宏数据块已经被排除，所有的宏数据块被这样解码和被顺序的放置，导致图像元素的图形数据的“迟滞“误差。引用文章中建议的第一种解决方式包括由解码器检测常数块二取代除去的数据块。在MPEG-4语法中没有作出这种检测的规定，并且在多数接收机上将引起图形错误。

发明内容
本发明的一个目的是建议一种编码方法，包括除去具有确定容量的宏数据块以便根据与编码标准兼容的编码重新构建，该编码标准包括点再同步装置。
实际上，按照本发明，前言段落中所述的一种编码方法的特征在于，它还包括在排除一个或多个宏数据块之后，把一个再同步标记插入二进制数据流的一个步骤。
再同步标记代表数据流中确定的比特数(至少在17和23比特之间)。本发明的另一个目的是通过排除宏数据块减少与数字图像的传输相关的二进制数据流。按照本发明给出的事实，排除一个，或更普遍的排除几个宏数据块导致插入代表确定比特数的一个再同步标记，这种宏数据块的排除对于减少二进制数据流的大小可以是无关紧要的。
在一个特别优选的实施例中，编码方法的特征在于判定步骤包括一个子步骤，评估通过一个宏数据块的排除所引起的二进制数据流的减少，随着根据所述排除引起的二进制数据流的减少的一个函数作出排除宏数据块的判定。
本发明可以在一个编码器中被实现，例如一个视频编码器。此外，本发明还涉及诸如通过按照本发明的方法所产生的一种数据流。因此，本发明还涉及一种解码方法和一种解码器，允许正确地解码诸如通过按照本发明的方法产生的一个数据流。最后，本发明涉及一个计算机程序，用于实现按照本发明方法的各种步骤。
附图简述结合参考下述的实施例，通过对非限制示例的阐述，本发明的这些和其他方面将更易理解。
在附图中

图1是表示一个数字图像的编码方法的各种步骤的一个功能图，该数字图像包括在一个二进制数据流中的宏数据块。
图2显示在一个流上按照本发明的方法的效果，该数据流包括一个数字图像的编码的数据，该数字图像包括宏数据块。
图3是按照本发明的一个视频编码器的示意图。
图4是按照本发明的一个视频解码器的示意图。
发明的
具体实施例方式
图1是表示按照本发明的编码一个数字图像方法的各种步骤的一个功能图，该数字图像包含在一个二进制数据流中的宏数据块MB。在该示例的实施例中，按照本发明的方法尤其涉及在宏数据块MB上执行编码的部分，该宏数据块MB已经以一组量化系数QC(MB)和位移向量MV(MB)的形式被转换。这些量化系数QC(MB)和这些位移矢量MV(MB)被插在该实施例中方法的开头上。第一估计步骤EST估计宏数据块的一个容量CAP(MB)以便通过一个错误隐蔽方法重新构建。该容量的估计可以包括各种准则。
这些准则相应于解码器中可用的错误隐蔽装置。因而，两种主要类型的错误隐蔽装置是可能的空间错误隐蔽和时间错误隐蔽。特别的是，通过一个错误隐蔽方法重新构建趋于表明确定容量的均匀区域和均匀运动的区域。
例如，第一组准则涉及均匀区域并因此执行空间错误隐蔽宏数据块顺序中相邻的重复的类似宏数据块，或者处理数据的设施，通过它近邻的空间内插法可以重新组建一个宏数据块。这两个准则可以是实用的且便于评估，例如，通过计算被考虑排除的宏数据块和是相邻的或从邻近宏数据块空间内插入的一个或多个宏数据块之间的差，执行该计算作为估计步骤EST的一部分。
另一组准则与均匀运动的区域相关并执行时间错误隐蔽。例如，属于均匀运动区域的宏数据块能因此而被排除，同时相邻宏数据块的位移矢量可被用于内插除外的宏数据块。通过计算相邻宏数据块的位移矢量之间和从一个图像到下一个图像宏数据块的剩余信号的量化系数之间的差，该准则可被评估。
因此，通过现有技术已知的完全不同的装置可以估算容量CAP(MB)。来自估计步骤EST的容量CAP(MB)可以是二进制形式或可以是数值被确定的一个数，例如，通过考虑用于除去的宏数据块与一个内插入宏数据块不同的程度。
因此，按照本发明的方法包括针对从编码中除去宏数据块的一个判定步骤DEC。基于被重新组建的宏数据块的容量CAP(MB)来作出该判定。如果容量CAP(MB)是二进制的，被除去的宏数据块为一确定的比特值，如果容量CAP(MB)是一个数字，宏数据块被排除，例如，对于容量值超过一预定的阈值。该预定的阈值可以是固定的或被改变的，取决于用于传输的可用资源，这将在下面进行描述。这些有关容量CAP(MB)的条件在下面的描述中定义“良好的”重组容量。
在本发明一个特别优选的实施例中，判定步骤包括一个子步骤，其中二进制数据流尺寸的减少决定着被评估的排除的宏数据块，判定是否排除宏数据块是基于这种排除法二进制数据流的减少的一个准则。通过这样的事实该步骤是合理的，即插入再同步标记必然需要插入一个完整的首标元素，它代表数据流中确定的比特数(至少在17和23比特之间)。本发明的另一个目的是通过除去宏数据块减少与传输图像有关的二进制数据流的大小。按照本发明给出的事实，排除一个，或更普遍的排除几个宏数据块导致插入代表确定比特数的一个完整的首标元素，所述宏数据块的排除对于减少二进制数据流的大小不能起到任何作用。通过除去宏数据块影响减少二进制数据流的评估，因而提供一种实际的目的。在该步骤EVAL中，通过排除确定数量的宏数据块所节省的比特数被评估，接着该数被比较，例如在判定步骤DEC中，与由插入一个首标元素所表示的比特数相比较。当通过从编码的宏数据块中的排出所引起的二进制数据流的减少不是零时，作出排除的判定。
按照本发明的方法最好包括一个二进制数据流的一个输出速率的计算步骤CAL，基于该二进制数据流的输出速率作出排除宏数据块的判定。结合运送二进制数据流的编码的宏数据块的传输装置执行该计算步骤CAL。
此外，所述的步骤CAL，EST和EVAL可以被组合例如，计算步骤CAL的结果可以影响确定“良好的”重组宏数据块容量的阈值，所述阈值严格地随着可用流的变大而增大。因而可以考虑这样一个步骤，即组合评估步骤EVAL和那些计算步骤CAL的结果来用于确定用于容量CAP(MB)的一个阈值，除了这样的情况，在判定步骤DEC中不包括具有一容量CAP(MB)的宏数据块高于该阈值。
取决于判定步骤DEC的结果，宏数据块在步骤BC(情况N)被插入视频数据分组中或者在步骤EXC(情况Y)从编码中被除去。在步骤BC中，比特被计数以便当视频数据分组是足够的尺寸时，在步骤MARK中触发插入一个再同步标记。在每个步骤EXC之后，一个再同步标记在步骤MARK中被插入二进制数据流中。这里，术语“再同步标记”必须被解释，通常包括，例如在MPEG-4标准中，诸如常规的标记RESYNC，VOPStart(一个视频对象的一个时间情况(计划)的开始)，GOVStart(一个视频对象一组时间情况的开始)，EOS(视频对话期的结束)。因而，在该方法的最后，获得一个二进制数据流BIN。
应该注意的是，构造视频数据分组的方法可以任意地使用数据划分，并且通过使用或不使用或者没有数据划分通常不会影响本发明。
应该注意的是，MPEG-4标准已经建议在一个视频对象中不编码确定的宏数据块，或者更为通常的，在一个视频图像中，通过出现一个“未编码的”标志来表示没有编码。由解码器解释出现的这种标志，使用位于在一种前述情况的视频对象的相同位置中的宏数据块代替未编码的宏数据块。通常，直接使用所述的前述的情况。作为结果，该标志只能用于P编码的图像，因为前述的实例是可用的和在B编码的图像中隐含回波。因而插入一个标志的这种特性只对具有一个位移矢量接近于零的区域有用，和对于从一个图像或实例到下一个组织结构没有重大改变。按照本发明的从编码中除去宏数据块的方法不必插入任何特殊标志，并因而从编码中除去宏数据块能够用于所有方式的I，P或B编码。
图2示例了按照本发明在一个二进制数据流上的效果，该二进制数据流包括一个数字图像编码的数据或包括宏数据块的一个视频对象。图2a表示具有包括一个再同步标记MA的一个首标元素的一个视频数据分组VP。标记的周期性可以基于宏数据块的数量，或者最好是基于比特数。后者的解决方式最好由MPEG-4标准选择，使标记在整个数据流上均匀分布。在所有情况下，一个再同步标记和紧跟着的直到下一个再同步标记的数据定义一个视频数据分组。当标记的周期性是基于比特数时，通过按照这样的机理确定这些视频数据分组的长度，如果在当前视频分组中的比特数超过一个阈值，通过插入一个再同步标记在随后宏数据块的开始上生成一个新的视频数据分组。
在MPEG-4标准中，在接收机中重新开始解码程序所需的信息，以及视频分组的第一宏数据块MB(n)的数n和用于解码该第一宏数据块所需的量化参数被包括在一个首标元素中，首标元素还包含再同步标记。第一宏数据块的数n允许被执行的空间再同步，而且量化参数允许被再同步的微分解码过程。随后的宏数据块的数不被表示。
在图2b中，被重组的具有合适容量的宏数据块由斜阴影线所表示。它们是j宏数据块MBn+i+1到MBn+i+j。当这些宏数据块被插入前面所述的方法和图1中时，通过去除判定EXC中断视频数据分组的构造，如图2c的示意图所示。这里，略图示例了没有数据划分的情况，其中宏数据块以简单的串流方式一个跟着一个。数据划分不会抵触本发明的原理。由此引起的二进制数据流的情况如图2d所示。一个再同步标记MA和相关的首标元素在该点上已经被插入数据流中，该点应该是任意一个第一个除去的宏数据块，和在宏数据块MBn+i+j+1之前。这里，按照图2，通过插入再同步标记MA和相关的首标元素所引起的二进制数据流尺寸的减少不是零表示去除的宏数据块MBn+i+1到MBn+i+j的块大于插入的首标元素。如果在该方法中包括一个评估步骤EVAL，这种去除宏数据块是有效的；如果存在一个评估步骤EVAL并且如果代表宏数据块的方块已经小于包括首标元素的方块的话，这种去除将不发生。
由于二进制数据流包括具有宏数据块的一个数字图像的编码的数据，所述二进制数据流是这样的，即宏数据块MBn+i+1到MBn+i+j在二进制数据流中的至少一个点上不被编码，并且由于通过一个错误隐蔽方法能够重新组建该未编码的宏数据块，则按照本发明所述二进制数据流的特性在于，在二进制数据流的定位上，一个再同步标记MA存在于二进制数据流中，在该位置上宏数据块不被编码。
图3是按照本发明的一个视频编码器的一个示意图。图3所示的视频编码器以宏数据块MB的形式接收图形数据(图像)。这些图形图像被转换成第一编码级ENC部分，其中包含在宏数据块中的信息被编码成量化系数QC(MB)和位移矢量MV(MB)，通过一系列运算，比如加法ADD，减法SUB，变换DCTQ和IDCTQ，以及运动估算和补偿MCE。一个存储器MEM能够使这些运算的某一运算被执行并用来存储数据(例如图象数据)。宏数据块可以被相互编码或内部编码。量化系数QC(MB)和位移矢量MV(MB)被发送，一方面发送到一个可变长度编码器VLC，另一方面发送到一个估计模块EST。如图3所示，估计模块EST最好耦合到第一编码级ENC的存储器MEM。在编码器VLC中，量化系数QC(MB)和位移矢量MV(MB)被转换到用于后面格式化的第一形式。经一个错误隐蔽方法被重组的宏数据块的容量在估计模块EST中被估算。容量值接着被发送到与一个中断器INT相连接的一个判定模块DEC，中断器INT属于一个格式器FRMT，它格式化以编码器VLC的输出格式所接收到的数据。取决于容量值CAP(MB)，和最好取决于针对二进制数据流尺寸的减少的评估步骤的结果和针对于二进制数据流数输出率的一个计算步骤的结果，判断模块DEC在两个编码路径之间转换中断器INT。当判断模块DEC转换中断器到位置1，视频数据分组以常规方式被构造，通过在一个模块BC中计数比特和宏数据块。然后当视频数据分组达到要求的尺寸时，通过一个标记模块MARK实现插入包括一个再同步标记的一个首标元素。当判定模块DEC转换中断器到位置2时，判定模块已经决定除去的宏数据块由一个完成除去步骤EXC的模块从编码中被除去。在每个排除步骤EXC之后，通过模块MARK把包括一个再同步标记的一个首标元素插入二进制数据流中。因而从格式器FRMT获得相应于图2a和2d所述的那些视频分组VP。
在该编码器中各种模块的安排相应于具体的实施例，而并不意在排除本技术领域显而易见的其他的实施例。
图4是按照本发明的一个视频解码器的一个示意图。解码器接收编码的二进制数据流，例如以图2所示的视频分组VP的形式，经过一个传输信道(未示出)。作为响应它提供一列解码的宏数据块MB。解码器包括一个去格式器DFRMT，一个可变长度字符解码器VLD，一个解码级CDEC。解码级CDEC包括一个逆变换IDCTQ，一个运动补偿器MC和一个存储器MEM。去格式器DFRMT包括一个检测模块DET，为了在二进制数据流中的至少一个点上检测未编码的宏数据块的目的。检测模块DET被耦合到一个错误隐蔽模块EC，它被指定特别用于在检测步骤DET中已经被检测到的未编码的宏数据块。激活的错误隐蔽模块从而重新组建宏数据块。
按照本发明的解码器特征在于，未编码的宏数据块的检测模块DET包括一个检测子模块，这是为了检测再同步标记之间不规则区间的目的。因而，子步骤在宏数据块正好没被编码的点上使用再同步标记的检测来检测未编码的宏数据块。在本发明的一个实施例中，涉及通过计数宏数据块来形成视频数据分组以便达到所需的尺寸，按照本发明的解码器计数在前述视频分组中存在的宏数据块，在每个再同步标记上开始进行，并使用刚好接收到的视频分组的第一宏数据块的数和开始进行的视频分组的第一宏数据块的数，它推导没有被编码的相同的宏数据块，从而在没有被编码的宏数据块的那点上检测一个再同步标记的插入。此外，检测模块DET还可以用于检测，例如，在二进制数据流中的错误，所述错误通过耦合到所述检测模块DET的错误隐蔽模块被隐蔽。按照对应于图像或视频对象数据分组的顺序，重组的宏数据块被插入到去格式器DFRMT的输出数据中。然而，基于有效的重组的数据，这种插入的重组数据可以在解码方法中的几个点或步骤上被实现。
因此，在此介绍的解码器实现了一种解码一个二进制数据流的方法，该二进制数据流包括具有宏数据块的一个数字图像的编码的数据，包括一个检测在二进制数据流的至少一个点上没有被编码的宏数据块的步骤，一个主要的被激活的错误隐蔽步骤，用于在检测步骤DET中未编码的宏数据块，特征在于检测未编码的宏数据块的步骤包括一个检测子步骤，用于检测再同步标记之间不规则区间。
在此所述的解码方法可应用于标准MPEG-4，H26L和其他的。
在图4示例的一个优选实施例中，错误隐蔽模块EC包括用于初次重组的第一装置PEC，也就是说，例如，错误的时间重组，装置SCT用于评价第一重组，判定是否修改(情况2)错误重组或判定第一重组是否有效，第二装置SEC用于次级重组，也就是说，例如，空间重组，基于错误重组的修改，当评价步骤决定时它被激活。例如，通过空间错误隐蔽属于一个内部编码的图像(I为内部编码的)的一个未编码的宏数据块将被较好地校正，反之，通过空间或时间错误隐蔽，属于一个外部编码的图像(P或B为相互编码的)一个未编码的宏数据块将被较好地校正。在此介绍的优选实施例因而允许获得最佳的重组结构，通过尝试和测试各种类型的错误隐蔽。本领域精通的技术人员因而可以在不超出本发明的范围下，根据各种复杂的组合形式，通过评估重组的质量的测试(空间连续测试)，使用各种装置来用于重组。
对于本领普通技术人员来说，通过使用可获得的软件和/或硬件，有许多方式可以实现按照本发明所公开的方法步骤的功能，。为此，附图是以特性所示意的。因此，尽管通过各种方框完成了附图示例的各种功能，但这并不是说一个单一的软件和/或硬件单元就不能完成几个功能。这不排除允许完成一个单一功能的软件和/或硬件装置的一种组合。
在不超出后面权利要求中定义的意图和范围的情况下，本领域技术人员可以实现许多修改。
权利要求
1.一种编码数字图像的方法，该数字图像包括在一个二进制数据流中的宏数据块，该方法包括一个估计步骤，用于经一个错误隐蔽方法被重新组建宏数据块的一个容量，一个判定步骤，用于从编码中被除去的宏数据块，基于被重组的该宏数据块的容量作出从编码中除去一个宏数据块的一个判定，特征在于还包括一个步骤，在除去一个或多个宏数据块之后，把一个再同步标记插入二进制数据流中。
2.如权利要求1中的编码方法，特征在于判定步骤包括一个子步骤，评估通过除去宏数据块所引起的二进制数据流的减少，随着根据该除去引起的二进制数据流的减少的一个函数作出除去宏数据块的判定。
3.如权利要求1和2之一的编码方法，特征在于它包括一个二进制数据流输出率的一个计算步骤，基于该二进制数据流的输出率作出除去宏数据块的判定。
4.一种用于编码数字图像的编码器，该数字图像包括在一个二进制数据流中的宏数据块，包括一个估计模块，用于估计通过一个错误隐蔽方法被重新组建的宏数据块的一个容量，一个判定模块，意在判定编码宏数据块的一个排除，基于被重组的所述宏数据块的容量作出除去一个宏数据块的一个判定，特征在于还包括一个模块，在除去一个或多个宏数据块之后，把一个再同步标记插入二进制数据流中。
5.如权利要求3中的编码方法，特征在于它包括一个或多个模块，用于完成权利要求2和3之一的特征步骤。
6.一种包含数字图像的编码的数据的二进制数据流，该数字图像包括宏数据块，所述二进制数据流是这样的，即宏数据块在二进制数据流中的至少一个位置上不被编码，通过一个错误隐蔽方法重新组建具有一个容量的所述未编码的宏数据块，特征在于，在二进制数据流的该点上，一个再同步标记存在于二进制数据流中，在该点上宏数据块不被编码。
7.一种解码包含一个数字图像的编码数据的一个二进制数据流的方法，该数字图像包括宏数据块，所述二进制数据流在规则区间上包含再同步标记，包括一个检测步骤，用于二进制数据流至少一个位置上的未编码的宏数据块，特别被激活的一个错误隐蔽步骤，用于在检测步骤中被检测到的未编码的宏数据块，特征在于检测未编码的宏数据块的步骤包括一个检测子步骤，用于检测再同步标记之间的不规则区间。
8.一种解码包含一个数字图像的编码数据的一个二进制数据流的解码器，该数字图像包括宏数据块，包括一个检测模块，用于二进制数据流至少一个位置上的未编码的宏数据块，意在特别被激活的一个错误隐蔽模块，用于由检测模块检测到的未编码的宏数据块，特征在于用于检测未编码的宏数据块的检测模块包括一个检测子模块，用于检测再同步标记之间的不规则区间。
9.一种用于一个编码器的计算机程序产品，包括一系列功能和功能存取的一个集合资源，特征在于，计算机程序产品包括一组指令，当装入这样一个编码器时，编码器运行权利要求1至3之一所要求的方法。
10.一种用于一个解码器的计算机程序产品，包括一系列功能和功能存取的一个集合资源，特征在于，计算机程序产品包括一组指令，当装入这样一个解码器时，解码器运行权利要求7所要求的方法。
全文摘要
本发明涉及一种编码数字图像的方法,该数字图像在一个二进制数据流中包括宏数据块,包括一个估计步骤,用于通过一个错误隐蔽方法被重新组建宏数据块的一个容量,一个判定步骤,用于从编码中被除去的宏数据块,基于被重组的该宏数据块的容量作出从编码中除去一个宏数据块的一个判定,和一个步骤,在除去一个或多个宏数据块之后,把一个再同步标记插入二进制数据流中。本发明能够使宏数据块从编码中被除去,从而对于需要数据流再同步处理过程的编码标准来说,减少了所需的传输资源。应用:根据标准MPEG－4,H26L……的编码器和解码器。
文档编号H04N7/26GK1374624SQ0210541
公开日2002年10月16日 申请日期2002年3月2日 优先权日2001年3月6日
发明者S·E·瓦伦特, C·杜福尔 申请人:皇家菲利浦电子有限公司