专利名称：用于帧间编码序列的差错消隐技术的制作方法
技术领域：
本发明涉及一种对编码图像中的差错进行消隐的技术。
背景技术：
在许多例子中，视频流经过压缩(编码)以便于存储和传输。目前存在多种编码方案，包括诸如被提议的ISO/ITU H.2.64编码技术这样的基于块的方案。这种编码视频流常常因为信道差错和/或网络拥塞而在传输期间发生数据丢失或变得损坏。在解码时，数据的丢失/损坏自我表示为产生图像伪像(artifact)的缺失/损坏像素值。要减少这类伪像，解码器将通过根据同一图像的其他宏块(macroblock)或根据其他图像来估值，以“消隐”这类缺失/损坏像素值。短语“差错消隐”(error concealment)有点用词不当，因为解码器实际上未将缺失/损坏像素值隐藏。
空间消隐依靠空间域中临近区域间的相似性试图根据同一图像中其他区域的像素值来得到(估计)缺失/损坏像素值。时间消隐试图从具有时间冗余的其他图像得到缺失/损坏像素值。通常，差错消隐后的图像将接近原始图像。然而，利用差错消隐后的图像作为参考将传播差错。现代实时应用对差错消隐有两条硬性约束·时间约束(time constraint)，将消隐的计算限于一时间窗口，该时间窗口限定了差错检测与损坏帧的显示之间的间隔；以及·因果约束(causal constraint)，迫使基于先前所传输的信息对图像进行消隐，而不管与消隐潜在相关的位流中的输入信息。
两条约束都严重限制了消隐算法的性能并增加了差错传播。
差错传播的问题取决于将消隐后图像用于显示还是后续参考而不同。当消隐后的图像是可显示的图像且不被用作参考时，消隐的不精确决不损害其他帧间编码(inter-coded)图像的质量。然而，对结果的需求是实时的。当消隐后的图像被用作参考图像时，差错常常因为它们的时间暂留(time persistence)而传播并变得可见。然而，实时约束将不会限制与从消隐后图像得到参考图像相关的算法的复杂性。减少差错传播通常被称为容错问题。以编码效率和增加时延为代价，最普通的容错技术要求在传输流中包含冗余位并利用反馈信道来重发丢失或损坏的分组。
对于不支持时间和因果约束的应用，为了在解码器处校正传输差错，差错消隐算法变得必要。在这种环境下，差错传播将取决于对参考图像进行消隐的质量。迄今为止，防止差错传播需要避免使用先前所消隐的块作为参考。然而，取决于损坏图像将充当参考还是仅需用于显示，这种技术未解决差错传播的问题。
因此，需要一种提高差错消隐质量同时克服上述缺点的技术。
发明内容
简要的，根据本发明的优选实施例，提供了一种用于对编码图像中的差错进行消隐的方法。所述方法由首先识别所述编码图像是否具有差错开始。如果是的话，则利用用于显示的第一消隐技术对所述图像进行消隐。对被识别为具有差错的所述图像进行判定，以确定该图像是否将充当参考图像。如果是的话，则利用第二消隐技术对所述图像进行消隐。
图1图示了根据本发明的用于执行差错消隐的解码器的示意性框图；图2以流程图的形式图示了根据本发明的第一优选实施例的一种用于对可显示和被存储(参考)的图像进行消隐的方法的步骤；图3以流程图的形式图示了根据本发明的第二优选实施例的一种用于对可显示和被存储的图像进行消隐的方法的步骤；图4图示了一组图像，其说明了时间递归的消隐如何可以提高帧间预测的质量；以及图5以流程图的形式图示了根据本发明的第三优选实施例的一种用于对可显示和被存储的图像进行消隐的方法的步骤。
具体实施例方式
图1图示了用于对编码图像进行解码的解码装置10的示意性框图。解码装置10包括熵解码器11，熵解码器11产生解码后视频流，以输入到尺度和反变换(scaling and inverse transformation)块12。根据输入的编码视频流，熵解码器11产生一组运动向量、产生对帧间预测(inter-prediction)模式的指定，以及产生对一个或多个参考图像的选择，以输入到运动补偿块14，所述运动补偿块14利用存储在参考图像存储器16中的先前所存储的一个或多个参考图像来执行运动补偿。加法块18将由运动补偿块14产生的经运动补偿的图像与来自尺寸和逆变换块12的图像相加。去块(deblocking)过滤器20对由加法块18输出的图像进行去块，以产生用于显示的解码后图像。因为稍后可能被用作参考图像，所以由去块过滤器20输出的解码后图像也被存储在参考图像存储器16中。
被输入解码装置10的所有编码图像终究被显示，但是它们之中只有一些被用于参考。当由熵解码器11接收到的输入视频流是利用H.264压缩标准压缩的时，每个经编码图像的NAL头中的nal_ref_idc域将指示出图像是否将充当参考图像。熵解码器11将利用这种信息来决定具体图像是否将充当参考图像。如果nal_ref_idc等于零，则图像将不充当参考。如果nal_ref_idc不等于0，则图像可充当参考图像。
图2、3和5各自以流程图的形式图示了根据本发明的用于执行差错消隐的替代方法。如在下文中更详细描述的，图2、3和5中图示的差错消隐方法利用了一种用于显示图像的技术，以及一种用于那些被选择为参考图像的图像的不同技术。利用专用于显示图像的差错消隐技术提供了实时约束下的最佳视觉质量，而利用专用于参考图像的差错消隐技术允许更精确地恢复丢失的数据。因为所有编码图像都要被显示，所以对这种图像可以利用专用于显示的技术来进行消隐，而只有对那些被选择为参考图像的图像才利用专用于参考图像的技术来进行消隐。图2图示了根据本发明的第一消隐方法，其中通过第一技术对显示图像进行差错消隐，并且通过结合(例如链接(chaining))第一技术与第二消隐技术来对参考图像进行差错消隐。图2的消隐方法从执行初始化步骤(步骤100)开始，在该初始化步骤期间参数通过各种过程被初始化。接着，进行步骤102，在步骤102期间输入宏块被检查以检测差错是否以缺失或损坏像素值的形式存在。当找到包含差错的宏块时，在步骤104期间利用第一消隐技术进行差错消隐，以产生用于显示的消隐后图像106。在步骤108期间，然后确定在步骤104期间被消隐的宏块是否表示将充当参考图像的图像的一部分。如果是的话，则先前在步骤104期间被消隐的图像106在步骤109期间经由第二消隐技术进行进一步消隐，以产生为后续参考而被存储的消隐后图像。如果在步骤108期间执行的判定发现由输入宏块部分地表示的图像将不充当参考图像，则处理在步骤112期间结束。
图2中图示的消隐过程利用在步骤104期间进行消隐后得到的图像106作为在步骤109期间进行的消隐的输入。这样，步骤109期间执行的消隐被“链接到”步骤104期间执行的消隐。图2的方法提供了一种对消隐后图像106的实时显示的简单且快速的解决方案，所述消隐后图像106随后被进一步消隐以产生对所存储的参考图像的更好预测。
在步骤104和109期间执行的消隐技术的选择将取决于想要实现时间还是空间差错消隐。例如，对于时间差错消隐，在步骤104期间执行的差错消隐将通过在减少了的数目的运动向量中搜索最佳匹配来填入缺失/损坏区域，而在步骤109期间执行的消隐扩大了搜索区域或被测试的位移(displacement)的数目。对于空间差错消隐可以实现相似的方法。在这种环境下，在步骤104期间执行的差错消隐将仅测试被使用最多的帧内预测(intra-prediction)模式，而在步骤109期间执行的消隐对剩余的模式进行匹配以改善重构数据的质量。
图3图示了根据本发明的第二消隐方法，其中通过对显示图像和被存储(参考)的图像并行使用不同的差错消隐技术来对包含差错的宏块进行消隐。因为为了获得最佳主观视觉质量而执行的差错消隐技术不总是提供用于后来图像的帧间预测的最佳参考图像，因此利用两种不同的消隐策略有明显的好处。
图3的消隐方法从执行初始化步骤(步骤200)开始，在初始化步骤期间参数通过各种过程被初始化。接着，进行步骤202，在步骤202期间输入宏块被检查以检测差错。当找到包含差错的宏块时，在步骤204期间利用第一消隐技术进行差错消隐，以产生用于显示的消隐后图像206。在步骤208期间，然后确定同一输入宏块是否表示将充当参考图像的图像的一部分。如果是的话，则在步骤209期间利用第二消隐技术对输入宏块进行消隐，以产生为后续参考而被存储的差错消隐后的图像210。如果在步骤208期间执行的判定发现与输入宏块相关的图像将不充当参考图像，则处理在步骤212期间结束。
图3中图示的消隐过程并行利用不同的消隐技术。例如，在大缺失区域的情况下，通过消隐整幅图像同时丢弃正确接收到的宏块以避免变换处的可见伪像，显示图像将看起来感觉更好。然而，利用消隐后图像作为参考对帧间编码宏块进行的预测需要精确的数据重构，而在宏块边缘处创建的伪像不太重要或完全不重要。在这种环境下，利用专用于显示图像的消隐技术将提高显示质量，而利用专用于参考图像的消隐技术将减少帧间预测的差错传播。
虽然先前的示例说明了对显示和参考图像具有不同消隐策略的好处，但利用具有不同复杂性的消隐技术也有好处。至于对先前所传输数据的使用，实时约束和因果约束主要影响对可显示图像的消隐，而较少影响对所存储的用于参考的图像的消隐。注意当对所存储的用于参考的图像进行处理时，执行消隐的时间窗口扩展到当所存储的图像被用作参考时的时间，其通常长于用于显示的时间。
如在下文中更详细描述的，利用了后来传输图像的递归差错消隐可以提高先前所解码的图像的质量。要说明这种技术的优势，为了讨论目的而假定存在将带来如图4中图示的图像序列的差错，所述图像序列具有I1P2P3B4B5B6B7B8B9的解码顺序，而显示顺序是I1B5B4B6P2B8B7B9P3。如果在图像P2中发现损坏宏块，则在该图像的解码期间实时应用于这种宏块的差错消隐将需要依赖于来自图像I1的信息。然而，因为图像P2在显示中第五个出现而非第二个出现，所以差错消隐通过利用来自即将到来的图像(例如像P3这样的图像)的信息可以改善预测结果。如果在B帧上发现损坏块，则该技术只有当显示不紧接着解码后发生才会有用。
图5图示了一种消隐方法，该方法利用时间递归技术来提高先前利用图2或3的方法进行消隐的图像的质量。图5的方法从执行初始化步骤(步骤300)开始，在该初始化步骤期间参数通过各种过程被初始化。在步骤302期间，对包含在输入宏块304中的图像进行解码，从而产生经解码的图像308。在步骤310的执行期间，进行差错检测。当在步骤312期间发现差错时，在步骤312期间确定是否在当前图像中消隐该错误。如果是的话，则在步骤314期间进行差错消隐，产生消隐后图像316。如果不期望进行差错消隐，则进行步骤318并且判定是否要改善任何先前图像的差错消隐。如果是的话，则在步骤320期间利用先前所消隐的图像322作为消隐过程的输入来对该先前图像的差错消隐进行更新。在步骤320或步骤318之后，如果没有必要对任何先前图像的消隐进行改善，则过程在步骤324期间结束。注意可以随着时间递归地执行步骤318和320，以不断地改善差错消隐。
前面描述了一种通过利用用于显示和参考图像的不同消隐技术来改善帧间编码序列的质量的技术。
权利要求
1.一种用于在解码时对编码图像中的差错进行消隐的方法，包括以下步骤识别所述图像是否具有差错并且如果是的话，则利用用于显示的第一消隐技术对所述图像进行消隐；确定具有所述差错的图像是否将充当参考图像，并且如果是的话，则利用第二消隐技术对所述图像进行消隐。
2.根据权利要求1所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤增强了所述第一消隐技术所实现的消隐。
3.根据权利要求2所述的方法，其中，随着时间递归地执行所述第二消隐技术，以提高先前所解码的图像的质量。
4.根据权利要求1所述的方法，其中，随着时间递归地执行所述第二消隐技术，以提高先前所解码的图像的质量。
5.根据权利要求1所述的方法，其中，所述第一和第二消隐技术被并行执行。
6.根据权利要求1所述的方法，其中所述第一和第二消隐技术各自实现了时间消隐。
7.根据权利要求1所述的方法，其中所述第一和第二消隐技术各自实现了空间消隐。
8.根据权利要求6所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括在图像解码期间得到的一组减少了的运动向量中搜索最佳匹配的步骤。
9.根据权利要求8所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括扩大搜索区域以在一组增加了的运动向量中进行搜索的步骤。
10.根据权利要求7所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括只对在图像解码期间得到的一组使用最多的帧内预测模式进行测试的步骤。
11.根据权利要求11所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括对所有未经测试的帧内预测模式进行匹配的步骤。
12.一种对正被解码的编码图像中的差错进行消隐的方法，包括以下步骤识别所述图像是否具有差错并且如果是的话，确定具有差错的图像是否将充当参考图像，并且如果是的话，则利用专用于参考图像的技术对所述图像进行消隐，并且利用专用于显示图像的技术对不充当参考图像的图像进行消隐。
13.根据权利要求12所述的方法，其中所述第一和第二消隐技术各自实现了时间消隐。
14.根据权利要求12所述的方法，其中所述第一和第二消隐技术各自实现了空间消隐。
15.根据权利要求13所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括在图像解码期间得到的一组减少了的运动向量中搜索最佳匹配的步骤。
16.根据权利要求15所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括扩大搜索区域以在一组增加了的运动向量中进行搜索的步骤。
17.根据权利要求14所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括只对在图像解码期间指定的一组使用最多的帧内预测模式进行测试的步骤。
18.根据权利要求17所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括对所有未经测试的帧内预测模式进行匹配的步骤。
19.一种用于在图像解码期间对编码图像中的差错进行消隐的方法，包括以下步骤检测所述图像中是否存在差错，确定是否要基于检测到的差错来执行差错消隐，并且如果是的话，则利用第一消隐技术执行差错消隐；确定对所述图像的差错消隐是否可被改善，并且如果是的话，则利用至少一个先前所消隐的图像来更新对所述图像的差错消隐。
20.一种在解码时对编码图像中的差错进行消隐的方法，包括以下步骤识别所述图像是否具有差错并且如果是的话，则确定具有所述差错的图像是否将充当参考图像，并且如果是的话，则利用专用于参考图像的消隐技术对所述图像进行消隐。
全文摘要
本发明公开了一种对编码图像中的差错进行消隐的技术。对被显示的编码图像和被存储作为参考图像的编码图像使用不同的差错消隐技术，这提高了差错消隐的质量。为实时使用而优化的消隐技术将为被显示的图像提供最佳的视觉质量，而为恢复丢失数据而优化的消隐技术提高了所存储的参考图像的质量。
文档编号H04N7/68GK1993997SQ200480043710
公开日2007年7月4日 申请日期2004年7月29日 优先权日2004年7月29日
发明者克里斯蒂娜·古米拉, 吉尔·麦克唐纳·伯恩斯 申请人:汤姆逊许可证公司