专利名称：用于编码数字视频数据的方法和设备的制作方法
技术领域：
本发明通常涉及数字视频压缩的领域，例如，涉及ISO/MPEG系列的视频编码标准(MPEG-1，MPEG-2，MPEG-4)，并且涉及ITU-H.26X系列的视频建议(H.261，H.263与扩展，H.264)。
更确切地说，本发明涉及一种编码对应于原始图像序列并以由相继的图像(picture)组成的视频流的形式可利用的数字视频数据的方法，其中相继的图像或是INTRA图像或是INTER图像，其中INTRA图像被称作I图像，并且利用所谓的INTRA模式进行编码而无需参考任何过去的或者未来的图像，而INTER图像本身或是单向预测的图像或是双向预测的图像，其中单向预测的图像被称作P图像，并且参考过去的或者未来的是INTRA或INTER图像的参考图像进行编码，而双向预测的图像被称作B图像，并且参考一个或多个参考图像进行编码，所述INTRA图像自身或者包括设置于对应于景物变化的新的图像组开头的I图像，其中没有时间冗余度可利用，并且称作景物变化I图像，所述INTRA图像自身或者包括设置于其他位置中的I图像，其中一些时间冗余度是可利用的，并且被称作刷新图像。
本发明还涉及相应的编码设备。
背景技术：
在现代的数字视频编码系统中，使用二种主要的模式来压缩视频信号INTRA模式和INTER模式。在INTRA模式中，亮度和色度信道是经由变换编码利用单个图像的给定信道中像素的空间冗余度来编码的。利用在单独的图像之间的时间冗余度的INTER模式依赖于运动补偿技术，其通过从一个图像到另一个图像编码像素的运动，从一个(或多个)以前解码的图像中预测图像。
通常地，待编码的图像被划分为独立的块，每个块被分配一个或者若干运动矢量。图像的预测是按照运动矢量的组(亮度和色度信道共享相同的运动描述)通过位移参考图像中的像素块来构成的。最后，待编码的图像与其运动补偿的预测之间的差值(称作残留信号)通过变换编码类似地在INTRA模式中进行编码，以进一步细化解码的图像。
在MPEG术语中，例如，诸如S.R.Ely，Report BBC RD 1996/3的“MPEG video codinga basic tutorial introduction”的文献中所述，INTRA模式对应于I图像或者片段(slice)(片段是连续宏块的组)，而INTER模式对应于P和B图像或者片段。INTER模式的编码效率比INTRA模式的编码效率高得多，因为其利用了时间预测信号的大部分被包含在利用运动补偿形成的预测中，并且残留信号具有比原始信号小的能量。因为其编码仅仅依靠于其自己的空间冗余度，所以INTRA图像可以独立于任何其他的图像(对于INTER图像，不是这种情况)进行解码。尽管其较低的编码效率，INTRA图像因此被周期性地插入比特流中，以产生随机接入点，开始新的GOP(图像组)，或者擦除在编码器/解码器之间的漂移(由于信道损失或者编码器/解码器实施不匹配而引起的解码错误)。
在本专利申请中，INTRA图像被设置在其中INTER图像将具有更高效率的位置上(换句话说，INTRA图像在许多时间冗余度可利用的位置上，而不在景物变化的位置上)，将这些INTRA图像称为“刷新(refresh)”图像。INTRA图像还可以有利地放置在景物剪切位置上，其中没有时间冗余度将帮助编码。但是，本发明特别地集中于刷新INTRA图像上，而非景物剪切。
在下面利用本发明克服的问题是以下一个问题由于基础编码方法是不同的，所以INTRA和INTER图像呈现不同的编码假象。在整个同类的视频序列中，后续INTER图像的质量和假象趋于稳定。但是，如果INTRA刷新帧被编码，则由于INTER编码引起的所有在前假象被擦除，并且由于INTRA编码引起的新的假象被突然地引入。因此，视频质量在刷新帧上是中断的，导致在这儿称作的闪光效应，尤其在低运动序列中和在适中的或者低的比特速率上是可见的(此时编码假象变得相当显著)。
这个闪光效应对于所有的MPEG系列都存在，但是它被最新的使用解块滤波器的标准MPEG-4部分10(H.264)放大。在INTER图像的同类的和稳定的区域中，解块过滤器具有非常低的影响，这导致几乎未过滤的重建，因为几乎没有残留信号必须被编码。在INTRA帧上，解块被再次启动，因为残留信号具有大得多的能量。突然地启动分块过滤器甚至进一步增加在INTRA(过滤的)和INTER(未过滤的)图像之间的可见间隙。因此，通过分块过滤器自适应动作，造成闪光效应更加恶化。
发明内容
本发明的一个目的是提出一种用于降低或者消除这个闪光效应的技术解决方案。
为此，本发明涉及一种诸如在说明书的前言部分中所描述的编码方法，并且其特征在于，在INTRA模式中被量化和被编码之前，所述INTRA刷新图像利用具有基本上类似于最后编码的INTER图像的质量和假象的INTER图像来代替。
这个技术解决方案在降低或者消除闪光效应方面是有效的，因为INTRA刷新帧不直接编码用于原始图像，如其通常情况一样，而是根据为了代替刷新图像而产生的所谓的“假”图像进行编码。这些假图像并不存在于图像的原始序列中，但是具有与所述序列的其他时间预测图像相同的质量和假象。编码器必须编码这个不同版本的图像，并且解码的图像的可见质量则保持等于其他的图像的质量所述解码的图像看起来并不像INTRA图像，仿佛它没有只在INTER模式中被刷新和被编码。
本发明的另一个目的是提出一种允许执行所述编码方法的编码设备。
为此，本发明涉及一种编码设备，用于编码对应于原始图像序列并以由相继的图像组成的视频流的形式可利用的数字视频数据，其中这些图像或者是INTRA图像或者是INTER图像，其中INTRA图像称作I图像，并利用所谓的INTRA模式进行编码而无需参考任何过去的或者未来的图像，而INTER图像自身或者是单向预测的图像或者双向预测的图像，其中单向预测的图像被称作P图像，并参考过去或者未来的参考图像进行编码，其中参考图像是INTRA或者INTER图像，而双向预测的图像被称作B图像，并参考一个或多个参考图像进行编码，所述INTRA图像本身或包括设置在对应于景物变化的新的图像组开始的I图像，其中没有时间冗余度可利用，并且被称作景物变化I图像，或者所述INTRA图像本身或包括设置在其他位置上的I图像，其中一些时间冗余度是可利用的，并且被称作刷新图像，所述编码设备用于生成输出编码的比特流，至少包括量化与编码分支，其接收和编码待编码的I、P、B图像的序列；预测分支，其重建对应于分别编码的接收图像的预测图像；和控制分支，其控制应用于所述I、P、B图像的相继编码操作，当待编码的I图像是刷新图像时，所述控制分支控制以下步骤的实施(a)类似于序列的先前INTER图像的编码步骤，有关的INTRA刷新图像被编码为INTER图像，但是没有相应的输出比特被发送到输出编码的比特流中；(b)对应于如此获得的编码的INTRA刷新图像的时间预测图像被重建；(c)如此获得的重建图像被以INTRA模式编码，现在相应的输出比特被发送到所述输出编码的比特流中。
现在将参考伴随的附图通过例子描述本发明，其中图1和2图解说明了编码系统的二个实施例。
具体实施例方式
在图1中图解说明了常规的编码系统的例子。如所说明的，所述系统的输入接收输入视频序列10，所述系统包括运动估算模块11、运动补偿模块12、速率控制模块13、DCT模块14、量化(Q)模块15、可变长度编码(VLC)模块16、缓存器17(在其输出上，可获得必须被存储或被发送给解码侧的编码的比特流22)、逆量化(Q-1)模块18、逆DCT(DCT-1)变换模块19、减法器20、加法器21和帧存储器23。(虽然这个系统包括多个模块，但是那些本领域技术人员将认识到，利用不同的模块执行的功能不要求被分离为如图1所示的单独模块，并且例如，包括运动补偿模块12、逆量化模块18和逆DCT模块19的模块组可以被实施为“嵌入解码器”)。分块过滤器(在图1中，具有参考数字24)可以被提供在加法器21的输出端和帧存储器23的输入端之间。按照MPEG标准和所有的基于数字块的视频编码系统，输入图像是如前所述的I、P或者B类型。
现在将描述按照本发明的编码方法的第一步骤。当应以INTRA模式编码的INTRA刷新图像出现在编码系统的输入端10上的时候，所述图像事实上没有以INTRA模式进行编码，而是类似于过去的真实图像作为P图像进行编码，以获得具有大体上与其他时间预测图像(或者非常类似的图像)相同的质量和假象的假重建图像。但是，没有比特被输出给编码的比特流(在解码侧上，解码器将期待INTRA图像)。
编码方法的随后步骤则是以下步骤。首先，对应于如此获得的编码的刷新图像的时间预测图像在包括模块12、18和19的预测分支中进行重建。然后，如此获得的现在包括类似于先前P图像的时间缺陷的重建图像代替INTRA刷新图像，并且被在INTRA模式中编码。此时，如此生成的编码的比特被输出给编码的比特流。
可以在解码侧上观察到本发明的优点。解码器在它开始解码新的GOP时并不知道它正在解码假的图像，但是刷新图像的可见质量保持等于其他的图像，并且看起来不像INTRA图像，仿佛其没有被刷新一样。
可以提及的是，按照本发明的方法和设备并不局限于以上表示的实施例，并且可以提出其他的实施例。
例如，当按照本发明获得的假的图像被以INTRA模式编码时，编码器将再现(如按照本发明的原理所设计)时间的假象，但是更可取的是不引入可见的空间假象。因此，建议使用比其他的INTER图像显著更低的量化电平。因此，有可能最小化空间假象。
在本发明所建议的实施例中，如上所述的方法仅仅应用于有限类别的INTRA图像(INTRA刷新图像)。它还能够应用于所有的INTRA图像，但是在这种情况下，如果另外使用了更低的量化电平，则在景物剪切上禁用该方法是有益的，因为假图像的编码花费更多的比特(由于更低的量化电平)，。
此外，为了不引入可见的空间假象，当该编码器为在其解码环路中包括分块过滤器(这是H.264的标准部分，因为编码设备和解码设备随后执行相同的过滤，以避免漂移效应)的H.264编码器时，所述分块过滤器对于INTRA刷新图像被禁用。因此，有可能避免过滤假的图像重建，这已经考虑了对INTER图像的分块过滤的动作。这个禁用操作必须在编码的比特流中进行通知。
在经历大运动的景物中对于刷新图像，还可以建议禁用操作，以节省比特。这能够通过在这样的景物中闪光效应不是可见的事实来证明是正确的。
如图2所示，还可以建议，在加法器21的输出端和帧存储器23的输入端之间，在预测分支(具有或者没有分块过滤器24)中增加时间过滤电路25。对于这样的电路，可以提出不同的实施例。例如，它可以在存储器(在具有图像大小的存储器)中保存先前的(或者早先的)图像或者随后的(或者接着的)图像，或者在存储器中保存许多过去的和/或接下来的图像，并且使用中间滤波器或者具有类似特性的滤波器来过滤相应的像素。利用这样的结构，预测步骤是更加准确的，并且在减法器20的输出端上(利用在输入信号和预测信号之间的差值)获得的残留信号是较小的，即，压缩因数被改善。随后，在解码侧上以高质量实施图像重建。能够注意到，分块过滤器24可以在预测分支中存在或者不存在。
在这里可以附带说明，具有利用硬件项或者软件项或者两者实现功能的许多方式。在这方面，这些附图是非常概略的。因此，虽然附图作为不同的模块示出不同的功能，但是这无论如何并不排除单个硬件项或者软件项执行若干功能。也不排除硬件项或者软件项或者两者的组合体执行功能。
上述的陈述参考附图展示了具体的描述，这是说明本发明，而非限制本发明，并且存在很多落入所附的权利要求范围内的备选方案。措词“包括”并不排除在权利要求中所列出之外的其他的元件或者步骤的存在。在元件或者步骤之前的词“一”或者“一个”并不排除多个这样的元件或者步骤的存在。
权利要求
1.一种编码数字视频数据的方法，其中数字视频数据对应于原始图像序列并且以视频流的形式可利用，其中视频流由相继的图像组成，这些图像或者是INTRA图像或者是INTER图像，其中INTRA图像被称作I图像，并且利用所谓的INTRA模式进行编码而无需参考任何过去的或者未来的图像，而INTER图像自身或是单向预测的图像或是双向预测的图像，其中单向预测的图像被称作P图像，并且参考过去或者未来的参考图像进行编码，其中参考图像是INTRA或者INTER图像，而双向预测的图像被称作B图像，并且参考一个或多个参考图像进行编码，所述INTRA图像自身或包括设置于对应于景物变化的新的图像组开始的I图像，其中没有时间冗余度可利用，并且被称作景物变化I图像，所述INTRA图像自身或包括设置于其他位置中的I图像，其中一些时间冗余度可利用，并且被称作刷新图像，所述方法用于生成输出编码的比特流，其特征在于，在INTRA模式中被量化和被编码之前，所述INTRA刷新图像利用具有基本上类似于最后编码的INTER图像的质量和假象的INTER图像来代替。
2.根据权利要求1的编码方法，其中每个INTRA刷新图像是通过实施以下的步骤进行编码的(a)类似于该序列的先前INTER图像的编码步骤，有关的INTRA刷新图像被编码为INTER图像，但是没有相应的输出比特被发送到输出编码的比特流中；(b)对应于如此获得的编码的INTRA刷新图像的时间预测的图像被重建；(c)如此获得的重建的图像在INTRA模式中进行编码，现在相应的输出比特被发送到所述输出编码的比特流中。
3.根据权利要求1的编码方法，其中每个INTRA刷新图像是通过实施以下的步骤进行编码的(a)类似于该序列的先前P图像的编码步骤，有关的INTRA刷新图像被编码为P图像，但是没有相应的输出比特被发送到输出编码的比特流中；(b)对应于如此获得的编码的INTRA刷新图像的时间预测的图像被重建；(c)如此获得的重建的图像在INTRA模式中进行编码，现在相应的输出比特被发送到所述输出编码的比特流中。
4.根据权利要求2和3之中任一项权利要求的编码方法，其中在最后的编码步骤之前，有关的INTRA刷新图像的量化步骤利用显著低于用于其他的INTER图像的量化电平来执行。
5.根据权利要求4的编码方法，其中除了刚好位于景物剪切之后的那些INTRA图像之外，该编码方法被应用于所有的INTRA图像。
6.根据权利要求4的编码方法，其中除了位于经历大运动的景物中的INTRA刷新图像之外，该编码方法被应用于所有的INTRA图像。
7.根据权利要求1的编码方法，其中当所述序列利用在其解码环路中包括分块过滤器的类似于H.264的编码器进行处理时，所述分块过滤器对于INTRA刷新图像被禁用。
8.一种编码设备，用于编码数字视频数据，其中数字视频数据对应于原始图像序列并且以视频流的形式可利用，其中视频流由相继的图像组成，这些图像或者是INTRA图像或者是INTER图像，其中INTRA图像被称作I图像，并且利用所谓的INTRA模式进行编码而无需参考任何过去的或者未来的图像，而INTER图像自身或是单向预测的图像或是双向预测的图像，其中单向预测的图像被称作P图像，并且参考过去的或者未来的参考图像进行编码，其中参考图像是INTRA或者INTER图像，而双向预测的图像被称作B图像，并且参考一个或多个参考图像进行编码，所述INTRA图像自身或包括设置于对应于景物变化的新的图像组开头的I图像，其中没有时间冗余度可利用，并且被称作景物变化I图像，所述INTRA图像自身或包括设置于其他位置中的I图像，其中一些时间冗余度可利用，并且被称作刷新图像，所述编码设备用于生成输出编码的比特流，至少包括量化与编码分支，其接收和编码待编码的I、P、B图像的序列；预测分支，其重建对应于被分别编码的接收图像的预测图像；和控制分支，其控制应用于所述I、P、B图像的相继编码操作，当待编码的I图像是刷新图像时，所述控制分支控制以下步骤的实施(a)类似于该序列的先前INTER图像的编码步骤，有关的INTRA刷新图像被编码为INTER图像，但是没有相应的输出比特被发送到输出编码的比特流中；(b)对应于如此获得的编码的INTRA刷新图像的时间预测的图像被重建；(c)如此获得的重建的图像在INTRA模式中进行编码，现在相应的输出比特被发送到所述输出编码的比特流中。
9.根据权利要求8的编码设备，其中在步骤(a)中，所述INTER图像是P图像。
10.根据权利要求8和9之中任何一项权利要求的编码设备，其中有关的INTRA刷新图像在最后的编码步骤中被编码之前利用显著低于用于其他的INTER图像的量化电平进行量化。
11.根据权利要求10的编码设备，其中除了刚好位于景物剪切之后的那些INTRA图像之外，该编码设备被应用于所有的INTRA图像。
12.根据权利要求10的编码设备，其中除了位于经历大运动的景物中的INTRA刷新图像之外，该编码设备被应用于所有的INTRA图像。
13.根据权利要求10的编码设备，其中当所述序列利用在其解码环路中包括分块过滤器的类似于H.264的编码器进行处理时，所述分块过滤器对于INTRA刷新图像被禁用。
全文摘要
本发明涉及用于编码数字视频数据的方法和设备，其中数字视频数据对应于原始图像序列并且以视频流的形式可利用，其中视频流由相继的图像组成，这些图像或者是INTRA图像或者INTER图像。INTRA图像被称作I图像，并且利用所谓的INTRA模式进行编码而无需参考任何过去的或者未来的图像。INTER图像或是单向预测的图像或是双向预测的图像，其中单向预测的图像被称作P图像，并且参考过去或者未来的参考图像进行编码，其中参考图像是INTRA或者INTER图像，而双向预测的图像被称作B图像，并且参考一个或多个参考图像进行编码。INTRA图像自身或包括设置于对应于景物变化的新的图像组开始的I图像，其中没有时间冗余度可利用，并且被称作景物变化I图像，INTRA图像自身或包括设置于其他位置中的I图像，其中一些时间冗余度可利用，并且被称作刷新图像。根据本发明，该方法的特征在于，在INTRA模式中被量化和被编码之前，所述INTRA刷新图像利用具有基本上类似于最后编码的INTER图像的质量和假象的INTER图像来代替。
文档编号H04N7/50GK1957617SQ200580016869
公开日2007年5月2日 申请日期2005年5月20日 优先权日2004年5月25日
发明者S·瓦伦特 申请人:皇家飞利浦电子股份有限公司