专利名称：用于解码混合内部－相互编码块的方法和装置的制作方法
技术领域：
本发明主要涉及数字视频编解码器(CODEC)，尤其涉及用于宏块的内部和相互编码两者的混合使用。
背景技术：
可以将视频编码器用于将图像序列的一个或多个帧编码成数字信息。然后，可以将该数字信息发送给其中能够重构(解码)图像或图像序列的接收器。传输信道本身可以包括多个用于传输的可能信道之中的任何一个。例如，传输信道可以是无线电信道或用于无线广播的其它设备、同轴有线电视电缆、GSM移动电话TDMA信道、固定有线电话链路、或因特网。这里列举出的传输设备仅为举例，决不意味着包括所有在内。
为了视频编码和传输，已经对各种国际标准达成协议。通常来说，一种标准规定用于对涉及图像的帧的数据进行压缩和编码的规则。这些规则提供一种用于压缩和编码图像数据以发送少于摄像机原始提供的关于图像的显示的数据的方法。然后，这些体积缩小后的数据要求较少的用于发送的信道带宽。如果接收器知道发送器用于执行压缩和编码的规则，那么接收器可以根据所发送的数据重构(或解码)图像。H.264标准通过使用来自先前帧的宏块的运动补偿预测，最小化部分图像的冗余发送。
诸如MPEG-2和JVT/H.264/MPEG 4 Part10/AVC等的视频压缩结构和标准仅采用用于编码每个宏块的帧内(“内部”)编码或帧间(“相互”)编码方法来编码宏块。对于帧间运动估计/补偿，将要被编码的视频帧被划分成像素的非重叠矩形，或最通常来说，方形块。对于每个宏块，根据预定的匹配误差准则，以预定搜索窗口从参考帧中搜索最佳匹配宏块。然后，将匹配宏块用于预测当前宏块，并且进一步处理预测误差宏块，并将其发送给解码器。将参考宏块相对于原始宏块在水平和垂直方向上的相对位移合成一组，并称为原始宏块的运动矢量(MV)，也将该运动矢量发送给解码器。运动估计的主要目的就是预测宏块，从而通过提取参考宏块与当前宏块的差值而获得的差异模块在编码中产生最少数目的比特。
对于内部编码，通过采用空间预测方法来预测图像内的宏块(MB)或子宏块。对于相互编码，采用时间预测方法(即运动估计/补偿)。通常来说，相互预测(编码)方法一般要比内部编码方法更加有效。在现有的结构/标准中定义了具体的图像或片断(slice)类型，其规定或限定了能够被编码以发送给解码器的内部或相互MB类型。在内部(I)图像或片断中，只有内部MB类型能够被编码，而在预测(P)和双预测(B)图像或片断中，内部和相互MB类型都可以被编码。
I-图像或I-片断仅包含内部编码宏块，并且不使用时间预测。首先根据其相邻像素值来空间预测当前宏块的像素值。然后，使用N×N变换(例如4×4或8×8DCT变换)来变换剩余信息，并对其进行量化。
B-图像或B-片断引进了双预测(或广义地称为多预测)相互编码宏块类型的概念，其中通过两种(或两种以上)帧间预测来预测宏块(MB)或子块。由于采用了双预测，所以在编码时B图像通常要比I和P图像更加有效。
P-图像或B图像可能包含不同的片断类型和通过不同的方法而编码的宏块。片断可以是I(内部)、P(预测)、B(双预测)、SP(切换P(Switching P)、和SI(切换I)类型。
在诸如MPEG-2和H.264等的视频编码结构和标准内，已经分别使用了内部和相互预测方法。对于内部编码宏块，将相同帧或图像内的可用空间样本用于预测当前宏块，而在相互预测中，却采用其它图像或其它帧内的时间样本。在H.264标准中，存在两种不同的内部编码模式对宏块内每个4×4块执行预测处理的4×4内部模式；以及在一步中对整个宏块执行预测的16×16内部模式。
将视频序列的每个帧划分成所谓的“宏块”，该宏块包括亮度(Y)信息和相关的(根据色空间而潜在地空间二次取样的)色度(U，V)信息。通过将原始图像中的16×16图像像素的区域表现为四个8×8的亮度(luma)信息块和两个空间对应的色度分量(U和V)来形成宏块，其中每个亮度块包括亮度(Y)值的8×8阵列，并且通过在水平和垂直两个方向上的因素(factor)对所述色度分量进行二次取样从而生成8×8色度(U，V)值的相应阵列。
在16×16空间(内部)预测模式中，根据MB的边缘周围的像素预测整个16×16宏块的亮度值。在16×16内部预测模式中，将紧接着16×16亮度块的上面和/或左边的33个相邻样本用于当前宏块的预测，并且仅采用4种模式(0垂直、1水平、2DC、和3平面预测)。
图1示出了相关技术的H.264标准中的4×4内部模式的帧内(内部)预测取样方法。通过使用来自相邻块的图1中的附近像素“A”至“M”来预测包含图1中的像素“a”至“p”的将被内部编码的4×4亮度块110的样本。在解码器中，通常已经解码了来自相同图像/帧的先前宏块的样本“A”至“M”，并且能够将其用于预测当前宏块110。
图2示出了用于图1的4×4亮度块110的标记为0、1、3、4、5、6、7、和8的九个内部预测模式。模式2为“DC-预测”。其它的模式(1、3、4、5、6、7、和8)表示如图2的箭头所示的预测的方向。
H.264标准中定义的内部宏块类型如下表1-内部宏块类型
图3示出了通过估计两个图像(301和302)的块中的最佳匹配(BM)之间的运动矢量(即，MV，运动矢量)，将使用时间预测而不是空间预测在P-帧或P-片断中进行相互编码的当前宏块310。在相互编码中，根据先前帧302中的移位匹配块(BM)来预测当前帧301中的当前块310。每个相互编码块(例如，310)与一组运动参数(运动矢量和参考指数ref_idx)相关联，所述运动参数向解码器提供与ref_idx相关的参考图像(302)中的对应位置，从所述ref_idx中可以预测块310中的所有像素。压缩原始块(310)与其预测(BM)之间的差值，并且将其与位移运动矢量(MV)一起发送。可以对16×16宏块，或其子宏块分区16×8、8×16、8×8、8×4、4×8、4×4中的任何一个单独地进行运动估计。8×8宏块分区称为子宏块(或子块)。在下文中，术语“块”通常是指任意大小的相邻像素的矩形组，诸如整个16×16宏块和/或子宏块分区。每个子宏块分区中只允许一个运动矢量(MV)。可以通过使用宏块的ref_idx将宏块与所选择的帧相关联，从而为来自先前或后续的不同帧的每个宏块进行运动估计。
P-片断也可以包含内部编码宏块。以与I-片断中的内部编码宏块相同的方式压缩P-片断内的内部编码宏块。通过使用运动估计和补偿策略来预测相互编码块。
如果使用内部模式来编码和发送整个帧的所有宏块，则其称为“INTRA帧”(I-帧或I-图像)传输。因此，INTRA帧完全由内部宏块组成。通常来说，当接收器迄今尚未接收到宏块时，就必须在图像传输的开始发送INTRA帧。如果通过将一些或所有的宏块编码为相互宏块来编码和发送帧，则所述帧被称为“INTER帧”。通常来说，INTER帧包括的用于传输的数据要比INTRA帧少。但是，编码器根据谁是最有效的来确定特定帧是作为内部编码宏块还是作为相互编码宏块而被发送。
可以将P-片断中要被相互编码的每个16×16宏块划分成16×8、8×16、和8×8分区。也可以将子宏块本身划分成8×4、4×8、或4×4子宏块分区。在H.264中为每个宏块分区或子宏块分区分配唯一的运动矢量。相互编码宏块和宏块分区具有唯一预测模式和参考指数。在目前的H.264标准中不允许在相同宏块的不同分区中选择相互和内部预测并将其结合在一起。在2002年2月采用的H.264/AVC设计中，由Wiegand等人最初采用的分区方案包括支持以子宏块(8×8亮度和4×4色度)为基础的内部和相互之间的切换。为了降低解码复杂性，这种性能后来又被取消了。
在P-图像和P-片断中，定义了以下附加块类型表2-用于P片断的相互宏块类型
图4示出了用于对B-图像或B-片断中的宏块进行相互编码的两种(时间)预测的结合。
如图4所示，对于B-图像或B-片断内要被内部编码的宏块410，不是仅将一个“最佳匹配”(BM)预测值(预测)用于当前宏块，而是将两种(时间)预测(BML0和BML1)用于当前宏块410，可以对所述两种预测一起进行平均以形成最终预测。在B-图像或B片断中，允许在每个子宏块分区中将两个代表两个运动估计的运动矢量(MVL0和MVL1)用于时间预测。所述运动矢量可以来自任何随后或在前的参考图像(列表0参考和列表1参考)。将(列表0和列表1)参考图像中最佳匹配块(BML0和BML1)中的像素值的平均值用作预测值(predictor)。这个标准还允许非均匀地加权每个最佳匹配块(BML0和BML1)的像素值，而不是对其进行平均。这被称为加权预测模式，并且在诸如淡化等的特殊视频效果呈现方面非常有用。B-片断还具有特殊模式-直接模式。运动复制跳过模式和直接模式中使用的空间方法只在运动参数的估计上有限制，而在宏块(像素)本身的估计上没有限制，并且没有使用空间相邻样本。在直接模式中，没有明确地发送用于宏块的运动矢量。
定义以下在B-图像和B-片断中使用的宏块类型表3-用于B-片断的相互宏块类型
在B-片断中，如上表所示，两种时间预测总是被限制于使用相同的块类型。
解块滤波器和重叠块运动补偿(OBMC)采用某种空间相关。根据这些方法，在预测和相关剩余(residual)的相加之后，根据重构像素的模式(内部或相互)、位置(MB/块边缘、内部像素等)、运动信息、相关剩余、和周围像素差来对重构像素进行空间处理/滤波。这种处理能够明显地减少分块(blocking)非自然信号并且提高质量，但是在另一方面，其也会明显地增加复杂性(尤其是在解码器内)。这种处理也不总是能获得最佳结果，并且其本身会导致附加的边缘上的图像模糊。
发明内容
现有的视频补偿标准(例如MPEG-2和H.264)不允许将帧内(内部)和帧间(相互)预测结合在一起(诸如在仅相互双预测中的两种帧间预测的结合)，以便编码当前宏块或子块。根据本发明的原理，提出了在编码和解码指定宏块、子块、或分区中的内部预测与相互预测的结合。内部与相互预测的结合能够提高增益和/或编码效率，和/或可以进一步减少视频数据误差扩散。
本发明的实施例提出通过将当前块的第一预测与当前块的第二预测相结合，从而对混合内部-相互编码的块进行解码；其中当前块的第一预测是内部预测，而当前块的第二预测是相互预测。
在以下全部描述中，将假设宏块的亮度(luma)分量包括排列为4个8×8块的阵列的16×16像素，并且通过在水平和垂直两个方向上的因素来对相关的色度分量进行空间二次取样，从而形成8×8块。对于其它的块大小和其它的子取样方法的描述的扩展对本领域的普通技术人员而言是显而易见的。本发明并不局限于16×16宏块结构，而是可以应用于任何基于分割的视频编码系统。
通过参照附图详细描述本发明的示例性实施例，本发明上述特征将变得清楚，其中图1示出了根据H.264标准的、将被内部编码的4×4像素亮度块附近的样本；图2示出了根据H.264标准的、用于编码图1的4×4块的九个方向的预测；图3示出了根据H.264标准的、通过估计运动矢量而被相互编码的宏块；图4示出了根据H.264标准的、通过结合两种相互编码得到的宏块的双预测；图5示出了根据本发明的原理的、结合相互和内部预测的4×4块的内部-相互混合双预测；图6是说明根据本发明的原理的视频编码器和视频解码器的方框图；图7是说明根据本发明的原理的视频编码器的方框图；图8是说明根据本发明的原理的视频解码器的方框图；以及图9A和9B是说明用于结合图7的编码器或图8的解码器中的内部和相互预测的电路的方框图。
具体实施例方式
图5示出了混合内部-相互双预测的例子，其中通过使用相互和内部预测来预测相同的4×4块。图5示出了一种区别于相关技术的仅内部(图1和2)和仅相互(图3和4)预测模式的新的双预测模式类型，在此称为内部-相互混合编码模式，其不同于相关技术，能够结合空间(“A”至“M”，301)和时间(MV，302)预测，从而双预测性地编码当前宏块或当前子块110。这种新的双预测(或多预测)模式提出两种(或两种以上)预测(可能包括一个或多个内部预测)将被(结合)用于进行指定块或宏块的最终预测。也可以通过结合的内部-内部预测在I-图像中使用双预测。这两种内部预测能够使用两个不同的内部预测方向。
所公开的混合双预测编码模式允许将帧内(内部)和帧间(相互)预测两者结合在一起(例如平均或加权)，从而编码当前宏块、子宏块、或分区。根据本发明的原理，通过提供内部预测和相互预测的结合扩展了相关技术的结合预测(双预测或多预测)方法，从而编码指定宏块、子宏块、或分区。内部和相互预测的结合能够提高增益和/或编码效率，和/或可以降低视频数据误差扩散。
本发明的实施例提出了几种新的宏块模式/类型，所述宏块模式/类型能够并入视频编码器和解码器内，并且相对于现有结构能够进一步提高性能。就将两个或多个预测用于每个宏块或子块而言，新的宏块模式类似于已经在诸如MPEG-2和H.264等几个编码结构和标准中使用的双预测(或多预测)宏块模式，但是就其也可以使用(或仅使用)帧内(空间)预测而言，新的宏块模式相对于传统的仅相互(时间)双预测又是不同的。例如，两种不同的内部预测、或相互和内部预测的结合使用可以对指定宏块进行更好的预测，同时倘若在执行所公开的双预测编码方法期间可以考虑相邻的空间取样，其也能够有利于减少分块非自然信号。所公开的用于通过结合内部和相互预测以编码相同的宏块或子块的方法能够获得较高的性能，这是因为a)任一预测可能包含如果仅采用单一预测则不会保存的重要区别信息，b)任一图像可能包含不同的可以通过平均或加权而减少的编码非自然信号，c)将求平均值用作降噪机制等。
此外，所公开的双预测(或多预测)宏块编码模式支持不限于使用相同分区类型的相互预测模式，并且允许采用表1至3中所定义的内部和单个列表(single-list)相互类型的各种可能的结合。所公开的双预测(或多预测)宏块编码模式支持基于要被编码的相同宏块的不同分区而执行的相互和内部预测。例如，如果仅允许在每个宏块中将两种(双)预测用于混合内部-相互编码宏块，则第一预测可以是内部4×4(表1中的mb_type 0)，而第二预测可以是16×8列表1块预测(表3中的mb_type 6)。
语法和子模式类型以结合的形式(诸如H.264中用于B片断的形式)，或独立地(即使用树形结构)在比特流内表明(signaled)在混合编码每个宏块中所采用的预测类型。选择性地，也可以在比特流内表明预测的数目(例如1、2或更多)。相关技术中所采用的组合信号表示方法将需要列举预测类型的所有可能的或最可能的结合，并且将不会产生最高的压缩增益。可以通过采用独立地表明每个预测模式的独立树形结构体系来优化压缩增益。这种方法在保持语法简单的同时，允许使用表1至3中定义的内部和单个列表相互类型的所有可能结合。例如，如果只允许在每个宏块中将两种(双)预测用于混合编码宏块，则第一预测将可以是内部4×4(表1中的mb_type_0)，而第二预测可以是16×8列表1块预测(表3中的mb_type 6)。对于这些附加子模式，也需要发送与其相关的参数，诸如内部方向和/或相关参考指数和运动矢量。这种方法允许各种结合，例如两种/所有预测为内部预测但具有不同方向、或其为不同的列表预测、或其采用不同的块分区。
最好也可以对H.264标准中规定的子模式进行调整和扩展，这是因为(a)一些组合是相同的，和(b)在一些情况下需要将单一预测用于宏块。例如，对于情况(a)，我们会禁止相同的预测模式而自动地调整子模式类型，但是对于情况(b)，我们可以采用以下附加模式，所述附加模式定义了新的、表示没有预测的空块预测类型表4-空子宏块类型
用于相同子分区(例如B_Null_L0_8×16和B_Null_L1_8×16)的两种空预测块类型的结合是禁止的，这再一次表明修改相关技术的mb_type表将带来更多的优势。将对8×8子块/分区进行类似的扩展。因为表3中定义的所有的双预测模式能被所公开的混合模式所支持，所以它们可以当作冗余部分而被删除。
用混合内部-相互双预测扩展直接模式可以用本发明的混合内部-相互双预测模式实施例来扩展H.264中所采用的空间直接模式。目前，根据三个相邻块的运动矢量的中值来确定用于直接模式块的运动矢量。
如果至少一个相邻块的双预测模式是混合的(相互-内部)，则当前(直接模式)块的预测模式也可以是混合的(相互-内部)。这种预测方法将由于相邻块所采用的预测列表的有效性而受到限制。例如，如果两个列表在空间相邻块中可用，则通过使用中值预测而再次计算直接模式块的运动矢量，而不管相邻块之一是否采用混合预测。另一方面，如果仅一个列表可用(例如列表1)，同时相邻块之一采用混合预测，则也通过混合预测来预测直接模式块，同时也采用相同的可用列表。此外，如果一个以上的相邻块采用混合预测，则可以对将用于预测的内部模式定义一些简单规则。例如，这种情况下内部16×16由于其用于预测的简单性而应该替代内部4×4。在直接模式块中也将禁止使用内部4×4，但是如果使用了的话，则在外部宏块预测可用的情况下，最初采用外部宏块预测来预测每个4×4块方向。如果外部的内部4×4宏块是不可用的，则使用可从相邻块获得的最低内部mb_type。通常，如果一个以上的空间相邻块的预测模式是内部的，则最好使用最低顺序的内部预测，但是如果两个列表都可用，则最好不使用内部预测。如果预测所需要的样本是不可用的，则也不要使用内部预测。
内回路(in-loop)解块滤波器根据H.264/AVC标准的视频编码器会采用内回路解块滤波器来增加主要位于块和宏块MB边缘的相邻像素之间的相关性，并且降低解码图像中出现的斑驳块(blockiness)(分块非自然信号)。将滤波过的解码图像用于预测其它图像的运动。解块滤波器是一种根据宏块的压缩模式(内部或相互)、量化参数、运动矢量、帧或场编码决策和像素值来调整其强度的自适应滤波器。对于较小的量化尺寸，滤波器自行切断。对于片断而言，也可以通过编码器明确地切断所述滤波器。根据相邻块编码类型、运动和发送残余而采用用于解块滤波器的不同强度和方法。通过采用本发明的实施例的特征的优势，由于混合内部-相互宏块类型已经包含在其编码期间考虑相邻像素的内部预测值，所以可以修改解块滤波器的强度。例如，如果块被混合编码且其预测模式采用了两种(或更多)预测(其中之一为内部预测)，并且其具有附加系数，则可以将用于相应边缘的滤波器强度减低(例如1)。
图6示出了说明根据本发明的实施例的视频编码器604和视频解码器605的方框图。编码器604接收来自视频源602(例如摄像机)的关于图像序列的数据。在根据在此所公开的方法压缩和编码来自摄像机的数据之后，编码器604将信息发送给传输系统606。发送器606在信道介质611上发送包含混合编码宏块的比特流。传输信道介质611可以通过无线电、光缆、或任何其它的传输和路由方法。编码器604或解码器605的电路例如可以形成移动或便携式双向无线电通信、或移动电话的一部分。
在信道介质611的解码方，移动图像解码设备(解码器605)接收比特流缓冲器631中的比特流，(通过比特流分析器-处理器633)分析该比特流，并且解码来自内部编码帧A的编码图像数据，将帧A的解码图像数据存储到帧存储器635中。一旦接收到相互编码的差异数据，解码设备(解码器605)根据帧A的解码数据生成运动补偿预测图像。如果在帧A的接收数据中不存在误差，由于帧A的解码图像与编码设备(编码器604)方的帧A的本地解码的图像相匹配，所以根据该解码数据而生成的运动补偿预测图像与编码设备(编码器604)方的运动补偿预测图像相匹配。由于编码设备(编码器604)发出原始图像与运动补偿预测图像之间的差异图像，所以解码设备可以通过将运动补偿预测图像加到所接收的差异图像中，从而生成帧B的解码图像。如果解码设备所接收的帧A的数据具有误差，则不能生成帧A的正确解码图像。因此，根据运动补偿预测图像的包含误差的部分而生成的所有图像变成误差数据。这些误差数据一直保存到通过内部编码进行刷新处理。
当解码器605接收到混合编码双预测数据时，可以在解码器采用包含内部编码信息的混合编码块数据，从而防止或抑制图像数据误差的扩散。图像或图像序列中的一些部分、区域或其中的物体可以被用户或编码设备识别为比其它区域要更重要或更易受误差的影响。因此，编码设备(编码器604)可以适配用于选择性地混合编码帧序列中的更重要区域或物体中的宏块，从而可以防止或减少这些区域中的图像数据误差扩散。
图7示出了根据本发明的实施例的、总体用附图标记700来表示的示例性编码器。编码器700包括以信号通信连接到求和块714的正输入端的视频输入端712。求和块714顺次连接到用于执行整数转换以提供系数的功能块716。功能块716连接到用于执行熵编码以提供输出比特流的熵编码块718。功能块716进一步连接到内回路部分720的比例缩放和逆变换块722。功能块722连接到求和块724，求和块724顺次连接到帧内预测块726。帧内预测块726是结合单元727的第一输入端，该结合单元727的输出端被连接到求和块724的第二输入端和求和块714的反相输入端。
求和块724的输出端连接到解块滤波器740。解块滤波器740连接到帧存储器728。帧存储器728连接到运动补偿(帧间预测)块730，所述运动补偿块730被连接到结合单元727的第二输入端。
结合单元727将来自帧内预测块726的第一(内部)预测与来自运动补偿(帧间预测)块730的第二(相互)预测相结合，从而将得到的结合(混合内部-相互)预测输出到求和块724的第二输入端和求和块714的反相输入端。在本发明的一些实施例中，可以将结合单元727实施为操作性地连接到一个或多个增益块(参见图9A)的求和块(例如类似于求和块724或714)，从而生成输入内部和相互预测的“平均值”、或内部和相互预测的不同地加权的结合。在本发明的其它实施例中，可以将结合单元727实施为序列加法器电路，其适配用于将来自帧内预测块726的第一内部预测与来自帧内预测块726的第二(例如后续)内部预测相结合；并且进一步适配用于将来自帧内预测块726的第一(内部)预测与来自运动补偿(帧间预测)块730的第二(相互)预测相结合。
将视频输入端712进一步连接到运动估计块719以提供运动矢量。将解块滤波器740连接到运动估计(帧间预测)块719的第二输入端。将运动估计块719的输出端连接到运动补偿(帧间预测)块730和熵编码块718的第二输入端。
将视频输入端712进一步连接到编码器控制块760。将编码器控制块760连接到每个块716、718、719、722、726、730、和740的控制输入端，从而提供控制信号以控制编码器700的操作。
图8示出了根据本发明的实施例的、总体用附图标记800来表示的示例性解码器。解码器800包括用于接收输入比特流的熵解码块810。连接解码块810以将系数提供给内回路部分820的比例缩放和逆变换块822。将逆变换块822连接到求和块824，将所述求和块824顺次连接到帧内预测块826。将帧内预测块826连接到结合单元827的第一输入端，该结合单元827的输出端被连接到求和块824的第二输入端。
将求和块824的输出端连接到用于提供输出图像的解块滤波器840。将解块滤波器840连接到帧存储器828。将帧存储器828连接到运动补偿(帧间预测)块830，将所述运动补偿块830连接到结合单元827的第二输入端。进一步连接解码块810，以便将运动矢量提供给运动补偿(帧间预测)块830的第二输入端。
解码器结合单元827在功能上类似于图7中的编码器的结合单元727，因为所述解码器结合单元827将来自帧内预测块826的第一(内部)预测与来自运动补偿(帧间预测)块830的第二(相互)预测相结合，从而将得到的结合(混合内部-相互)预测输出到求和块824的第二输入端。在本发明的一些实施例中，可以将结合单元827实施为操作性地连接到一个或多个增益块(参见图9A)的求和块(例如类似于求和块824)，从而生成输入内部和相互预测的“平均值”、或内部和相互预测的不同地加权的结合。在本发明的其它实施例中，可以将结合单元827实施为序列加法器电路，其适配用于将来自帧内预测块826的第一内部预测与来自帧内预测块826的第二(例如后续)内部预测相结合；并且进一步适配用于将来自帧内预测块826的第一(内部)预测与来自运动补偿(帧间预测)块830的第二(相互)预测相结合。
熵解码块810还链接用户提供输入到解码器控制块862。将解码器控制块862连接到每个块822、826、830、和840的控制输入端，从而传送控制信号，并且控制解码器800的操作。
图9A和9B是分别表示图7的编码器或图8的解码器中的结合单元(例如727或827)的示例性实施例的方框图，所述结合单元包括用于相加性地结合第一和第二预测，例如，相加性地结合内部和相互预测的电路。图9A示出了包括(用Sigma信号来表示的)加法器电路A27的示例性结合单元x27-a(例如用于实施结合单元727和827)，其适配用于将来自所连接的帧内预测块(例如726或826)的第一内部预测与来自帧内预测块(例如726或826)的第二(例如后续)内部预测相结合；并且进一步适配用于将来自帧内预测块(例如726或826)的第一(内部)预测与来自运动补偿(帧间预测)块(例如730或830)的第二(相互)预测相结合。数字增益块G1、G2、和G3用于对将被结合的多种(例如两种)预测进行加权(或简单平均)。本领域的技术人员应该理解在本发明的可替换实施例中，可以提供少于三个的(例如一个或两个)数字增益模块用于结合两种预测，例如，如图9B所示。
图9B示出了包括(用Sigma信号来表示的)加法器电路A27的示例性结合电路x27-b(例如727和827)，其适配用于对来自帧内预测块(例如726或826)的第一内部预测和来自帧内预测块(例如726或826)的第二(例如后续)内部预测进行平均；并且进一步适配用于对来自帧内预测块(例如726或826)的第一(内部)预测和来自运动补偿(帧间预测)块(例如730或830)的第二(相互)预测进行平均。固定在二分之一(1/2)增益值的数字增益块G3用于对从(用Sigma信号来表示的)加法器电路A27输出的两个预测之和进行分配(平均)。
可以以能够在通用计算机或任一其它适当的计算环境中运行的软件来实施本发明的各个特征。本发明可以在多种通用或专用计算环境(诸如个人计算机、通用计算机、服务器计算机、手提设备、膝上设备、多处理器、微处理器、置顶盒、可编程消费者电子设备、网络PC、微型计算机、大型计算机、分布式计算环境等)中操作，从而执行存储在计算机可读介质上的计算机可执行指令，以便进行本发明的的逐帧数字视频编码。可以将本发明部分或全部实施为计算机可执行指令，诸如由计算机执行的程序模块。一般而言，程序模块包括例行程序、程序、对象、组件、数据结构等以执行特定任务，或实施特定抽象数据类型。在分布式计算环境种，可以将程序模块设置在本地或远程存储设备中。
以上已经解释了本发明的示例性实施例，并且将其在附图中示出。但是，本发明并不局限于以上所描述的示例性实施例，在本发明的精神和范围内，本领域的技术人员显然可以进行变化和修改。因此，这些示例性实施例不应该被理解为限制，而应该理解为示例。并不是由以上描述来决定本发明的范围，而是由所附权利要求书来决定，并且在不背离所附权利要求书及其等价物所限定的本发明的范围的情况下，可以对本发明的实施例进行变化和修改。
权利要求
1.一种用于解码混合内部-相互编码块的方法，所述方法包括将当前块的第一预测与当前块的第二预测相结合；其中所述当前块的第一预测是内部预测，而所述当前块的第二预测是相互预测。
2.如权利要求1所述的方法，其中解码所述块包括将所述第一预测和第二预测与所述当前块的第三预测相结合。
3.如权利要求1所述的方法，进一步包括减少解块滤波器的滤波强度，所述解块滤波器适配用于增加与所述当前块相邻的像素之间的相关性。
4.如权利要求1所述的方法，其中通过平均所述第一预测和第二预测，将第一预测与第二预测相结合。
5.如权利要求1所述的方法，其中通过加权所述第一预测和第二预测中的每一个，将第一预测与第二预测相结合。
6.如权利要求1所述的方法，其中所述当前块是16×16宏块。
7.如权利要求1所述的方法，其中所述当前块是子宏块。
8.如权利要求1所述的方法，其中所述当前块是4×4子宏块分区。
9.一种适配用于解码混合内部-相互编码块并且提供重构像素数据的视频解码器，所述解码器包括帧内预测块，其被操作性地连接到结合单元，并且用于输出块的第一内部预测；和帧间预测块，其被操作性地连接到结合单元，并且用于输出所述块的第一相互预测。
10.如权利要求9所述的视频解码器，其中所述结合单元适配用于结合第一内部预测和第一相互预测。
11.如权利要求9所述的视频解码器，其中所述混合内部-相互编码块是所述第一内部预测和第一相互预测的平均值。
12.一种包括如权利要求9所述的视频解码器的电视机。
13.一种适配用于解码包括双预测内部-相互编码块的比特流的视频解码器。
14.一种用于对块进行视频解码的方法，所述方法包括将当前块的第一预测与当前块的第二预测相结合；其中所述当前块的第一预测是内部预测，而所述当前块的第二预测是相互预测。
15.一种用于解码二维图像序列的帧内的块的视频解码器，所述解码器包括帧内预测块，其被操作性地连接到结合单元，并且用于输出块的第一内部预测；和帧间预测块，其被操作性地连接到结合单元，并且用于输出所述块的第一相互预测；其中所述结合单元适配用于结合所述第一内部预测和所述第一相互预测，并且输出混合内部-相互编码块。
16.如权利要求15所述的视频解码器，其中所述结合单元是求和块。
17.如权利要求15所述的视频解码器，其中所述结合单元通过平均所述第一内部预测和第一相互预测，将这两种预测相结合。
18.如权利要求15所述的视频解码器，其中所述结合单元通过使用所述第一内部预测和所述第一相互预测的加权结合，将这两种预测相结合。
19.一种用于对块进行视频解码的方法，所述方法包括将用于当前块的第一预测类型与用于当前块的第二预测类型相结合；其中所述第一预测类型和所述第二预测类型的结合形成混合预测类型。
20.如权利要求19所述的方法，其中通过使用求和块来完成结合步骤。
21.如权利要求19所述的方法，其中通过平均所述两种预测类型来完成两种预测类型的结合步骤。
22.如权利要求19所述的方法，其中通过应用所述两种预测类型的加权结合来完成两种预测类型的结合步骤。
全文摘要
一种混合内部－相互双预测(或多预测)编码模式，允许将帧内(内部)(图5中的301)和帧间(相互)(图5中的302)预测两者结合在一起，以便对当前宏块或子块(图5中的310)进行混合编码。通过结合使用两种不同内部预测方向的两种内部预测，在I－图像中也可以采用双预测。视频编码器(700)处理代表已由传统商用摄像机制作的二维视频图像的数据。为了编码当前宏块，将视频编码器适配用于在内部编码模式、P－帧内部编码模式、B－帧双预测相互模式、和混合内部－相互双预测编码模式之间进行选择。视频解码器(800)接收并解码数据流，该数据流可能包含根据混合内部－相互双预测编码模式编码的块/宏块。
文档编号H04N7/36GK1843038SQ200480024577
公开日2006年10月4日 申请日期2004年8月24日 优先权日2003年8月26日
发明者亚历山德罗斯·图拉皮斯, 吉尔·M·博伊斯, 尹澎 申请人:汤姆森特许公司