专利名称：视频编码/解码的方法和设备的制作方法
技术领域：
与本发明一致的方法和设备涉及视频压缩编码/解码，更具体地，涉及通过使用帧内-帧间混合预测器生成预测块来提高压缩效率的视频编码/解码。
背景技术：
在视频压缩标准中，例如在运动图像专家组(MPEG)-1、MPEG-2、MPEG-4Visual、H.261、H.263和H.264中，帧通常被划分为多个宏块。接着，在每一个宏块上执行预测处理以获得预测块，并且原始块和预测块之间的差异被变换和量化，以用于视频压缩。
有两种类型的预测，即帧内预测和帧间预测。在帧内预测中，使用当前帧中当前块的相邻块的数据来预测当前块，该相邻块已经被编码和重建。在帧间预测中，使用基于块的运动补偿来从至少一个参考帧中生成当前块的预测块。
图1示出了根据H.264标准的4×4帧内预测模式。
参照图1，有9种4×4帧内预测模式，即垂直模式、水平模式、直流(directcurrentDC)模式、对角线左下模式、对角线右下模式、垂直向右模式、垂直向左模式、水平向上模式、水平向下模式。根据4×4帧内预测模式，使用当前块的相邻块的从像素A到M的像素值来预测当前块的像素值。
在帧间预测的情况下，通过参照例如先前的和/或下一个图像的参考图像，在当前块上执行运动补偿/运动估计，并且生成当前块的预测决。
根据帧内预测模式或帧间预测模式而生成的预测块与原始块之间的剩余部分(residue)进行离散余弦变换(DCT)、量化和可变长度编码以进行视频压缩编码。
通过这种方式，按照现有技术，根据帧内预测模式或帧间预测模式生成当前块的预测块，使用预定义的代价函数可以计算出耗费，并为视频编码选择具有最小耗费的模式，因此提高了压缩效率。
但是，仍然需要一种视频编码方法，其具有提高的压缩效率以克服受限的传输带宽并且向用户提供高质量的视频。
发明内容
本发明的示范性实施例克服了上述缺陷以及上面没有提到的其他缺陷。
本发明提供了一种视频编码方法及设备，其能提高在视频编码中的压缩效率。
本发明也提供了一种视频解码方法及设备，能有效地将使用根据本发明的视频编码方法而编码的视频数据进行解码。
根据本发明的一个方面，提供了一种视频编码方法，其包括将输入的视频分割成多个块；通过帧内预测为在被分割的块中要被编码的当前块的一边缘区域形成第一预测器；通过帧间预测为当前块的剩余区域形成第二预测器，并且通过组合第一预测器和第二预测器来形成当前块的预测块。
根据本发明的另一方面，提供一种视频编码器，其包括混合预测单元，其通过帧内预测，为从输入视频分割出的多个块中的要被编码的当前块的一边缘区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，并且通过组合第一预测器和第二预测器来形成当前块的预测块。
根据本发明的又一方面，提供一种视频解码方法，其包括基于包括在接收到的位流中的预测模式信息，确定要被解码的当前块的预测模式，如果确定的预测模式是混合预测模式，其中使用帧内预测来预测当前块的边缘区域，以及使用帧间预测来预测当前块的剩余区域，则通过帧内预测为当前块的边界区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，以及通过组合第一预测器和第二预测器形成当前块的预测块，并通过将包括在位流里的剩余部分增加到预测块来解码视频。
根据本发明的再一方面，提供一种视频解码器，其包括混合预测单元，如果从接收到的位流中提取出的预测模式信息表明了混合预测模式，其中使用帧内预测来预测当前块的边缘区域，以及使用帧间预测来预测当前块的剩余区域，那么通过帧内预测为当前块的边界区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，以及通过组合第一预测器和第二预测器形成当前块的预测块。
参考附图，通过示范性实施例的详细描述，本发明上述和其他的特征及优点将更加清楚，其中图1示出了根据H.264标准的4×4帧内预测模式；图2是根据本发明一示范性实施例的视频编码器的框图；图3A到3C示出了根据本发明一示范性实施例的混合预测器；图4是说明根据本发明一示范性实施例的混合预测单元的操作的视图；图5示出了根据本发明一示范性实施例的使用混合预测来预测得到的混合预测块；图6示出了根据本发明一示范性实施例的视频编码方法的流程图；图7是根据本发明一示范性实施例的视频解码器的框图；以及图8是根据本发明一示范性实施例的视频解码方法的流程图。
具体实施例方式
下面，将参考附图详细地描述本发明的示范性实施例。
根据本发明的视频编码方法和设备，通过帧内预测，使用当前块的相邻块的样本值为当前块的边缘区域形成第一预测器，通过帧间预测，使用参考图像为当前块的剩余区域形成第二预测器，并且合并第一预测器和第二预测器来形成当前块的预测块。由于块的边缘区域通常与该块的相邻块高度关联，因此使用与相邻块的空间相关在当前块的边缘区域执行帧内预测，并且使用与参考图像的块的时间相关在当前块的剩余区域的像素值上执行帧间预测。此外，帧间预测适合于形状的预测而帧内预测适合于亮度的预测。因此，使用组合了帧内预测和帧间预测的混合预测来形成当前块的预测块，从而允许更精确的预测，减少了在当前块和预测块之间的误差，因此提高了压缩效率。
图2是根据本发明一示范性实施例的视频编码器200的框图。
视频编码器200通过帧间预测、帧内预测和混合预测形成要被编码的当前块的预测块，确定具有最小耗费的预测模式作为最终的预测模式，并根据确定的预测模式，对预测块和当前块之间的剩余部分执行变换、量化、以及熵编码，从而执行视频压缩。帧间预测和帧内预测可以是传统的帧间预测和帧内预测，例如，根据H.264标准的帧间预测和帧内预测。
参照图2，视频编码器200包括运动估计单元202、运动补偿单元204、帧内预测单元224、变换单元208、量化单元210、重排单元212、熵编码单元214、逆量化单元216、逆变换单元218、滤波器220、帧存储器222、控制单元226以及混合预测单元230。
对于帧间预测，运动估计单元202在参考图像中搜索当前图像的宏块的预测值。当以1/2像素单位或1/4像素单位找到参考块时，运动补偿单元204计算参考块的像素值的中值以确定参考块数据。由运动估计单元202和运动补偿单元204通过这种方式执行帧间预测，从而形成了当前块的帧间预测块。
帧内预测单元224在当前图像中搜索当前图像的宏块的预测值以进行帧内预测，从而形成当前块的帧内预测块。
特别地，视频编码器200包括混合预测单元230，其通过组合了帧间预测和帧内预测的混合预测来形成当前块的预测块。
混合预测单元230通过帧内预测为当前块的边缘区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，并且组合第一预测器和第二预测器，由此形成当前块的预测块。
图3A至3C示出了根据本发明一示范性实施例的混合预测器，图4是说明根据本发明一示范性实施例的混合预测单元230的操作的视图。尽管在图3A至3C中生成4×4的当前块300的混合预测块，但是能为各种尺寸的块生成混合预测块。在下文中，为便于说明，假定为4×4的当前块生成混合预测块。
参照图3A，混合预测单元230通过帧内预测，使用当前块300的相邻块的像素值为当前块300的边缘区域310的像素形成第一预测器，通过帧间预测，为当前块300的除了边缘区域310之外的内部区域320的像素形成第二预测器。优选的是边缘区域310的像素与已经进行过帧内预测处理的块相邻。尽管在图3A中边缘区域310具有一个像素的宽度，但是边缘区域310的宽度是可以变化的。
混合预测单元230可以根据各种可用的帧间预测模式来预测边缘区域310的像素。换句话说，在图3A中示出的，4×4的当前块300的边缘区域310的像素a00、a01、a02、a03、a10、a20以及a30可以根据图1示出的4×4帧内预测模式，从当前块300的相邻块的与边缘区域310相邻的像素A到L被预测得到。混合预测单元230在当前块300的内部区域320中执行运动估计和运动补偿，并且使用参考帧的与内部区域320最相似的区域来预测内部区域320的像素a11、a12、a13、a21、a22、a23、a31、a32和a33的像素值。混合预测单元230也能使用来自运动补偿单元204的帧间预测结果输出和来自帧内预测单元224的帧内预测结果输出来生成混合预测块。
例如，参照图4，用模式0(也就是说，根据H.264标准的4×4帧内预测模式中的垂直模式，如图1所示)对边缘区域310的像素进行帧内预测；并且从参考帧的区域对内部区域320的像素进行帧间预测，该参考帧的区域由通过运动估计和运动补偿所预定义的运动向量MV来表示。
图5示出了根据本发明一示范性实施例的使用如图4所示的混合预测所预测得到的混合预测块。参照图3A和图5，使用当前块的相邻块的与边缘区域310的相邻像素来对边缘区域310的像素进行帧内预测，并且从由运动估计和运动补偿所确定的参考帧的区域中对内部区域320的像素进行帧间预测。换句话说，混合预测单元230通过帧内预测来为边缘区域310的像素形成第一预测器。
类似地，参照图3B，混合预测单元230通过帧内预测使用当前块300的相邻块的像素为当前块300的边缘区域330的像素形成第一预测器，并通过帧间预测为当前块300的内部区域340的像素形成第二预测器。参照图3C，混合预测单元230通过帧内预测使用当前块300的相邻块的像素为当前块300的边缘区域350的像素形成第一预测器，并通过帧间预测为当前块300的内部区域360的像素形成第二预测器。
混合预测单元230可以通过组合加权的第一预测器和加权的第二预测器来形成当前块的预测块，该加权的第一预测器是第一预测器和预定义的第一权值w1的乘积，该加权的第二预测器是第二预测器和预定义的第二权值w2的乘积。第一权值w1和第二权值w2可以使用比率来计算，该比率是通过帧内预测形成的第一预测器的像素的平均值和通过帧间预测形成的第二预测器的像素的平均值的比率。例如，当第一预测器的像素的平均值为M1而第二预测器的像素的平均值为M2时，第一权值w1可以被设置为1，第二权值w2可以被设置为M1/M2。这是因为更精确的预测器可以使用通过帧内预测形成的像素来形成，其反映要编码的当前图像的值。
在图5所示的混合预测块的情形下，混合预测单元230形成为加权的第一预测器，它是第一预测器和第一权值w1的乘积，以及形成为加权的第二预测器，它是第二预测器和第二权值w2的乘积，并且通过组合加权的第一预测器和加权的第二预测器形成预测块。
混合预测单元230可以仅仅为了调整帧间预测块的亮度的目的而使用第一预测器的像素。通常，在帧间预测块的亮度和它的相邻块的亮度之间会产生差异。为了减少该差异，混合预测单元230计算第一预测器的像素的平均值和第二预测器的帧间预测得到的像素的平均值的比率，并且在将帧间预测块的从a00到a33的每一个像素与反映计算出的比率的权值相乘的同时，通过帧间预测形成当前块的预测块。用于权值计算的帧内预测可以仅在第一预测器或在要编码的当前块上执行。
回过来参照图2，控制单元226控制视频编码器200的组件，并且在帧间预测模式、帧内预测模式或者混合预测模式中选择能最小化预测块和原始块之间差异的预测模式。更特定地，控制器226计算帧间预测块，帧内预测块和混合预测块的耗费，并确定具有最小耗费的预测模式作为最终的预测模式。这里，耗费计算可以使用不同的方法执行，例如绝对差值和(SAD)耗费函数、绝对变换差值和(SATD)耗费函数、平方差和(SSD)耗费函数、平均绝对差值(MAD)耗费函数、以及拉格朗日耗费函数。SAD是4×4块的预测剩余部分的值的绝对值的和。SATD是通过对4×4块的预测剩余部分施加提供哈达马变换而获得的系数的绝对值的和。SSD是4×4块预测样本的预测剩余部分的平方和。MAD是4×4块预测样本的预测剩余部分的绝对值的平均值。拉格朗日耗费函数是修正的包括位流长度信息的耗费函数。
一旦通过帧间预测、帧内预测或混合预测发现要被参照的预测块，它从当前块中被提取，被变换单元208变换，接着被量化单元210量化。在减去预测块后的剩下的当前块的部分被作为剩余部分。通常，剩余部分被编码以减少视频编码中的数据量。被量化的剩余部分由重排单元212进行处理以及通过熵编码单元214中的基于上下文的自适应的变长编码(CAVLC)或上下文自适应二进制算术编码(CABAC)被进行熵编码。
为了获得用于帧间预测或混合预测的参考图像，通过逆量化单元216和逆变换单元218来处理量化的图像，因此重建当前的图像。重建的当前图像通过滤波器220执行解块(debwock)滤波来进行处理，接着被存储在帧存储器222中以用于下一个图像的帧间预测或混合预测。
图6示出了根据本发明一示范性实施例的视频编码方法的流程图。
参照图6，在操作602中，输入的视频被分割成预定义尺寸的块。例如，输入的视频可以被分割为从16×16到4×4的各种尺寸的块。
在操作604中，通过在要编码的当前块上执行帧内预测而生成当前块的预测块。
在操作606中，通过执行混合预测来形成当前块的预测块，也就是说，通过帧内预测形成当前块的边缘区域的第一预测器，通过帧间预测形成当前块剩余区域的第二预测器，并且组合第一预测器和第二预测器。如上所述，在混合预测中，可以通过组合加权的第一预测器和加权的第二预测器来形成预测块，其中，该加权的第一预测器为第一预测器和第一权值w1的乘积，该加权的第二预测器为第二预测器和第二权值w2的乘积。
在操作608中，通过在当前块上执行帧间预测来形成当前块的预测块。操作604到608的顺序可以改变或者操作604到608可以被并行执行。
在操作610，通过帧内预测，帧间预测和混合预测所形成的预测块的耗费被计算并且具有最小耗费的预测模式被确定为最终的预测模式用于当前块。
在操作612中，关于确定的最终预测模式的信息被增加到编码位流的头部以通知接收位流的视频解码器，位流中已经使用预测模式编码了那些包括在所接收到的位流中的视频数据。
根据本发明的视频编码方法除了被用于基于块的视频编码方法外，也可以被用于例如MPEG-4的基于对象的视频编码方法。换句话说，要编码的当前对象的边缘区域通过帧内预测来预测，而对象的内部区域通过帧间预测来预测，以根据不同的预测模式生成更加相似于当前对象的预测值，从而提高压缩效率。当根据本发明的混合预测被用于基于对象的视频编码方法时，必须划分包括在视频里的对象，并且使用对象分割或边缘检测算法来检测对象的边缘。对象分割或边缘检测算法是熟知的，其描述将不再提供。
图7是根据本发明一示范性实施例的视频解码器的框图。
参照图7，视频解码器包括熵解码单元710、重排单元720、逆量化单元730、逆变换单元740、运动补偿单元750、帧内预测单元760、混合预测单元770、以及滤波器780。这里，在生成混合预测块时，混合预测单元770采取与图2所示的混合预测单元230相同的方式操作。
熵解码单元710和重排单元720接收压缩的位流，执行熵解码，从而生成量化系数。逆量化单元930和逆变换单元940对量化系数执行逆量化和逆变换，从而提取变换编码系数、运动向量信息、头部信息、和预测模式信息。运动补偿单元750、帧内预测单元760、以及混合预测单元770从包括在位流的头部中的预测模式信息中确定将被解码的当前视频在被编码时所使用的预测模式，并且根据确定的预测模式生成要被解码的当前块的预测块。所生成的预测块被增加到包括在位流里的剩余部分中，从而重建视频。
图8示出了根据本发明一示范性实施例的视频解码方法的流程图。
在操作810，通过解析包括在所接收到的位流头部里的预测模式信息来确定将被解码的当前块在编码时所使用的预测模式。
在操作820，根据确定的预测模式，使用帧间预测、帧内预测和混合预测中的一种预测来生成当前块的预测块。当当前块通过混合预测已经被编码时，通过帧内预测形成第一预测器用于当前块的边缘区域，通过帧间预测形成第二预测器用于当前块的剩余区域，以及通过组合第一预测器和第二预测器来生成当前块的预测块。
在操作830，通过将包括在位流里的剩余部分增加到所生成的预测块重建当前块，并且针对帧的所有块，重复操作，由此重建视频。
如上所述，根据本发明的示范性实施例，通过增加组合了传统的帧间预测和帧内预测的新的预测模式，能够根据视频属性产生与要编码的当前块更加相似的预测块，从而提高压缩效率。
本发明也可以体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能存储数据的任意数据存储设备，该数据此后可以被计算机系统读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备和载波(例如，通过因特网的传播)。计算机可读记录介质也能分布在网络连接的计算机系统上，因此计算机可读代码以分布的形式被存储和执行。
尽管已经参照其示范性实施例特定地表示和描述了本发明，但是本领域普通技术人员能够了解，可以在形式和细节上作出各种变化而不偏离附加的权利要求所定义的本发明的精神和范围。
相关申请的交叉引用本申请要求于2005年11月2日在韩国知识产权局提交的，申请号为10-2005-0104361的韩国专利申请的优先权，其公开内容整个合并到这里作为参考。
权利要求
1.一种视频编码方法包括将输入视频分割成多个块；通过帧内预测在分割块中为要被编码的当前块的边缘区域形成第一预测器；通过帧间预测为当前块的剩余区域形成第二预测器；以及通过组合第一预测器和第二预测器形成当前块的预测块。
2.如权利要求1的视频编码方法，其中当前块的边缘区域包括与先前被编码的块相邻的像素。
3.如权利要求1的视频编码方法，其中形成预测块包括组合作为第一预测器和第一权值的乘积的加权的第一预测器和作为第二预测器和第二权值的乘积的加权的第二预测器。
4.如权利要求3的视频编码方法，其中使用通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率来计算第一权值和第二权值。
5.如权利要求3的视频编码方法，其中通过帧内预测形成的第一预测器的像素的平均值为M1，通过帧间预测形成的第二预测器的像素的平均值为M2，第一权值为1以及第二权值为M1/M2。
6.如权利要求1的视频编码方法，其中形成预测块包括通过在当前块上执行帧间预测形成预测块以及将所形成的预测块与相应于比率的权值相乘，该比率为通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率。
7.如权利要求1的视频编码方法，进一步包括对使用预测块计算出的第一耗费、从通过在当前块上执行帧内预测而预测得到的帧内预测块计算出的第二耗费、以及从通过在当前块上执行帧间预测而预测得到的帧间预测块计算出的第三耗费进行比较，以确定具有最小耗费的预测块作为最终的预测块，用于当前块的压缩编码。
8.如权利要求1的视频编码方法，进一步包括形成一在预测块和当前块之间的剩余信号；以及对该剩余信号执行变换、量化、以及熵编码。
9.一种视频编码器，包括混合预测单元，所述混合预测单元通过帧内预测为从输入视频中分割出的多个块中要被编码的当前块的边缘区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，通过组合第一预测器和第二预测器形成当前块的预测块。
10.如权利要求9的视频编码器，其中当前块的边缘区域包括与先前编码的块相邻的像素。
11.如权利要求9的视频编码器，其中混合预测单元通过组合作为第一预测器和第一权值的乘积的加权的第一预测器与作为第二预测器和第二权值的乘积的加权的第二预测器来形成预测块。
12.如权利要求11的视频编码器，其中使用通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率来计算第一权值和第二权值。
13.如权利要求11的视频编码器，其中通过帧内预测形成的第一预测器的像素的平均值为M1，通过帧间预测形成的第二预测器的像素的平均值为M2，第一权值为1以及第二权值为M1/M2。
14.如权利要求9的视频编码器，其中混合预测单元计算通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率，通过在当前块上执行帧间预测形成预测块，以及将所形成的预测块和相应于计算出的比率的权值相乘。
15.如权利要求9的视频编码器，进一步包括帧内预测单元，其通过在当前块上执行帧内预测来生成帧内预测块；帧间预测单元，其通过在当前块上执行帧间预测来生成帧间预测块；以及控制单元，其对使用预测块计算出的第一耗费、从帧内预测块计算出的第二耗费、以及从预测得到的帧间预测块计算出的第三耗费进行比较，以确定具有最小耗费的预测块作为最终的预测块，用于当前块的压缩编码。
16.一种视频解码方法，包括基于包括在接收到的位流里的预测模式信息来确定要解码的当前块的预测模式；如果确定的预测模式是混合预测模式，其中使用帧内预测来预测当前块的边缘区域，以及使用帧间预测来预测当前块的剩余区域，则通过帧内预测为当前块的边界区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，以及通过组合第一预测器和第二预测器形成当前块的预测块；以及通过将包括在位流里的剩余部分增加到预测块来解码视频。
17.如权利要求16的视频解码方法，其中当前块的边缘区域包括与先前编码的块相邻的像素。
18.如权利要求16的视频解码方法，其中形成预测块包括组合作为第一预测器和第一权值的乘积的加权的第一预测器与作为第二预测器和第二权值的乘积的加权的第二预测器。
19.如权利要求18的视频解码方法，其中使用通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率来计算第一权值和第二权值。
20.如权利要求18的视频解码方法，其中通过帧内预测形成的第一预测器的像素的平均值为M1，通过帧间预测形成的第二预测器的像素的平均值为M2，第一权值为1以及第二权值为M1/M2。
21.一种视频解码器，包括混合预测单元，如果从接收到的位流里提取出的预测模式信息表明是混合预测模式，其中使用帧内预测来预测当前块的边缘区域，以及使用帧间预测来预测当前块的剩余区域，则所述混合预测单元通过帧内预测为当前块的边界区域形成第一预测器，通过帧间预测为当前块的剩余区域形成第二预测器，以及通过组合第一预测器和第二预测器形成当前块的预测块。
22.如权利要求21的视频解码器，其中当前块的边缘区域包括与先前编码的块相邻的像素。
23.如权利要求21的视频解码器，其中混合预测单元通过组合作为第一预测器和第一权值的乘积的加权的第一预测器与作为第二预测器和第二权值的乘积的加权的第二预测器来形成预测块。
24.如权利要求23的视频解码器，其中使用通过帧内预测形成的第一预测器的像素的平均值与通过帧间预测形成的第二预测器的像素的平均值的比率来计算第一权值和第二权值。
25.如权利要求23的视频解码器，其中通过帧内预测形成的第一预测器的像素的平均值为M1，通过帧间预测形成的第二预测器的像素的平均值为M2，第一权值为1以及第二权值为M1/M2。
全文摘要
提供一种视频编码/解码的方法和设备，通过使用帧内－帧间混合预测器生成预测块，提高压缩效率。视频编码方法包括将输入视频分割成多个块；通过帧内预测为分割块中要被编码的当前块的边缘区域形成第一预测器；通过帧间预测为当前块的剩余区域形成第二预测器；以及通过组合第一预测器和第二预测器形成当前块的预测块。
文档编号H04N7/26GK1984340SQ20061006476
公开日2007年6月20日 申请日期2006年11月2日 优先权日2005年11月2日
发明者金昭营, 朴正燻, 李相来, 李再出, 孙有美 申请人:三星电子株式会社