视频解码方法和设备的制作方法
【专利摘要】提供了视频编码器、视频解码器和对应方法。一种用于对图像块的视频信号数据进行编码的视频编码器包括编码器（100），该编码器（100）用于利用公共预测器（315）对视频信号数据的所有颜色分量进行编码。一种用于对图像块的视频信号数据进行解码的视频解码器包括解码器（200），该解码器（200）用于利用公共预测器（430）对视频信号数据的所有颜色分量进行解码。另外，用于对图像块的信号数据进行编码和解码的设备和方法包括编码器和解码器，该编码器和解码器用于对视频信号数据的颜色分量进行编码/解码而不对它们应用残差颜色转换。而且，用于对图像块的视频信号数据进行编码/解码的视频编码器和解码器包括编码器和解码器，该编码器和解码器用于利用对于视频信号数据每个颜色分量唯一的预测器，来对视频信号数据进行编码/解码。
【专利说明】视频解码方法和设备
[0001] 本申请是申请日为2006年3月16日、申请号为200680011968.8、发明名称为“视
频解码方法和设备”的发明专利申请的分案申请。
_2] 交叉引用相关申请
[0003]本申请要求2005年4月13日提交的美国临时申请序号60/671，255和2005年7月20日提交的美国临时申请序号60/700，834的优先权，它们在此都被整个引入作为参考。而且,本申请涉及题为“METHOD AND APPARATUS FOR VIDEO ENCODING (视频编码方法和设备)”的美国专利申请律师签号(attorney docket n0.) PU050051、PU060023 ;题为“METHODAND APPARATUS FOR VIDEO DECODING (视频解码方法和设备)”的美国专利申请律师签号PU060030 ;以及题为“METHOD AND APPARATUS FOR VIDEO ENCODING AND DEC0DING(视频编码与解码方法和设备)”的美国专利申请律师签号PU050159，它们每一个都同此同时提交。
【技术领域】
[0004]本发明一般涉及视频编码器和解码器，并且尤其涉及视频编码与解码方法和设备。
【背景技术】
[0005]目前，国际电信联盟电信标准化部门(ITU-T)H.264标准(以下称为“H.264标准”)的4:4:4格式只将三个通道之一编码为亮度，而利用较低效工具将另外两个通道编码为色度。当编解码器的输入是每一个输入分量都具有全分辨率的4:4:4格式时，利用较低效色度编码算法对三个输入分量中的两个分量进行编码将导致在这两个通道中使用更多的位。该特殊问题在帧内帧中更为显著。例如，对于40dB (PSNR)及以上的整体压缩质量，以Intra-Only (仅仅帧内)模式运行的H.264标准比JPEG2k效率低。
[0006]因此，所希望、且非常有利的是获得克服上述现有技术缺点的视频编码与解码方法和设备。
【发明内容】
[0007]本发明致力于解决现有技术的这些及其它缺点和不利条件，其涉及视频编码和解码方法及设备。
[0008]根据本发明一方面，提供一种用于对图像块的视频信号数据进行编码的视频编码器。该视频编码器包括编码器，该编码器用于利用公共预测器对视频信号数据的所有颜色分量进行编码。
[0009]根据本发明另一方面，提供一种用于对图像块的视频信号数据进行编码的方法。该方法包括，利用公共预测器对视频信号数据的所有颜色分量进行编码。
[0010]根据本发明又一方面，提供一种用于对图像块的视频信号数据进行解码的视频解码器。该视频解码器包括解码器，该解码器用于利用公共预测器对视频信号数据的所有颜色分量进行解码。[0011]根据本发明又一方面，提供一种用于对图像块的视频信号数据进行解码的方法。该方法包括利用公共预测器对视频信号数据的所有颜色分量进行解码。
[0012]以下将要结合附图对示范性实施例进行详细描述，本发明的这些及其它方面、特征和有益效果将变得很清楚。
【专利附图】
【附图说明】
[0013]根据以下示例图可以更好地理解本发明，其中:
[0014]图1是示出可以应用本发明原理的示范性视频编码设备的框图；
[0015]图2是示出可以应用本发明原理的示范性视频解码设备的框图；
[0016]图3是示出根据本发明原理具有预编码颜色变换块的示范性视频编码过程的流程图；
[0017]图4是示出根据本发明原理具有后解码逆颜色变换块的示范性视频解码过程的流程图；
[0018]图5是示出残差颜色转换(RCT)简化模型的框图；
[0019]图6A和6B是根据本发明原理的、关于ATV intra-only的平均PSNR对位速率的曲线；
[0020]图7A和7B是根据本发明原理的、关于CT intra-only的平均PSNR对位速率的曲线.[0021]图8A和8B是根据本发明原理的、关于DT intra-only的平均PSNR对位速率的曲线.[0022]图9A和9B是根据本发明原理的、关于MIR_HD intra-only的平均PSNR对位速率的曲线；
[0023]图1OA和IOB是根据本发明原理的、关于RT intra-only的平均PSNR对位速率的曲线；
[0024]图1lA和IlB是根据本发明原理的、关于STB_HD intra-only的平均PSNR对位速率的曲线；
[0025]图12是示出根据本发明原理的H.264序列参数句法的表；
[0026]图13A-13D是示出根据本发明原理的H.264残差数据句法的表；
[0027]图14是示出根据本发明原理具有预编码颜色变换块的示范性视频编码过程的流程图；
[0028]图15是示出根据本发明原理具有后解码逆颜色变换步骤块的示范性视频解码过程的流程图；以及
[0029]图16A-16B是示出根据本发明原理的H.264宏块预测句法的表。
【具体实施方式】
[0030]本发明针对用于对视频信号数据进行视频编码和解码的方法和设备。应该理解，虽然主要对于利用ITU-T H.264标准的4:4:4格式采样的视频信号数据来描述本发明，但是在保持本发明范围的同时，本发明也可应用于利用H.264标准的其它格式(例如4:2:2和/或4:2:0格式)以及其它视频压缩标准采样的视频信号数据。[0031]应该理解，根据本发明原理的方法和设备不需要为亮度或色度压缩算法使用任何新工具。而是可以使用现有亮度编码工具。因此，由此的一个有利结果是，可以在保持向后兼容性、并使现有H.264标准(或其它适用标准)的任何变化最小化的同时，使4:4:4格式的编码性能最大化。
[0032]根据如实施例中所配置的本发明原理，利用亮度编码算法来对例如4:4:4内容的所有三个分量通道进行编码。该实施例的优点包括，相对于现有技术提高了 4:4:4内容压缩的整体编码性能。目前，在现有H.264标准中，只将三个通道之一编码为亮度，而利用较低效工具将另外两个通道编码为色度。
[0033]进一步，根据如实施例中所配置的本发明原理，执行颜色变换作为预处理步骤。因而，根据该实施例，在压缩循环中不执行残差颜色转换(RCT)。该实施例的优点包括，在所有颜色格式之间提供一致的编码器/解码器结构。
[0034]而且，根据如实施例中所配置的本发明原理，将相同的运动/空间预测模式用于所有三个分量。该实施例的优点包括减小的编解码器复杂性以及向后兼容性。
[0035]而且，根据另一实施例，不是为所有三个分量使用相同预测器，而是可以为三个分量使用3个约束空间预测器的集合(或子集)。该实施例的优点包括，相对于现有技术提高了 4:4:4内容压缩的整体编码性能。
[0036]应该理解，可以将以上及随后在此描述的各实施例实施为单独实施例，或者可以按照如该领域和相关领域的普通技术人员所容易理解的任何方式进行组合。因而，例如在第一组合实施例中，有利地利用亮度编码算法对所有三个分量通道进行编码，执行颜色变换作为预处理步骤，并将单个预测器用于所有三个分量通道。在第二组合实施例中，有利地利用亮度编码算法对所有三个分量通道进行编码，执行颜色变换作为预处理步骤，并可以将3个约束空间预测器的集合(或子集)用于三个分量通道。当然，如上所述，给定在此提供的本发明原理的教导，在保持本发明范围的同时，也可实施各实施例的其它组合。
[0037]本说明书举例说明本发明的原理。因而，应该理解，本领域技术人员将能够设计出虽然在此未明确描述或示出、但是能具体实施本发明原理且被包括在本发明精神和范围内的各种配置。
[0038]在此列举的所有例子和条件性语言都用于教导目的以帮助读者理解本发明人所提出的、有助于促进本【技术领域】发展的本发明原理和概念，并且应该认为本发明不限于这些具体列举的例子和条件。
[0039]而且，在此列举本发明原理、方面和实施例及本发明特定例子的所有语句，都预定包括其结构和功能等效物。另外，这种等效物预定包括当前已知的等效物以及将来开发的等效物，即与结构无关的执行相同功能的任何被开发元件。
[0040]因而，例如本领域技术人员应该理解，在此给出的框图代表具体实施本发明原理的说明性电路的概念图。类似应该理解，任何流程表、流程图、状态转移图、伪码等，都代表实质上可以在计算机可读介质中表示、从而可通过计算机或处理器来执行的各种过程，而不管这种计算机或处理器是否明确示出。
[0041]利用专用硬件以及能够与适当软件关联地执行软件的硬件，可以提供图中所示的各种元件的功能。当通过处理器来提供这些功能时，可以通过单个专用处理器、或通过单个共享处理器、或通过其中一些可以被共享的多个单独处理器，来提供这些功能。而且，术语“处理器”或“控制器”的显式使用不应被认为只指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存储器(RAM)和非易失性存储器。
[0042]也可以包括其它常规和/或定制的硬件。类似，图中所示的任何开关都只是概念性的。如从上下文更具体地理解的，可以通过程序逻辑操作、通过专用逻辑、通过程序控制和专用逻辑的交互、乃至手动操作，来实现它们的功能，可以由实施者来选择特殊技术。
[0043]在本发明权利要求中，被表示为用于执行指定功能的装置的任何元件都预定包括执行该功能的任何方式，例如包括:a)执行该功能的电路元件的组合；或13)任何形式的软件，因而包括和用于执行该软件的适当电路相结合、以执行该功能的固件、微码等。如这些权利要求所定义的本发明在于，以权利要求所要求的方式来组合并集合由列举的各种装置所提供的功能性。因而，认为能够提供这些功能性的任何装置都等效于在此所示出的那些
装直。
[0044]转到图1，一般用附图标记199来表示示范性视频编码设备。视频编码设备199包括视频编码器100和预编码颜色变换模块105。
[0045]预编码颜色变换模块105用于，在视频信号输入到视频编码器100之前对视频信号执行颜色预处理。以下进一步描述预编码颜色变换模块105所执行的颜色预处理。应该理解，在某些实施例中可省略预编码颜色变换模块105。
[0046]预编码颜色变换模块105的输入和视频编码器100的输入可用作视频编码设备199的输入。
[0047]预编码颜色变换模块105的输出以信号通信方式与视频编码器100的输入相连。
[0048]视频编码器100的输入以信号通信方式与求和点110的非反相输入相连。求和点110的输出以信号通信方式与变换器/量化器120相连。变换器/量化器120的输出以信号通信方式与熵编码器140相连。熵编码器140的输出可用作视频编码器100的输出，并且也可用作视频编码设备199的输出。
[0049]变换器/量化器120的输出进一步以信号通信方式与逆变换器/逆量化器150相连。逆变换器/逆量化器150的输出以信号通信方式与解块滤波器160的输入相连。解块滤波器160的输出以信号通信方式与参考图像存储器170相连。参考图像存储器170的第一输出以信号通信方式与运动和空间预测估计器180的第一输入相连。视频编码器100的输入进一步以信号通信方式与运动和空间预测估计器180的第二输入相连。运动和空间预测估计器180的输出以信号通信方式与运动和空间预测补偿器190的第一输入相连。参考图像存储器170的第二输出以信号通信方式与运动和空间预测补偿器190的第二输入相连。运动和空间预测补偿器190的输出以信号通信方式与求和点110的反相输入相连。
[0050]转到图2，一般用附图标记299来表示示范性视频解码设备。视频解码设备299包括视频解码器200和后解码器逆颜色变换模块293。
[0051]视频解码器200的输入可用作视频解码设备299的输入。视频解码器200的输入以信号通信方式与熵解码器210的输入相连。熵解码器210的第一输出以信号通信方式与逆量化器/逆变换器220的输入相连。逆量化器/逆变换器220的输出以信号通信方式与求和点240的第一输入相连。
[0052]求和点240的输出以信号通信方式与解块滤波器290相连。解块滤波器290的输出以信号通信方式与参考图像存储器250相连。参考图像存储器250以信号通信方式与运动和空间预测补偿器260的第一输入相连。运动和空间预测补偿器260的输出以信号通信方式与求和点240的第二输入相连。熵解码器210的第二输出以信号通信方式与运动和空间预测补偿器260的第二输入相连。解块滤波器290的输出可用作视频解码器200的输出，并且也可用作视频解码设备299的输出。
[0053]而且，后解码逆颜色变换模块293的输出可用作视频解码设备299的输出。在这种情况下，视频解码器200的输出可以以信号通信方式与后解码逆颜色变换模块293的输入相连，后解码逆颜色变换模块293是关于视频解码器200的后处理模块。后解码逆颜色变换模块293的输出提供相对于视频解码器200输出的后处理逆颜色变换信号。应该理解，后解码逆颜色变换模块293的使用是可选的。
[0054]现在描述根据本发明原理的增强4:4:4编码。首先描述的实施例是一种组合实施例，其中将亮度编码算法用于所有颜色分量，将相同空间预测模式用于所有颜色分量，且从压缩循环中省略残差颜色转换(RCT)。也提供该组合实施例的测试结果。随后，描述第二组合实施例，其中将亮度编码算法用于所有颜色分量，将约束空间预测器的集合(或子集)(而不是单一空间预测模式)用于所有颜色分量，并从压缩循环中省略RCT。因而，第一和第二组合实施例之间的不同在于，在第一组合实施例中将单一空间预测模式用于所有颜色分量，而在第二组合实施例中将约束空间预测器的集合(或子集)用于所有颜色分量。当然，如上所述，可以将在此描述的各实施例实施为单独实施例，或者可以按照如该领域和相关领域的普通技术人员所容易理解的任何方式进行组合。例如，根据如实施例中所配置的本发明原理，只使用单一空间预测模式，而不和其它实施例组合，如从压缩循环中省略RCT。应该理解，给定在此提供的本发明原理的教导，在保持本发明范围的同时，该领域和相关领域的普通技术人员将能够容易弄清本发明的实施例的这些和其它变化、实施和组合。
[0055]转到图3，一般分别用附图标记300和301来表示具有预编码颜色变换块的示范性视频编码过程。
[0056]应该理解，预编码颜色变换块301包括块306、308和310。而且，应该理解，预编码颜色变换块301是可选的，因而在本发明某些实施例中可以省略。
[0057]预编码颜色变换块301包括循环限制块306，循环限制块306对图像中的每一个块开始循环，并将控制传递给功能块308。功能块308对当前图像块的视频信号数据执行颜色预处理，并将控制传递给循环限制块310。循环限制块310结束循环。而且，循环限制块310将控制传递给被包括在视频编码过程300中的循环限制块312。
[0058]循环限制块312对图像中每一个块开始循环，并将控制传递给功能块315。功能块315利用一个用于当前图像块每个颜色分量的公共预测器，来形成当前图像块的运动补偿或空间预测，并将控制传递给功能块320。功能块320从当前图像块减去运动补偿或空间预测，以形成预测残差，并将控制传递给功能块330。功能块330对预测残差进行变换和量化，并将控制传递给功能块335。功能块335对预测残差进行逆变换和逆量化，以形成编码预测残差，并将控制传递给功能块345。功能块345将编码残差加到预测上，以形成编码图像块，并将控制传递给结束循环块350。结束循环块350结束循环，并将控制传递给结束块355。
[0059]转到图4，一般分别用附图标记400和460来表示具有后解码逆颜色变换块的示范性视频解码过程。
[0060]应该理解，后解码逆颜色变换块460包括块462、464、466和468。而且，应该理解，后解码逆颜色变换块460是可选的，因而在本发明某些实施例中可以省略。[0061]解码过程400包括循环限制块410，循环限制块410对图像中的当前块开始循环，并将控制传递给功能块415。功能块415对编码残差进行熵解码，并将控制传递给功能块420。功能块420对解码的残差进行逆变换和逆量化，以形成编码残差，并将控制传递给功能块430。功能块430将编码残差加到由应用于每个颜色分量的公共预测器所形成的预测上，以形成编码图像块，并将控制传递给循环限制块435。循环限制块435结束循环，并将控制传递给结束块440。
[0062]在某些实施例中，循环限制块435可选地将控制传递给后解码逆颜色变换块460，尤其是后解码逆颜色变换块460中所包括的循环限制块462。循环限制块462对图像中每个块开始循环，并将控制传递给功能块464。功能块464对当前图像块的视频信号数据执行逆颜色后处理，并将控制传递给循环限制块466。循环限制块466结束循环，并将控制传递给结束块468。[0063]在H.2644:4:4格式中，每个分量通道都具有全分辨率。因而，根据上述第一组合实施例，对每个颜色分量都使用亮度编码算法，以获得最大整体压缩效率。因此，在该实施例中，对于帧内帧，例如可以利用2004年7月的文档N6540，ISO) /IEC1449610高级视频编码第三版(ITU-T Rec.H.264)、IS0/IEC JTC1/SC29/WG11 和 ITU-T SG16Q.6 中的表 8-2、表8-3和表8-4中所列出的那些预测模式，来压缩每种颜色分量。
[0064]另外，在实施例中，将相同空间预测模式用于所有三个像素分量，以进一步减小编解码器的复杂性以及提高性能。例如，所有三个分量都可以使用通过宏块预测头中的亮度的 prev_intra4 X 4_pred_mode_f lag> rem_intra4X4_pred_mode、prev_intra8 X 8_pred_mode_flag和rem_intra8X8_pred_mode参数所设置的预测模式。因此,不需要额外的比特位和句法元素。对于B和P (预测)帧，可以通过H.264标准的8.4.2.2.1节中描述的插值方法，对所有三个通道计算小数像素位置处的参考像素。以下进一步讨论当前H.264标准的详细句法和语义变化。
[0065]在高4:4:4档次(Hign4:4:4pr0file)中，将RCT加到编码器/解码器上。结果，4:4:4格式的压缩结构不同于H.264标准的所有其它档次中当前为4:2:0和4:2:2格式使用的压缩结构。这导致了某些额外的实施复杂性。而且，类似于其它任何颜色变换，YCOCG不一定提高整体压缩性能。YCOCG的效率是与内容高度相关的。因而，为提高整体压缩性能和鲁棒性，在实施例中，将颜色变换放在预测循环外，作为预处理块一部分。通过这样做，为特定压缩任务选择最佳颜色变换是操作问题，并且可以在许多选项中找到特殊输入序列的最佳的颜色变换。根据其中所有三个分量都将相同空间预测器用于帧内帧、并将相同插值滤波器用于B和P (预测或帧间编码)帧的实施例，当忽略舍入/截断误差时，对预测残差执行颜色变换等同于在编解码器外对源图像执行颜色变换。以下将进一步对此进行讨论。因而，从编码结构去除RCT块，以使编码结构在所有颜色格式之间一致。
[0066]转到图5，一般用附图标记500来表示RCT简化模型。RCT模型500包括参考像素发生器510、求和点520和线性变换模块530。参考像素发生器510的输入被配置成接收运动/边缘信息和矢量[X1]，[X2]…….[XJ。参考像素发生器510的输出以信号通信方式与求和点520的反相输入相连，参考象素发生器510向求和点520提供预测矢量[Xp]。求和点520的非反相输入被配置成接收输入矢量[Xin]。求和点520的输出以信号通信方式与线性变换模块530的输入相连，求和点520向线性变换模块530提供矢量[Xd]。线性变换模块530的输出被配置成提供矢量[Yd]。
[0067]在RCT500的简化模型中，由3 X 3矩阵[A]表示的颜色变换(线性变换)被定义如下:
【权利要求】
1.一种用于对图像块的视频信号数据进行解码的视频解码器，所述视频解码器包括利用公共预测器对所述视频信号数据的所有颜色分量进行解码的解码器，其中，所述解码器将公共插值滤波器用于所述视频信号数据的所有颜色分量的B和P帧，并且在不对所述图像块应用残差颜色转换的情况下对所述图像块进行解码。
2.根据权利要求1所述的视频解码器，其中所述公共预测器是用于所述视频信号数据的亮度分量和色度分量的亮度预测器。
3.根据权利要求1所述的视频解码器，其中所述解码器将公共空间预测模式用于所述视频信号数据的所有颜色分量。
4.根据权利要求3所述的视频解码器，其中通过国际电信联盟电信部门H.264标准的 prev_intra8 X 8_pred_mode_f lag> rem_intra8 X 8_pred_mode、prev_intra4 X 4_pred_mode_flag和rem_intra4X4_pred_mode参数,来设置所述公共空间预测模式。
5.根据权利要求1所述的视频解码器，其中所述视频信号数据的采样对应于国际电信联盟电信部门H.264标准的4:4:4、4:2:2和4:2:0格式中的任何格式。
6.一种用于对图像块的视频信号数据进行解码的方法，所述方法包括利用公共预测器对所述视频信号数据的所有颜色分量进行解码的步骤，其中，使用公共插值滤波器用于所述视频信号数据的所有颜色分量的B和P帧，并且其中所述解码的步骤在不对所述视频信号数据的所有颜色分量应用残差颜色转换的情况下对所述视频信号数据的所有颜色分量进行解码。
7.根据权利要求6所述的方法，其中所述公共预测器是用于所述视频信号数据的亮度分量和色度分量的亮度预测器。
8.根据权利要求6所述的方法，其中将公共空间预测模式用于所述视频信号数据的所有颜色分量。
9.根据权利要求8所述的方法，其中通过国际电信联盟电信部门H.264标准的preV_intra8 X 8_pred_mode_f lag> rem_intra8 X 8_pred_mode、prev_intra4 X 4_pred_mode_flag和rem_intra4X4_pred_mode参数,来设置所述公共空间预测模式。
10.根据权利要求6所述的方法，还包括在解码步骤之后的后处理步骤中对所述视频信号数据执行逆颜色变换。
11.根据权利要求6所述的方法，其中所述视频信号数据的采样对应于国际电信联盟电信部门H.264标准的4:4:4、4:2:2和4:2:0格式中的任何格式。
【文档编号】H04N7/26GK103458243SQ201310369407
【公开日】2013年12月18日 申请日期:2006年3月16日 优先权日:2005年4月13日
【发明者】于浩平 申请人:汤姆逊许可公司