利用一个公共的或三个不同的空间预测器的亮度-色度编码的制作方法

专利名称：利用一个公共的或三个不同的空间预测器的亮度-色度编码的制作方法
技术领域：
本发明一般涉及视频编码器和解码器，并且尤其涉及视频编码与解码方法 和设备。
背景技术：
目前，国际电信联盟电信标准化部门(ITU-T)H.264标准(以下称为"H.264 标准")的4:4:4格式只将三个通道之一编码为亮度，而利用较低效工具将另外 两个通道编码为色度。当编解码器的输入是每一个输入分量都具有全分辨率的 4:4:4格式时，利用较低效色度编码算法对三个输入分量中的两个分量进行编 码将导致在这两个通道中使用更多的位。该特殊问题在帧内帧中更为显著。例 如，对于40dB (PSNR)及以上的整体压縮质量，以Intra-Only (仅仅帧内) 模式运行的H.264标准比JPEG2k效率低。因此，所希望、且非常有利的是获得克服上述现有技术缺点的视频编码与 解码方法和设备。发明内容本发明致力于解决现有技术的这些及其它缺点和不利条件，其涉及视频编 码和解码方法及设备。根据本发明一方面，提供一种用于对图像块的视频信号数据进行编码的视 频编码器。该视频编码器包括编码器，用于利用视频信号数据的每个颜色分量 的唯一预测器，来对该视频信号数据进行编码。根据本发明另一方面，提供一种用于对图像块的视频信号数据进行编码的 方法。该方法包括，利用视频信号数据的每个颜色分量的唯一预测器，来对该 视频信号数据进行编码。根据本发明又一方面，提供一种用于对图像块的视频信号数据进行解码的 视频解码器。该视频解码器包括解码器，用于利用视频信号数据的每个颜色分 量的唯一预测器，来对该视频信号数据进行解码。根据本发明又一方面，提供一种用于对图像块的视频信号数据进行解码的 方法。该方法包括利用视频信号数据的每个颜色分量的唯一预测器，来对该视 频信号数据进行编码。以下将要结合附图对示范性实施例进行详细描述，本发明的这些及其它方 面、特征和有益效果将变得很清楚。


根据以下示例图可以更好地理解本发明，其中-
图1是示出可以应用本发明原理的示范性视频编码设备的框图； 图2是示出可以应用本发明原理的示范性视频解码设备的框图；图3是示出根据本发明原理具有预编码颜色变换块的示范性视频编码过 程的流程图；图4是示出根据本发明原理具有后解码逆颜色变换块的示范性视频解码 过程的流程图；图5是示出残差颜色转换(RCT)简化模型的框图；图6A和6B是根据本发明原理的、关于ATV intra-only的平均PSNR对位速率的曲线；图7A和7B是根据本发明原理的、关于CT intra-only的平均PSNR对位速率的曲线；图8A和8B是根据本发明原理的、关于DT intra-only的平均PSNR对位速率的曲线；图9A和9B是根据本发明原理的、关于MIR—HD intra-only的平均PSNR对位速率的曲线；图10A和10B是根据本发明原理的、关于RT intra-only的平均PSNR对位速率的曲线；图IIA和11B是根据本发明原理的、关于STB—HD intra-only的平均PSNR对位速率的曲线；图12是示出根据本发明原理的H.264序列参数句法的表； 图13是示出根据本发明原理的H.264残差数据句法的表； 图14是示出根据本发明原理具有预编码颜色变换块的示范性视频编码过程的流程图15是示出根据本发明原理具有后解码逆颜色变换步骤块的示范性视频 解码过程的流程图；以及图16是示出根据本发明原理的H.264宏块预测句法的表。
具体实施方式
本发明针对用于对视频信号数据进行视频编码和解码的方法和设备。应该 理解，虽然主要对于利用ITU-T H.264标准的4:4:4格式采样的视频信号数据 来描述本发明，但是在保持本发明范围的同时，本发明也可应用于利用H.264 标准的其它格式(例如4:2:2和/或4:2:0格式)以及其它视频压縮标准采样的视频信号数据。应该理解，根据本发明原理的方法和设备不需要为亮度或色度压縮算法使 用任何新工具。而是可以使用现有亮度编码工具。因此，由此的一个有利结果 是，可以在保持向后兼容性、并使现有H.264标准(或其它适用标准)的任何 变化最小化的同时，使4:4:4格式的编码性能最大化。根据如实施例中所配置的本发明原理，利用亮度编码算法来对例如4:4:4 内容的所有三个分量通道进行编码。该实施例的优点包括，相对于现有技术提 高了 4:4:4内容压缩的整体编码性能。目前，在现有H.264标准中，只将三个 通道之一编码为亮度，而利用较低效工具将另外两个通道编码为色度。进一歩，根据如实施例中所配置的本发明原理，执行颜色变换作为预处理 步骤。因而，根据该实施例，在压縮循环中不执行残差颜色转换(RCT)。该 实施例的优点包括，在所有颜色格式之间提供一致的编码器/解码器结构。而且，根据如实施例中所配置的本发明原理，将相同的运动/空间预测模 式用于所有三个分量。该实施例的优点包括减小的编解码器复杂性以及向后兼容性。而且，根据另一实施例，不是为所有三个分量使用相同预测器，而是可以 为三个分量使用3个约束空间预测器的集合(或子集)。该实施例的优点包括，相对于现有技术提高了 4:4:4内容压縮的整体编码性能。应该理解，可以将以上及随后在此描述的各实施例实施为单独实施例，或 者可以按照如该领域和相关领域的普通技术人员所容易理解的任何方式进行 组合。因而，例如在第一组合实施例中，有利地利用亮度编码算法对所有三个 分量通道进行编码，执行颜色变换作为预处理步骤，并将单个预测器用于所有 三个分量通道。在第二组合实施例中，有利地利用亮度编码算法对所有三个分 量通道进行编码，执行颜色变换作为预处理步骤，并可以将3个约束空间预测 器的集合(或子集)用于三个分量通道。当然，如上所述，给定在此提供的本 发明原理的教导，在保持本发明范围的同时，也可实施各实施例的其它组合。本说明书举例说明本发明的原理。因而，应该理解，本领域技术人员将能 够设计出虽然在此未明确描述或示出、但是能具体实施本发明原理且被包括在 本发明精神和范围内的各种配置。在此列举的所有例子和条件性语言都用于教导目的以帮助读者理解本发 明人所提出的、有助于促进本技术领域发展的本发明原理和概念，并且应该认 为本发明不限于这些具体列举的例子和条件。而且，在此列举本发明原理、方面和实施例及本发明特定例子的所有语句， 都预定包括其结构和功能等效物。另外，这种等效物预定包括当前已知的等效 物以及将来开发的等效物，即与结构无关的执行相同功能的任何被开发元件。因而，例如木领域技术人员应该理解，在此给出的框图代表具体实施本发 明原理的说明性电路的概念图。类似应该理解，任何流程表、流程图、状态转
移图、伪码等，都代表实质上可以在计算机可读介质中表示、从而可通过计算 机或处理器来执行的各种过程，而不管这种计算机或处理器是否明确示出。利用专用硬件以及能够与适当软件关联地执行软件的硬件，可以提供图中 所示的各种元件的功能。当通过处理器来提供这些功能时，可以通过单个专用 处理器、或通过单个共享处理器、或通过其中一些可以被共享的多个单独处理 器，来提供这些功能。而且，术语"处理器"或"控制器"的显式使用不应被 认为只指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存储器(RAM)和非易失性存储器。也可以包括其它常规和/或定制的硬件。类似，图中所示的任何开关都只 是概念性的。如从上下文更具体地理解的，可以通过程序逻辑操作、通过专用 逻辑、通过程序控制和专用逻辑的交互、乃至手动操作，来实现它们的功能， 可以由实施者来选择特殊技术。在本发明权利要求中，被表示为用于执行指定功能的装置的任何元件都预 定包括执行该功能的任何方式，例如包括a)执行该功能的电路元件的组合； 或b)任何形式的软件，因而包括和用于执行该软件的适当电路相结合、以执行 该功能的固件、微码等。如这些权利要求所定义的本发明在于，以权利要求所 要求的方式来组合并集合由列举的各种装置所提供的功能性。因而，认为能够 提供这些功能性的任何装置都等效于在此所示出的那些装置。转到图l， 一般用附图标记199来表示示范性视频编码设备。视频编码设 备199包括视频编码器100和预编码颜色变换模块105。预编码颜色变换模块105用于，在视频信号输入到视频编码器100之前对 视频信号执行颜色预处理。以下进一步描述预编码颜色变换模块105所执行的 颜色预处理。应该理解，在某些实施例中可省略预编码颜色变换模块105。预编码颜色变换模块105的输入和视频编码器100的输入可用作视频编码 设备199的输入。预编码颜色变换模块105的输出以信号通信方式与视频编码器100的输入 相连。视频编码器100的输入以信号通信方式与求和点110的非反相输入相连。 求和点110的输出以信号通信方式与变换器/量化器120相连。变换器/量化器 120的输出以信号通信方式与熵编码器140相连。熵编码器140的输出可用作 视频编码器100的输出，并且也可用作视频编码设备199的输出。变换器/量化器120的输出进一步以信号通信方式与逆变换器/逆量化器 150相连。逆变换器/逆量化器150的输出以信号通信方式与解块滤波器160的 输入相连。解块滤波器160的输出以信号通信方式与参考图像存储器170相连。 参考图像存储器170的第一输出以信号通信方式与运动和空间预测估计器180 的第一输入相连。视频编码器100的输入进一步以信号通信方式与运动和空间 预测估计器180的第二输入相连。运动和空间预测估计器180的输出以信号通 信方式与运动和空间预测补偿器190的第一输入相连。参考图像存储器170的 第二输出以信号通信方式与运动和空间预测补偿器190的第二输入相连。运动 和空间预测补偿器190的输出以信号通信方式与求和点110的反相输入相连。转到图2， 一般用附图标记299来表示示范性视频解码设备。视频解码设 备299包括视频解码器200和后解码器逆颜色变换模块293。视频解码器200的输入可用作视频解码设备299的输入。视频解码器200 的输入以信号通信方式与熵解码器210的输入相连。熵解码器210的第一输出 以信号通信方式与逆量化器/逆变换器220的输入相连。逆量化器/逆变换器220 的输出以信号通信方式与求和点240的第一输入相连。求和点240的输出以信号通信方式与解块滤波器290相连。解块滤波器 290的输出以信号通信方式与参考图像存储器250相连。参考图像存储器250 以信号通信方式与运动和空间预测补偿器260的第一输入相连。运动和空间预 测补偿器260的输出以信号通信方式与求和点240的第二输入相连。熵解码器 210的第二输出以信号通信方式与运动和空间预测补偿器260的第二输入相 连。解块滤波器290的输出可用作视频解码器200的输出，并且也可用作视频 解码设备299的输出。而且，后解码逆颜色变换模块293的输出可用作视频解码设备299的输出。 在这种情况下，视频解码器200的输出可以以信号通信方式与后解码逆颜色变 换模块293的输入相连，后解码逆颜色变换模块293是关于视频解码器200的 后处理模块。后解码逆颜色变换模块293的输出提供相对于视频解码器200输 出的后处理逆颜色变换信号。应该理解，后解码逆颜色变换模块293的使用是 可选的。现在描述根据本发明原理的增强4:4:4编码。首先描述的实施例是一种组 合实施例，其中将亮度编码算法用于所有颜色分量，将相同空间预测模式用于 所有颜色分量，且从压縮循环中省略残差颜色转换(RCT)。也提供该组合实 施例的测试结果。随后，描述第二组合实施例，其中将亮度编码算法用于所有 颜色分量，将约束空间预测器的集合(或子集)(而不是单一空间预测模式) 用于所有颜色分量，并从压縮循环中省略RCT。因而，第一和第二组合实施例 之间的不同在于，在第一组合实施例中将单一空间预测模式用于所有颜色分 量，而在第二组合实施例中将约束空间预测器的集合(或子集)用于所有颜色 分量。当然，如上所述，可以将在此描述的各实施例实施为单独实施例，或者
可以按照如该领域和相关领域的普通技术人员所容易理解的任何方式进行组 合。例如，根据如实施例中所配置的本发明原理，只使用单一空间预测模式，而不和其它实施例组合，如从压縮循环中省略RCT。应该理解，给定在此提供的本发明原理的教导，在保持本发明范围的同时，该领域和相关领域的普通技 术人员将能够容易弄清本发明的实施例的这些和其它变化、实施和组合。转到图3， 一般分别用附图标记300和301来表示具有预编码颜色变换块 的示范性视频编码过程。应该理解，预编码颜色变换块301包括块306、 308和310。而且，应该 理解，预编码颜色变换块301是可选的，因而在本发明某些实施例中可以省略。预编码颜色变换块301包括循环限制块306，循环限制块306对图像中的 每-个块开始循环，并将控制传递给功能块308。功能块308对当前图像块的 视频信号数据执行颜色预处理，并将控制传递给循环限制块310。循环限制块 310结束循环。而且，循环限制块310将控制传递给被包括在视频编码过程300 中的循环限制块312。循环限制块312对图像中每一个块开始循环，并将控制传递给功能块315。 功能块315利用一个用于当前图像块每个颜色分量的公共预测器，来形成当前 图像块的运动补偿或空间预测，并将控制传递给功能块320。功能块320从当 前图像块减去运动补偿或空间预测，以形成预测残差，并将控制传递给功能块 330。功能块330对预测残差进行变换和量化，并将控制传递给功能块335。功 能块335对预测残差进行逆变换和逆量化，以形成编码预测残差，并将控制传 递给功能块345。功能块345将编码残差加到预测上，以形成编码图像块，并 将控制传递给结束循环块350。结束循环块350结束循环，并将控制传递给结 束块355。
转到图4， 一般分别用附图标记400和460来表示具有后解码逆颜色变换 块的示范性视频解码过程。应该理解，后解码逆颜色变换块460包括块462、 464、 466和468。而且， 应该理解，后解码逆颜色变换块460是可选的，因而在本发明某些实施例中可 以省略。解码过程400包括循环限制块410，循环限制块410对图像中的当前块开 始循环，并将控制传递给功能块415。功能块415对编码残差进行熵解码，并 将控制传递给功能块420。功能块420对解码的残差进行逆变换和逆量化，以 形成编码残差，并将控制传递给功能块430。功能块430将编码残差加到由应 用于每个颜色分量的公共预测器所形成的预测上，以形成编码图像块，并将控 制传递给循环限制块435。循环限制块435结束循环，并将控制传递给结束块 440。在某些实施例屮，循环限制块435可选地将控制传递给后解码逆颜色变换 块460，尤其是后解码逆颜色变换块460中所包括的循环限制块462。循环限 制块462对图像中每个块开始循环，并将控制传递给功能块464。功能块464 对当前图像块的视频信号数据执行逆颜色后处理，并将控制传递给循环限制块 466。循环限制块466结束循环，并将控制传递给结束块468。在H.264 4:4:4格式中，每个分量通道都具有全分辨率。因而，根据上述 第一组合实施例，对每个颜色分量都使用亮度编码算法，以获得最大整体压縮 效率。因此，在该实施例中，对于帧内帧，例如可以利用2004年7月的文档 N6540, ISO) /IEC 14496 10高级视频编码第三版(ITU-TRec. H.264)、 ISO/IEC JTC1/SC29/WG11和ITU-T SG16 Q.6中的表8-2、表8-3和表8-4中所列出的 那些预测模式，来Iii缩每种颜色分量。
另外，在实施例中，将相同空间预测模式用于所有三个像素分量，以进一 步减小编解码器的复杂性以及提高性能。例如，所有三个分量都可以使用通过宏块预观!J 头中的亮度的 prev—intra4x4_pred—mode—flag 、 rem—intra4x4_pred—mode、 prev—intra8x8_pred—mode—flag 禾口 rem—intra8x8_pred_mode参数所设置的预测模式。因此，不需要额外的比特位 和句法元素。对于B和P (预测)帧，可以通过H.264标准的8.4.2.2.1节中描述的插值方法，对所有三个通道计算小数像素位置处的参考像素。以下进一步 讨论当前H.264标准的详细句法和语义变化。在高4:4:4档次(Hign 4:4:4 profile)中，将RCT加到编码器/解码器上。 结果，4:4:4格式的压縮结构不同于H.264标准的所有其它档次中当前为4:2:0 和4:2:2格式使用的压縮结构。这导致了某些额外的实施复杂性。而且，类似 于其它任何颜色变换，YCOCG不一定提高整体压縮性能。YCOCG的效率是 与内容高度相关的。因而，为提高整体压縮性能和鲁棒性，在实施例中，将颜 色变换放在预测循环外，作为预处理块一部分。通过这样做，为特定压縮任务 选择最佳颜色变换是操作问题，并且可以在许多选项中找到特殊输入序列的最 佳的颜色变换。根据其中所有三个分量都将相同空间预测器用于帧内帧、并将 相同插值滤波器用于B和P (预测或帧间编码)帧的实施例，当忽略舍入/截断 误差时，对预测残差执行颜色变换等同于在编解码器外对源图像执行颜色变 换。以下将进一步对此进行讨论。因而，从编码结构去除RCT块，以使编码 结构在所有颜色格式之间一致。转到图5， 一般用附图标记500来表示RCT简化模型。RCT模型500包 括参考像素发生器510、求和点520和线性变换模块530。参考像素发生器510 的输入被配置成接收运动/边缘信息和矢量[X1],[X2]......[Xn]. 参考像素发生器510的输出以信号通信方式与求和点520的反相输入相连，参考象素发生器510 向求和点520提供预测矢量[Xp]。求和点520的非反相输入被配置成接收输入 矢量[《 ]。求和点520的输出以信号通信方式与线性变换模块530的输入相连， 求和点520向线性变换模块530提供矢量[Xd]。线性变换模块530的输出被配 置成提供矢量[iy。在RCT 500的简化模型中，由3x3矩阵[^]表示的颜色变换(线性变换)被定义如下(1)K丄[^]， W], K]……[A]是代表RGB域中像素的3xl矢量。[YJ 是代表颜色变换结果的3xl矢量。因此阵[丰H剩-, (2) 因为在实施例中，根据如实施例中所配置的本发明原理，将相同的空间预测器和插值滤波器用于宏块中的所有三个分量，所以可以将参考像素py表示如下<formula>formula see original document page 19</formula>(3)其中nxl矢量[C]代表H.264标准中定义的空间预测器和插值滤波器中涉及的 线性运算。在此，假定利用总共"个相邻像素[A]，….[^ ]来计算参考像素。将式(3)中的[Xp]代入式(2)得到以下结果i l i 2i 3......i "Gi G2。G 及52 ......C2 C3(4)忽略舍入/截断误差并假定在RGB或Y域选择相同预测模式，得到以下结,刚-a 7 27 3......aG, G2 Gs......G"fil 53......5"=[4:t2 h……WJ W2W3......WwVI V2 V3.......VnC3(5)因此，[r"]二[E"]-[yu3.....C3(6)因而，式(6)清楚地显示出，把YUV用作根据如该实施例中所配置的本 发明原理的编码器/解码器的输入，等同于执行RCT。而且，根据如实施例中所配置的本发明原理，将新的4:4:4档次(4:4:4 profile)添加到H.264标准中，在此被称为"profile—idc=l66的高级4:4:4档次"。 可以将该新的profilejdc加在序列参数头中，并且可以将其用于宏块层头以及 残差数据头中。为支持利用亮度算法对所有三种颜色分量进行编码，可以对残差数据句法 作出某些改变。另外，也可以对宏块头、残差数据头等之中的一些元素的语义
作出改变。 一般，H.264规范中的现有亮度句法将保持不变，并将用于对三个 分量之一进行编码。变化是向后兼容的。在此，以下描述详细的句法和语义变 化。现在，将描述根据如各实施例中配置的本发明原理所执行的模拟结果。转到图6A和6B， 一般分别用附图标记600和650来表示关于ATV intra-only的平均PSNR (峰值信噪比)对位速率的曲线。转到图7A和7B， 一般分别用附图标记700和750来表示关于CT intra-only 的平均PSNR对位速率的曲线。转到图8A和8B， 一般分别用附图标记800和850来表示关于DT intra-only 的平均PSNR对位速率的曲线。转到图9A和9B， 一般分别用附图标记900和950来表示关于MIR—HD intra-only的平均PSNR对位速率的曲线。转到图10A和IOB， 一般分别用附图标记1000和1050来表示关于RT intra-only的平均PSNR对位速率的曲线。转到图11A和IIB， 一般用附图标记1100和1150来表示关于STB_HD intra-only的平均PSNR对位速率的曲线。尤其是，图6A、 7A、 8A、 9A、 10A和11A示出了所建议的高级4:4:4档次(用术语"新"来表示，并在它前面加上"新")对与之相应的近似结果的 测试结果。而且，图6B、 7B、 8B、 9B、 10B和11B示出了所建议的高级4:4:4 档次(用术语"新"来表示，并在它前面加上"新")对JPEK2k的测试结果。 在图6A、 6B至11A、 IIB的所有图中，用分贝(dB)来表示PSNR，并 用每秒位数(bps)来表示位速率。ATV、 CT、 DT、 MIR、 RT、 STB是测试剪 辑的名称。
在测试中，使用JVT-J042电影起源测试序列中所描述的所有JVT/FRExt 测试序列。它们都是4:4:4 10位电影素材，并且每个剪辑有58帧。在JVT参考软件JM9.6中实施所建议的高级4:4:4档次。Intra-only和IBBP编码结构都用于测试中。对于每一条R-D曲线，量化参数都被设为6、 12、 18、 24、 30和42。使用RD优化模式选择。也将所建议的高级4:4:4档次和通过对每个单独输入分量运行 YUVFormat二0(4:0:0)的参考软件所得到的结果进行比较。把三个分开的单独压 縮位计数简单相加，以得到用于计算压縮位速率的总压縮位数。关于JPEG2k，在测试中使用KaKadu V2.2.3软件。利用具有9/7双正交小 波滤波器的5级小波解压縮，来产生测试结果。每帧只有一个瓦片(tile)，并且 对于给定目标位速率也使用RD优化。所有PSNR测量都在RGB域中执行。利用被定义为 (PSNR(红)+PSNR(绿)+PSNR(蓝》/3的平均PSNR，来比较整体压缩质量。这主 要是因为利用软件所提供的未知速率控制算法来计算JPEG2k压缩数据。对于 某些情况，RGBPSNR值相互之间相差很大，尤其是当使用JPEG2k颜色变换 时。如下执行压縮比较 Newl:具有单一预测模式的建议高级4:4:4档次。
New3:具有三种预测模式的建议高级4:4:4档次。
RCT-OFF: RCT^关闭的RGB输入。
RCT-ON: RCT二开启的RGB输入。
YCOCG:在编解码器外面执行RGB到YCOCG转换。然后把转换的 YCOCG用作JVT软件的输入。
R+G+B:通过分别压縮R、 G和B信号而近似的建议方法。
Y+CO+CG:通过分别压缩所转换的Y、 CO和CG信号而近似的建议方法。
J2k—RGB:在RGB域执行JPEG2k压縮。关掉JPEG2k颜色变换。
J2k—YUV:在YUV域执行JPEG2k压縮。使用JPEG2k颜色变换。 根据测试结果，根据如实施例中所配置的本发明原理的实施在整体压縮效率方面一般非常类似于JPEG2k。在某些情况下，甚至稍好一点。此外，对于40dB (PSNR)以上的质量，根据如实施例中所配置的本发明 原理的实施提供了比当前高4:4:4档次(High 4:4:4 Profile)高得多的性能(压 缩)。具体地说，Newl-YCOCG或New3-YCOCG好于YCOCG禾Q RCT-ON; Newl-RGB或New3-RGB好于RCT-OFF。在等于和大于45dB(PSNR)的PSNR 下，平均PSNR的平均提高大于1.5dB。在最后一个例子中，可以将该提高转 变为45dB PSNR下25%以上的位节省。根据测试结果，好像当内容具有更饱和颜色时，如TP、 RT，颜色变换将 有助于编码性能。g卩，如果颜色是中性的、且不饱和，则在RGB域的编码或 许是正确选择。以上观察与使用什么颜色变换无关。比较Newl-YCOCG或New3-YCOCG和JPEG-2k—YUV的结果，可以观 察到，特定颜色变换的性能在提高编码效率方面是与内容非常相关的。没有一 种颜色变换总是最好的。因此，我们的数据确认了，在编码(或解码)循环内 执行颜色变换如RCT可能不是一个好主意。相反，如果必要，在编码器/解码 器外执行颜色变换可能使整个压縮系统提供更好、更鲁棒的性能。比较YCOCG和RCT-ON，测试结果没有显示出由RCT引起的任何编码 效率提高。另外，应该主意，运行RCT开启的参考软件大大增加了编码时间。
运行时间长了2.5倍多。现在，将描述根据如实施例中所配置的本发明原理的句法和语义变化。转到图12， 一般用附图标记1200来表示H,264序列参数句法表。用斜体字来表示根据如实施例中所配置的本发明原理的句法变化。转到图13， 一般用附图标记1300来表示H.264残差数据句法表。用斜体 字来表示根据如实施例中所配置的本发明原理的句法添加/变化。在表1300中， 残差数据头中的亮度部分和某些必须文本修改一起重复两次，以分别支持 lumal禾口 luma2。如上所述，通过在JVT参考软件JM9.6中实施本发明原理，来评价和测 试上述第一组合实施例。用Newl-RGB或Newl-YCOCG标记的测试结果代表第一组合实施例。如上所述，根据如实施例中所配置的本发明原理，将3个约束空间预测器 的集合(或子集)而不是单一空间预测模式，用于分量通道(例如RGB、 YUV、 YCrCb格式等)。而且，如上所述，可以将该实施例和在此描述的其它实施例 组合起来，例如，只利用亮度编码算法来对内容的所有三个分量通道进行编码、 以及/或者使用颜色变换作为预处理步骤。现在，将描述上述第二组合实施例，它涉及将3个约束空间预测器的集合 (或子集)用于颜色分量，只使用亮度编码算法对所有三个颜色分量进行编码， 以及使用颜色变换作为预处理步骤(即，在压縮循环内没有RCT)。与此同时 也将描述该实施例的某些变形方案。转到图14， 一般分别用附图标记1400和1401来表示具有预编码颜色变换步骤的示范性视频编码过程。应该理解，预编码颜色变换块1401包括块1406、 1408和1410。而且，
应该理解，预编码颜色变换块1401是可选的，因而在本发明某些实施例中可 以省略。
预编码颜色变换块1401包括循环限制块1406，循环限制块1406对图像 中的每个块开始循环，并将控制传递给功能块1408。功能块1408对当前图像 块的视频信号数据执行颜色预处理，并将控制传递给循环限制块1410。循环限 制块1410结束循环。而且，循环限制块1410将控制传递给被包括在视频编码 过程1400中的循环限制块1412。
循环限制块1412对图像中的每个块开始循环，并将控制传递给功能块 1415。功能块1415利用一个用于当前图像块的每个颜色分量的公共预测器， 来形成当前图像块的运动补偿或空间预测，并将控制传递给功能块1420。功能 块1420从当前图像块减去运动补偿或空间预测，以形成预测残差，并将控制 传递给功能块1430。功能块1430对预测残差进行变换和量化，并将控制传递 给功能块1435。功能块1435对预测残差进行逆变换和逆量化，以形成编码预 测残差，并将控制传递给功能块1445。功能块1445将编码残差加到预测上， 以形成编码图像块，并将控制传递给结束循环块1450。结束循环块1450结束 循环，并将控制传递给结束块1455。
转到图15， 一般分别用附图标记1500和1560来表示具有后解码逆颜色 变换步骤的示范性视频解码过程。
应该理解后解码逆颜色变换块1560包括块1562、 1564、 1566和1568。 而且，应该理解，后解码逆颜色变换块1560是可选的，因而在本发明某些实 施例中可以省略。解码过程1500包括循环限制块1510，循环限制块1510对图像中的当前 块开始循环，并将控制传递给功能块1515。功能块1515对编码残差进行熵解
码，并将控制传递给功能块1520。功能块1520对解码残差进行逆变换和逆量 化，以形成编码残差，并将控制传递给功能块1530。功能块1530将编码残差 加到由用于每个颜色分量上的公共预测器形成的预测上，以形成编码图像块， 并将控制传递给循环限制块1535。循环限制块1535结束循环，并将控制传递 给结束块1540。在某些实施例中，循环限制块1535可选地将控制传递给后解码逆颜色变 换块1560，尤其是后解码逆颜色变换块1560中所包括的循环限制块1562。循 环限制块1562对图像中的每个块开始循环，并将控制传递给功能块1564。功 能块1564对当前图像块的视频信号数据执行逆颜色后处理，并将控制传递给 循环限制块1566。循环限制块1566结束循环，并将控制传递给结束块1568。如上所述，披露了高级4:4:4档次的新档次(profile一idc-166)。该新档次 也可用于第二组合实施例，对应的语义和句法变化如下所述。该新profile—idc 被加在序列参数集合中，并将主要用于随后的头中，以指示输入格式为4:4:4、 以及所有三个输入通道都类似地被编码为亮度。为使H.264标准所需的改变减到最少，不为高级4:4:4档次披露新的宏块 类型。而是所有宏块类型与H.264标准的表7-11、表7-13和表7-14中列出的 关联编码参数一起仍然有效。对于帧内宏块的情况，所有三个输入通道，亮度、 Cr和Cb，都将基于H.264标准的表7-11中定义的MbPartPredMode来进行编 码。例如，高级4:4:4档次中的Intra—4x4宏块意味着，可以利用H.264标准的 表8-2中给出的所有9种可能预测模式来对每个输入分量通道进行编码。仅供 参考，在当前高4:4:4档次(Hign 4:4:4 Profile)中，将把Intra—4x4宏块的通道中 的两个处理为色度，并且将只使用H.264标准的表8-5中的4种可能帧内预测 模式之一。对于B和P宏块，对高级4:4:4档次所作的变化发生在小数像素位
置处的参考像素值的插值计算处理中。在此，R264标准的8.4.2.2.1节中描述 的过程，亮度样本插值处理，将适用于亮度、Cr和Cb。再次仅供参考，当前 高4:4:4档次(Hign 4:4:4 Profile)将H.264标准的8.4.2.2.2节的色度样本插值处 理用于输入通道中的两个。
在CABAC被选为熵编码模式的情况下，将为Cr和Cb生成和当前为亮度 定义的上下文模型相同的两组分开上下文模型。在编码期间，也将独立地更新 它们。
最后，在实施例中，因为在编码循环中没有RCT块，所以从高级4:4:4档 次的序列参数集合中去除ResidueColorTransformFlag 。
到现在为止，如图B所示，大多数句法变化都出现在残差数据中，其中 原始亮度句法被重复两次，以支持所建议的高级4:4:4档次中的Cr和Cb。
关于H.264宏块层表(未示出)，对应句法的语义变化包括以下。
coded一block-pattern (添加)。当 chroma一format—idc 等于 3 且 coded—block-pattem存在时，应该将CodedBlockPatternChroma设为0。另外， 对于宏块的12个8x8亮度、Cb和Cr块的每一个，CodedBlockPattemLuma都 规定以下情况之一(1) 8x8亮度、8x8Cb和8x8Cr块中的12个4x4亮度块 的所有变换系数电平都等于0; (2)8x8亮度、8x8Cb和8x8Cr块中的一个或 多个4x4亮度块的一个或多个变换系数电平应该为非零值。
现在，将描述根据第二组合实施例(或关于三个约束空间预测器集合(或 子集)的使用的单独实施例)的帧内块空间预测模式选择。
为了使每个分量独立选择其最佳MbPartPredMode和随后的最佳空间预测 模式，和分别对每个输入通道进行编码的情况一样，可以将某些新帧内块类型 加到H.264标准的表7-11中。结果，将对H.264标准作出大量改变。在关于第
二组合实施例的实施例中，当前mb—types保持不变，并且提供替换解决方案。 在该实施例中，限制用相同的MbPartPredMode或宏块类型对三个输入通道进 行编码。然后，将少量的新元素添加到宏块预测句法中，以支持三种不同预测 模式。因此，每个分量理论上仍然能够独立选择其最佳空间预测模式，以便使 每个分量通道的预测误差最小化。例如，假定将Intra—4x4宏块选为mb一type， 则亮度、Cr或Cb仍然可以在H.264标准的8.3丄1节的表8-2中找到它自己的 最佳空间预测模式，例如用于亮度的Intra_4x4_Vertical 、用于Cr的 Intra—4x4—Horizontal以及用于Cb的Intra—4x4—Diagonal—Down—Left。关于上述第一组合实施例的另一种方法是，约束所有三个输入通道都共享 相同预测模式。这可以利用现有句法元素当前所携带的预测信息来实现，如宏 块予页测句法中的prev—intra4x4_pred—mode_flag、 rem—intra4x4__pred—mode、 pred—intra8x8_pred_mode—flag禾口 rem— >tra8x8_pred—mode。该选项将导致H.264 的少量变化以及编码效率稍微有些损失。基于测试结果，与第一组合实施例相比，使用三种预测模式可以将总编码 性能提高大约0.2dB。转到图16， 一般用附图标记1600来表示H.264宏块预测句法表。仅供参考，以下列出了用于支持使用三种预测模式的修改宏块预测句法，其中 prev—intra4x4_pred—mode—flag0禾口 rem—intra4x4_pred—mode0用于亮度； prev—intra4x4_pred—mode—flag 1禾卩rem—intra4x4_pred—model用于Cr; prev—intra4x4_pred—mode—flag2禾Q rem_intra4x4_pred—mode2用于Cb。现在，将描述根据如关于第二组合实施例的实施例所配置的本发明原理而 执行的模拟结果。使用JVT-J042，电影起源测试序列，JVT-J039 (Viper)中所描述的所有
JVT/FRExt测试序列。它们都是4:4:4 10位素材，并且每个剪辑有58帧。在JVT参考软件JM9.6中实施所建议的算法，并在测试中使用修改的软 件。对Intra-only和IBRrBP都进行测试。在此，"Br"表示所记录的B图像。 Intra-only情况适合于量化参数等于6、 12、 18、 24、 30、 36和42的所有序列。 由于模拟中涉及大量的时间，IBRrBP图像组(GOP)结构只适合于量化参数 等于12、 18、 24、 30和36的电影剪辑。根据4:4:4 AHG中的论述，在测试中 使用以下关键参数SymbolMode = 1 RDOptimization = 1 ScalingMatrixPresentFlag = 0 OffsetMatrixPresentFlag = 1 QoffsetMatrixFile = "q_offset.cfg" AdaptiveRounding = 1 AdaptRndPeriod = 1 AdaptRndChroma = 1 AdaptRndWFactorX = 8 SearchRange = 64 UseFME = 1关于JPEG2k，在测试中使用KaKadu V2.2.3软件。利用具有9/7双正交小 波滤波器的5级小波解压縮，来产生测试结果。每帧只有一个瓦片(tile)，并 且对于给定目标位速率也使用RD优化。主要在源内容的原始色域中计算PSNR度量，对于上述剪辑，源内容的原 始色域是RGB。利用被定义为(PSNR(红)+PSNR(绿)+PSNR(蓝))/3的平均PSNR，来比较整体压缩质量。 如下执行压縮比较 Newl:具有单一预测模式的建议高级4:4:4档次。
New3:具有三种预测模式的建议高级4:4:4档次。
RCT-OFF: RCT^关闭的RGB输入。
RCT-ON: RCT^开启的RGB输入。
YCOCG:在编解码器外执行RGB到YCOCG转换。然后把转换的 YCOCG用作JVT软件的输入。
R+G+B:通过分别压縮R、 G和B信号而近似的建议方法。
Y+CO+CG:通过分别压縮所转换的Y、 CO和CG信号而近似的建议方法。
JPEG2k—RGB:在RGB域执行JPEG2k压縮。关掉JPEG2k颜色变换。
JPEG2k_YUV:在YUV域执行JPEG2k压缩。使用JPEG2k颜色变换。 对于Intra-only情况，根据本发明原理的建议高级4:4:4档次在整体压縮效率方面非常类似于JPEG2k。在某些情况下，甚至更好一些。根据本发明原理的方法明显好于当前高4:4:4档次(Hign 4:4:4 Profile)。在等于和大于45dB (PSNR)的PSNR下，平均PSNR的平均提高超过1.5dB。在某些情况下，可以将该提高转换为45dBPSNR下25%以上的位节省。即使对于相同块类型，使用三种预测模式也稍好于单一预测模式。然而，可以使用更多句法和语义变化。现在，将描述本发明实施例的原理所提供的许多附带优点/特征中的一些。 测试结果表明，与当前高4:4:4档次(Hign 4:4:4 Profile)相比，利用与本发明原理对应的改进的建议高级4:4:4档次提供了改善的性能。并且性能提高的
很显著。另外，将颜色变换移到编解码器外面将使编解码器的结构在所有颜色 格式之间一致。结果，它将使实施更容易，且降低成本。在选择最佳颜色变换 以获得更好编码效率的方面，它也将使编解码器更鲁棒。而且，建议的方法不 添加任何新的编码工具，而只需对句法和语义稍作改变。因而，根据如实施例中配置的本发明原理，提供一种视频编码和解码方法及设备。提供对现有汪264标准的修改，这些修改将性能提高到当前可获得的 性能之上。而且，对于高质量应用，甚至将性能提高到超过JPEG-2000。根据 如实施例中配置的本发明原理，可以通过利用亮度编码算法对4:4:4内容的所 有三个颜色分量进行编码，来实现H.264标准的4:4:4编码性能重大提高。艮口，不需要新工具用于亮度(或没有使用的色度)压縮算法。而是使用现有亮度编 码工具。进一歩，可以根据本发明原理来实施当前4:4:4档次的句法和语义变化，以支持所有三个分量通道的亮度编码。在根据本发明实施例进行的测试中， 当源内容有许多空间纹理和边缘时，亮度中使用的空间预测工具明显显示出它 们的性能优于色度中所使用的空间预测工具。对于某些测试序列，当每个颜色 分量都被编码为亮度时，在大于或等于45dB (平均PSNR)的压缩质量下可观 察到超过30%的位减少。应该理解，虽然在此主要相对于利用H.264标准的4:4:4格式采样的视频 信号数据描述了本发明，但是也可容易相对于利用H.264标准的其它格式(如 4:2:0格式和/或4:2:2格式)以及其它视频压縮标准采样的视频信号数据，来实 施本发明。给定在此提供的本发明教导，在保持本发明范围的同时，该领域及 相关领域普通技术人员也可容易实施本发明的这些及其它变化。相关领域的普通技术人员根据在此给出的教导可以容易地弄清本发明的 这些及其它特征和优点。应该理解，可以用各种形式的硬件、软件、固件、专 用处理器或它们的组合，来实施本发明的教导。更为优选地，把本发明的教导实施为硬件和软件的组合。而且，软件可为 在程序存储单元上具体实施的应用程序。该应用程序可以被上载到包括任何合 适架构的机器上，并通过该机器来执行。优选地，在具有硬件如一个或多个中央处理器(CPU)、 RAM和输入/输出(I/O)接口的计算机平台上，实现该机 器。该计算机平台也可包括操作系统和微指令码。在此描述的各种过程和功能 可以是，可通过CPU执行的微指令码一部分、或应用程序一部分、或它们的 任何组合。另外，其它各种外围单元如附加数据存储单元和打印单元，可以连 接到该计算机平台。进一步应该理解，因为附图中所描述的一些组成系统部件和方法优选地是 用软件来实现的，所以系统部件或过程功能块之间的实际连接可以随本发明的 编程方式而有所不同。给定在此的教导，相关领域普通技术人员将能够预期本 发明的这些及类似实施或配置。虽然在此参考附图描述了说明性实施例，但是应该理解，本发明不限于这 些具体实施例，并且相关领域普通技术人员可以在不脱离本发明范围或精神的 情况下实现各种变动和修改。所有这种变动和修改都预定被包括在如所附的权利要求所阐述的本发明范围内。
权利要求
1.一种用于对图像块的视频信号数据进行编码的视频编码器，所述视频编码器包括编码器(100)，用于利用所述视频信号数据的每个颜色分量的唯一预测器，来对该视频信号数据进行编码。
2. 根据权利要求1所述的视频编码器，其中所述唯一预测器用于编码所述 视频信号数据，而不管所述视频信号数据是利用公共块隔断还是利用多个块隔 断划分的。
3. 根据权利要求1所述的视频编码器，其中所述唯一预测器都是亮度预观!j器。
4. 根据权利要求1所述的视频编码器，其中所述唯一预测器包括用于所述 视频信号数据的亮度分量和色度分量的唯一亮度预测器。
5. 根据权利要求1所述的视频编码器，其中所述视频信号数据的采样对应 于国际电信联盟电信标准化部门H.264标准的4:4:4、4:2:2和4:2:0格式中的任 何格式。
6. 根据权利要求1所述的视频编码器，其中所述唯一预测器用于所述视频 信号数据的帧内和帧间编码。
7. 根据权利要求1所述的视频编码器，其中通过国际电信联盟电信标准化部门H.264标准的prev—intra4x4_pred—mode—flag0禾tl rem_intra4x4_pred—mode0参数来设置第一个颜色分量的第一空间预测模式，通过国际电信联盟电信标准 化 部 门 H.264 标 准 的 prev—intra4x4_pred—mode—flag 1 和 rem—intra4x4_pred—model参数来设置第二个颜色分量的第二预测模式，并通过 国际电信联盟电信标准化部门H.264标准的prev—intra4x4j3red—mode—flag2和 rem—intra4x4_pred—mode2参数来设置第三个颜色分量的第三预测模式。
8. 根据权利要求1所述的视频编码器，其中所述编码器(100)对所述视 频信号数据的所有颜色分量进行编码，并且不对所述视频信号数据的所有颜色分量应用残差颜色转换。
9. 一种用于对图像块的视频信号数据进行编码的方法，所述方法包括利 用所述视频信号数据的每个颜色分量的唯一预测器，来对该视频信号数据进行 编码(1415)。
10. 根据权利要求9所述的方法，其中所述唯一预测器用于编码所述视频 信号数据，而不管所述视频信号数据是利用公共块隔断还是利用多个块隔断划 分的。
11. 根据权利要求9所述的方法，其中所述唯一预测器都是亮度预测器。
12. 根据权利要求9所述的方法，其中所述唯一预测器包括用于所述视频 信号数据的亮度分量和色度分量的唯一亮度预测器。
13. 根据权利要求9所述的方法，其中所述视频信号数据的采样对应于国 际电信联盟电信标准化部门H.264标准的4:4:4、4:2:2和4:2:0格式中的任何格式。
14. 根据权利要求9所述的方法，其中所述唯一预测器用于所述视频信号 数据的帧内和帧间编码。
15. 根据权利要求9所述的方法，其中通过国际电信联盟电信标准化部门 H.264标准的prev—intra4x4_pred—mode—flag0禾卩rem—intra4x4_pred—mode0参数 来设置第一个颜色分量的第一空间预测模式，通过国际电信联盟电信标准化部 门H.264牛示准的prev—intra4x4_pred—mode—flag 1禾B rem—intra4x4_pred_model参 数来设置第二个颜色分量的第二预测模式，并通过国际电信联盟电信标准化部 门H.264标准的prev—intra4x4_pred—mode—flag2禾口 rem—intra4x4_pred—mode2参数来设置第三个颜色分量的第三预测模式。
16. 根据权利要求9所述的方法，其中所述编码步骤对所述视频信号数据 的所有颜色分量进行编码，并且不对所述视频信号数据的所有颜色分量应用残差颜色转换。
17. —种用于对图像块的视频信号数据进行解码的视频解码器，所述视频 解码器包括解码器(200)，用于利用所述视频信号数据的每个颜色分量的唯一 预测器，来对该视频信号数据进行解码。
18. 根据权利要求17所述的视频解码器，其中所述唯一预测器用于解码所 述视频信号数据，而不管所述视频信号数据是利用公共块隔断还是利用多个块 隔断划分的。
19. 根据权利要求17所述的视频解码器，其中所述唯一预测器都是亮度 预测器。
20. 根据权利要求17所述的视频解码器，其中所述唯一预测器包括用于所 述视频信号数据的亮度分量和色度分量的唯一亮度预测器。
21. 根据权利要求17所述的视频解码器，其中所述视频信号数据的采样对 应于国际电信联盟电信标准化部门H.264标准的4:4:4、 4:2:2和4:2:0格式中的任何格式。
22. 根据权利要求17所述的视频解码器，其中所述唯一预测器用于所述视 频信号数据的帧内和帧间编码。
23. 根据权利要求17所述的视频解码器，其中通过国际电信联盟电信标准 化 咅P 门 H.264 标 准 的 prev—intra4x4_pred—mode—flagO 和 rem—intra4x4_pred_mode0参数来设置第一个颜色分量的第一空间预测模式，通过国际电信联盟电信标准化部门H.264标准的prev—intra4x4_pred—mode—flagl 和rem—intra4x4_pred—model参数来设置第二个颜色分量的第二预测模式，并 通过国际电信联盟电信标准化部门 H.264 标准的 prev—intra4x4_pred_mode—flag2禾卩rem_intra4x4_pred_mode2参数来设置第三个颜色分量的第三预测模式。
24. 根据权利要求17所述的视频解码器，其中所述解码器(200)对所述 视频信号数据的所有颜色分量进行解码，并且不对所述视频信号数据的所有颜色分量应用残差颜色转换。
25. —种用于对图像块的视频信号数据进行解码的方法，所述方法包括利 用所述视频信号数据的每个颜色分量的唯一预测器，来对该视频信号数据进行 解码(1415)。
26. 根据权利要求25所述的方法，其中所述唯一预测器用于解码所述视 频信号数据，而不管所述视频信号数据是利用公共块隔断还是利用多个块隔断 划分的。
27. 根据权利要求25所述的方法，其中所述唯一预测器都是亮度预测器。
28. 根据权利要求25所述的方法，其中所述唯一预测器包括用于所述视频信号数据的亮度分量和色度分量的唯一亮度预测器。
29. 根据权利要求25所述的方法，其中所述视频信号数据的采样对应于 国际电信联盟电信标准化部门H.264标准的4:4:4、4:2:2和4:2:0格式中的任何 格式。
30. 根据权利要求25所述的方法，其中所述唯一预测器用于所述视频信号数据的帧内和帧间编码。
31. 根据权利要求25所述的方法，其中通过国际电信联盟电信标准化部门H.264标准的prev—intra4x4_pred—mode—flag0禾B rem—intra4x4_pred—modeO数来设置第一个颜色分量的第一空间预测模式，通过国际电信联盟电信标准化咅卩门H.264标准的prev—intra4x4_pred—mode—flag 1禾Q rem—intra4x4__pred—model参数来设置第二个颜色分量的第二预测模式，并通过国际电信联盟电信标准化:卩门H.264标准的prev—intra4x4_pred—mode—flag2禾口 rem—intra4x4_pred—mode2参数来设置第三个颜色分量的第三预测模式。
32.根据权利要求25所述的方法，其中所述解码步骤对所述视频信号数 据的所有颜色分量进行解码，并且不对所述视频信号数据的所有颜色分量应用残差颜色转换。
全文摘要
提供了视频编码器、视频解码器和对应方法。一种用于对图像块的视频信号数据进行编码的视频编码器包括编码器(100)，该编码器(100)用于利用公共预测器(315)对视频信号数据的所有颜色分量进行编码。
文档编号H04N7/26GK101160973SQ200680011945
公开日2008年4月9日 申请日期2006年3月16日 优先权日2005年4月13日
发明者于浩平, 刘荔敏 申请人:汤姆逊许可公司