专利名称：高效视频编码中编码单元自适应划分方法
技术领域：
本发明属于通信领域。涉及视频编码中编码单元的划分方法，包括帧参数最大编 码单元FLCTB和最小编码单元FSCTB的获取技术和帧边界处编码单元划分技术，可用于视 频编码中任意分辨率下视频内容的表示，提高视频编码效率。
背景技术：
随着网络技术的迅速发展，视频编码技术的成熟和完善，传输技术的不断提高，视 频业务得到了广泛的应用。如何更好的实现高效的视频编码，一直是视频领域的研究热点。 最近，ITU-T SG16 Q. 6和IS0/IEC JTC1/SC29/WG11共同成立了视频编码合作组JCT-VC，制 定高效率视频编码HEVC标准。目的是在编码器H. 264/AVC编码能力的基础上，进一步提高 视频压缩效率，尤其是对高清视频的压缩。在视频内容的表示方面，JCT-VC提出了编码单元CTB这一概念，以此更有效灵活 的表示视频内容，适应各种视频格式。CTB被定义为一个以2的幂次方为高的正方形，类似 于H. 264/AVC中定义的宏块或子宏块。但CTB支持更大的块大小，如32 X 32、64X 64，甚至 128X128，这种特性有助于编码器根据视频内容特性，视频应用和终端特性来自适应的选 择CTB模式，以达到最优的编码性能。设定两个特殊的编码单元最大编码单元LCTB和最 小编码单元SCTB，编码使用的CTB的大小介于LCTB和SCTB之间。帧内/帧间预测，变换， 量化和熵编码等都在CTB中进行。视频帧以LCTB为基本单元，完成一帧的CTB划分和CTB 编码。视频编码中可以根据视频格式，视频内容，以及视频应用等合理的选择LCTB和SCTB， 以此实现最优的压缩方式。编码过程根据视频内容采用率失真优化的方法决定CTB模式。 CTB的这种特性给视频编码带来了很大的益处，尤其是高清视频的编码。JCT-VC提出的CTB划分方法是将一视频帧按照最大编码单元LCTB大小进行分 割，以每个LCTB为基本单元，按照递归的形式确定视频帧中最优的CTB划分模式和CTB编 码模式。例如视频格式为176 X 144，LCTB大小为128 X 128的视频帧，首先将176 X 144大 小的帧，按照最大编码单元LCTB大小进行划分，即划分为四个LCTB，如图1所示的标识为 0，1,2,3的LCTB ；然后分别对标识为0，1,2,3的LCTB确定各自的最优划分模式和编码模 式。如标识为0的LCTB，其划分模式确定方法为利用率失真优化RDO准则确定标识为0 的LCTB的编码代价，同时对标识为0的LCTB进行四等份分割，得到四个大小为64X64的 CTB,如图2所示的标识为0，1，2，3的CTB，对这四个CTB分别根据RDO准则确定每个CTB 的编码代价；比较这四个CTB的总编码代价和LCTB的编码代价，确定LCTB是否进行划分。 对图2中标识为0，1，2，3的大小为64X64的CTB按照上述步骤分别处理，最终得到标识为 0的LCTB中所有CTB的划分模式和编码模式。按照标识为0的LCTB中CTB模式的确定方 法，对标识为1，2，3的LCTB分别确定CTB的划分模式和编码模式，最终完成这一视频帧的 编码。针对JCT-VC提出的这种CTB划分方法，在语法语义方面使用块划分标识split_ flag比特流表示CTB的划分方法，最大编码单元LCTB和最小编码单元SCTB三个参数来表示LCTB中的CTB模式。块划分标识split_flag = 0，表示不对当前块进行四等份分割； split_flag = 1，表示对当前块进行四等份分割。利用split_flag、LCTB和SCTB可以确定 一视频帧中LCTB中的块划分模式。例如图3给出一个LCTB中CTB划分模式，LCTB大小为 128 X 128，SCTB大小为8 X 8，利用LCTB和SCTB参数信息，该LCTB的块划分模式使用split_ flag 流表示为11000000110000000。由于JCT-VC提出的CTB划分方法，是以固定大小的LCTB为基本单元，完成整个视 频序列的编码，没有考虑相邻帧之间的相关性与CTB模式之间的关系，因而会影响CTB划分 的表示效率。同时由于在JCT-VC提出的CTB划分方法中，当视频帧的大小不是LCTB的整数倍 时，边界处的LCTB的可选划分模式数量很少，且已有的划分模式不能充分体现视频内容特 征，故采用上述的CTB划分方法会影响视频压缩效率。
发明内容
本发明的目的在于针对上述已有技术存在的两种问题，提出一种采高效视频编码 中编码单元自适应划分方法，自适应地确定每个视频帧的最大编码单元LCTB和最小编码 单元SCTB，并增加视频帧边界处的LCTB的可选划分模式，以此更有效的表示视频内容，提 高视频压缩效率。为实现上述目的，本发明提出以下两种技术方案技术方案一一种视频压缩中视频编码块自适应确定方法，包括如下步骤(1)遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值范 围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单元 FSCTB,并将选择的最优的FLCTB和FSCTB写入码流；(2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格
式是FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤 ⑶；(3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测， 则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤(4)；(4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高 度N的矩形块进行划分，即先将该矩形扩展为大小为L2XL2的正方形块，其中，L2 = 2n， ^ = [Max(IgMJgJV)]；再对该L2XL2的正方形块沿水平和垂直方向划分为四等份；(5)采用标记信息Split_flag将划分后的矩形块标示为1，将没有划分的矩形块 标示为0，并将该标记信息写入码流；(6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量 和预测残差，并进行变换、量化和熵编码。技术方案二一种视频压缩中视频编码块自适应确定方法，包括如下步骤1)利用当前帧与参考帧之间的相关性，预测当前帧的最大编码单元FLCTB和最小 编码单元FSCTB ；
2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是 FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤3)；3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测， 则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤4)；4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高 度N的矩形块进行划分，即先将该矩形扩展为大小为L2XL2的正方形块，其中，L2 = 2n， W = [Max(lgM,lg#)]；再对该L2XL2的正方形块沿水平和垂直方向划分为四等份；5)采用标记信息Split_flag将划分后的矩形块标示为1，将没有划分的矩形块标 示为0，并将该标记信息写入码流；6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和 预测残差，并对预测残差进行变换、量化和熵编码。本发明与现有技术相比具有如下优点1)本发明由于采用自适应地确定每个视频帧的最大编码单元和最小编码单元，因 此能够更有效的反映视频内容特征，提高视频压缩效率；2)本发明由于为视频帧边界处的FLCTB中未超出视频帧范围的矩形块设计了新 的划分方法，因此增加了边界处的块的划分模式的数量，进而提高了视频压缩效率。
图1是现有视频格式为176 X 144的最大编码单元LCTB示意图；图2是用现有方法对图1中标识为0的最大编码单元LCTB进行第一次划分的结 果示意图；图3是用现有方法对图1中标识为0的最大编码单元LCTB的最终划分结果示意 图；图4是本发明第一实施例的流程图；图5是本发明第二实施例的流程图；图6是用本发明方法将视频帧边界处的矩形块扩展为L2XL2的正方形块的示意 图；图7本发明与JCT-VC的编码方法的编码性能比较图。
具体实施例方式参照图4，本发明第一实施例的具体实现步骤包括如下步骤1，遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值 范围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单 元FSCTB，并将选择的最优的FLCTB和FSCTB按如下任意一种方式写入码流；(Ia)直接将FLCTB写入码流；(Ib)将当前帧的FLCTB与参考帧的FLCTB的差值写入码流。步骤2，根据视频格式为FLCTB的整数倍确定视频编码方法，如果视频格式是 FLCTB的整数倍，则直接按照JCT-VC提出的编码方法完成视频帧的压缩，即按照JCT-VC提 出的编码方法将视频帧划分为若干FLCTB，然后对每个FLCTB进行预测，得到预测残差，并对预测残差进行变换，量化和熵编码；反之，执行步骤3。步骤3，根据视频帧是否采用帧间预测确定视频编码方法，如果未采用帧间预测， 则按照JCT-VC提出的如下编码方法完成该帧的压缩首先，对该视频帧进行帧内预测，得到预测残差；然后，对预测残差进行变换，量化和熵编码；对于采用帧间预测的视频帧，执行步骤4。步骤4，对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的矩形块进行 划分。首先，将宽度为M，高度N的矩形扩展为图6所示的大小为L2XL2的正方形块，其 中，L2 = 2n，《 =「Max(lgM,lgA0]；然后，对所述L2XL2的正方形块沿水平和垂直方向划分为四等份，在对L2XL2的正 方形块进行分割的过程中，L2XL2的正方形块的分割线也将大小为MXN的矩形块划分为若 干矩形子块。步骤5，为宽度为M,高度N的矩形块的划分做标记。首先，对每个矩形子块分别进行预编码，并依据率失真准则确定每个字块的率失 真代价，将所有子块的率失真代价相加得到大小为MXN的矩形块的总代价C1 ；然后，将该大小为MXN的矩形块作为整体进行预编码，并依据率失真准则确定其 率失真代价C2 ；最后，比较C1和C2,如果C1小于C2,则将标记信息split_flag标记为1，表示该矩 形块需要进行划分；反之，将标记信息Split_flag标记为0，表示不需要对该矩形块进行划 分；并将该标记信息写入码流。步骤6，依据标记信息Split_flag，对宽度为M,高度为N的矩形块进行帧间预测。依据标记信息Split_flag确定宽度为M，高度N的矩形块的帧间预测方法，如果标 记信息split_flag等于1，则以划分后的矩形子块为基本单元在参考帧中搜索与该划分后 的矩形块最匹配的预测块，并将该划分后的矩形子块的第一个像素坐标和预测块的第一个 像素坐标相减，得到该划分后的矩形子块运动矢量；如果标记信息Split_flag等于0，则直 接在参考帧中搜索该矩形块最匹配的预测块，并将该矩形块的第一个像素的坐标和预测块 的第一个像素坐标相减，得到该矩形块的运动矢量。步骤7，对宽度为M,高度为N的矩形块进行编码。首先，将该矩形块的像素亮度值与其预测块的像素亮度值相减，得到预测残差；然后，对预测残差进行离散余弦变换；最后，对变换后的数值，采用标量量化方法进行量化，并对量化后的数值进行熵编 码，并将编码结果写入码流。参照图5，本发明第二实施例的具体实现步骤包括如下步骤A，依据参考帧的编码信息，确定参考帧的最大编码单元FLCTB和最小编码单 元FSCTB，并直接将参考帧的最大编码单元FLCTB和最小编码单元FSCTB作为当前帧的最大 编码单元FLCTB和最小编码单元FSCTB。步骤B，根据视频格式为FLCTB的整数倍确定视频编码方法，如果视频格式是 FLCTB的整数倍，则直接按照JCT-VC提出的编码方法完成视频帧的压缩，即按照JCT-VC提出的编码方法将视频帧划分为若干FLCTB，然后对每个FLCTB进行预测，得到预测残差，并 对预测残差进行变换，量化和熵编码；反之，则执行步骤C ；步骤C，根据视频帧是否采用帧间预测确定视频编码方法，如果未采用帧间预测， 则按照JCT-VC提出的如下编码方法完成该帧的压缩首先，对该视频帧进行帧内预测，得到预测残差；然后，对预测残差进行变换，量化和熵编码；对于采用帧间预测的视频帧，执行步骤D。步骤D，对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的矩形块进行 划分。首先，将宽度为M，高度N的矩形扩展为图6所示的大小为L2XL2的正方形块，其 中，L2 = 2n，《 =「Max(lgM,lgA0]；然后，对所述L2XL2的正方形块沿水平和垂直方向划分为四等份，在对L2XL2的正 方形块进行分割的过程中，L2XL2的正方形块的分割线也将大小为MXN的矩形块划分为若 干矩形子块。步骤E，对宽度为M,高度N的矩形块的划分进行标记。首先，对每个矩形子块分别进行预编码，并依据率失真准则确定每个字块的率失 真代价，将所有子块的率失真代价相加，得到大小为MXN的矩形块的总代价C1 ；然后，将大小为MXN的矩形块作为整体进行预编码，并依据率失真准则确定其率 失真代价C2 ；最后，比较C1和C2,如果C1小于C2,则将标记信息split_flag标记为1，表示该矩 形块需要进行划分；反之，将标记信息Split_flag标记为0，表示不需要对该矩形块进行划 分；并将该标记信息写入码流。步骤F，对宽度为M,高度N的矩形块进行帧间预测。依据标记信息Split_flag确定宽度为M，高度N的矩形块的帧间预测方法，如果标 记信息split_flag等于1，则以划分后的矩形子块为基本单元在参考帧中搜索与该划分后 的矩形块最匹配的预测块，并将该划分后的矩形子块的第一个像素坐标和预测块的第一个 像素坐标相减，得到该划分后的矩形子块运动矢量；如果标记信息Split_flag等于0，则直 接在参考帧中搜索该矩形块最匹配的预测块，并将该矩形块的第一个像素的坐标和预测块 的第一个像素坐标相减，得到该矩形块的运动矢量。步骤G，对宽度为M，高度为N的矩形块进行编码。首先，将该矩形块的像素亮度值与其预测块的像素亮度值相减，得到预测残差；然后，对预测残差进行离散余弦变换；最后，对变换后的数值，采用标量量化方法进行量化，并对量化后的数值进行熵编 码，并将编码结果写入码流。本发明的效果可以通过实验进一步说明。图7比较了本发明与JCT-VC的编码方法的编码性能。其中图7(a)比较了分别采 用本发明和JCT-VC的编码方法对视频序列foreman编码后的率失真曲线，图7 (b)比较了 分别采用本发明和JCT-VC的编码方法对视频序列Racehorse编码后的率失真曲线，图7 (c) 比较了分别采用本发明和JCT-VC的编码方法对视频序列BasketballDrill编码后的率失真曲线。 由图7可以看出，在相同编码比特率的条件下，本发明在解码端恢复的视频质量 峰值信噪比PSNR高于JCT-VC的编码方法在解码端恢复的视频质量的峰值信噪比PSNR，统 计结果表明本发明在解码端恢复的视频质量峰值信噪比PSNR比JCT-VC的编码方法在解码 端恢复的视频质量峰值信噪比PSNR平均高出0. 2dB。
权利要求
一种视频压缩中视频编码块自适应确定方法，包括如下步骤(1)遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值范围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单元FSCTB，并将选择的最优的FLCTB和FSCTB写入码流；(2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是FLCTB的整数倍，则按照JCT VC提出的编码方法完成视频帧的压缩，反之，执行步骤(3)；(3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按照JCT VC提出的编码方法完成该帧的压缩，反之，执行步骤(4)；(4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度N的矩形块进行划分，即先将该矩形扩展为大小为L2×L2的正方形块，其中，L2＝2n，再对该L2×L2的正方形块沿水平和垂直方向划分为四等份；(5)采用标记信息split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为0，并将该标记信息写入码流；(6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测残差，并对预测残差进行变换、量化和熵编码。FDA0000027698670000011.tif
2.根据权利要求1所述的视频压缩中视频编码块自适应确定方法，其中步骤(1)所述 的将选择的最优的FLCTB和FSCTB写入码流，是按如下两种方式的任一种方式进行(2a)直接将FLCTB写入码流；(2b)将当前帧的FLCTB与参考帧的FLCTB的差值写入码流。
3.根据权利要求1所述的视频压缩中视频编码块自适应确定方法，其中步骤(6)所述 的依据标记信息split_flag，对划分后的矩形块进行帧间预测，是以划分后的矩形块的大 小为基本单元在参考帧中搜索与该矩形块最匹配的预测块。
4.一种视频压缩中视频编码块自适应确定方法，包括如下步骤1)利用当前帧与参考帧之间的相关性，预测当前帧的最大编码单元FLCTB和最小编码 单元FSCTB ；2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是 FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤3)；3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按 照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤4)；4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度 N的矩形块进行划分，即先将该矩形扩展为大小为L2XL2的正方形块，其中，L2 = 2n， η = \Max(XgM^N)]；再对该L2XL2的正方形块沿水平和垂直方向划分为四等份；5)采用标记信息Split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为 0，并将该标记信息写入码流；6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测 残差，并对预测残差进行变换、量化和熵编码。
5.根据权利要求4所述的视频压缩中视频编码块自适应确定方法，其中步骤1)所述的 预测当前帧的最大编码单元FLCTB和最小编码单元FSCTB，按如下步骤进行5a)依据参考帧的编码信息，确定参考帧的最大编码单元FLCTB和最小编码单元 FSCTB ；5b)直接将参考帧的最大编码单元FLCTB和最小编码单元FSCTB作为当前帧的最大编 码单元FLCTB和最小编码单元FSCTB。
6.根据权利要求4所述的视频压缩中视频编码块自适应确定方法，其中步骤6)依据标 记信息split_flag，对划分后的矩形块进行帧间预测，是以划分后的矩形块的大小为基本 单元在参考帧中搜索与该矩形块最匹配的预测块。
全文摘要
本发明公开了一种高效视频编码中编码单元自适应划分方法，主要解决现有技术中编码单元的划分中最大编码单元和最小编码单元不能随视频内容特征进行调整，且视频帧边界处的块的可选划分模式数量少的问题。其划分步骤为首先采用率失真准则或者视频帧间的相关性自适应地确定每个视频帧的最大编码单元和最小编码单元；其次，对视频帧边界处的最大编码单元中未超出视频帧范围的矩形块扩展为正方形块后再进行划分；然后，对划分后的矩形块进行标记，并对划分后的矩形块进行帧间预测，最后，对预测残差进行变换，量化和熵编码。本发明具有视频压缩效率高的优点，可以应用于高性能视频编码标准中。
文档编号H04N7/50GK101938657SQ20101029858
公开日2011年1月5日 申请日期2010年10月7日 优先权日2010年10月7日
发明者万帅, 元辉, 李维, 杨付正 申请人:西安电子科技大学