针对3d-hevc编码标准的快速深度图帧内模式判决方法
【专利摘要】本发明包括一种针对3D?HEVC编码标准的快速深度图帧内模式判决方法，其步骤如下：选择深度图中的编码单元；执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测；判断编码单元CU的最佳模式是否是Planar模式或DC模式；执行3D?HEVC编码器中的快速DMM1搜索，获得判决公式；根据判决公式判决DMM1搜索后，执行3D?HEVC编码器中的DMM4搜索，计算最小率失真代价；判决最佳帧内预测模式，处理深度图中的下一个编码单元。本发明利用深度图特点来初步判决当前深度图帧内预测模式，跳过一些在深度图编码过程中不常出现的帧内模式，具有计算量小、编码复杂度低、编码时间短、压缩性能与原始3D?HEVC一致等突出优点。
【专利说明】
针对3D-HEVC编码标准的快速深度图帧内模式判决方法
技术领域
[0001 ]本发明涉及视频编码的技术领域，涉及深度图的帧内模式判决，具体涉及一种针 对3D-HEVC编码标准的快速深度图帧内模式判决方法。
【背景技术】
[0002] 随着计算机视觉技术与多媒体技术的飞速发展，高效的3D视频显示技术成为了当 前的研究热点。多视点纹理视频加深度图（multi-view texture videos plus depth maps，MVD)格式不仅是最新的3D视频编码格式，还是最有效的3D视频编码方法之一。在解码 端，MVD格式可以利用深度图合成(depth image based rendering，DIBR)技术，将少数视点 的纹理视频流及其对应的深度图码流进行编码，并合成出更多视点的纹理视频，这样便可 在自由立体显示器上显示3D内容。近期，3D视频联合组(Joint Collaborative Team on 3D Video Coding，JCT-3V)制定了3D_HEVC(3D High Efficiency Video Coding)视频编码标 准，其中加入了许多新的编码工具，使其可以有效利用MVD格式对多视点3D视频进行压缩处 理，尤其对于深度图的编码效率，更是有了大幅度的提高。
[0003] 深度图有着大面积同质区域和锐利边缘的特点，而纹理视频并不具有这样的特 点，所以如果仅使用传统HEVC编码标准中的帧内预测方法对深度图进行预测编码会造成虚 拟视点的失真，尤其在边缘部分容易出现振铃效应。为了能够适应深度图大面积同质区域 和锐利边缘，3D-HEVC编码标准中的深度图帧内编码部分加入了一些新的预测模式。对于深 度图的编码，3D-HEVC编码标准既使用了传统HEVC编码标准中的帧内预测模式，也使用了新 增加的适用于深度图的帧内预测模式，这样虽然提高了编码效率，但同时也增加了计算复 杂度，而这就会严重影响到3D-HEVC编码器的实际应用。因此，目前急需一种快速算法，来降 低深度图帧内预测的计算复杂度。
[0004] 最近提出了不少基于3D-HEVC编码标准的快速算法，以降低深度图帧内编码的计 算复杂度。为了降低wedgelet候选模式数量，有研究人员根据纹理视频与深度图的相关性 提出了一种低复杂度的深度图编码算法;有研究人员利用简化的边缘检测方法来实现快速 的3D-HEVC深度图帧内预测;有研究人员结合深度图与纹理视频的相关性，以及帧间帧内的 相关性，对四叉树划分进行改进，以降低3D-HEVC中深度图帧内编码的复杂度;还有一些研 究人员通过提前终止判决或跳过某些非必要预测模式，从而加速深度图帧内预测模式判决 过程。以上这些方法虽然都取得了一定的成效，但是在加速深度图编码的同时，又会引入新 的计算复杂度，所以对于复杂度的降低仍有很大的空间。
[0005] 为了能够适应深度图大面积同质区域和锐利边缘，3D-HEVC编码标准中的深度图 帧内编码部分加入了一些新的预测模式，包括深度模型模式（Depth Modeling Modes， DMM)，区域边界链编码(Region Boundary Chain Coding Mode，RBC)模式以及简化深度编 码模式（Simplified Depth Coding Mode，SDC)。其中，DMM模式可将深度块分割成两个非矩 形区域，且每个区域都由唯一固定常数来表示;RBC模式利用链编码的方法找到区域边界， 从而将深度块分成两个区域;SDC模式使用残差编码。然而，由于ΕΜΜ2、ΜΜ3和RBC模式的高 计算复杂度以及低编码质量，后来的3D-HEVC参考软件中移除了这三种深度图的预测模式。 显然，原始3D-HEVC的深度图帧内判决方法计算量巨大，计算复杂度较高，消耗大量的编码 时间，会影响到3D-HEVC编码器的实际应用。
【发明内容】
[0006] 为了解决上述技术问题，本发明提供了一种针对3D-HEVC编码标准的快速深度图 帧内模式判决方法，节省了大量编码时间，同时与原始3D-HEVC算法编码性能一致。
[0007] 为了达到上述目的，本发明的技术方案是:一种针对3D-HEVC编码标准的快速深度 图帧内模式判决方法，其步骤如下：
[0008] 步骤一、选择深度图中的编码单元cu;
[0009] 步骤二、执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测；
[00?0]步骤三、判断编码单元CU的最佳模式是否是Planar模式或DC模式，如果是，转到步 骤六，否则转动步骤四；
[0011] 步骤四、执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式；
[0012] 步骤五、根据步骤四中的判决公式判决DMM1搜索后，执行3D-HEVC编码器中的DMM4 搜索，并计算最小率失真代价；
[0013] 步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元。
[0014] 所述粗略预测的方法是:选取常用的8个测试序列，包括包含有大面积的运动区域 以及丰富的纹理的Shark、Undo_Dancer序列，纹理相对均勾且运动区域面积不大Kendo、 Balloons、Newspaper、GT_Fly和Poznan_Street序列，纹理最为平滑基本无运动区域的 Poznan_Hall2序列;对所有测试序列执行传统HEVC编码标准的帧内预测模式判决;根据统 计结果显示，有66.2%的Planar模式、7.2%的DC模式、8.4%的Horizontal模式和11.9%的 Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式包括角度格式2-9、角度格式 11-25和角度格式27-34被判决为最佳预测模式的可能性不超过6.3% ;深度图的帧内预测 模式判决中，Planar模式、DC模式、Horizontal模式和Vertical模式选为最佳预测模式。 [00 15] 在3D-HEVC的帧内预测模式判决过程中，腫Μ模式的时间消耗约占52%，其余48% 为传统HEVC帧内判决时间;深度图中包含大面积的同质区域时，DMM模式判决处理效率低。 [0016]所述执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式的方法为：
[0017] (4-1)、检查3D-HEVC编码器中wedgelet的候选方向模式中水平方向模式、竖直方 向模式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式6个帧内预测 方向来匹配DMM1搜索的分割线；
[0018] (4-2)、设置标志位F，用来判断是Horizontal模式还是Vertical模式；设置 Horizontal模式或Vertical模式的斜率偏移量的绝对值为A、偏移方向为S;
[0019] (4-3)、根据步骤(4-2)中设置的标志位F、偏移方向S、斜率偏移量的绝对值A，得到 判决公式如下:Dir = F+(S)*A-S。
[0020]本发明利用深度图特点来初步判决当前深度图帧内预测模式，之后跳过一些在深 度图编码过程中不常出现的帧内模式，从而实现快速深度图帧内模式判决。与原始3D-HEVC 深度图帧内模式判决方法相比，本发明具有计算量小、编码复杂度低、编码时间短、压缩性 能与原始3D-HEVC-致等突出优点;采用粗略判决和跳过不常见模式的手段，在深度图帧内 模式判决准确度保持不变的情况，加快了判决速度，具有实际操作性，便于进行实时应用。 本发明不仅利用了深度图的纹理特征，还结合了提前跳过非常见预测模式的判决，计算复 杂度较低，PSNR与码率表现与原始3D-HEVC编码器相当，同时节省了大约30%的编码时间， 可应用于实时编码。
【附图说明】
[0021]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0022]图1是本发明的流程图。
[0023]图2是本发明深度图帧内预测时常选的四个预测模式。
[0024] 图3是本发明3D-HEVC编码器中wedgelet的候选方向模式。
【具体实施方式】
[0025]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0026]如图1所示，一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，首先选 取深度图中的编码单元，然后根据前期的统计结果并进行分析，进一步找到一种快速的深 度图帧内模式判决方法，其步骤是：
[0027] 步骤一、选择深度图中的编码单元⑶。
[0028]为了实现快速深度图帧内预测模式的判决，本发明以3D-HEVC编码器的测试模型 为基础，在其基础上进行粗略预测以及跳过非常见模式判决，从而实现快速深度图帧内预 测模式判决。
[0029] 步骤二、执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测。
[0030] 粗略预测的方法是:常用的8个测试序列中，"Shark"和"Undo_DanCer"包含有大面 积的运动区域以及丰富的纹理，"Kendo"，"Balloons"，"Newspaper"，"GT_Fly"和"Poznan_ Street"纹理相对均匀且运动区域面积不大，而"Poznan_Hal 12"序列纹理最为平滑，基本无 运动区域。根据统计结果显示，有66.2 %的Planar模式、7.2 %的DC模式、8.4 %的 Horizontal模式和11.9%的Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式 包括角度格式2-9、角度格式11-25和角度格式27-34被判决为最佳预测模式的可能性不超 过6.3%。因此，我们可以根据以上分析推断出，对于深度图的帧内预测模式判决中，Planar 模式、DC模式、Horizontal模式和Vertical模式更有可能被选为最佳预测模式。基于上述分 析，可选用如图2所示的4个预测模式作为候选模式，只从这4个候选模式中选出最佳帧内预 测模式，这样就跳过了对剩余大部分预测模式的判决过程。
[0031] 进行粗略预测，由于避免了全率失真代价搜索的过程，仅对部分模式进行筛选，这 样可以大大降低编码时间，从而提高编码速度。
[0032]步骤三、判断编码单元CU的最佳模式是否是Planar模式或DC模式，如果是，转到步 骤六，否则转动步骤四。
[0033]统计实验结果表明，在3D-HEVC的帧内预测模式判决过程中，DMM模式的时间消耗 约占52%，其余48%为传统HEVC帧内判决时间。相比之下，判决的计算复杂度要远高于 传统HEVC帧内判决，因此需要降低DMM的计算复杂度，从而提高编码效率。深度图中包含了 大面积的同质区域，而DMM判决对此处理效率并不高。因此，遇到同质区域时，DMM判决会被 略过。对于传统HEVC帧内判决，遇到像素变化不明显的块时，Planar模式通常作为最佳预测 模式。对于3D-HEVC编码器来讲，遇到同质区域时，Planar模式通常作为最佳预测模式。除 Planar模式以外，DC模式也常被选作同质区域的最佳预测模式。那么，当编码块被确定为 Planar模式或DC模式后，则不再进行DMM判决。
[0034] DMM判决常用的包括DMM1搜索和DMM4搜索，若深度块中分割线呈直线，那么即选用 DMM1对其进行编码，若深度块中分割线非直线，则选用DMM4对其进行编码。在处理编码单元 CU时，是根据原始3D-HEVC算法中的率失真代价优化来判决该编码单元CU是Planar模式还 是DC模式。
[0035]步骤四、执行3D-HEVC编码器中的快速DMM1搜索，获得判决公式。
[0036] (4-1)、检查3D-HEVC编码器中wedgelet的候选方向模式中水平方向模式、竖直方 向模式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式6个帧内预测 方向来匹配DMM1搜索的分割线。
[0037]根据统计分析结果，发现wedge 1 et的候选方向模式中水平方向模式、竖直方向模 式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式六个方向模式是最 常用的预测模式，所以要首先对这六个方向模式进行预测，从而减少对不必要预测模式的 处理，以提高预测效率。匹配分割线的过程即为深度块DMM模式的预测过程，作用是对深度 块进行预测编码，效果是提高了预测效率。
[0038] (4-2)、设置标志位F，用来判断是Horizontal模式还是Vertical模式；设置 Horizontal模式或Vertical模式的斜率偏移量的绝对值为A、偏移方向为S。
[0039] 标志位F主要是判断深度帧内编码模式是Horizontal模式还是Vertical模式、偏 移方向S是判定深度帧内编码模式偏移方向是"+"或斜率偏移量的绝对值A是判定深度 帧内编码模式偏移角度的一个绝对值，提出快速DMM1搜索方法(也就是步骤4)主要是针对 这个三个变量来判断DMM1搜索的准确位置来完成的。本发明中A的值记为0或7，偏移方向顺 时针S记为"+"，偏移方向逆时针S记为。
[0040] (4-3 )、根据步骤(4-2)中设置的标志位F、偏移方向S、斜率偏移量的绝对值A，得到 判决公式如下:Dir = F+(S)*A-S。
[00411 步骤五、根据步骤四中的判决公式判决DMM1搜索后，执行3D-HEVC编码器中的DMM4 搜索，并计算最小率失真代价。
[0042] 3D-HEVC是利用率失真优化技术计算最小率失真代价，并判决具有最小率失真代 价的模式为最佳预测模式。率失真优化技术的根本原理是利用Lagrange乘子算出每个预测 模式的率失真代价，然后在所有模式对应的率失真代价中找到最小的那个预测模式，那么 该模式就是最佳预测模式。率失真代价计算公式为1 = 0丨81:〇1'1:;[011+1\8;^1?其中，8;^1?表示 对各个模式进行编码所需的码率，λ代表朗格朗日乘子，Distortion表示当前块与重建块之 间的失真量，在实际应用中常用客观评价方法有很多。例如，平方误差和SSD的公式如下：
;均方误差MSD的公式如下：
；绝 对误差和SAD的公式如下：
；峰值信噪比PSNR的公式如下：
其中，V(n，m)和Vre3C；(n，m)分别表示原始图像和重 建图像的(n，m)位置上的像素值，N和Μ分别表示图像的宽和高。
[0043] 步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元 CU〇
[0044] 根据步骤五中的率失真优化技术，找到具有最小率失真代价的模式，并判决该模 式为最佳预测模式。
[0045] 为了评测本发明的效果，选用表1中的标准测试视频序列进行测试实验，在JCT-3V 提供的视频编码系统平台HTM 11上，采用参数对(25,34)，（30,39)，（35,42)和(40,45)作为 仿真实验的量化参数，表1给出测试序列的信息，表2给出测试条件，表3给出本发明与原始 3D-HEVC编码器的测试结果对比。标准测试序列：
[0046] 表1测试序列信息
[0047]
[0048]^测试条件:
[0049] 表2测试条件
[0050]
[0051] 测试结果：
[0052] 表3测试结果对比
[0053]
【主权项】
1. 一种针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特征在于，其步骤如 下： 步骤一、选择深度图中的编码单元CU; 步骤二、执行传统HEVC编码标准的帧内预测模式判决，进行粗略预测； 步骤三、判断编码单元CU的最佳模式是否是Planar模式或DC模式，如果是，转到步骤 六，否则转动步骤四； 步骤四、执行3D-HEVC编码器中的快速DMMl搜索，获得判决公式； 步骤五、根据步骤四中的判决公式判决DMMl搜索后，执行3D-HEVC编码器中的DMM4搜 索，并计算最小率失真代价； 步骤六、判决最佳帧内预测模式，并跳至步骤一处理深度图中的下一个编码单元。2. 根据权利要求1所述的针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特 征在于，所述粗略预测的方法是:选取常用的8个测试序列，包括包含有大面积的运动区域 以及丰富的纹理的Shark、Undo_Dancer序列，纹理相对均勾且运动区域面积不大Kendo、 Balloons、Newspaper、GT_Fly和Poznan_Street序列，纹理最为平滑基本无运动区域的 Poznan_Hall2序列;对所有测试序列执行传统HEVC编码标准的帧内预测模式判决;根据统 计结果显示，有66.2%的Planar模式、7.2%的DC模式、8.4%的Horizontal模式和11.9%的 Vertical模式最终被判决为最佳帧内模式，而剩下的帧内模式包括角度格式2-9、角度格式 11-25和角度格式27-34被判决为最佳预测模式的可能性不超过6.3%;深度图的帧内预测模 式判决中，Planar模式、DC模式、Horizontal模式和Vertical模式选为最佳预测模式。3. 根据权利要求1所述的针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特 征在于，在3D-HEVC的帧内预测模式判决过程中，DMM模式的时间消耗占52%，其余48%为传统 HEVC帧内判决时间;深度图中包含大面积的同质区域时，DMM模式判决处理效率低。4. 根据权利要求1所述的针对3D-HEVC编码标准的快速深度图帧内模式判决方法，其特 征在于，所述执行3D-HEVC编码器中的快速DMMl搜索，获得判决公式的方法为： (4-1)、检查3D-HEVC编码器中wedgelet的候选方向模式中水平方向模式、竖直方向模 式、角度方向5模式、角度方向14模式、角度方向21模式、角度方向30模式6个帧内预测方向 来匹配DMMl搜索的分割线； (4-2)、设置标志位F，用来判断是Horizontal模式还是Vertical模式;设置Horizontal 模式或Vertical模式的斜率偏移量的绝对值为A、偏移方向为S; (4-3)、根据步骤(4-2)中设置的标志位F、偏移方向S、斜率偏移量的绝对值A，得到判决 公式如下:義# t 露I 減一#。
【文档编号】H04N19/11GK105898332SQ201610493811
【公开日】2016年8月24日
【申请日】2016年6月27日
【发明人】孙丽君, 陈天飞, 杨志晓, 王自强, 宋强, 孙道辉
【申请人】河南工业大学