一种基于3D显著性信息和视点合成预测的3D‑HEVC编码方法与流程

本发明涉及一种三维高性能视频编码(Three-dimensionalhighefficiencyvideocoding,3D-HEVC)方法，尤其是一种基于3D显著性信息和视点合成预测(Viewsynthesisprediction,VSP)的3D-HEVC编码方法。
背景技术：
：当前，视频压缩技术发展迅猛，同时也带动了3D视频编码技术的发展和研究。HEVC是目前最先进的编码标准，而3D-HEVC的提出旨在HEVC基础上改进编码技术，以高效压缩多视点视频及对应的深度数据。为了进一步提高3D视频编码性能，VSP已经被加入到3D-HEVC编码框架中，即利用深度信息对纹理进行更好的预测编码。VSP是一种视点间预测编码方法，算法思想是在参考视点中，利用深度信息的合成为当前编码块得到一个预测块。VSP分为前向视点合成预测(Forwardviewsynthesisprediction,FVSP)和后向视点合成预测(Backwardviewsynthesisprediction,BVSP)，其中FVSP适用于先编码纹理后编码深度的模式，利用的是参考视点的深度图，将参考图像中所有的像素点合成到虚拟图像中。BVSP适用于先编码深度后编码纹理的模式，利用的是当前视点的深度图，在参考图像中找到当前编码块中的对应像素点，得到当前块的预测块。由于FVSP解码复杂度很高，3D-HEVC采用的是改进型的BVSP。当前编码块参考的纹理是不同视点间已编码图像，参考的深度是已编码图像对应的深度图，目的是为当前编码的预测单元(Predictionunits,PU)块寻找一个预测块减少视点间冗余。在目前HTM-15.0的平台中采用的是基于最大深度值的视点合成预测算法，即比较整个编码PU块的左上和右下、右上和左下的深度值。如果左上大于右下且右上大于左下，则将所有8×8块分成2个8×4块，然后比较每个8×4块4个角的深度值，取其中的最大值作为此8×4块的深度值；反之，则将所有8×8块分成2个4×8块。然后将每个8×4或者4×8小块中的最大深度值转化的视差进行存储。由于3D-HEVC不对深度块做去块滤波，所以产生的深度图有比较明显的块效应，而VSP原始算法中取子PU块四个角深度值中的最大值，若该子块正好处在块效应的边界上，则取得最大深度值就可能不准确，从而影响编码结果。因此需要改进算法来避免子块位于块效应边界的情况发生。近些年，人们对人眼视觉特性的研究越来越感兴趣，感知视频编码越来越受到重视。由于人类视觉系统(Humanvisualsystem,HVS)对视频场景及图像的感知具有选择性，对不同区域或者不同对象具有不同的感知能力。通常，人眼对运动剧烈的对象或纹理丰富的区域具有更高的感知灵敏度，这些区域称为显著性区域。传统的视频编码标准着重于从减少冗余来提高率失真性能，而忽视了HVS感知多样性对视频编码的影响。因此，本发明提出基于3D显著性信息的编码方法。技术实现要素：本发明的目的是在目前视频编码技术的基础上，提出一种基于3D显著性信息和视点合成预测的3D-HEVC编码方法。该方法基于3D显著性信息和改进后的视点合成预测算法，能有效提高编码效率，提高编码质量。为达到上述目的，本发明的构思是：首先根据人眼的视觉特性建立3D显著性模型，获得编码序列的3D显著性信息，并将显著性信息导入原始的编码机制中；再根据编码序列的显著性信息将编码块划分成显著区域、非显著区域和中间区域三个类型，根据不同类型的区域分配不同的量化参数(Quantizationparameter,QP)和编码模式；然后为了避免VSP中编码子块出现在块效应边界上的情况发生，将每个子块四个角的位置分别向内平移一个像素单位，取内缩后的四个角的最大值作为要存储的深度值；最后结合显著性信息和改进后的VSP算法进行视频编码，提高编码效率。根据上述构思，本发明的技术方案是：一种基于3D显著性信息和视点合成预测的3D-HEVC编码方法，具体步骤包括：1)建立3D显著性模型，获取显著性信息：在现有2D显著性模型的基础上，通过增加视频图像的深度信息，建立具有深度感知信息的3D显著性模型，获取编码内容的3D显著性信息；2)确定当前编码块的所属划分区域：根据编码视频的3D显著性信息，将当前编码块内容划分为显著性区域、非显著性区域或者中间区域；3)确定不同划分区域的编码策略：在对当前编码块进行区域划分后，针对不同显著度分配不同QP值，且设定不同的编码模式；4)改进原始视点合成预测算法：为避免深度块的边界效应，将原始VSP中子PU块的四个角分别内缩一个像素点，即子PU块四个角的X、Y轴分别向内平移一个像素，再取新生成的四个角的最大深度值进行存储；5)编码多视点视频序列：利用3D显著性信息及改进的VSP算法，进行多视点视频序列的编码。在上述步骤1)中，先将原始序列的深度图D进行归一化处理得到深度权重ω，由于深度像素值为0-255，数值越大代表离摄像机距离越近，因此接着利用目前已有的2D显著性模型获得纹理视频的显著图SC，将纹理显著图与深度权重相乘得到3D显著图SDC，即SDC＝ω*SC；SDC在2D纹理显著图的基础上增加了深度信息，符合人眼视觉注意力机制，达到了越近越中间的对象其显著度越高的目的。所述步骤2)包括如下步骤：a)先将步骤1)得到的3D显著图SDC进行二值化处理得到Sb，即其中，T为自适应阈值，根据视频内容的不同T的值也随之改变，这样二值化之后的显著图Sb拥有更加清晰分明的轮廓，图像中像素值为1的高亮处即为人眼的感兴趣区域，像素为0即为背景区域；b)计算当前编码块的显著均值SAve＝ST/(H*W)，其中，ST表示当前编码块中二值化显著图的像素值总和，H、W分别代表当前编码块的高度和宽度，SAve即为当前编码块的平均显著度，通过计算当前块的平均显著度，对当前块进行区域划分：对于中间区域，又分为两种情况：这样根据平均显著度，就将当前编码块划分成了四种不同类型的区域。在上述步骤3)中，利用当前编码块与邻近块时间和空间上的编码相关性，对当前块进行提前终止跳过，即SKIP模式处理：a)若当前编码块处于非显著性区域时，若五个邻块中有三个或三个以上选择SKIP作为最佳模式，则认为当前块的最佳预测模式为SKIP，否则选择SKIP和Inter2N×2N作为帧间候选模式；b)当前编码块处于显著性区域时，若五个邻块全部选择SKIP模式，则认为当前块选择SKIP作为最佳预测模式，否则对当前块遍历所有的帧间模式；c)当前编码块处于中间区域时，若有四个或四个以上邻块选择SKIP，则认为当前块最佳模式为SKIP，否则遍历所有帧间预测模式；d)对不同区域块分配不同的量化参数QP以提高编码效率：编码过程中，纹理复杂区域的编码单元(CodingUnits，CU)通常很小，简单平坦区域(如背景)一般用较大的CU，因此，为CU选择合适的QP，会直接影响编码质量和比特数；人眼特别关注的这些区域就是显著性区域，因此，通过调整显著区域CU的QP来提高编码的感知质量；基于显著信息，显著区域给较小的QP，非显著区域分配较大的QP，这里的QP0是指平台中最初的量化参数。在上述步骤4)中：a)比较整个编码PU块的左上和右下、右上和左下的深度值：在原始编码平台中，默认用标志位vspSize来表示分割尺寸，当左上深度大于右下且右上深度大于左下时，vspSize为1，反之为0；如果vspSize＝1，则将所有8×8块分成两个相同的8×4块；如果vspSize＝0，则将所有8×8块分成两个相同的4×8块；b)为了避免边界的块效应，把原平台中对比每个8×4或者4×8块四个角：左上、右下、右上、左下的深度值大小改为将原始四个角位置分别内缩一个像素，即横、纵坐标分别向里平移一个像素单位。在上述步骤5)中，采用3D-HEVC编码测试平台，实验中使用3view+3depth配置文件，输入左-中-右三个视点的纹理和对应深度图进行编码测试；实验中总共测试了8个视频序列，不同序列具有不同的编码参数。本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：(1)避免了视点合成预测中当子PU块处在块效应边界上时所得最大深度值不准确的情况，对选取最大深度值比较位置作了相应的处理，能有效减小块效应的影响，选取的最大深度值转化的视差向量(Disparityvector,DV)信息更准确，从而更好的预测当前块。(2)充分考虑到人眼视觉特性，通过利用HVS中显著信息指导编码，按区域分配不同QP值，保证编码客观质量的同时，可节省码率，提高编码效率。(3)将深度图信息融入显著性模型中，更好地体现出3D视频编码的特性。附图说明图1为本发明的编码方法流程图。图2为3D显著性模型建立方法框图。图3为不同序列通过3D显著性模型提取出的图像。图4为当前编码块时间和空间上邻近块示意图。图5为改进的视点合成预测编码块示意图。具体实施方式本发明的一个实施例子结合附图表详述如下：本发明实施例采用的是3D-HEVC编码测试平台HTM-15.0版本，实验中使用3view+3depth配置文件，输入左-中-右三个视点的纹理和对应深度图进行编码测试。实验中总共测试了8个视频序列，不同序列具有不同的编码参数。参见图1，本基于3D显著性信息和视点合成预测的3D-HEVC编码方法，首先根据人眼的视觉特性建立3D显著性模型，获得编码序列的3D显著性信息，并将显著性信息导入原始的编码机制中；再根据编码序列的显著性信息将编码块划分成显著区域、非显著区域和中间区域三个类型，根据不同类型的区域分配不同的QP和编码模式；然后为了避免VSP中编码子块出现在块效应边界上的情况发生，将每个子块四个角的位置分别向内平移一个像素单位，取内缩后的四个角的最大值作为要存储的深度值；最后结合显著性信息和改进后的VSP算法进行视频编码，提高编码效率。其具体操作步骤是：1)建立3D显著性模型，获取显著性信息：在现有2D显著性模型的基础上，通过增加视频图像的深度信息，建立具有深度感知信息的3D显著性模型，获取编码内容的3D显著性信息；2)确定当前编码块的所属划分区域：根据编码视频的3D显著性信息，将当前编码块内容划分为显著性区域、非显著性区域或者中间区域；3)确定不同划分区域的编码策略：在对当前编码块进行区域划分后，针对不同显著度分配不同QP值，且设定不同的编码模式；4)改进原始视点合成预测算法：为避免深度块的边界效应，将原始VSP中子PU块的四个角分别内缩一个像素点，即子PU块四个角的X、Y轴分别向内平移一个像素，再取新生成的四个角的最大深度值进行存储；5)编码多视点视频序列：利用3D显著性信息及改进的VSP算法，进行多视点视频序列的编码。参见图2、图3，上述步骤1)中建立3D显著性模型获取显著性信息，是指先将原始序列的深度图D进行归一化处理得到深度权重ω，由于深度像素值为0-255，数值越大代表离摄像机距离越近。因此接着利用目前已有的2D显著性模型获得纹理视频的显著图SC，将纹理显著图与深度权重相乘得到3D显著图SDC，即SDC＝ω*SC。SDC在2D纹理显著图的基础上增加了深度信息，符合人眼视觉注意力机制，达到了越近越中间的对象其显著度越高的目的。上述步骤2)中确定当前编码块的所属划分区域的方法是：a)先将步骤1)得到的3D显著图SDC进行二值化处理得到Sb，即其中，T为自适应阈值，根据视频内容的不同T的值也随之改变，这样二值化之后的显著图Sb拥有更加清晰分明的轮廓，图像中像素值为1的高亮处即为人眼的感兴趣区域，像素为0即为背景区域；b)计算当前编码块的显著均值SAve＝ST/(H*W)，其中，ST表示当前编码块中二值化显著图的像素值总和，H、W分别代表当前编码块的高度和宽度，SAve即为当前编码块的平均显著度，通过计算当前块的平均显著度，对当前块进行区域划分：对于中间区域，又分为两种情况：这样根据平均显著度，就将当前编码块划分成了四种不同类型的区域。参见图4，所述步骤3)中确定不同划分区域编码策略的方法是：利用当前编码块与邻近块时间和空间上的编码相关性，对当前块进行提前终止跳过，即SKIP模式处理：a)若当前编码块处于非显著性区域时，若五个邻块中有三个或三个以上选择SKIP作为最佳模式，则认为当前块的最佳预测模式为SKIP，否则选择SKIP和Inter2N×2N作为帧间候选模式；b)当前编码块处于显著性区域时，若五个邻块全部选择SKIP模式，则认为当前块选择SKIP作为最佳预测模式，否则对当前块遍历所有的帧间模式；c)当前编码块处于中间区域时，若有四个或四个以上邻块选择SKIP，则认为当前块最佳模式为SKIP，否则遍历所有帧间预测模式；d)对不同区域块分配不同的量化参数QP以提高编码效率：编码过程中，纹理复杂区域的编码单元，即CodingUnits，CU通常很小，简单平坦区域一般用较大的CU，因此，为CU选择合适的QP，会直接影响编码质量和比特数；人眼特别关注的这些区域就是显著性区域，因此，通过调整显著区域CU的QP来提高编码的感知质量；基于显著信息，显著区域给较小的QP，非显著区域分配较大的QP，这里的QP0是指平台中最初的量化参数。参见图5，上述步骤4)中改进原始视点合成预测算法的方法是：a)比较整个编码PU块的左上和右下、右上和左下的深度值：在原始编码平台中，默认用标志位vspSize来表示分割尺寸，当左上深度大于右下且右上深度大于左下时，vspSize为1，反之为0；如果vspSize＝1，则将所有8×8块分成两个相同的8×4块；如果vspSize＝0，则将所有8×8块分成两个相同的4×8块；b)为了避免边界的块效应，把原平台中对比每个8×4或者4×8块四个角：左上、右下、右上、左下的深度值大小改为将原始四个角位置分别内缩一个像素，即横、纵坐标分别向里平移一个像素单位。本实施例实验用测试序列的编码参数如表1所示，实验中使用3view+3depth配置文件，输入左-中-右三个视点的纹理和对应深度图进行编码测试。表1序列名称分辨率编码帧数编码视点顺序QP0纹理QP0深度Kendo1024×76893-1-525、30、35、4030、35、40、45Balloons1024×76893-1-525、30、35、4030、35、40、45Newspaper1024×76894-2-625、30、35、4030、35、40、45Lovebird1024×76896-4-825、30、35、4030、35、40、45UndoDancer1920×108895-1-925、30、35、4030、35、40、45PoznanStreet1920×108894-5-325、30、35、4030、35、40、45Shark1920×108895-1-925、30、35、4030、35、40、45GTFly1920×108895-1-925、30、35、4030、35、40、45本实施例在建立3D显著性模型过程中测试序列最终得到的显著图如图3所示。编码过程中改进算法和原始平台的实验数据对比如表2所示。表2序列名称Video0Video1Video2Kendo0.00％-0.8％-0.6％Balloons0.00％-0.8％-1.3％Newspaper0.00％-1.2％-0.7％Lovebird0.00％-0.6％-1.8％UndoDancer0.00％-1.7％-1.6％PoznanStreet0.00％-1.8％-1.7％Shark0.00％-3.8％-3.6％GTFly0.00％-2.2％-2.3％可以看出，本发明在编码过程中能合理的考虑人眼视觉特性的因素，保证客观质量，节省码率提高编码效率。综上所述可见，本发明全面考虑人眼视觉特性，依据人眼关注的编码块的不同显著度调整编码的量化参数和编码模式，同时避免了视点合成预测时边界块效应，保证编码质量，提高了编码效率。当前第1页1 2 3