一种基于hevc的3d视频快速编码方法
【专利摘要】本发明公开了一种基于HEVC的3D视频快速编码方法，编码深度图序列时基于纹理平坦性在率失真优化过程中进行快速虚拟视点合成，属于视频编码领域。包括：从纹理图视频序列中提取编码信息，基于统计学方法分析平坦的纹理区域中像素亮度值之间的规律，然后基于该规律，在编码深度图序列进行率失真优化时的虚拟视点合成过程中，提前分离出深度图序列中的像素平坦区域，终止该区域像素的虚拟视点合成过程，降低原始的穷尽式的像素处理过程带来的巨大编码复杂度。与传统的全像素合成方法相比，本发明方法能够在保证编码质量的同时减少大量编码时间。
【专利说明】一种基于HEVC的3D视频快速编码方法
【技术领域】
[0001] 本发明涉及视频编码技术，具体涉及一种3D视频深度图编码中基于纹理平坦性 的快速率失真优化编码方法。
【背景技术】
[0002] 3D(threedimensional)视频由于使得人的左右眼能够分别看到3D场景中存在 轻微视角差异的不同场景信息，因此相比普通的2D视频能够提供具有深度感知的观看体 验。目前较为常见的立体显示设备是双目立体显示器，提供两个视点的视频数据，而随着目 前多媒体技术的发展，多视点立体显示器由于能提供裸眼的3D视觉感受而越来越受到多 媒体信息产业的关注。然而，视点数的增多会带来视频数据量的成倍增长，对传输和存储造 成极大负担，因此亟需一种有效的编码方法来解决这一问题。目前最新的2D视频国际编 码标准为HEVC(HighEfficiencyVideoCoding)标准，该标准于2013年被正式批准。基 于HEVC对2D视频优秀的编码效果，基于HEVC的3D视频国际编码标准也应运而生，称为 3D-HEVC。
[0003] 多视点加深度（Multi-viewplusDepth,MVD)视频格式被3D-HEVC所采用。这种 视频格式包含2个或3个纹理视频及其对应的深度图序列，如图1所示。深度图序列可以 看作一组灰度图像序列，用亮度分量表示深度值，因此深度图序列可以有效地表征物体在 三维空间中的位置。深度值的引入，使得可以利用DIBR(DepthImageBasedRendering) 技术在原本的2或3个视点之间合成虚拟视点，有效地解决由于视点数增加造成的数据量 激增的问题。
[0004] 传统的视频编码方法采用率失真优化技术来进行运动矢量选择和模式决策过程， 通过选择率失真代价最小的作为最终决策。率失真代价的计算公式为J=D+X*R，其中J 是率失真代价，D为原始数据与重建数据之间的失真值，X是拉格朗日乘数，R是编码所需 比特数。D的常规计算方法是计算当前视频序列中原始数据与重建数据之间的差值平方和 或绝对差之和。然而深度图序列仅用来合成虚拟视点，而并不会直接提供给用户观看，仍采 用常规的视频编码技术来编码深度图序列不能获得最优的编码效果。因此在深度图序列编 码模式决策的过程中，失真值D的计算需要基于合成视点的失真情况而非深度图序列本身 的失真情况。
[0005] 在3D-HEVC中，用于株度图序列编码中率失真代价计算的失真值D被称为 SVDC(SynthesizedViewDistortionChange)oSVDC值表示的是两个合成的虚拟视点的纹 理图失真之差，如图2所示。其中，S' 表示由原始纹理图和原始深度图合成的参考虚 拟视点纹理图；S't表示由深度图SD合成的纹理图，该深度图包含已编码块的已编码深度 数据，和其他块中的原始深度数据；毛表示由深度图元合成的纹理图，该深度图与SD的区 别在于元还包含当前编码块的编码后深度数据；SSD表示差值平方和。因此，在3D-HEVC中 对深度图序列进行编码采用的率失真优化过程中包含了虚拟视点合成过程。
[0006] 由于原有的SVDC计算过程，需要对当前深度图序列中的每个像素进行变换、插 值、融合等虚拟视点合成处理的步骤以最终得到虚拟视点，然后编码器通过比较由原始深 度图序列合成的虚拟视点，和由编码后的深度图序列合成的虚拟视点，最终计算每个像素 点的合成视点像素亮度值差之和，如图3所示。这种全像素遍历的方法会随着视频分辨率 的提高带来巨大的编码复杂度，增加3D视频的编码时间。本发明基于HEVC标准，提出一种 基于纹理平坦性的快速率失真优化编码方法，降低由于穷尽式的像素处理过程带来的巨大 编码复杂度，同时保证合成的虚拟视点质量。
[0007] 附：参考文献
[0008] [l]Muller.K. ,Schwarz.H. ,Marpe.D. ,Bartnik.C. ,Bosse.S. ,Brust.H. ,Hinz. T. ,Lakshman.H. ,Merkle.P. ,Rhee.F.H. ,Tech.G. ,Winken.M. ,Wiegand.T. , ^3D High-EfficiencyVideoCodingforMulti-ViewVideoandDepthData，"IEEE TransactionsonImageProcessing,vol. 22,no. 9,pp. 3366-3378, 2013.
[0009] [2]Smolic.A,Muller.K. ,Dix.K. ,Merkle.P. ,Kauff.P. ,Wiegand. T.，"Intermediateviewinterpolationbasedonmultiviewvideoplusdepth foradvanced3Dvideosystems，〃15thIEEEInternationalConferenceonImage Processing,SanDiego,USA,pp. 2448-2451,Oct. 2008.
[0010] [3]Tech.G.，Schwarz.H.，Muller.K.，Wiegand.T.，"3Dvideocodingusing thesynthesizedviewdistortionchange，"2012PictureCodingSymposium (PCS)，pp. 25-28,May2012.
【发明内容】
[0011] 本发明的目的在于，通过提供一种基于ffiVC的3D视频快速编码方法，利用平坦纹 理区域中的像素亮度值规律设定阈值，判定深度图视频序列中的平坦部分并分离该部分的 像素处理过程，加速率失真优化过程中虚拟视点合成过程，降低3D视频的编码复杂度。
[0012] 为解决上述技术问题，本发明采取的技术方案为：
[0013] 一种基于HEVC的3D视频快速编码方法，首先从已编码的纹理图视频序列中提取 编码信息，基于统计学方法分析平坦的纹理区域中像素亮度值之间的规律；然后基于该规 律，在编码深度图序列进行率失真优化时的虚拟视点合成过程中，提前分离出平坦的深度 图像素区域，终止该区域像素的虚拟视点合成过程，减少需要进行虚拟视点合成过程的像 素个数，降低原始的穷尽式的像素处理过程带来的巨大编码复杂度，具体步骤如下：
[0014] 1. 1、从已编码的纹理图视频序列中提取编码信息，包括：编码块的划分尺寸 nXn、编码块所使用的编码模式Mode、重建块中各像素的亮度值Y;
[0015] 1. 2、分析平坦的纹理区域中像素亮度值之间的规律，利用从步骤1. 1中获得的编 码信息，选取Mode为IntraDC模式的编码块作为处于纹理平坦区域的编码块，记录此类编 码块的尺寸nXn和块中各像素的亮度值，基于统计学的方法分析此类编码块中像素亮度 值之间的规律，设定阈值T;
[0016] 1.3、在编码深度图序列进行率失真优化时的虚拟视点合成过程中，利用经过步骤 1. 2获得的阈值T，将当前深度图序列中的编码块按行划分成1个平坦行和m个非平坦行；
[0017] 1. 4、利用经过步骤1. 3得到平坦行和非平坦行划分结果，终止1个平坦行中像素 的虚拟视点合成处理过程，降低全像素合成虚拟视点处理过程带来的高复杂度。
[0018] 在本发明所提供的基于HEVC的3D视频快速编码方法中，所述的基于统计学方法 分析纹理平坦编码块中像素亮度值之间规律并设定阈值T的过程，包括下述步骤：
【权利要求】
1. 一种基于ffiVC的3D视频快速编码方法，其特征在于包含以下步骤： 1. 1、从已编码的纹理图视频序列中提取编码信息，包括：编码块的划分尺寸nXn、编 码块所使用的编码模式Mode、重建块中各像素的亮度值Y; 1. 2、分析平坦的纹理区域中像素亮度值之间的规律，利用从步骤I. 1中获得的编码信 息，选取Mode为IntraDC模式的编码块作为处于纹理平坦区域的编码块，记录此类编码块 的尺寸nXn和块中各像素的亮度值，基于统计学的方法分析此类编码块中像素亮度值之 间的规律，设定阈值T; 1. 3、在编码深度图序列进行率失真优化时的虚拟视点合成过程中，利用经过步骤1. 2 获得的阈值T，将当前深度图序列中的编码块按行划分成1个平坦行和m个非平坦行； 1. 4、利用经过步骤1. 3得到平坦行和非平坦行划分结果，终止1个平坦行中像素的虚 拟视点合成处理过程，降低全像素合成虚拟视点处理过程带来的高复杂度； 所述的基于统计学方法分析纹理平坦编码块中像素亮度值之间规律并设定阈值T的 过程，包括下述步骤：
F是平均亮度值，i和j是像素的横坐标和纵坐标，n表示当前编码块的长和宽，Y表示像素 亮度值； 2. 2、计算纹理平坦编码块中每个像素的亮度平均差值，计算公式为
*其中A是壳度的平均差值，i和j是像素的横坐标和纵坐标，n表不当 前编码块的长和宽，Y表示像素亮度值，F是平均亮度值； 2. 3、利用步骤2. 2的计算方法对标准测试序列{newspaper,balloons,kendo,gtfly,u ndodancer,poznanstreet}中的纹理平坦编码块，计算像素的亮度平均差值，对各个平均差 值计算平均值，并对此平均值进行下取整，将其作为阈值T; 所述的平坦行和非平坦行的划分过程，包括下述步骤： 3. 1、对当前深度图序列中编码块按行进行处理，计算当前行中相邻像素亮度值之差的 绝对值AY=IYp-YtJ，其中AY表示像素亮度值之差的绝对值，Y表示像素的亮度值，p和 q表示当前行中相邻的两个像素值横坐标； 3. 2、如果当前行中所有相邻像素的像素亮度值之差绝对值AY都小于阈值T，则认为 当前行平坦，否则认为当前行不平坦。
【文档编号】H04N19/597GK104506871SQ201410677118
【公开日】2015年4月8日 申请日期:2014年11月23日 优先权日:2014年11月23日
【发明者】贾克斌, 窦环 申请人:北京工业大学