一种基于彩色视频编码模式的深度图序列分形编码方法
【专利摘要】本发明提出了一种基于彩色视频编码模式的深度图序列分形编码方法。首先用分形视频压缩方法编码彩色视频，然后用分形视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式，利用深度图序列帧宏块与相应彩色视频宏块编码模式的相关性建立深度图序列帧宏块的候选模式选择表。深度图序列的I帧采用H.264帧内预测编码方法；深度图序列的P帧编码，首先用Sobel算子检测对象边界，对于包含对象边界的深度图序列帧宏块，使用全搜索遍历所有模式，对于不包含对象边界的深度图序列帧宏块，采用SKIP模式预判断策略，即首先判断与之相对应的彩色宏块是否编码为SKIP模式，若是SKIP模式，则直接将当前深度图序列帧宏块的最佳编码模式设为SKIP，否则使用率失真优化算法在候选模式中找到当前深度图序列帧宏块的最佳编码模式，然后用分形法编码深度图。
【专利说明】一种基于彩色视频编码模式的深度图序列分形编码方法
【技术领域】:
[0001]本发明属于三维视频压缩编码领域，涉及深度图序列的压缩编码，为三维立体视频编码的实时性应用奠定了基础，进一步提高了基于深度图的立体视频压缩编码的性能。
【背景技术】:
[0002]深度图所代表的是场景到摄像机成像平面的距离信息，它将实际深度值量化到[0，255],以获得代表深度信息的灰度图(参见Tanimoto M, Fujii T, Suzuki K, etal.Mult1-view depth map of Rena and Akko & Kayo[C], IS0/IEC JTC1/SC29/WG11, MPEG-M14888, China:Shenzhen, 2007.)。
[0003]深度图压缩是三维视频系统中的核心技术。目前，对深度图序列压缩的方法，主要是基于H.264/AVC标准。如杨旭等针对三维视频编码复杂度较高的问题，提出一种快速深度图像帧内编码方法，该方法基于视频图像与深度图像的相关性，利用视频图像的最优帧内预测模式信息，优化深度图像帧内编码预测模式的选择范围，减少率失真代价函数的计算量，从而降低深度图像帧内编码复杂度(参见杨旭，常义，林霍等.一种三维视频深度图像快速帧内编码方法[J].西安电子科技大学学报(自然科学版)，2012，39(3):7-13.)。Byung Tae Oh等定义了一个深度失真函数(参见Byung Tae Oh, Jaejoon Lee，Du_sik Park.Depth map coding based on synthesized view distortion function[J].1EEE Journalof Selected Topics in Signal Processing.2011，5 (7): 1344-1352.XD.V.S.X.De Silva等提出 T 新的模式选择方法(参见 D.V.S.X.De Silva, ff.A.C.Fernando, S.T.Worral1.1ntra mode selection method for depth maps of3D video based on renderingdistortion modeling[J].1EEE Transactions on Consumer Electronics, 2010，56(4): 2735-2740.)。
[0004]近年来分形理论也被应用到视频序列的压缩上，其基本思想是在视频编码过程中将每视频帧(首帧除外)上的子块从前一帧而不是同一帧找相匹配的父块。其中最为经典和影口向较大的参见(C.S.Kim, R.C.Kim, S.U.Lee.Fractal coding of video sequence usingcircular prediction mapping and noncontractive inter frame mapping[J].1EEETransactions on Image Processing, 1998，7 (4): 601-605.)。该方法米用类似于标准视频编码方法所采用的运动估计/补偿技术，利用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。Koji Ohse与Masahiro Nakagawa提出将视频序列变换到频率域,再应用分形视频压缩方法将不同分量的序列压缩编码(参见Koji Ohse, Masahiro Nakagawa.Fractal video coding with the orthogonal transformation[J], Electronics andCommunications in Japan, 2007, 90 (3): 36-47),此方法提供了在确定压缩比的情况下，实现对视频较好的压缩。张喻平与丰洪才提出了一种利用遗传算法提高视频分形压缩编码搜索速度的算法。(参见张喻平，丰洪才.利用遗传算法提高视频分形压缩编码搜索速度[J].计算机与数字工程，2007，35(1):28-30.)这种基于遗传算法的视频分形压缩编码改进了遗传算法中搜索空间的构造机理，结合运用合适的迭代函数系统和仿射变换，从而缩短了压缩编码时间，并且视频的恢复质量略优于全搜索算法和传统的分形压缩算法。
[0005]为了解决目前基于深度图的三维视频编码复杂度高的问题，本发明方法实现了一种利用深度图序列帧宏块与相应彩色视频宏块编码模式相关性，建立候选模式选择表，并进行SKIP模式预判断，以达到深度图序列分形编码时快速帧间模式选择的目的。实验证明，该方法实现了深度图序列压缩编码，并且编码时间及编码码率明显减少。
【发明内容】
:
[0006]本发明提出了一种基于彩色视频编码模式的深度图序列分形编码方法。首先使用分形视频压缩方法编码彩色视频，然后用分形视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式，利用深度图序列帧宏块与相应彩色视频宏块编码的相关性生成深度图序列帧宏块的候选模式选择表。深度图序列的I帧编码采用H.264帧内预测编码方法；深度图序列的P帧编码，首先用Sobel算子检测对象边界，对于包含对象边界的深度图序列帧宏块，使用全搜索编码方法，遍历所有模式，对于不包含对象边界的深度图序列帧宏块，采用SKIP模式预判断策略，即首先判断与之相对应的彩色宏块是否编码为SKIP模式，如果是SKIP模式，则直接将当前深度图序列帧宏块的最佳编码模式设为SKIP编码模式，否则使用率失真优化算法在候选模式中找到当前深度图序列帧宏块的最佳编码模式，然后用分形法编码深度图序列帧宏块。
[0007]—种基于彩色视频编码模式的深度图序列分形编码方法，其特征在于实现步骤如下:
[0008]步骤一:使用基于分形的视频压缩方法编码彩色视频；
[0009]步骤二:使用基于分形的视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式；
[0010]步骤三:若为深度图序列的I帧(第一帧必须为I帧，其它帧可以设置是否为I帧)，使用H.264帧内预测编码方法编码I帧，转到步骤九；若为深度图序列的P巾贞，转到步骤四；
[0011]步骤四:对深度图序列的P巾贞，使用Sobel算子检测对象边界；
[0012]步骤五:依次对当前深度图序列帧的所有宏块进行编码。根据模式选择表，获得当前深度图序列帧宏块的候选编码模式；
[0013]步骤六:如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式，转到步骤八；否则，转到步骤七；
[0014]步骤七:检测与当前深度图序列帧宏块相对应的彩色视频宏块是否编码为SKIP模式，如果是SKIP模式，则直接将当前深度图序列帧宏块的最佳编码模式设为SKIP编码模式，否则使用拉格朗日率失真优化算法在步骤五产生的所有候选模式中找到当前深度图序列帧宏块的最佳编码模式，转到步骤八；
[0015]步骤八:用步骤一的分形编码方法使用最佳编码模式编码当前深度图序列帧宏块。判断当前宏块是否为当前深度图序列帧的最后一个宏块，若是最后一个宏块，则转到步骤三编码下一帧；否则转到步骤五编码下一宏块；
[0016]步骤九:判断当前帧是否为深度图序列最后一帧,如果是最后一帧结束编码；否贝U，返回步骤三继续处理下一帧深度图像。
[0017]所述一种基于彩色视频编码模式的深度图序列分形编码方法，处理的彩色视频与深度图序列均为YUV格式。
[0018]所述步骤一中基于分形的视频压缩方法包括以下四个步骤:
[0019]I)如果是I帧(第一帧必须为I帧，其它帧可以设置是否为I帧)，采用H.264帧内编码方式，对于每个当前块在各种可能的预测方式中选择具有最小代价的预测模式，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧。转入步骤3)编码残差；如果是P帧，转到步骤2)；
[0020]2)如果是P帧。依次对当前帧的所有宏块进行编码。在参考帧中的搜索窗内对当前宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；对每个宏块进行树状结构分块，即分块从大到小可分为16父16、16\8、8\16、8\8，8父8往下(亚宏块分割)可以分为8X4，4X8，4X4。帧间编码时，首先对编码宏块的各种块划分尺寸的帧间预测模式进行运动估计，确定迭代函数系统系数即IFS系数；然后比较所有模式的率失真代价；最后将率失真代价最小的模式作为最优帧间预测模式。
[0021]IFS系数由如下的率失真优化函数确定:
[0022]Jmotion=MSE (s, O, X, y, ref) + λ M0T10N*R(s, O, x, y, ref) (I)
[0023]其中IFS系数包括父块位置(X，y)和比例因子S、偏移因子O，s和O的计算公式如下:
【权利要求】
1.一种基于彩色视频编码模式的深度图序列分形编码方法，其特征在于如下步骤: 步骤一:使用基于分形的视频压缩方法编码彩色视频； 步骤二:使用基于分形的视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式； 步骤三:若为深度图序列的I帧(第一帧必须为I帧，其它帧可以设置是否为I帧)，使用H.264帧内预测编码方法编码I帧，转到步骤九；若为深度图序列的P帧，转到步骤四； 步骤四:对深度图序列的P帧，使用Sobel算子检测对象边界； 步骤五:依次对当前深度图序列帧的所有宏块进行编码。根据模式选择规则，获得当前深度图序列帧宏块的候选编码模式； 步骤六:如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式，转到步骤八；否则，转到步骤七； 步骤七:检测与当前深度图序列帧宏块相对应的彩色视频宏块是否编码为SKIP模式，如果是SKIP模式，则直接将当前深度图序列帧宏块的最佳编码模式设为SKIP编码模式，否则使用拉格朗日率失真优化算法在步骤五产生的所有候选模式中找到当前深度图序列帧宏块的最佳编码模式，转到步骤八； 步骤八:用步骤一的分形编码方法使用最佳编码模式编码当前深度图序列帧宏块。判断当前宏块是否为当前深度图序列帧的最后一个宏块，若是最后一个宏块，则转到步骤三编码下一帧；否则转到步骤五编码下一宏块； 步骤九:判断当前帧是否为深度图序列帧的最后一帧，如果是最后一帧结束编码；否贝U，返回步骤三继续处理下一帧深度图像。
2.根据权利要求1所述一种基于彩色视频编码模式的深度图序列分形编码方法，其特征在于:处理的彩色视频与深度图序列均为YUV格式。
3.根据权利要求1所述一种基于彩色视频编码模式的深度图序列分形编码方法，其特征在于:所述步骤一中基于分形的视频压缩方法包括以下四个步骤: 1)如果是I帧(第一帧必须为I帧，其它帧可以设置是否为I帧)，采用H.264帧内编码方式，对于每个当前块在各种可能的预测方式中选择具有最小代价的预测模式，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧。转入步骤3)编码残差；如果是P帧，转到步骤2)； 2)如果是P帧。依次对当前帧的所有宏块进行编码。在参考帧中的搜索窗内对当前宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；对每个宏块进行树状结构分块，即分块从大到小可分为16X16、16X8、8X16、8X8，8X8往下(亚宏块分割)可以分为8X4，4X8，4X4。帧间编码时，首先对编码宏块的各种块划分尺寸的帧间预测模式进行运动估计，确定迭代函数系统系数即IFS系数；然后比较所有模式的率失真代价；最后将率失真代价最小的模式作为最优帧间预测模式。 IFS系数由如下的率失真优化函数确定:
Jmotion-MSE (S，O, X, y, ref) + λ motion*R (s，ref)(I) 其中IFS系数包括父块位置(x，y)和比例因子S、偏移因子O，s和ο的计算公式如下:
4.根据权利要求1所述一种彩色视频编码模式的深度图序列分形编码方法，其特征在于:所述步骤二中基于分形的视频解压缩方法包括以下五个步骤: 1)解码端获得压缩的码流。码流中数据元素首先进行熵解码和重排序，获得一系列量化系数，这些系数经过反量化和反变换得到解码端残差数据； 2)判断解码帧是否为I帧，若是I帧转入步骤3)，否则转入步骤4)； 3)对于I帧，首先由H.264帧内预测方式得到预测帧，预测帧与解码端残差帧进行相加之后得到重建帧，帧数加I转入步骤5)； 4)对于P帧，首先从码流中读入该帧所有宏块的划分方式、每一个小块的迭代函数系统系数与运动矢量，由各迭代函数系统系数和运动矢量分别计算出解码端的预测块形成解码端的预测帧，预测帧与残差帧相加得到重建帧。帧数加I转到步骤5)； 5)判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤2)。
5.根据权利要求1所述一种彩色视频编码模式的深度图序列分形编码方法，其特征在于:所述步骤五中模式选择规则如下: 1)如果彩色视频宏块编码模式为SKIP，则相应深度图序列帧宏块编码模式为SKIP； 2)如果彩色视频宏块编码模式为16X16，则相应深度图序列帧宏块编码模式为SKIP，16X16中的最佳模式；3)如果彩色视频宏块编码模式为16X8，则相应深度图序列帧宏块编码模式为SKIP, 16X16,16X8中的最佳模式； 4)如果彩色视频宏块编码模式为8X16，则相应深度图序列帧宏块编码模式为SKIP, 16X16,8X16中的最佳模式； 5)如果彩色视频宏块编码模式为P8X8，则相应深度图序列帧宏块编码模式为SKIP, 16X16,16X8,8 X16, P8X8 中的最佳模式。
【文档编号】H04N19/176GK103546747SQ201310453277
【公开日】2014年1月29日 申请日期:2013年9月29日 优先权日:2013年9月29日
【发明者】祝世平, 赵冬玉 申请人:北京航空航天大学