专利名称：：一种应用于3dtv与ftv系统的深度图编码压缩方法
技术领域：
：本发明涉及一种立体与多视点视频信号的处理技术，尤其是涉及一种应用于3DTV与FTV系统的深度图编码压缩方法。
背景技术：
：3DTV(threeDimensionalTelevision,三纟隹电冬见)禾口FTV(Free-viewpointTelevision,自由视点电视)是具有先进的视觉媒体模式的三维视频系统，含有传统的二维视频系统所没有的视觉功能。3DTV能够较好地反应出场景的深度信息，而FTV可以很好地满足用户从任意角度选择和操作视听对象。联合视频专家组(JVT，JointVideoTeam)组织提出了MVD(multi-viewvideoplusdepth)结构，即采用N个视点视频结合N个视点的深度信息来表达场景的三维信息以支持面向用户端虚拟视点绘制的三维视频系统。在MVD结构中，每幅视点图像都含有相对应的深度图，深度图所代表的是场景到摄像机(相机)成像平面的距离信息，它将实际深度值量化到[O，255]之间，获得代表深度信息的灰度图。深度图并不能直接用于显示，而是作为虚拟视点绘制的参数使用。在虚拟视点绘制过程中，通过深度图以及该深度图对应的视点图像就可以绘制出相邻近的虚拟视点图像。但MVD结构极大地增加了传输的数据量，从而给传输带宽带来了极大的压力。为解决上述技术问题，相关研究人员提出了很多应用于3DTV与FTV系统的深度图编码压縮方法，如静态深度图的压縮方法，这种压縮方法主要利用了深度图内部的空间相关性来进行压缩。由于这种方法只利用了深度图内部的空间相关性，而没有利用深度图的时间相关性，使得这种方法的压縮率较低，不能对深度图进行有效的压縮，也未能有效地减轻传输带宽的压力。
发明内容本发明所要解决的技术问题是提供一种应用于3DTV与FTV系统的深度图编码压縮方法，使得在保证压縮重建后的深度图边缘区域精度的同时，提高深度图的编码压縮率。本发明解决上述技术问题所采用的技术方案为一种应用于3DTV与FTV系统的深度图编码压縮方法，在虚拟视点绘制过程中输入的深度图包括边缘区域和非边缘区域，定义所述的深度图的所有边缘区域构成边缘片层，定义所述的深度图的所有非边缘区域构成非边缘片层，并按以下步骤进行处理-a.将深度图分割成多个具有相同尺寸的宏块，并根据宏块的纹理特征，将宏块划分到边缘片层或非边缘片层；b.对深度图进行编码，在编码过程中对边缘片层中的宏块采用小量化参数进行量化，对非边缘片层中的宏块采用大量化参数进行量化。所述的步骤a的具体过程为a-①对输入的深度图采用公知的边缘检测方法进行边缘检测，得到深度图的二值化边缘图像；a-②按公知的R264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；a-③根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，判断深度图的二值化边缘图像中的与深度图中的当前宏块对应的宏块是否包含有边缘像素，如果包含有边缘像素，则将深度图中的当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，将深度图中的当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为0;所述的步骤b中的大量化参数或小量化参数由^>01咖产^\咖+(1-S)xAg尸决定，其中，g尸current为当前宏块的量化参数；g尸base为编码配置文件中设定的初始量化参数，该初始量化参数在编码前已确定；A0尸为量化参数控制因子，用于决定边缘片层和非边缘片层的量化参数跳变值，其值为051—gPbase之间的整数；S为宏块片层标志，当S的值为1时，当前宏块的量化参数gPeurrent为小量化参数，当S的值为0时，当前宏块的量化参数gPw为大量化参数。所述的宏块的尺寸为wxw，所述的mxn为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种，令所述的深度图的尺寸为Mx见则所述的深度图包含的宏块的个数为(M/m)x(W/")。所述的步骤a的具体过程为a-①按公知的H.264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；a-②根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，计算当前宏块中包含的所有像素的背离值E，判断计算得到的背离值E是否大于设定的阈值，如果背离值五大于设定的阈值，则将该当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，将该当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为0;所述的步骤b中的大量化参数或小量化参数由2尸c肌en产Q户base+(1-S)xAg尸决定，其中，2尸匿加为当前宏块的量化参数；g尸base为编码配置文件中设定的初始量化参数，该初始量化参数在编码前己确定；Ag户为量化参数控制因子，用于决定边缘片层和非边缘片层的量化参数跳变值，其值为051—^尸base之间的整数；S为宏块片层标志，当S的值为1时，当前宏块的量化参数Qi^自为小量化参数，当S的值为0时，当前宏块的量化参数gPeurrent为大量化参数。所述的宏块的尺寸为mx"，所述的wx"为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种，令所述的深度图的尺寸为Mx见则所述的深度图包含的宏块的个数为(M/w)x(AT/m)。所述的背离值五通过计算公式￡=-司2、e=、-<、/—1w-l—7im—l1—/—1w—l一^SSk,广司、^工2IK,广^、^XEI《厂JI中的任一个计算公式计jc=0户0附XW少=0j=0y=0算得到，其中，《,为当前宏块中坐标为Oc，少)的像素的像素值，J为当前宏块中包含的—1附—1國一1所有像素的像素值的均值，其值为^=工1;￡《》，附x"为当前宏块的尺寸，mx"附X"jc=0产0，为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种。所述的设定的阈值为S土c7，其中，E和ct分别为深度图中包含的所有宏块的背离值￡构成的集合{巧的均值和标准差。与现有技术相比，本发明的优点在于将深度图分割成多个宏块，并将宏块划分到边缘片层或非边缘片层，使得在对深度图进行编码时，可对边缘片层和非边缘片层中的宏块分别采用不同的量化参数进行量化，在对边缘片层中的宏块进行量化时采用了较小的量化参数，使得压縮重建后的深度图的边缘区域的精度得以保证，从而有利于提高经过虚拟视点绘制过程绘制出的虚拟视点图像的质量；而在对非边缘片层中的宏块进行量化时采用了较大的量化参数，以较小的绘制的虚拟视点图像的质量损失代价换取了较高的深度图的编码压縮率，可有效减轻传输带宽的压力。图1为测试序列"ballet"的第一时刻视点4的图像；图2为图1所示的视点图像对应的深度图3为对图2所示的深度图采用Canny算子进行边缘检测得到的二值化边缘图像；图4a为利用现有的直接采用H.264编码标准方式对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像；图4b为利用本发明方法对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像，初始量化参数设置为24，量化参数控制因子设置为2;图4c为利用本发明方法对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像，初始量化参数设置为24，量化参数控制因子设置为6;图4d为利用本发明方法对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像，初始量化参数设置为24，量化参数控制因子设置为10;图4e为利用本发明方法对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像，初始量化参数设置为24，量化参数控制因子设置为16;图5为现有的直接采用H.264编码标准方式和采用本发明方法分别对图2所示的深度图进行编码压縮的率失真性能比较图。具体实施例方式以下结合附图实施例对本发明作进一步详细描述。一种应用于3DTV与FTV系统的深度图编码压縮方法，在3DTV与FTV系统中，在虚拟视点绘制过程中输入的深度图包括边缘区域和非边缘区域，定义深度图的所有边缘区域构成边缘片层，定义深度图的所有非边缘区域构成非边缘片层，并按以下步骤进行处理1)、对输入的深度图采用公知的边缘检测方法进行边缘检测与分析，得到深度图的二值化边缘图像；按公知的H.264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，判断深度图的二值化边缘图像中的与深度图中的当前宏块对应的宏块是否包含有边缘像素，如果包含有边缘像素，则可确定深度图中的当前宏块位于边缘区域，将深度图中的当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，可确定深度图中的当前宏块位于非边缘区域，将深度图中的当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为0。该步骤中的边缘检测方法可以采用任意公知的成熟的边缘检测方法，例如Sobel算子、Prewitt算子、Roberts算子、Canny算子等。图1给出了"ballet"测试序列的第一时刻视点4的图像，这个视频测试序列包括由8个摄像机捕获的100帧彩色图像序列和由立体对应计算得到的深度图。图2为图1所示的视点图像对应的深度图。图3给出了对图2所示的深度图采用Canny算子进行边缘检测得到的二值化边缘图像，图中的白色部分为检测出的边缘，边缘像素即为二值化边缘图像中的白色像素。该步骤中宏块的尺寸可以为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种，在此具体实施例中，宏块的尺寸为16x16;令深度图的尺寸为MxiV，则深度图包含的宏块的个数为(M/16)x(iV/16)。2)、基于R264编码器对深度图进行编码，在编码过程中对边缘片层中的宏块采用小量化参数进行量化，对非边缘片层中的宏块采用大量化参数进行量化；大量化参数或小量化参数由2尸(:咖产^\咖+(U)xAg尸决定，其中，g尸current为当前宏块的量化参数；QPbase为编码配置文件中设定的初始量化参数，该初始量化参数在编码前已确定；A2尸为量化参数控制因子，用于决定边缘片层和非边缘片层的量化参数跳变值，其值为051—2Aase之间的整数；S为宏块片层标志，当S的值为1时，即当前宏块属于边缘片层时，当前宏块的量化参数^Peurrent为小量化参数，对该当前宏块采用小量化参数进行精细量化以保证压縮重建后的深度图的边缘区域的精度；当S的值为0时，即当前宏块属于非边缘片层时，当前宏块的量化参数g/^^nt为大量化参数，对该当前宏块采用大量化参数进行粗糙量化以提高深度图的编码压縮率。该步骤中当量化参数控制因子A^P的值为0时，表示深度图压縮时不区分边缘片层和非边缘片层；而当量化参数控制因子A^P值越大时，则相对于边缘片层而言，非边缘片层信号的压縮损失越大，即在保持同样边缘片层信号质量的前提下，以较大的非边缘片层信号失真为代价换取较大的深度图编码压縮率。在本实施例中的步骤l)也可以采用其他方法对深度图中的每个宏块进行划分，下面将给出另一种划分宏块的方法，其具体过程为按公知的R264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，计算当前宏块中包含的所有像素的背离值五，判断计算得到的背离值^是否大于设定的阈值，如果背离值五大于设定的阈值，则表明该当前宏块内深度值变化较大，该当前宏块位于深度图的边缘区域，将该当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，表明该当前宏块内深度值变化较小，将该当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为0。在该过程中每个宏块的尺寸为mxw，wxw可以为16x16、16x8、8><16、8x8、8x4、4x8、4x4中的任一种；宏块中包含的所有像素的背离值五可以采用以下五种计算方式中的一种计算得到，1m-l"-l2J^m—1w-l—m-1"一l，￡=丄2^1《,,-巧，或者^、丄ziK广司，或者"sa《,-巧，或WXW义=0y=oV^X";c=0少=0;c=0少=01，一!w-i一附-1—者^丄EZl《广司，或者^ZEl^-斗其中，《,为当前宏块中坐标为(w)WxWx=0少=0;c=0少=0的像素的像素值，J为当前宏块中包含的所有像素的像素值的均值，其值为7=lgg《，。在该过程中，设定的阈值由深度图中包含的所有宏块的背离值五构成的集合(巧的均值f和标准差CT决定，设定的阈值可以表述为f土O"。以下就采用H.264标准校验平台JM12.2，利用本发明进行深度图编码压縮的主观及客观性能进行比较。深度图与传统视频不同，深度图不能直接用于最终显示，而是作为虚拟视点绘制的输入参数使用。因此，一个深度图编码压縮方法的性能的好差，应该从最终绘制的虚拟视点的质量来评价。图4a给出了利用现有的直接采用H.264编码标准方式对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像，而图4b、图4c、图4d和图4e分别给出了在初始量化参数gPbase为24，量化参数控制因子A2尸分别为2、6、10和16时，采用本发明方法对图2所示的深度图进行编码压縮后的重建深度图绘制得到的虚拟视点图像。图4a-图4e中的白色区域代表虚拟视点绘制后的空洞，为了更加清楚地比较本发明方法和直接采用R264编码标准方式对深度图进行编码压縮的方法的性能，在本实施例中没有对空洞进行填补操作。从图4a-图4e中可以看出，在不同的量化参数控制因子/^0取值下的虚拟视点绘制质量与直接采用11.264编码标准方式对深度图进行编码压縮的效果基本相同，上述深度图的编码结构采用IPPP形式。而从图5给出的采用本发明方法和直接采用11.264编码标准方式对深度图进行编码压縮的率失真性能的比较图中可以看出，采用本发明方法对深度图进行编码压縮的率失真性能优于直接采用H.264编码标准方式对深度图进行编码压縮的率失真性能。对采用本发明方法在不同的初始量化参数g尸base和量化参数控制因子Ag尸取值下与直接采用H,264编码标准方式(即量化参数控制因子^2尸=0)对测试序列"ballet"的深度图进行编码压縮在节省码率方面进行比较，采用本发明方法对深度图进行编码压縮对应的码率节省情况如表1所示表l采用本发明方法相对于直接采用H.264编码标准方式对测试序列"ballet"的深度图进行编码压縮对应的码率节省情况<table>tableseeoriginaldocumentpage9</column></row><table>由此可见，本发明的应用于3DTV与FTV系统的深度图编码压縮方法相对于直接采用H.264编码标准方式对深度图进行编码压縮在相同视点绘制质量下，采用本发明方法对深度图进行编码压縮能有效降低深度图的编码码率，达到在保证压縮重建后的深度图的边缘区域的精度的同时提高深度图的编码压縮率的目的，说明本发明方法是有效可行的。权利要求1.一种应用于3DTV与FTV系统的深度图编码压缩方法，在虚拟视点绘制过程中输入的深度图包括边缘区域和非边缘区域，其特征在于定义所述的深度图的所有边缘区域构成边缘片层，定义所述的深度图的所有非边缘区域构成非边缘片层，并按以下步骤进行处理a.将深度图分割成多个具有相同尺寸的宏块，并根据宏块的纹理特征，将宏块划分到边缘片层或非边缘片层；b.对深度图进行编码，在编码过程中对边缘片层中的宏块采用小量化参数进行量化，对非边缘片层中的宏块采用大量化参数进行量化。2、根据权利要求1所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的步骤a的具体过程为a-①对输入的深度图采用公知的边缘检测方法进行边缘检测，得到深度图的二值化边缘图像；a-②按公知的R264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；a-③根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，判断深度图的二值化边缘图像中的与深度图中的当前宏块对应的宏块是否包含有边缘像素，如果包含有边缘像素，则将深度图中的当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，将深度图中的当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为O;所述的步骤b中的大量化参数或小量化参数由(1-S)xAg尸决定，其中，g尸curr她为当前宏块的量化参数；^尸base为编码配置文件中设定的初始量化参数，该初始量化参数在编码前已确定；A^尸为量化参数控制因子，用于决定边缘片层和非边缘片层的量化参数跳变值，其值为0~51—g尸base之间的整数;S为宏块片层标志，当S的值为1时，当前宏块的量化参数。尸eurrent为小量化参数，当S的值为0时，当前宏块的量化参数gPo^w为大量化参数。3、根据权利要求2所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的宏块的尺寸为mxn，所述的mxM为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种，令所述的深度图的尺寸为MxW，则所述的深度图包含的宏块的个数为(M/w)x(iV/7)。4、根据权利要求1所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的步骤a的具体过程为a-①按公知的H.264编码标准方式将深度图分割成多个具有相同尺寸的宏块，每个宏块设置有宏块片层标志；a-②根据深度图中的每个宏块的纹理特征，对深度图中的每个宏块进行划分定义当前正在处理的宏块为当前宏块，计算当前宏块中包含的所有像素的背离值五，判断计算得到的背离值￡是否大于设定的阈值，如果背离值五大于设定的阈值，则将该当前宏块划分到边缘片层，并设置该当前宏块的宏块片层标志的值为1;否则，将该当前宏块划分到非边缘片层，并设置该当前宏块的宏块片层标志的值为0;所述的步骤b中的大量化参数或小量化参数由2尸匿加-g尸base+(U)xAg尸决定，其中，g尸eur咖t为当前宏块的量化参数；g尸base为编码配置文件中设定的初始量化参数，该初始量化参数在编码前已确定；A2尸为量化参数控制因子，用于决定边缘片层和非边缘片层的量化参数跳变值，其值为051—^尸base之间的整数；S为宏块片层标志，当S的值为1时，当前宏块的量化参数gPeurrent为小量化参数，当S的值为O时，当前宏块的量化参数^尸o^nt为大量化参数。5、根据权利要求4所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的宏块的尺寸为mxfi，所述的mxM为16x16、16x8、8x16、8x8、8x4、4x8、4x4中的任一种，令所述的深度图的尺寸为MxiV，则所述的深度图包含的宏块的个数为(M/w)x(7V/")。6、根据权利要求5所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的背离值五通过计算公式￡=<formula>formulaseeoriginaldocumentpage3</formula>E-ZiK，,-司中的任一个计算公式计算得到，其中，《，,为当前宏块中坐标为(x,力的像素的像素值，7为当前宏块中包含的所有像素的像素值的均值，其值为—"j一i7=-ZZ《,y，附x"为当前宏块的尺寸，wx"为16x16、16x8、8x16、8x8、8><4、^XW;c=0少=04x8、4x4中的任一种。7、根据权利要求4至6中任一项所述的一种应用于3DTV与FTV系统的深度图编码压縮方法，其特征在于所述的设定的阈值为f±ct，其中，f和cr分别为深度图中包含的所有宏块的背离值￡构成的集合{0的均值和标准差。全文摘要本发明公开了一种应用于3DTV与FTV系统的深度图编码压缩方法，通过将深度图分割成多个具有相同尺寸的宏块，并根据宏块的纹理特征，将宏块划分到边缘片层或非边缘片层，使得在对深度图进行编码时，可对边缘片层和非边缘片层中的宏块分别采用不同的量化参数进行量化，在对边缘片层中的宏块进行量化时采用了较小的量化参数，使得压缩重建后的深度图的边缘区域的精度得以保证，从而有利于提高经过虚拟视点绘制过程绘制出的虚拟视点图像的质量；而在对非边缘片层中的宏块进行量化时采用了较大的量化参数，以较小的绘制的虚拟视点图像的质量损失代价换取了较高的深度图的编码压缩率，可有效减轻传输带宽的压力。文档编号G06T7/00GK101374242SQ20081006374公开日2009年2月25日申请日期2008年7月29日优先权日2008年7月29日发明者蒋刚毅,贺人龙,梅郁申请人:宁波大学