基于双目恰可觉察失真的多视点彩色视频快速编码方法
【专利摘要】本发明公开了一种基于双目恰可觉察失真的多视点彩色视频快速编码方法，其首先利用左视点视频和右视点视频的视差信息确定右视点视频中的每帧右视点图像中的非边界区域内的每个宏块的双目恰可觉察失真值，其次根据双目恰可觉察失真值的大小提前终止宏块模式选择，该快速编码方法在不造成率失真性能下降的基础上，能够有效地提高多视点彩色视频的编码效率，节约的编码时间可达66.48%到71.90%，平均节约编码时间68.46%。
【专利说明】基于双目恰可觉察失真的多视点彩色视频快速编码方法
【技术领域】
[0001]本发明涉及一种多视点彩色视频信号的处理方法，尤其是涉及一种基于双目恰可觉察失真的多视点彩色视频快速编码方法。
【背景技术】
[0002]三维电视与自由视点电视广泛使用多视点彩色视频进行场景描述。多视点彩色视频包括多个视点的彩色，通过编码、传输、解码后在显示端进行虚拟视点绘制。在多视点彩色加深度视频中，多视点彩色视频编码已经得到广泛的研究，其中较为适用的编码平台有联合多视点视频模型和联合多视点视频编码。但是由于有关人眼视觉的特性的研究正在发展中，因此在多视点彩色视频的压缩中利用人眼视觉系统的感知特性有待进一步的研究。
[0003]目前，研究人眼视觉系统的诸多特性中，恰可觉察失真是广大研究者所倾向的特征之一。恰可觉察失真表征人眼观看一幅图像时对图像像素的变化所能感知的可见阈值，主要依赖于图像的亮度和对比度。Liu等人利用恰可觉察失真模型区分图像的边界和纹理区域。最近，一些针对人眼感知三维图像和视频的可见阈值的研究正在盛行，如深度恰可觉察失真和双目恰可觉察失真。深度恰可觉察失真表征的是深度视频中最小能被感知的阈值，因此可将深度视频中低于该阈值的像素进一步进行压缩。双目恰可觉察失真是利于基于双眼的亮度掩蔽和对比度掩蔽实验得到的模型，其表示在其中一个视点的图像或视频的失真低于双目恰可觉察失真时，双目不会觉察到该图像或视频的失真。
[0004]为了进一步压缩多视点彩色加深度视频庞大的数据量，适用的编码平台采用全搜索模式选择，确定宏块的最小率失真代价，从而确定最佳预测模式。针对全搜索模式较高的计算复杂度，研究人员提出了一些快速模式选择算法。Shen等人提出了一种低复杂度模式选择算法，包括四种有效地模式选择技术，预先判定SKIP模式，自适应提前终止，快速模式大小选择和有选择的帧内编码方法，这种方法有效地节约了多视点彩色视频的编码时间，同时能够保持几乎和全搜索模式选择相同的编码结果。Zeng等人利用量化步长和率失真代价之间的关系作为阈值，利用相邻块的运动矢量计算当前块的运动矢量。上述的方法都能在不降低编码质量的前提下有效地节约编码复杂度，然而在多视点彩色视频的编码过程中，人眼的视觉特性并不能完全利用到这些方法中，关于感知方向的多视点彩色视频依然有很多的研究空间。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种基于双目恰可觉察失真的多视点彩色视频快速编码方法，其能够在维持重建视点视频性能的基础上，有效地减少多视点彩色视频的编码时间。
[0006]本发明解决上述技术问题所采用的技术方案为:一种基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于包括以下步骤:
[0007]①将多视点彩色视频的左视点视频记为{Q(k)}，将多视点彩色视频的右视点视频记为{cK(k)}，其中，ClGO表示{ClGO}中的第k帧左视点图像，Ck(k)表示Ick(k)}中的第k帧右视点图像，I ≤ k ≤ K, K表示左视点视频和右视点视频中包含的图像的帧数；
[0008]②将{CK(k)}中的每帧右视点图像划分为边界区域和非边界区域，其中，边界区域由右视点图像中的第一行宏块、最后一行宏块、第一列宏块和最后一列宏块构成；然后计算{CK(k)}中的每帧右视点图像中的非边界区域内的每个宏块的双目恰可觉察失真值，假设{CK(k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块属于{CE(k)}中的第k帧右视点图像Ck(k)中的非边界区域，则将{CK(k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块的双目恰可觉察失真值记为，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值为1，j的初始值为1，W表示{Cjk)}中的每帧左视点图像和ICk (k)}中的每帧右视点图像的宽度，H表示{Cjk)}中的每帧左视点图像和{cr (k)}中的每巾贞右视点图像的闻度；
[0009]③在多视点视频编码校验模型JMVC上，采用HBP预测编码结构对{Q(k)}中的每帧左视点图像中的每个宏块和{CK(k)}中的每帧右视点图像中的每个宏块进行编码，在编码过程中为每个宏块选择最优宏块编码模式的过程为:
[0010]③-1、将当前待编码的宏块定义为当前宏块；
[0011]③-2、当当前宏块为{Q(k)}中的宏块时，编码器采用H.264的模式选择过程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；
[0012]当当前宏块为{CK(k)}中的宏块时，判断当前宏块属于边界区域还是属于非边界区域，如果当前宏块属于边界区域，则编码器采用H.264的模式选择过程搜索SKIP、Inter 16 X16> Interl6 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；如果当前宏块属于非边界区域，则再判断当前宏块的双目恰可觉察失真值是否大于或等于设定的判定阈值，如果是，则编码器采用H.264的模式选择过程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；否则，编码器采用H.264的模式选择过程只搜索SKIP和InterieX 16宏块编码模式，从这两种宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；
[0013]③_3、将下一个待编码的宏块作为当前宏块，然后返回步骤③-2继续执行，直至{CL(k)}中的每帧左视点图像中的每个宏块和{CK(k)}中的每帧右视点图像中的每个宏块均完成编码。
[0014]所述的步骤②中{CK (k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块的双目恰可觉察失真值
【权利要求】
1.一种基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于包括以下步骤: ①将多视点彩色视频的左视点视频记为ICJk)}，将多视点彩色视频的右视点视频记为ICk(k)}，其中，ClGO表示{ClGO}中的第k帧左视点图像，Ck(k)表示{cK(k)}中的第k中贞右视点图像，I ≤ k ≤ K, K表不左视点视频和右视点视频中包含的图像的巾贞数； ②将{cK(k)}中的每帧右视点图像划分为边界区域和非边界区域，其中，边界区域由右视点图像中的第一行宏块、最后一行宏块、第一列宏块和最后一列宏块构成；然后计算{CK(k)}中的每帧右视点图像中的非边界区域内的每个宏块的双目恰可觉察失真值，假设{CK(k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块属于{CE(k)}中的第k帧右视点图像Ck(k)中的非边界区域，则将{CK(k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块的双目恰可觉察失真值记为/?/Α7);)(//)，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值为1，j的初始值为1，W表示{Cjk)}中的每帧左视点图像和ICk (k)}中的每帧右视点图像的宽度，H表示{Cjk)}中的每帧左视点图像和{cr (k)}中的每巾贞右视点图像的闻度； ③在多视点视频编码校验模型JMVC上，采用HBP预测编码结构对{Q(k)}中的每帧左视点图像中的每个宏块和{CK(k)}中的每帧右视点图像中的每个宏块进行编码，在编码过程中为每个宏块选择最优宏块编码模式的过程为: ③-1、将当前待编码的宏块定义为当前宏块； ③-2、当当前宏块为{Cjk)}中的宏块时，编码器采用H.264的模式选择过程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码； 当当前宏块为{CK(k)}中的宏块时，判断当前宏块属于边界区域还是属于非边界区域，如果当前宏块属于边界区域，则编码器采用H.264的模式选择过程搜索SKIP、Interl6 X16> Inter 16 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；如果当前宏块属于非边界区域，则再判断当前宏块的双目恰可觉察失真值是否大于或等于设定的判定阈值，如果是，则编码器采用H.264的模式选择过程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏块编码模式，从这些宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码；否则，编码器采用H.264的模式选择过程只搜索SKIP和InterieX 16宏块编码模式，从这两种宏块编码模式中选出率失真代价最小的宏块编码模式作为当前宏块的最优宏块编码模式进行编码； ③-3、将下一个待编码的宏块作为当前宏块，然后返回步骤③-2继续执行，直至{CL(k)}中的每帧左视点图像中的每个宏块和{CK(k)}中的每帧右视点图像中的每个宏块均完成编码。
2.根据权利要求1所述的基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于所述的步骤②中{cK(k)}中的第k帧右视点图像CK(k)中坐标位置为(i，j)的宏块的双目恰可觉察失真值
3.根据权利要求2所述的基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于所述的控制右视点噪声影响的参数λ取值为1.25。
4.根据权利要求3所述的基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于所述的{Q(k)}中的第k帧左视点图像Q(k)中坐标位置为(i+d，j)的宏块的噪声幅值nL(i+d，j)取值为0.3。
5.根据权利要求1至4中任一项所述的基于双目恰可觉察失真的多视点彩色视频快速编码方法，其特征在于所述 的步骤③-2中设定的判定阈值取值为5。
【文档编号】H04N13/00GK103442226SQ201310325370
【公开日】2013年12月11日 申请日期:2013年7月30日 优先权日:2013年7月30日
【发明者】蒋刚毅, 朱亚培, 郁梅, 邵枫, 彭宗举, 陈芬, 王晓东, 李福翠 申请人:宁波大学