多视点深度视频信号的编码方法
【专利摘要】面向绘制冗余的低复杂度的多视点深度视频信号的编码方法，用于降低深度视频编码的计算复杂度，并提高虚拟视点质量与深度码率之间的整体性能。首先根据虚拟视点绘制特性，从而获取深度可容忍范围并计算出每个深度值对应的上下限最大差异，进而分析深度视频中的冗余信息。然后，提出快速参考帧选择方法即从列表中选择出最佳参考帧，再通过快速模式选择选择出最佳编码模式。每次进行快速模式选择之前均需先进行快速参考帧选择，并通过设定阈值T1和T2，使在视频失真较小时，终止模式和参考帧选择，从而降低计算复杂度，并提升压缩性能。
【专利说明】多视点深度视频信号的编码方法
【技术领域】
[0001] 本发明涉及视频信号的处理技术，尤其是涉及一种低复杂度的多视点深度视频信 号的编码方法。
【背景技术】
[0002] 三维视频能够提供真实的深度感知特性，交互性和全新的视觉享受，并能广泛应 用于多种多媒体应用，如三维电视（Three Dimensional TV，3DTV)，自由视点电视（Free viewpoint TV，FTV)和沉浸式视频会议虚拟现实。多视点深度视频是三维视频的重要组成 部分，主要提供三维视频的几何信息，并使得三维视频系统支持高质量和低复杂度的任意 视点绘制。为了降低视频终端的复杂度，多视点深度视频并不是在客户端生成，而是在服务 端生成，经过编码后传输至客户端解码使用。然而，由于多视点深度视频数据量巨大，并随 着视点数的增加而增加。为了降低存储和传输带宽，高压缩效率且低复杂度的深度视频压 缩算法就显得极为重要。
[0003] 为了解决以上问题，多视点视频编码技术（Multiview Video Coding，MVC)及其优 化方法可以扩展并使用与深度视频的编码。然而多视点深度与传统彩色视频具有不同的时 间、空间以及频率的相关性。另一方面，深度视频作为虚拟视点绘制的几何信息使用，而非 像彩色视频一样直接观看。所以直接使用传统多视点视频编码方法编码深度视频复杂且效 率不佳。当前国际联合合作工作组（Joint Collaborative Team, JCT)建立了三维视频编码 分组，即JCT-3V，主要从事高性能三维视频技术的研发工作。由此，越来越多的研究人员开 始从事深度视频压缩与信号处理技术的研究。由于深度边缘区域对于虚拟视点图像质量尤 为重要，因而提出了一种边缘重建滤波器，以保存重建深度视频中深度边缘的锐度。还有人 提出了基于边缘自适应的上采样方法，并将其应用于降分辨率的深度视频编码方法中。另 夕卜，空间滤波器和时间平滑滤波器被提出并被用于抑制深度噪声和时域不一致性，并由此 降低深度视频编码中对高频分量预测残差，提高压缩效率。还有提出的深度无误差（depth no-synthesis-error。D-N0SE)模型，以提高巾贞内深度图像的编码效率。然而，该方法主 要作为深度预处理，难以保证预处理误差和量化误差的叠加量被控制在D-N0SE范围内，由 此，将导致高压缩比的情况下，效率明显下降。以上方法主要是面向深度编码的深度预处理 和后处理方法，一定程度上从侧面提升深度编码性能。
[0004] 针对深度视频编码算法的性能提升，可以将虚拟视点绘制所得的图像作为参考图 像，提升多视点深度编码视点间预测的准确性，以此提升压缩系能。例如，提出通过对边缘 区域采用更精确的帧内预测，以保证深度边缘区域的质量。由于深度视频相对比较平滑，纹 理信息较少。或是将深度视频降分辨率后再编码，以此降低码率。由于深度视频编码方法 仍然基于现有的多视点视频编码技术框架，其编码算法中包含可变尺寸块运动估计，多参 考帧选择等技术，由此导致极高的计算复杂度。传统方法缺乏考虑深度与虚拟视点绘制的 作用特性，并基于现有深度视频编码缺乏有效性及其存在计算复杂的问题。
【发明内容】
[0005] 基于此，有必要针对视频信号编码计算复杂的问题，提供一种低复杂度的多视点 深度视频信号的编码方法。
[0006] -种多视点深度视频信号的编码方法，包括以下步骤：
[0007] 根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取 深度视频图像在（i，j)位置的可容忍范围Rv (i，j)，并分别计算得到每个深度值v及其对应 (i，j)位置的相应的可容忍差异上、下限.
【权利要求】
1. 一种多视点深度视频信号的编码方法，包括以下步骤： 根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度 视频图像在（i，j)位置的可容忍范围Rv(i，j)，并分别计算得到每个深度值V及其对应（i， j)位置的相应的可容忍差异上、下限(/，刀和Av1 (/，./)，遍历所有像素，获得整个图像的 所有像素位置的可容忍范围，可容忍差异上、下限； 采用参考帧列表P中第q个参考帧编码当前帧的当前块，并根据所在块中所述各像 素深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中的第一预测代 价，选取所述第一预测代价小于或等于阈值Tl的参考帧，并保存参考帧为当前帧的最佳参 考帧，同时保存最佳参考帧信息及编码信息，终止当前块的参考帧选择； 采用宏块模式Mi编码所述最佳参考帧的当前（u，v)位置的宏块，并根据所述所在宏块 中各像素的深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中产生 的第二预测代价，选取所述第二预测代价小于或等于阈值T2且当前宏块模式Mi中的编码 块模式系数为小于或等于T3的宏块，并保存为当前块的最佳编码模式，同时保存当前（u， V)位置的块的最佳编码信息。
2. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述根据三 维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在 (i，j)位置的可容忍范围RvQ，j)的步骤包括： 采用公式计算深度可容忍范围：
其中Avf和么< 分别表示上限最大差异及下限最大差异，L表示彩色视频相机的基线距 离，fx表示焦距的水平分量，m表示像素精度，m取值0、1、2时分别表示整像素、半像素和 / \ 1/4像素精度，ζ是趋近于O的一个正数，表示向下取整操作，Cr1 =^· -^---^―, I I ^[Zlieur Zfur) 其中，Cl为常数系数，η表示深度的比特，Zn_和Zfm分别表示相机与视频场景中最远和最 近的像平面之间距离。
3. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述分别计 算每个深度值对应的上、下限最大差异的步骤包括： 对于给定的深度V计算其可容忍失真范围Δν,和Δ<，采用已知视点图像像素位置信 息P1、图像深度Z1和相机参数信息，绘制虚拟视点绘制的像素位置信息P2，具体公式为：
其中P2 = [a,b，c]lPPl = [X，y，1]7表示虚拟视点和实际视点图像中像素的位置信息，Z1是对应P1的深度，Zl=v，A1和A2是两个3X3矩阵，分别表示虚拟视点和实际视点相机的 内部参数，[R1,tj和[R2,t2]是像个相机的外部参数，R1和R2是旋转矩阵，心和t2偏移矩 阵，将上述公式定义为函数f()，iZl=v+AV，代入公式f()可以得到P2' =[a'，b'，c'] /? Jy^fy τ，ρ2' =f(v+Av，p1)，*M，i----> 或-7-->L条件满足时的Δν记为Λ+ 当 Cf C d c' CΔν/ ^ j> TLf TL ftr ft Q Q _-_或一j- 条件满足时的ΔV记为a_其中Td表不绘制精度，绘制 C1 C1 C C ~avi， 精度为整像素、半像素和1/4像素精度时Td分别为1、1/2和1/4。
4. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述采用参 考帧列表P中第q个参考帧编码当前帧的当前块，并根据所述深度可容忍范围计算第一预 测代价的步骤包括： 采用参考帧列表P中第q个参考帧编码当前帧的当前块，计算编码过程中的第一预测 代价Cost1 = (Λrij，M，N)，其中M，N分别表示当前编码块的长和宽； 对于（u，V)宏块的误差Λ的计算公式为：
其中U表示向下取整，f1表示向上取整，Δν?和心f分别表示深度图像（U，V)块中，位 置坐标为（i，j)的像素的最大和最小可容忍深度误差，Δν# =, 所述第一预测代价的具体计算公式）
5. 根据权利要求4所述的多视点深度视频信号的编码方法，其特征在于，所述选取所 述第一预测代价大于或等于阈值Tl的参考帧，并保存参考帧为当前帧的最佳参考帧的步 骤包括： 判断第一预测代价是否小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考 帧；若否，则将参考帧索引q加1，转至下一个参考帧； 判断当前帧是否超过参考帧列表中的最大数值；若否，则采用下一个参考帧编码当前 帧的当前块；若是，则将参考帧索引q清零，参考帧列表P索引加1，转至下一个参考帧列 表； 判断是否已遍历所有参考帧列表；若否，则采用下一个参考帧编码当前帧的当前块； 若是，则采用迭代式双向预测编码当前帧的当前块，并计算第一预测代价； 判断迭代次数是否达到最大迭代次数，或第一预测代价小于或等于阈值T1，若是，则认 为参考帧为当前帧的最佳参考帧；若否，则迭代次数加1并采用迭代式双向预测编码当前 帧的当前块； 所有参考帧以及双向预测均为满足提前终止条件，则比较所有列表中所有被测试参考 帧的率失真代价，选取最小率失真代价的参考帧为最佳参考帧。
6. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，在采用模式 Mi编码所述最佳参考帧的当前（u，v)宏块的步骤之前还包括：判断当前宏块是否属于帧 间； 若是，则采用模式Mi编码当前（u，V)宏块，其中Mi为宏块模式，是直接模式、帧间16x16、帧间8x16、帧间16x8、帧间8x8中的宏块模式之一，其中8x8的亚宏块又可分为 subSKIP/SubDIRECT、帧间8x4、帧间4x8、帧间4x4的亚宏块模式；若否，则遍历测试所有帧 内模式编码，帧内模式包括IPCM、帧内16x16、帧内8x8、帧内4x4。
7. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述根据所 述深度可容忍范围及每个深度值对应的上下限最大差异计算编码过程中产生的第二预测 代价的步骤包括： 采用Mi模式编码产生的第二预测代价Cost2 =f2(Aru，M，N)，其中，M和N分别表示宏 块长和宽，对于（u，V)宏块的误差Aru的计算公式为： [Rr
U9 其中L」表示向下取整，「1表示向上取整，和分别表示深度图像（u，V)块中，位 置坐标为（i，j)的像素的最大和最小可容忍深度误差，Δν,,+ =v"-I; 所述第二预测代价的具体计算公式为
8. 根据权利要求7所述的多视点深度视频信号的编码方法，其特征在于，所述选取所 述第二预测代价小于或等于阈值Τ2且当前块模式中的编码块模式系数是否小于等于Τ3的 宏块，并保存为当前块的最佳编码模式的步骤包括： 判断当前块中第二预测代价是否小于等于阈值Τ2,并且当前块模式中的编码块模式系 数是否小于或等于阈值Τ3,若以上两个条件同时满足，则根据率失真代价选择已遍历的编 码模式中，选择代价最小的模式为当前最佳模式，并保存相关编码信息。若当前帧编码未结 束则跳转编码下一个宏块； 若不能同时满足以上两个条件，则i=i+l转入下一种宏块模式；并判断是否所有帧间 块模式都已遍历，若是，则遍历测试所有帧内模式编码；若否，则采用模式Mi编码当前（u， V)宏块。
9. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述阈值T2 为模式选择的早期终止算法阈值，所述阈值T2设为0。
10. 根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述阈值Tl 设为〇 ;所述阈值T3设为0。
【文档编号】H04N13/00GK104469336SQ201310443316
【公开日】2015年3月25日 申请日期:2013年9月25日 优先权日:2013年9月25日
【发明者】张云, 朱林卫, 张冠军 申请人:中国科学院深圳先进技术研究院