专利名称：多视点视频信号的编码方法
多视点视频信号的编码方法
技术领域：
本发明涉及视频信号的处理方法，尤其涉及一种多视点视频信号的编码方法。背景技术：
多视点视频系统能够提供真实的深度感知特性，交互性和全新的视觉享受，并能广泛应用于多种多媒体应用，如三维电视(Three Dimensional TV，3DTV)、自由视点电视(Free viewpoint TV, FTV)、沉浸式视频会议以及虚拟现实等。因为这些多视点视频是由多个摄像机在略微不同的角度或位置采集的，视频数据具有较强的时间、空间以及视点间的相关性，需要有效地压缩便于实际应用与网络传输。为此，由视频编码专家组(VideoCoding Experts Group)和运动图像专家组(Moving Pictures Experts Group)组成的联合视频编码组(Joint VideoTeam)研制了多视点视频编码方法(Multiview Video Coding)并从事相关的标准化工作。如
图1所示，为多视点视频信号编码中分层预测结构，包括8个视点，图像组长度为12，其中每个方块为一帧编码图像，SO至S7分别表示不同的视点，TO至T12表示不同时亥IJ，箭头指向表示参考方向，方块内部的字母I表示帧内帧，P表示单向预测帧，B表示双向预测帧，字母旁边的数字表示层次，越大表示层次越高。视差估计和运动估计技术被用于消除视频的时间和视点间相关性。另外，采用可变尺寸块模式选择技术和多参考帧预测技术提高视差估计和运动估计的预测精度，有效提高压缩效率。然而，以上技术，尤其是可变尺寸块的模式选择技术，极大地增加了计算复杂度，不利于多视点视频的实际应用，如三维视频直播和交互式自由视点电视。为了降低可变尺寸块技术的计算复杂度，对于面向单通道视频编码标准H.264/AVC和可分级视频编码标准，提出了基于模式概率的快速模式选择方法和考虑时间、空间相关性的模式选择方法。 对于视频的时空相关性和视频纹理特性，提出了帧间(Inter)和帧内(Intra)联合的模式选择方法，并提出了全零块检测方法，并将其应用于H.264/AVC中早期模式选择。基于运动特性的模式选择方法，提出了通过率失真代价的硬阈值分割选择直接模式(DIRECT或SKIP)或帧内模式为最佳模式，该方法中的阈值是通过量化参数(QuantizationParameter)线性拟合得到,主要使用于单项预测巾贞，即P巾贞。以上方法主要针对于单通道的视频编码标准H.264/AVC或可分级编码，由于不同的统计特性和相关性特性并不能直接应用于采用分层式预测结构的多视点视频编码标准。另外，以上方法没有考虑不同视点间各个宏块(Marco block)的相关性。针对多视点视频编码系统，提出了混合式模式选择方法，通过全局视差矢量(Global Disparity Vectors,⑶Vs)和多重阈值的提前选择编码模式。基于纹理特性和纹理分割对与背景等区域进行简单的模式选择，降低计算复杂度，通过空间宏块和视点间对应宏块的运动矢量预测当前宏块的运动的复杂程度，并基于此减少简单运动区域的模式数量。提出基于编码块模式系数(Coded BlockPatterns, CBP)的模式选择方法，对于编码块模式系数为零的块选择直接模式(DIRECT Mode)或者16 X 16模式为最佳模式，否则遍历其他小尺寸块模式。
发明内容基于此，有必要提供一种计算量小、复杂度低的多视点视频信号的编码方法。—种多视点视频信号的编码方法，包括:判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；若否，则采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数；联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性，构建直接模式的早期终止条件一，如果满足早期终止条件一，选择直接模式为最佳模式并终止模式；如果不满足早期终止条件一，则获取采用16X16块模式编码的当前宏块的率失真代价J16xi6;根据直接模式编码的当前宏块的率失真代价Jdikect与16X 16块模式编码的当前宏块的率失真代价J16xi6·，构建直接模式的早期终止条件二；如果满足早期终止条件二，则根据采用直接模式编码的当前宏块的率失真代价Jdikect与16X 16块模式编码的当前宏块的率失真代价J16xi6，设置编码最佳模式；如果不满足早期终止条件二，则选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式并编码当前宏块。优选地，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性包括:判断样式系数与样式系数阈值的大小，当样式系数不小于样式系数阈值时，则采用16X16块模式对当前宏块进行编码；并获取采用16X16块模式编码的当前宏块的率失
真代价J 16X16 ;当样式系数小于样式系数阈值Tcbp且当前宏块所在的当前帧为偶数视点帧时，获取所述采用直接模式编码的当前宏块的率失真代价Jdikect ；根据采用直接模式编码的当前宏块的率失真代价Jdikect与设定的直接模式的率失真代价阈值Tkd的值，或者采用直接模式编码的当前宏块的率失真代价Jdikect与16X 16块模式编码的当前宏块的率失真代价J16xi6设置编码最佳模式；如果采用直接模式编码的当前宏块的率失真代价Jdikect小于设定的直接模式的率失真代价阈值Tkd，则直接模式为编码最佳模式；如果采用直接模式编码的当前宏块的率失真代价Jdikect大于或等于设定的直接模式的率失真代价阈值Tkd，则16 X 16块模式为编码最佳模式。优选地，在所述使用16 X 16块模式编码当前宏块的步骤之后还包括:获取采用16X 16块模式编码的当前宏块的率失真代价J16xi6 ；根据当前宏块采用直接模式编码的当前宏块的率失真代价Jdikect和16X 16块模式编码的当前宏块的率失真代价J16xi6设置编码最佳模式。优选地，所述根据当前宏块采用直接模式编码的率失真代价Jdikect和采用16X 16块模式编码的率失真代价J16xi6设置编码最佳模式的步骤包括:如果采用直接模式编码的当前宏块的率失真代价Jdikect小于采用16X 16块模式编码的当前宏块的率失真代价J16xl6，则设置直接模式为编码最佳模式；如果采用直接模式编码的当前宏块的率失真代价Jdikect大于采用16X 16块模式编码的当前宏块的率失真代价J16xi6，则选择16X 16块模式为编码最佳模式。优选地，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性还包括:当样式系数不小于样式系数阈值Trap且当前宏块所在的当前帧为奇数视点帧时，根据公式Wdikect (x, y) = min (W1 (x+GDVx1； y+GDVy1), Wr (x+GDVxr, y+GDVyr))计算当前宏块的权重系数Wdikect ；其中X，y分别表示当前宏块在水平和竖直方向上的以宏块为单位的坐标，当前宏块的相对于Ψ视点的全局视差矢量= IGDVxv，⑶Vyv}，Ψ e {l，r}，l和r分别表示左边和右边相邻视点；Wv (U，V)定义为:
权利要求
1.一种多视点视频信号的编码方法，包括: 判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；若否，则采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数； 联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性，构建直接模式的早期终止条件一，如果满 足早期终止条件一，选择直接模式为最佳模式并终止模式；如果不满足早期终止条件一，则获取采用16X16块模式编码的当前宏块的率失真代价J16xi6; 根据直接模式编码的当前宏块的率失真代价Jdikkt与16X 16块模式编码的当前宏块的率失真代价J16xi6，构建直接模式的早期终止条件二 ；如果满足早期终止条件二，则根据采用直接模式编码的当前宏块的率失真代价Jdikect与16X 16块模式编码的当前宏块的率失真代价J16xi6，设置编码最佳模式；如果不满足早期终止条件二，则选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式并编码当前宏块。
2.根据权利要求1所述的多视点视频信号的编码方法，其特征在于，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性包括: 判断样式系数与样式系数阈值的大小，当样式系数不小于样式系数阈值时，则采用16X16块模式对当前宏块进行编码；并获取采用16X16块模式编码的当前宏块的率失真代价 J16xi6 ; 当样式系数小于样式系数阈值Tcbp且当前宏块所在的当前帧为偶数视点帧时，获取所述采用直接模式编码的当前宏块的率失真代价Jdikect ； 根据采用直接模式编码的当前宏块的率失真代价Jdikect与设定的直接模式的率失真代价阈值Tkd的值，或者采用直接模式编码的当前宏块的率失真代价Jdikect与16X 16块模式编码的当前宏块的率失真代价J16xi6设置编码最佳模式； 如果采用直接模式编码的当前宏块的率失真代价Jdikect小于设定的直接模式的率失真代价阈值Tkd，则直接模式为编码最佳模式； 如果采用直接模式编码的当前宏块的率失真代价Jdikect大于或等于设定的直接模式的率失真代价阈值TKD，则16X 16块模式为编码最佳模式。
3.根据权利要求2所述的多视点视频信号的编码方法，其特征在于，在所述使用16X16块模式编码当前宏块的步骤之后还包括: 获取采用16X 16块模式编码的当前宏块的率失真代价J16xi6 ； 根据当前宏块采用直接模式编码的当前宏块的率失真代价Jdikect和16 X 16块模式编码的当前宏块的率失真代价J16xi6设置编码最佳模式。
4.根据权利要求1或3所述的多视点视频信号的编码方法，其特征在于，所述根据当前宏块采用直接模式编码的率失真代价Jdikect和采用16 X 16块模式编码的率失真代价J16xi6设置编码最佳模式的步骤包括: 如果采用直接模式编码的当前宏块的率失真代价Jdikect小于采用16X 16块模式编码的当前宏块的率失真代价J16xi6，则设置直接模式为编码最佳模式； 如果采用直接模式编码的当前宏块的率失真代价Jdikect大于采用16X 16块模式编码的当前宏块的率失真代价J16xi6，则选择16X 16块模式为编码最佳模式。
5.根据权利要求1所述的多视点视频信号的编码方法，其特征在于，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价Jdikect的统计分布特性还包括: 当样式系数不小于样式系数阈值Tcbp且当前宏块所在的当前帧为奇数视点帧时，根据公式 Wdikect (X，y) = min (W1 (x+GDVx1； y+GDVy1), Wr (x+GDVxr, y+GDVyr))计算当前宏块的权重系数Wdikect ； 其中X，I分别表示当前宏块在水平和竖直方向上的以宏块为单位的坐标，当前宏块的相对于Ψ视点的全局视差矢量 νψ = IGDVxv，⑶Vyv}，Ψ e {l，r}，l和r分别表示左边和右边相邻视点；Wllf (u, V)定义为:
6.根据权利要求5所述的多视点视频信号的编码方法，其特征在于，所述根据权重系数Wdikect或者率失真代价Jdikect设置编码模式的步骤包括: 如果采用直接模式编码的当前宏块的率失真代价Jdikect小于设定的直接模式的率失真代价阈值Tkd或者权重系数Wdikect大于设定的视点间直接模式的率失真代价阈值Tw，则设置直接模式为编码最佳模式； 如果采用直接模式编码的当前宏块的率失真代价Jdikect大于或等于设定的直接模式的率失真代价阈值Tkd或者权重系数Wdikect小于或等于设定的视点间直接模式的率失真代价阈值Tw，则使用16X 16块模式编码当前宏块。
7.根据权利要求6所述的多视点视频信号的编码方法，其特征在于，在所述使用16X16块模式编码当前宏块的步骤之后还包括: 获取采用16X 16块模式编码的当前宏块的率失真代价J16xi6 ； 根据采用直接模式编码的当前宏块的率失真代价Jdikect和采用16X 16块模式编码的当前宏块的率失真代价J16xi6选择编码最佳模式。
8.根据权利要求7所述的多视点视频信号的编码方法，其特征在于，所述根据采用直接模式编码的当前宏块的率失真代价Jdikect和采用16X 16块模式编码的当前宏块的率失真代价J16xl6选择编码模式的步骤包括:如果J DIRECT 〈 入X J16xi6，则比较J DIRECT 和J 16X16， 其中λ为加权系数； 如果Jdikect < J16xi6，则选择直接模式为编码最佳模式； 如果> J16xi6，则选择16X 16块模式为编码最佳模式。
9.根据权利要求8所述的多视点视频信号的编码方法，其特征在于，所述根据当前宏块采用直接模式编码的率失真代价Jdikect和采用16 X 16块模式编码的率失真代价J16xi6选择编码模式的步骤还包括: 如果Jdikkt < λ X J16xi6，其中λ为加权系数；则采用帧间模式和帧内模式编码当前宏块，并比较率失真代价，选择最小率失真代价对应的模式为编码最佳模式。
10.根据权利要求2、6、7、8、或9所述的多视点视频信号的编码方法，其特征在于，根据权利要求所述的多视点视频信号的编码方法，其特征在于，所述直接模式的率失真代价阈值Tkd的设定步骤包括: 步骤I，如果当前宏块当前图像组中的第O或第I视点中的非锚巾贞(Non-anchorframe)中的前nw。个宏块，设定阈值Ted为TMIN，Tmin为大于O的数，并编码当前宏块，将参数σ，μ，μ D，σ和Pd初始化，初始化公式为:
全文摘要
一种多视点视频信号的编码方法通过联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价JDIRECT的统计分布特性，或采用直接模式编码的当前宏块的率失真代价JDIRECT与16×16块模式编码的当前宏块的率失真代价J16×16设置编码最佳模式，能够构建有效直接模式的早期终止条件以及早期终止策略，由于直接模式计算量最小，且构建的直接模式的早期终止条件误判率和漏判率低，因此，上述多视点视频信号的编码方法最大限度地提前选择编码最佳模式并终止视频编码中不必要的复杂的模式选择过程，更有效降低多视点视频编码复杂度，提高编码速度。
文档编号H04N7/26GK103188500SQ20111045976
公开日2013年7月3日 申请日期2011年12月31日 优先权日2011年12月31日
发明者张云, 赵铁松, 陈先开, 王志强, 陈前 申请人:中国科学院深圳先进技术研究院