专利名称：一种立体视频分层编码框架的制作方法
技术领域：
本发明属于视频编码和处理领域，具体涉及立体视频编码过程中 的质量分层编码算法的研究。
背景技术：
立体视频是当前视频领域的一个研究热点和新的发展方向，在未 来具有广泛的应用前景。然而，由于立体视频图像隐含了场景的深度 信息，这一优点的直接代价就是带来视频数据量的急剧增加，使得视 频数据的存贮和传输变得更为困难，因此利用空间、时间以及两个视 点间的信息冗余对立体视频进行高效的压縮是推动立体视频应用的 关键。
目前，使用最普遍的是采用运动补偿预测与视差补偿预测相结合 的立体视频编码框架，如图1所示，左视点为基本层，采用传统的视
频编码方式；右视点为增强层，采用同一时刻基本层的重建图像和前 一时刻增强层的重建图像进行择优参考。
基本层第1帧是帧内编码模式，记为B-I。例如图1中t时刻的 帧B-I (t)。基本层中其余图像以前一帧的重建图像为参考，进行帧 间编码，记为B-P。例如图1中t+3时刻的帧B-P (t+3)。增强层中 的图像均以同一时刻的基本层的重建图像或前一帧增强层的重建图 像为参考，进行帧间编码，记为E-P。例如图1中t+3时亥ij， E-P (t+3)
的参考图像为B-P (t+3)或E-P (t+2)的重建图像。
这种立体视频编码框架，充分利用了视点间的信息冗余，相对于 左右视点各自独立编码的方法在编码效率上有了较大提高，但是两路 视频流数据量仍然较大，且这种编码框架的网络适应性不强，左右视 点码流必须完整传输，才能够保证各自正常解码。
在立体视频实时传输中，对网络带宽以及在不同网络环境下的适 应能力都将会有更高的要求。研究表明，现有的单视点质量分层编码 框架生成的视频流可以很好的在网络带宽变化的环境中传输。但是单 视点质量分层编码框架不能直接用于立体视频分层编码，因此在单视 点质量分层编码技术上进一步研究立体视频的分层编码理论和技术， 使其可在不同网络带宽环境下进行可靠传输是提高立体视频网络适 应性的有效途径。
目前，典型的单视点质量分层编码SVC FGS (Fine Grain Scalable Video Coding),从具有最低质量的基本层开始编码，允许最多连续编 码3个FGS (Fine Grain Scalable)增强层(不包含质量基本层)，每 个增强层使用的量化步长固定为其相邻低一级增强层所用量化步长 的1/2，从而实现的重建图像质量随着码率的增加而逐渐改善。每个 FGS增强层编码为一个逐渐精细片(Progressive Refinement Slices, PR-Slice)，可在任意位置被截断，从而提供了良好的网络带宽适应性。
图2所示是一种单视点质量分层编码框架，采用SVC FGS技术， 可编码为多个增强层，图示以三个增强层为例。其基本层仅使用基本 层的重建图像作为参考，视频码流增强层可根据实际传输带宽情况被 任意截断，这种编码框架提供了良好的网络适应性。在此结构中， 由于基本层图像只采用了基本层的重建图像为参考，因此增强层码流
被截断后，造成的增强层图像的下降不会影响到基本层；同时增强层
中独立的预测环路，充分利用了高质量的增强层图像参与运动补偿， 提高了整个质量分层编码框架的编码效率。但这种编码结构在增强层 码流被截断后，造成的增强层图像质量下降会一直蔓延下去，直到新 的I帧出现为止。
基本层第1帧是帧内编码模式，记为B-I。例如图2中t时刻的 B-I (t)。后续时刻可以根据需要定期插入I帧。例如图2中t+9时刻 的帧为I帧，记为B-I (t+9)。基本层其余图像都以前一帧的重建图 像为参考，进行帧间编码，记为B-P，例如图2中t+7时刻的帧B-P (t+7)。
增强层根据其层次进行划分，第一增强层记为El，其余增强层 记为E2、 E3......、 En。
若第一增强层中待编码帧对应的基本层为I帧(例如t、 t+9时 刻的帧)，则直接编码原始图像与基本层的重建图像的差值，记为 El-P。例如图2中的t、 t+9时刻的帧El-P (t)、 El-P (t+9)。第一增 强层中的其余帧以同一时刻的基本层的重建图像或前一帧的最高增 强层的重建图像为参考，确定预测图像，编码原始图像与预测图像的 差值，记为El-P。其中预测图像是基本层的重建图像和前一帧的最 高增强层的重建图像的加权平均。例如图2中t+7时刻，El-P (t+7) 的参考图像为B-P (t+7)和E3-P (t+6)的重建图像的加权平均。
第二增强层及其以上各增强层都是直接编码原始图像与低一级
增强层的重建图像的差值，记为En-P。例如图2中在t+7时亥U, E2-P (t+7)是编码原始图像与El-P (t+7)的重建图像的差值，E3-P (t+7) 是编码原始图像与E2-P (t+7)的重建图像的差值。
通过此单视点质量分层编码框架生成的视频流具有较好的网络 适应性。但不足之处在于，其对增强层码流截断后引起的预测误差没 有有效的阻止措施，所以码流截断后会造成增强层图像质量的持续下 降，直至基本层一个新的I帧出现为止，例如图2中，E2-P (t+l)、 E3-P (t+l)帧因码率限制被截断，后续t+2时刻至t+8时刻的帧都会 受到截断误差扩散的影响，解码图像质量都会有所下降，直到t+9时 刻B-I (t+9)到来为止。这种方法虽然在新的I帧出现后可以阻止截 断误差扩散，但由于传输带宽的限制以及I帧具有较大的码率，I帧 的间隔不能够过密等原因，导致截断误差扩散会持续较长时间。
综合采用运动补偿预测技术、视差补偿预测技术、质量可伸縮编 码技术，结合上述立体视频编码框架与单视点质量分层编码框架的优 势，建立具有良好的网络适应性和码流动态截断能力的立体视频分层 编码框架，对于立体视频压縮技术尽快走向实用化具有现实而重大的 意义。
发明内容
鉴于现有技术的以上缺点，本发明的目的是提出一种立体视频分 层编码框架，可以在保证立体视频编码效率的前提下，提供一种质量 可根据实际网络带宽任意伸縮的立体视频流，同时引入关键参考帧技 术，能够有效的阻止码流截断对立体视频图像质量的影响。
立体视频分层编码框架，左视点图像被设计成基本层，采用标准 的编码方式；右视点图像被设计成增强层，结合质量可伸缩技术将右 视点图像编码成多个增强层；具体编码方式如下-
a. 基本层编码，即立体视频中的左视点图像编码
(1) 对基本层视频序列第1帧图像采用帧内编码方式进行编 码。
(2) 对基本层视频序列中其余图像按照标准的编码方法进行编 码。
b. 增强层编码，即立体视频中的右视点图像编码
(1) 将第一增强层第1帧图像规定为关键参考帧，以基本层第 1帧的重建图像为参考，进行视点间预测编码。
(2) 确定第一增强层其余待编码帧是否为关键参考帧方法若 基本层为I帧，则同一时刻第一增强层待编码帧为关键参 考帧；基本层为其余帧时，由关键参考帧选择策略确定第 一增强层中的关键参考帧。
(3) 对第一增强层中的关键参考帧采用帧间编码方式，若同一 时刻基本层为I帧，则以基本层的重建图像为参考，进行 视点间预测编码；否则以同一时刻的基本层的重建图像和 当前编码帧之前的关键参考帧的重建图像为参考，进行视 差/运动联合估计，确定预测图像，编码增强层原始图像与
预测图像的差值。
(4) 对第一增强层中的非关键参考帧图像采用帧间编码，以同 一时刻的基本层的重建图像和前一帧的最高增强层的重建 图像为参考，进行视差/运动联合估计，确定预测图像，编 码增强层原始图像与预测图像的差值。
(5) 对第二增强层及以上各增强层的图像，直接编码增强层原
始图像与低一级增强层的重建图像的差值。 采用本发明的立体分层编码框架，在保持立体视频编码效率的前 提下，能够有效的阻止码流截断对立体视频图像质量的影响，提供一 种质量可根据实际网络带宽任意伸縮的立体视频流。
图1为现有技术普通立体视频编码框架图。
图2为现有技术单视点质量分层编码框架图。 图3为本发明立体视频分层编码框架图。
具体实施例方式
图1和图2现有技术的情形已在前面述及。下面结合图3对本发 明的内容作进一步的详述。
图3所示是本发明提出的一种立体视频分层编码框架，它将图1 所示的立体视频编码框架与图2所示的单视点质量分层编码框架相 结合，有效的利用了立体视频编码的特性以及分层编码网络适应性的 优势，并且增加了关键参考帧预测机制，降低了码流截断误差扩散。
本框架可包含多个增强层，图示以三个增强层为例，每隔2帧固定使
用一个关键参考帧，每隔8帧固定使用一个I帧。
左视点为基本层，记为B。第l帧为帧内编码，帧内编码图像可 以独立解码。其余帧可以固定周期使用帧内编码，记为B-I，这些图 像可以是I帧、P帧或者B帧。例如图3中t、 t+9时刻的帧为I帧， 记为B-I (t)、 B-I (t+9)。其余图像以前一帧作为参考，进行帧间编 码，记为B-P。例如图3中t+4时刻B-P (t+4)。
右视点为增强层记为E，第一增强层记为El，第二增强层及以 上各增强层记为E2、 E3....... En。
第一增强层第1帧图像为关键参考帧使用基本层第1帧的重建图 像为参考，进行视点间预测编码，记为El-K。视点间预测编码是根 据视差估计确定预测图像，然后编码原始图像与预测图像的差值。
确定第一增强层其余待编码帧是否为关键参考帧若基本层为I 帧，则同一时刻第一增强层待编码帧为关键参考帧；基本层为其余帧 时，第一增强层关键参考帧的确定方法有多种可以每隔固定间隔插 入关键参考帧，也可以根据率失真优化模型动态确定关键参考帧。
第一增强层的关键参考帧，记为El-K。例如图3中的t、t+3、t+6、 t+9时刻的帧记为El隱K (t)、 El-K (t+3)、 E1誦K (t+6)、 El-K (t+9)。 此类关键参考帧采用帧间编码，与第一增强层普通的帧间编码不同之 处在于，如果同一时刻基本层为I帧，它直接以基本层的重建图像为 参考，进行视点间预测编码；否则它以第一增强层中前一个关键参考 帧的重建图像和同一时刻基本层的重建图像进行视差/运动联合估
计，然后确定预测图像，编码增强层原始图像与预测图像的差值。例
如在图3中，关键参考帧E1-K (t)是以B-I (t)的重建图像为参考， 进行视点间预测编码；关键参考帧El-K (t+3)是以B-P (t+3)和 El-K (t)为参考，进行视差/运动联合估计。视差/运动联合估计产生 预测图像的方法有多种可以是视差估计预测图像和运动估计预测图 像二者择优选取，也可以是二者的加权平均。第一增强层的其余图像 都以前一帧的最高增强层和同时刻基本层的重建图像为参考，进行视 差/运动联合估计，记为E1-P。例如在图3中t+2时刻，El-P (t+2) 是以E3-P (t+l)和B-P (t+2)的重建图像为参考，进行视差/运动联 合估计。
第二增强层及其以上各增强层都是直接编码增强层原始图像与 低一级增强层的重建图像的差值，记为En-P。例如图3中t+2时刻， E2-P (t+2)是编码增强层原始图像与El-P (t+2)的重建图像的差值， E3-P (t+2)是编码增强层原始图像与E2-P (t+2)的重建图像的差值。
当出现码流被截断的情况，例如在图3中t+l时刻，增强层E2、 E3码流被截断，则E2-P (t+l)、 E3-P (t+l)码流不能被解码端接收。 由于后续的帧间预测编码帧El-P (t+2)是以E3-P (t+l)和B-P (t+2) 的重建图像为参考联合预测而来、E2-P (t+2)是编码t+2时刻增强 层原始图像与El-P (t+2)的重建图像的差值，E3-P (t+2)是编码t+2 时刻增强层原始图像与E2-P (t+2)的重建图像的差值，因此码流截 断误差会向后扩散到E1-P (t+2)、 E2-P (t+2)和E3-P (t+2)中。在 t+3时刻，由于关键参考帧E1-K (t+3)是以E1-K (t)和B-P (t+3)
的重建图像为参考联合预测而来，与E1-P (t+2)、 E2-P (t+2)、 E3-P (t+2)无关，因此E1-K (t+3)可以正常解码，相应的E2-P (t+3)、 E3-P (t+3)也可以正常解码。在t+3时刻，码流截断误差在立体视
频中的扩散被阻止。
在图2所示的单视点质量分层编码框架中，当t+l时刻增强层码 流截断后，码流截断误差会在增强层中扩散，直到t+9时刻I帧出现 为止。而在本发明所提出的立体视频分层编码框架中，当t+l时刻增 强层码流截断后，通过关键参考帧的使用可以有效地在t+3时刻阻止 码流截断误差在增强层中的扩散。
权利要求
1、一种立体视频分层编码框架，左视点图像被设计成基本层，采用标准的编码方式；右视点图像被设计成增强层，结合质量可伸缩技术可将右视点图像编码成多个增强层；具体编码方式如下a.基本层编码，即立体视频中的左视点图像编码(1)对基本层视频序列第1帧图像采用帧内编码方式进行编码；(2)对基本层视频序列中其余图像按照标准的编码方法进行编码；b.增强层编码，即立体视频中的右视点图像编码(1)将第一增强层第1帧图像规定为关键参考帧，以基本层第1帧的重建图像为参考，进行视点间预测编码；(2)确定第一增强层其余待编码帧是否为关键参考帧方法若基本层为I帧，则同一时刻第一增强层待编码帧为关键参考帧；基本层为其余帧时，由关键参考帧选择策略确定第一增强层中的关键参考帧；(3)对第一增强层中的关键参考帧采用帧间编码方式，若同一时刻基本层为I帧，则以基本层的重建图像为参考，进行视点间预测编码；否则以同一时刻的基本层的重建图像和当前编码帧之前的关键参考帧的重建图像为参考，进行视差/运动联合估计，确定预测图像，编码增强层原始图像与预测图像的差值；(4)对第一增强层中的非关键参考帧图像采用帧间编码，以同一时刻的基本层的重建图像和前一帧的最高增强层的重建图像为参考，进行视差/运动联合估计，确定预测图像，编码增强层原始图像与预测图像的差值；(5)对第二增强层及以上各增强层的图像，直接编码增强层原始图像与低一级增强层的重建图像的差值。
2、 根据权利要求1所述之立体视频分层编码框架，其特征在于， 所述第一增强层的关键参考帧选择策略可采用每隔固定间隔插入关 键参考帧，也可以是根据率失真优化模型动态确定关键参考帧。
3、 根据权利要求1所述之立体视频分层编码框架，其特征在于， 所述视差/运动联合估计的方法有多种，可以是视差估计预测图像和 运动估计预测图像二者择优选一，也可以是二者的加权平均。
4、 根据权利要求1所述之立体视频分层编码框架，其特征在于， 所述视点间预测编码是根据视差估计确定预测图像，然后编码原始图 像与预测图像的差值。
5、 根据权利要求1所述之立体视频分层编码框架，其特征在于， 所述基本层视频序列中其余图像可以是I帧、P帧或者B帧。
全文摘要
本发明公开了一种立体视频分层编码框架，左视点图像被设计成基本层，采用标准的编码方式；右视点图像被设计成增强层，结合质量可伸缩技术将右视点图像编码成多个增强层。基本层视频序列按照标准的编码方法进行编码；增强层视频序列使用质量分层编码方式进行编码。本发明有效的利用了立体视频编码的特性以及单视点质量分层编码网络适应性的优势，设置关键参考帧预测机制，降低了码流截断误差扩散。在保持立体视频编码效率的前提下，提供一种质量可根据实际网络带宽任意伸缩的立体视频流，并能够有效的阻止码流截断对立体视频图像质量的影响。
文档编号H04N7/50GK101355698SQ200810044650
公开日2009年1月28日 申请日期2008年6月10日 优先权日2008年6月10日
发明者浩 姜, 蕾 张, 强 彭 申请人:西南交通大学