专利名称：一种立体视频分层编码差错控制方法
技术领域：
本发明属于视频编码和处理领域，具体涉及立体视频编码过程中 的质量可伸縮性编码及差错控制算法的研究。
背景技术：
立体视频是当前视频领域的一个研究热点和新的发展方向，具有 广阔的应用前景。然而，由于立体视频图像隐含了场景的深度信息， 这一优点的直接代价就是带来视频数据的急剧增加，对网络带宽以及 在不同网络环境下的适应能力都将会有更高的要求。研究表明，分层 编码对于单视点视频在网络带宽变化的环境下表现优异。因此研究立
体视频的分层编码理论和技术，使其可在不同网络带宽环境下进行可 靠传输是提高立体视频网络适应性的有效途径。
然而，目前的视频压縮编码方案均采用预测技术来消除帧间冗 余，这种机制对信道差错极其敏感，传输环境的不佳，往往会造成误 码，尤其是在无线、IP信道等不可靠环境，即使是单个误码也可能在 一幅图像内产生大片错误，并且会扩散到后续帧。虽然针对上述问题
的差错恢复视频编码(Error Resilient Video Coding)技术近年来取得 很多优异的成果。然而，现有的这些差错控制算法基本上都是针对单 视点视频编码系统设计的，不适宜直接用于立体视频编码系统。相对 于目前比较完善的单视点差错控制技术而言，立体视频的差错控制技
术还很不成熟。并且，由于立体视频的特殊性，在不可靠通信环境传 输过程中一个视点视频图像的损伤，不仅会影响本视点后续图像帧的 质量，而且还会扩散到另一个视点图像及其后续帧，从而严重影响立 体视频质量。鉴于此，对立体视频差错控制技术进行研究，提高其在 有损信道传输环境中的抗差错能力以及出错后的恢复能力是非常有 必要的。
鉴于现有技术的以上缺点，本发明的目的是研究一种具有良好的 网络适应性和码流动态截断能力的分层编码框架，以及适用于此编码 框架的差错控制方法，采用不同的关键参考帧选择策略，以增强立体 视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体 视频序列中的扩散，从而提高立体视频流的传输质量。
发明内容
一种立体视频分层编码差错控制方法，用于立体视频分层编码框 架，对于立体视频流传输过程中的四种不同情况基本层不出错增强
层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出 错增强层有较低误码率、以及基本层可能出错增强层有较高误码率， 在立体视频分层编码过程中采用不同的差错控制策略，其特征在于 在基本层不出错传输时
基本层使用标准的编码方式编码。增强层编码时，首先根据关键 参考帧选择策略对使用关键参考帧的增强层待编码帧进行关键参考 帧设置。其中，
(1)在增强层误码率较低情况下，仅在第一增强层中使用关键
参考帧。待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使 用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧 时，使用联合预测关键参考帧编码方式编码。待编码帧若为非关键参 考帧，使用立体视频分层编码方式编码。
(2)在增强层误码率较高情况下，各个增强层中均使用关键参 考帧。待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式
编码；否则，使用立体视频分层编码方式编码。
在基本层可能出错传输时
基本层编码时，首先根据关键参考帧选择策略对基本层待编码帧
进行关键参考帧设置；待编码帧若为关键参考帧，使用帧间预测关键 参考帧编码方式编码；否则，使用标准的编码方式编码。增强层编码 时，若同一时刻的基本层为关键参考帧，则将使用关键参考帧的增强 层待编码帧设置为关键参考帧。其中，
(1) 在增强层误码率较低情况下，仅在第一增强层中使用关键 参考帧。待编码帧若为关键参考帧，当同一时刻基本层为I帧时， 使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其 余帧时，使用联合预测关键参考帧编码方式编码。待编码帧若为 非关键参考帧，使用立体视频分层编码方式编码。
(2) 在增强层误码率较高情况下，各个增强层中均使用关键参 考帧。待编码帧若为关键参考帧，使用层间预测关键参考帧编码 方式编码；否则，使用立体视频分层编码方式编码。 采用如上的不同差错控制策略，增强了立体视频流在不可靠网络 传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散， 从而提高立体视频流的传输质量。
图1左视点无差错右视点有较低误码率的差错控制方法原理图 图2左视点无差错右视点有较高误码率的差错控制方法原理图 图3左视点出错右视点有较低误码率的差错控制方法原理图
图4左视点出错右视点有较高误码率的差错控制方法原理图
具体实施例方式
下面结合附图对本发明的具体技术内容作进一步的详述。 立体视频分层编码框架中，立体视频分层编码框架，基本层为立
体视频左视点视频，采用标准的编码方式；增强层为立体视频右视点 视频，采用质量可伸縮性编码方式，增强层可以有若干层；立体视频 流可以根据传输需要，自适应的截取增强层码流，使其适用于各种网 络传输环境。
本发明提出了一种适用于立体视频分层框架的差错控制方法，分
别适用于以下四种不同的传输出错情况
(1) 左视点视频(基本层)不出错，右视点视频(增强层)误码
率较低；
(2) 左视点视频不出错，右视点视频误码率较高；
(3) 左视点视频可能出错，右视点视频误码率较低；
(4) 左视点视频可能出错，右视点视频误码率较高。
通过在立体视频分层编码框架中，针对上述各种情况引入不同的 关键参考帧差错控制方法，在不会明显降低视频图像编码效率的前提 下，可以有效的减小或者阻止视频传输过程中由于传输差错引起的立 体视频图像质量的下降。
本发明关键参考帧选择策略为若是增强层，则同一时刻基本层 为I帧或者关键参考帧时，增强层帧为关键参考帧；增强层其余关键 参考帧或者基本层关键参考帧可以每隔固定间隔进行设置，也可以根 据率失真优化模型进行动态设置。
本发明所述联合预测关键参考帧编码方式，采用同一时刻基本层 的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像 为参考，进行视差/运动联合估计。
本发明所述层间预测关键参考帧编码方式，采用同一时刻基本层 的重建图像为参考进行视点间的预测编码。
本发明所述帧间预测关键参考帧编码方式，采用当前编码帧之前 的I帧或者关键参考帧的重建图像为参考进行帧间的预测编码。
本发明所述立体视频分层编码方式，若为第一增强层待编码帧， 则以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为 参考，进行视差/运动联合估计；若为第二增强层及以上各增强层待
编帧，则编码同一时刻增强层原始图像与低一级增强层的重建图像的 差值。
本发明所述标准的编码方式，为业内常规所指，即第一帧编码为
I帧，其余帧可以编码为I帧、P帧或者B帧。
本发明在立体视频分层编码框架上，针对四种传输出错情况制定 的差错控制方法具体如下 (一)基本层不出错，增强层误码率较低情况下的差错控制方法 在此传输情况下，仅在第一增强层中使用关键参考帧，基本层和 第二增强层及以上各增强层均不使用关键参考帧。 (1 )基本层采用标准的编码方式，可以编码为I帧、P帧或者B帧。
(2) 第一增强层编码时，首先确定待编码帧是否为关键参考帧。若 基本层为I帧，则同一时刻第一增强层待编码帧为关键参考帧， 第一增强层其余关键参考帧的确定方法有多种可以每隔固定 间隔插入关键参考帧，也可以根据率失真优化模型动态选择关 键参考帧。
(3) 第一增强层的关键参考帧采用帧间编码方式。若同一时刻基本 层为I帧，那么关键参考帧以此时刻基本层的重建图像为参考， 进行视点间的预测编码，即以层间预测关键参考帧编码方式进 行编码；否则关键参考帧采用同一时刻基本层的重建图像和当 前编码帧之前的第一增强层关键参考帧的重建图像为参考，进 行视差/运动联合估计，即以联合预测关键参考帧编码方式进 行编码。视差/运动联合估计确定预测图像的方法有多种可 以在视差估计预测图像和运动估计预测图像二者择优选择，也 可以是二者的加权平均。
(4) 第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基 本层的重建图像和前一帧最高增强层的重建图像为参考，进行
视差/运动联合估计，即以立体视频分层编码方式进行编码。 (5)第二增强层及以上各增强层直接编码同时刻增强层原始图像 与低一级增强层的重建图像的差值，即立体视频分层编码方式 编码。
其原理如图l所示，立体视频分层编码框架可含有多个增强层，
图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固 定使用一个I帧为例。
左视点为基本层，记为B。第l帧为帧内编码，记为B-I。例如， 在图l中t时刻的帧B-I (t)。后续时刻可以根据需要定期插入I帧。 例如，在图1中t+9时刻的帧B-I (t+9)。基本层其余图像以前一帧 的重建图像为参考进行帧间编码，记为B-P。例如，在图l中t+3时 刻的帧B-P(t+3)。
右视点为增强层记为E，第一增强层记为El，第二增强层及以 上各增强层记为E2…En。第一增强层第1帧图像为关键参考帧，以 基本层第1帧的重建图像为参考进行视点间预测编码，记为El-K。 例如，在图1中t时刻的帧El-K (t)。
在第一增强层的某些特定位置插入关键参考帧，记为El-K。例如， 在图1中的t、 t+3、 t+6、 t+9时刻的帧El-K (t)、 E1画K (t+3)、 E1画K (t+6)、 El-K (t+9)，此类关键参考帧采用帧间编码方式编码，与第 一增强层普通的帧间编码不同之处在于:若同一时刻基本层为I帧(例 如t、 t+9时刻的帧)，那么以此基本层的重建图像为参考，进行视点 间预测，确定预测图像，编码增强层原始图像与预测图像的差值。例
如，在图1中t+9时刻，El-K (t+9)是以B-I (t+9)的重建图像为 参考，进行视点间预测。其余关键参考帧以第一增强层中前一个关键 参考帧的重建图像和同一时刻基本层的重建图像为参考，进行视差/ 运动联合估计，然后确定预测图像，编码增强层原始图像与预测图像 的差值。例如，在图1中t+3时刻，关键参考帧E1-K (t+3)是以B-P (t+3)和E1-K (t)的重建图像为参考，进行视差/运动联合估计。 第一增强层中的其余图像都以前一帧的最高增强层和同一时刻 基本层的重建图像为参考，进行帧间编码，记为E1-P。例如，在图l 中t+2时刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建图像 为参考，进行视差/运动联合预测。
第二增强层及以上各增强层都是直接编码增强层原始图像与低 一级增强层的重建图像的差值，记为En-P。例如，在图1中t+2时刻， E2-P (t+2)是编码该增强层原始图像与E1-P (t+2)的重建图像的差 值。
当出现非关键参考帧传输差错时。例如，在图1中t+l时刻，第 二增强层码流传输出错，则E2-P (t+l)码流不能被解码端正确解码。 由于后续的帧间预测编码帧El-P (t+2)是以E2-P (t+l)和B-P (t+2) 的重建图像为参考联合预测而来、E2-P (t+2)是编码t+2时刻增强 层原始图像与El-P (t+2)的重建图像的差值，因此传输差错会向后 扩散到El-P (t+2)、 E2-P (t+2)中。在t+3时刻，由于关键参考帧 El-K (t+3)是以El-K (t)和B-P (t+3)的重建图像为参考联合预 测而来，没有使用前面的出错帧进行帧间预测，因此El-K(t+3)可
以正常解码，相应的E2-P (t+3)也可以正常解码。因此传输差错的 扩散在t+3时刻被有效阻止。
当出现关键参考帧传输差错时。例如，在图l中t+6时刻，第一 增强层关键参考帧码流传输出错，则E1-K (t+6)不能被解码端正确 解码。由于第二增强层中的E2-P (t+6)是编码t+6时刻增强层原始 图像与E1-K (t+6)的重建图像的差值、El-P (t+7)是以E2-P (t+6) 与B-P (t+7)的重建图像为参考联合预测而来、E2-P (t+7)是编码 t+7时刻增强层原始图像与El-P(t+7)的重建图像的差值、El-P(t+8) 是以E2-P (t+7)与B-P (t+8)的重建图像为参考联合预测而来、E2-P (t+8)是编码t+8时刻增强层原始图像与El-P (t+8)的重建图像的 差值，因此传输差错会向后扩散到E2-P(t+6)、El-P(t+7)、E2-P(t+7)、 El-P (t+8)和E2-P (t+8)五帧中。在t+9时亥U，基本层编码为I帧， 即B-I (t+9)，第一增强层以B-I (t+9)的重建图像为参考，进行视 点间预测编码，记为El-K(t+9)，第二增强层编码t+9时刻增强层原 始图像与E1-K (t+9)的重建图像的差值，均没有使用前面的出错帧 进行帧间预测。因此传输差错的扩散在t+9时刻被有效抑制。 (二)基本层不出错，增强层误码率较高情况下的差错控制方法
在此传输情况下，各个增强层中均使用关键参考帧，基本层不 使用关键参考帧。
(1 )基本层采用标准的编码方式，可以编码为I帧、P帧或者B帧。 (2)增强层编码时，首先确定待编码帧是否为关键参考帧。若基本 层为I帧，则同一时刻所有增强层待编码帧均为关键参考帧。
各个增强层其余关键参考帧的确定方法有多种可以每隔固定 间隔插入关键参考帧，也可以根据率失真优化模型动态选择关 键参考帧。
(3) 增强层的关键参考帧采用帧间编码方式，以同一时刻基本层的 重建图像为参考，进行视点间的预测编码，即以层间预测关键 参考帧编码方式进行编码。
(4) 第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基 本层的重建图像和前一帧最高增强层的重建图像为参考，进行 视差/运动联合估计，即以立体视频分层编码方式进行编码。
(5) 第二增强层及以上各增强层的非关键参考帧直接编码同时刻 增强层原始图像与低一级增强层的重建图像的差值，即以立体 视频分层编码方式进行编码。
其原理如图2所示,立体视频分层编码框架可含有多个增强层，
图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固
定使用一个I帧为例。
左视点为基本层，记为B。第l帧为帧内编码，记为B-I。例如， 在图2中t时刻的帧B-I (t)。后续时刻可以根据需要定期插入I帧。 例如，在图2中t+9时刻的帧B-I (t+9)。其余图像以前一帧的重建 图像为参考进行帧间编码，记为B-P。例如，在图2中t+3时刻的帧 B-P (t+3)。
右视点为增强层记为E，第一增强层记为El，第二增强层及以 上各增强层记为E2…En。各个增强层第1帧图像均为关键参考帧，
以基本层第1帧的重建图像为参考进行视点间预测编码，记为En-K。 例如，在图2中t时刻的帧El-K (t)、 E2-K (t)。
在增强层的某些特定位置插入关键参考帧，同一时刻的各个增强 层关键参考帧均以同一时刻基本层的重建图像为参考，进行视点间预 观U，记为En-K。例如，图2中t+3时刻的各个增强层均为关键参考 帧，分别以B-P (t+3)的重建图像为参考，进行视点间预测编码，确 定预测图像，然后编码原始图像与预测图像的差值，记为El-K(t+3)、 E2-K (t+3)。
第一增强层的非关键参考帧都以前一帧的最高增强层和同一时 刻基本层的重建图像为参考，进行帧间编码，记为El-P。例如，在 图2中t+2时刻，E1國P (t+2)是以E2-P (t+l)和B-P (t+2)的重建 图像为参考，进行视差/运动联合预测。视差/运动联合估计确定预测 图像的方法有多种，可以在视差估计预测图像和运动估计预测图像二 者择优选择，也可以是二者的加权平均。
第二增强层及以上各增强层的非关键参考帧都是直接编码增强 层原始图像与低一级增强层的重建图像的差值，记为En-P。例如， 在图2中t+2时亥lj， E2-P(t+2)是编码该增强层原始图像与El-P(t+2) 的重建图像的差值。
在此差错控制方法中，增强层关键帧出现的传输差错不会影响到 同一时刻其余增强层关键参考帧。只要与出错关键参考帧同一时刻的 高一级增强层关键参考帧能被解码器正确接收，增强层的关键参考帧 就能起到对差错的抑制作用，同时关键参考帧的错误也不会扩散到后
续编码帧中。
例如在图2中t+2时刻，第一增强层码流传输出错，则El-P(t+2) 码流不能被解码端正确解码。由于E2-P (t+2)是编码t+2时刻增强 层原始图像与El-P (t+2)的重建图像的差值，因此传输差错会扩散 到E2-P (t+2)中。在t+3时刻，虽然关键参考帧El-K (t+3)出现 传输差错，但关键参考帧E2-K (t+3)是由B-P (t+3)的重建图像预 测而来，没有使用前面的出错帧进行帧间预测，因此E2-K (t+3)可 以正常解码。同时后续帧间编码帧是以E2-K (t+3)重建图像为参考 进行预测，也不会出现差错扩散。因此传输差错的扩散在t+3时刻被 阻止。
(三)基本层可能出错，增强层误码率较低情况下的差错控制方法 在此传输情况下，基本层和第一增强层中使用关键参考帧，第二 增强层及以上各增强层不使用关键参考帧。
(1) 基本层编码时，首先确定待编码帧是否为关键参考帧。关键参 考帧的确定方法有多种可以每隔固定间隔插入关键参考帧， 也可以根据率失真优化模型动态选择关键参考帧。
(2) 基本层关键参考帧采用帧间编码方式进行编码，但其参考图像 只能是当前编码帧之前的I帧或者当前编码帧之前的关键参考 帧的重建图像，即以帧间预测关键参考帧编码方式进行编码。
(3) 基本层非关键参考帧采用标准的编码方式，可以编码为I帧、 P帧或者B帧。
(4) 第一增强层编码时，首先确定待编码帧是否为关键参考帧。若
基本层为I帧或者关键参考帧，则同一时刻第一增强层待编码 帧为关键参考帧。
(5) 第一增强层的关键参考帧采用帧间编码方式，若同一时刻基本 层为I帧，那么关键参考帧以此基本层的重建图像为参考，进 行视点间的预测编码，即以层间预测关键参考帧编码方式进行 编码；否则关键参考帧采用同一时刻基本层的重建图像和当前
编码帧之前的第一增强层关键参考帧的重建图像为参考，进行 视差/运动联合估计，即以联合预测关键参考帧编码方式进行 编码。
(6) 第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基
本层的重建图像和前一帧最高增强层的重建图像为参考，进行 视差/运动联合估计，即以立体视频分层编码方式进行编码。
(7) 第二增强层及以上各增强层直接编码同时刻增强层原始图像
与低一级增强层的重建图像的差值，即以立体视频分层编码方 式进行编码。
其原理如图3所示，立体视频分层编码框架可含有多个增强层， 图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固 定使用一个I帧为例。
左视点为基本层，记为B。第l帧为帧内编码，记为B-I。例如， 在图3中t时刻的帧B-I (t)。后续时刻可以根据需要定期插入I帧。 例如，在图3中t+9时刻的帧B-I (t+9)。在某些特定位置插入关键 参考帧，记为B-K，关键参考帧采用帧间编码方式进行编码，与普通
的帧间编码方式相比，不同之处在于其参考帧是前面的I帧或者是关
键参考帧的重建图像。例如，在图3中t+3时刻，关键参考帧B-K(t+3) 是以B-I (t)的重建图像为参考，进行帧间编码。其余图像都以前一 帧的重建图像为参考进行帧间编码，记为B-P。例如，在图3中t+2 时刻的帧B-P (t+2)。
右视点为增强层记为E，第一增强层记为El，第二增强层及以 上各增强层记为E2…En。第一增强层第1帧图像为关键参考帧，使 用基本层第1帧的重建图像为参考，进行视点间预测编码，记为E1-K。 例如，在图3中t时刻的帧El-K (t)。
在第一增强层的某些特定位置插入关键参考帧，记为El-K。例如， 在图3中的t、 t+3、 t+6、 t+9时刻的帧El-K (t)、 El-K (t+3)、 El-K
(t+6)、 El-K (t+9),此类关键参考帧采用帧间编码方式编码，与第 一增强层普通的帧间编码不同之处在于:若同一时刻基本层为I帧(例 如t、 t+9时刻的帧)，那么以此基本层的重建图像为参考，迸行视点 间预测，确定预测图像，编码增强层原始图像与预测图像的差值。例 如，在图3中t+9时刻，El-K (t+9)是以B-I (t+9)的重建图像为 参考进行视点间预测。其余关键参考帧以第一增强层中前一个关键参 考帧的重建图像和同一时刻基本层的重建图像为参考，进行视差/运 动联合估计，然后确定预测图像，编码增强层原始图像与预测图像的 差值。例如，在图3中t+3时刻，关键参考帧E1-K (t+3)是以B-K
(t+3)和E1-K (t)的重建图像为参考，进行视差/运动联合估计。 第一增强层的其余图像都以前一帧的最高增强层和同一时刻基
本层的重建图像为参考，进行帧间编码，记为El-P。例如，在图3 中t+2时刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建图像 为参考，进行视差/运动联合预测。
第二增强层及以上各增强层都是直接编码增强层原始图像与低 一级增强层的重建图像的差值，记为En-P。例如，图3中t+2时刻， E2-P (t+2)是编码该增强层原始图像与E1-P (t+2)的重建图像的差 值。
当基本层出现传输差错时。例如，在图3中t+2时刻基本层码流 传输出错，则B-P (t+2)不能正确解码。由于同一时刻增强层帧间预 测编码帧El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建图像为 参考联合预测而来、E2-P (t+2)是编码t+2时刻增强层原始图像与 El-P (t+2)的重建图像的差值，因此传输差错扩散到增强层的El-P (t+2)和E2-P (t+2)中。在t+3时亥U，由于关键参考帧B-K (t+3) 是以B-I (t)的重建图像预测而来、El-K (t+3)是以El-K (t)和 B-K(t+3)的重建图像作为参考联合预测而来，均没有使用前面的出 错帧进行帧间预测，因此B-K(t+3)可以正常解码，相应的El-K(t+3)、 E2-P (t+3)也可以正常解码。因此传输差错的扩散在t+3时刻被有
当增强层出现传输差错时。例如，在图3中t+7时刻第二增强层 码流传输出错，则E2-P (t+7)不能正确解码。在t+8时刻，由于帧 间预测编码帧E1陽P (t+8)是以E2-P (t+7)和B-P (t+8)的重建图 像为参考联合预测而来、E2-P (t+8)是编码t+8时刻增强层原始图
像与El-P(t+8)的重建图像的差值，因此传输差错会向后扩散到E1-P
(t+8)、 E2-P (t+8)中。在t+9时刻，由于关键参考帧E1-K (t+9) 是以B-I (t+9)的重建图像作为参考预测而来，没有使用前面的出错 帧进行帧间预测，因此El-K(t+9)可以正常解码，相应的E2-P(t+9) 也可以正常解码。传输差错的扩散在t+9时刻被有效的抑制。
(四)基本层可能出错，增强层误码率较高情况下的差错控制方法 在此传输情况下，各个编码层(基本层及各增强层)均使用关键 参考帧。
(1) 基本层编码时，首先确定待编码帧是否为关键参考帧。关键参
考帧的确定方法有多种可以每隔固定间隔插入关键参考帧， 也可以根据率失真优化模型动态选择关键参考帧。
(2) 基本层关键参考帧采用帧间编码方式进行编码，但其参考图像 只能是当前编码帧之前的I帧或者当前编码帧之前的关键参考 帧的重建图像，即以帧间预测关键参考帧编码方式进行编码。
(3) 基本层非关键参考帧采用标准的编码方式，可以编码为I帧、 P帧或者B帧。
(4) 各个增强层编码时，首先确定待编码帧是否为关键参考帧。若 基本层为I帧或者关键参考帧，则同一时刻所有增强层待编码 帧均为关键参考帧。
(5) 增强层的关键参考帧采用帧间编码方式，以同一时刻基本层的 重建图像为参考，进行视点间的预测编码，即以层间预测关键 参考帧编码方式进行编码。
(6) 第一增强层的非关键参考帧采用帧间编码方式，以同一时刻基 本层的重建图像和前一帧最高增强层的重建图像为参考，进行 视差/运动联合估计，即以立体视频分层编码方式进行编码。
(7) 第二增强层及以上各增强层的非关键参考帧直接编码同时刻 增强层原始图像与低一级增强层的重建图像的差值，即以立体 视频分层编码方式进行编码。
其原理如图4所示，立体视频分层编码框架可含有多个增强层， 图示以两个增强层、每隔2帧固定使用一个关键参考帧、每隔8帧固 定使用一个I帧为例。
左视点为基本层，记为B。第l帧为帧内编码，记为B-I。例如， 在图4中t时刻的帧B-I (t)。后续时刻可以根据需要定期插入I帧。 例如，在图4中t+9时刻的帧B-I (t+9)。在某些特定位置插入关键 参考帧，记为B-K，关键参考帧采用帧间编码方式进行编码，与普通 的帧间编码方式相比，不同之处在于其参考帧是前面的I帧或者是关 键参考帧的重建图像。例如，在图4中t+3时刻，关键参考帧B-K(t+3) 是以B-I (t)的重建图像为参考，进行帧间编码。其余图像都是以前 一帧的重建图像为参考进行帧间编码，记为B-P。例如，在图4中t+2 时刻的帧B-P (t+2)。
右视点为增强层记为E，第一增强层记为El，第二增强层及以 上各增强层记为E2 ...En。各个增强层第1帧图像均为关键参考帧， 使用基本层第1帧的重建图像为参考，进行视点间预测编码，记为 En-K。例如，在图4中t时刻的帧El-K (t)、 E2-K (t)。
在增强层的某些特定位置插入关键参考帧，同一时刻的各个增强 层关键参考帧均以同一时刻基本层的重建图像为参考，进行视点间预
测，记为En-K。例如，图4中t+3时刻的各个增强层均为关键参考 帧，分别以B-K (t+3)的重建图像为参考，进行视点间预测编码， 确定预测图像，然后编码原始图像与预测图像的差值，记为El-K (t+3)、 E2-K (t+3)。
第一增强层的非关键参考帧都采用fe—帧的最高增强层和同一 时刻基本层的重建图像为参考，进行帧间编码，记为El-P。例如， 在图4中t+2时刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重 建图像为参考，进行视差/运动联合预测。视差/运动联合估计确定预 测图像的方法有多种，可以在视差估计预测图像和运动估计预测图像 二者择优选择，也可以是二者的加权平均。
第二增强层及以上各增强层的非关键参考帧都是直接编码增强 层原始图像与低一级增强层的重建图像的差值，记为En-P。例如， 在图4中t+2时亥U， E2-P(t+2)是编码该增强层原始图像与El-P(t+2) 的重建图像的差值。
在此差错控制方法中，增强层关键帧出现的传输差错不会影响到 同一时刻其余增强层关键参考帧。只要与出错关键参考帧同一时刻的 高一级增强层关键参考帧能被解码器正确接收，增强层的关键参考帧 就能起到对差错的抑制作用，同时关键参考帧的错误也不会扩散到后 续编码帧中。若最高一级增强层传输出错，则采用帧间编码模式的后 续编码帧也会发生错误，直至下一个关键参考帧出现为止。
例如在图4中t+2时刻，基本层码流传输出错，解码器不能正确 解码B-P (t+2)帧。由于E1-P (t+2)是由E2-P (t+l)和B隱P (t+2) 的重建图像联合预测而来、E2-P (t+2)是编码t+2时刻增强层原始 图像与E1-P (t+2)的重建图像的差值，因此传输差错会扩散到E1-P
(t+2)、 E2-P (t+2)中。在t+3时刻，关键参考帧B-K (t+3)是以 B-I (t)的重建图像为参考预测而来、而E1-K (t+3)和E2-K (t+3) 是由B-K (t+3)的重建图像为参考预测而来，均没有使用前面的出 错帧进行帧间预测，因此B-K (t+3)、 El-K (t+3)、 E2-K (t+3)可 以正常解码。因此传输差错的扩散在t+3时刻被有效的抑制。
在图4中t+6时刻，最高一级增强层关键参考帧传输出错，解码 器不能正常解码E2-K (t+6)帧，。由于E1-P (t+7)是由E2-K (t+6) 和B-P (t+7)的重建图像联合预测而来、E2-P (t+7)是编码t+7时 刻增强层原始图像与E1-P (t+7)的重建图像的差值、El-P (t+8)是 由E2-P (t+7)和B-P (t+8)的重建图像联合预测而来、E2-P (t+8) 是编码t+8时刻增强层原始图像与El-P (t+8)的重建图像的差值， 因此传输差错会扩散到E1-P (t+7)、 E2-P (t+7)、 El-P (t+8)、 E2-P
(t+8)中。在t+9时亥ij，关键参考帧E1-K (t+9)和E2誦K (t+9)是 由B-I (t+9)的重建图像为参考预测而来，没有使用前面的出错帧进 行帧间预测，因此E1-K (t+9)、 E2-K (t+9)可以正常解码。传输差 错的扩散在t+9时刻被有效的抑制。
在上述四种情况下的立体视频分层编码差错控制方法中， 若传输差错引起非关键参考帧图像不能正确解码，则采用帧间编
码模式的后续编码帧也会发生错误，直至下一个关键参考帧或者I帧 出现为止。
在低误码率情况下，传输差错引起关键参考帧不能正确解码，则 采用帧间编码模式的后续编码帧也会发生错误，直至下一个I帧出现 为止。
在高误码率情况下，传输差错可能引起非最高增强层关键参考帧 不能正确解码，但只要同一时刻高一级的增强层可以正常解码，就可 以有效阻止前面非关键帧的传输差错，同时低一级关键参考帧的差错 也不会扩散到后续编码帧；若传输差错引起最高增强层关键参考帧不 能正确解码，则采用帧间编码模式的后续编码帧也会发生错误，直至 下一个关键参考帧出现为止。
本发明提出的适用于立体视频分层编码的差错控制方法，通过针 对基本层不出错且增强层有较低误码率、基本层不出错且增强层有较 高误码率、基本层可能出错且增强层有较低误码率、以及基本层可能 出错且增强层有较高误码率这四种不同情况，采用不同的关键参考帧 选择方法，可以在保证立体视频质量分级传输的基础上增强立体视频 流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频 序列中的扩散，从而提高立体视频流的传输质量。
权利要求
1、一种立体视频分层编码差错控制方法，用于立体视频分层编码框架，对于立体视频流传输过程中的四种不同情况基本层不出错增强层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出错增强层有较低误码率、以及基本层可能出错增强层有较高误码率，在立体视频分层编码过程中采用不同的差错控制策略，其特征在于1)在基本层不出错传输时基本层使用标准的编码方式编码；增强层编码时，首先根据关键参考帧选择策略对使用关键参考帧的增强层待编码帧进行关键参考帧设置，其中，(1)增强层误码率较低情况下，仅在第一增强层中使用关键参考帧；待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码；待编码帧若为非关键参考帧，使用立体视频分层编码方式编码；(2)增强层误码率较高情况下，各个增强层中均使用关键参考帧；待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码；否则，使用立体视频分层编码方式编码；2)在基本层可能出错传输时基本层编码时，首先根据关键参考帧选择策略对基本层待编码帧进行关键参考帧设置；待编码帧若为关键参考帧，使用帧间预测关键参考帧编码方式编码，否则，使用标准的编码方式编码；增强层编码时，若同一时刻的基本层为关键参考帧，则将使用关键参考帧的增强层待编码帧设置为关键参考帧，其中，(1)增强层误码率较低情况下仅在第一增强层中使用关键参考帧；待编码帧若为关键参考帧，当同一时刻基本层为I帧时，使用层间预测关键参考帧编码方式编码；当同一时刻基本层为其余帧时，使用联合预测关键参考帧编码方式编码；待编码帧若为非关键参考帧，使用立体视频分层编码方式编码；(2)在增强层误码率较高情况下各个增强层中均使用关键参考帧；待编码帧若为关键参考帧，使用层间预测关键参考帧编码方式编码，否则，使用立体视频分层编码方式编码。
2.
3、 根据权利要求1所述之立体视频分层编码差错控制方法，其 特征在于，所述关键参考帧选择策略为若是增强层，则同一时刻基 本层为I帧或者关键参考帧时，增强层帧为关键参考帧；增强层其余 关键参考帧或者基本层关键参考帧可以每隔固定间隔进行设置，也可 以根据率失真优化模型进行动态设置。
4、 根据权利要求1所述之立体视频分层编码差错控制方法，其 特征在于，所述联合预测关键参考帧编码方式，采用同一时刻基本层 的重建图像和当前编码帧之前的第一增强层关键参考帧的重建图像 为参考，进行视差/运动联合估计。
5、 根据权利要求1所述之立体视频分层编码差错控制方法，其 特征在于，所述层间预测关键参考帧编码方式，采用同一时刻基本层 的重建图像为参考进行视点间的预测编码。
6、 根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述帧间预测关键参考帧编码方式，采用当前编码帧之前 的I帧或者关键参考帧的重建图像为参考进行帧间的预测编码。
7、 根据权利要求1所述之立体视频分层编码差错控制方法，其特征在于，所述立体视频分层编码方式，若为第一增强层待编码帧， 则以同一时刻基本层的重建图像和前一帧最高增强层的重建图像为参考，进行视差/运动联合估计；若为第二增强层及以上各增强层待 编帧，则编码同一时刻增强层原始图像与低一级增强层的重建图像的 差值。
全文摘要
一种立体视频分层编码差错控制方法，用于立体视频分层编码框架，对于立体视频流传输过程中的四种不同情况基本层不出错增强层有较低误码率、基本层不出错增强层有较高误码率、基本层可能出错增强层有较低误码率、以及基本层可能出错增强层有较高误码率，在立体视频分层编码过程中采用不同的差错控制策略，以增强立体视频流在不可靠网络传输中的鲁棒性，能够有效阻止传输差错在立体视频序列中的扩散，从而有效提高立体视频流的传输质量。
文档编号H04N7/64GK101355707SQ200810044649
公开日2009年1月28日 申请日期2008年6月10日 优先权日2008年6月10日
发明者浩 姜, 蕾 张, 强 彭 申请人:西南交通大学