专利名称：基于视差/运动联合估计的多视点容错编码框架的制作方法
技术领域：
本发明属于视频编码和处理领域，具体涉及多视点视频压縮编码 过程中差错控制算法的研究。
背景技术：
传统单视点视频是由单个摄像机拍摄某一场景得到的视频信号， 摄像机的拍摄角度在某一时刻是固定不变的。当前各种单视点编码技 术的进步虽然提高了视频图像的质量和编码效率，但仍然没有在根本 上改变场景的平面描述形式。而多视点视频则是由摄像机阵列从不同 角度拍摄同一场景得到的一组视频信号，与单视点视频相比，多视点 视频能够获取场景的三维信息，从而更加生动地再现立体场景。可以 预见，多视点视频将在影视、医疗、远程控制、虚拟现实等方面拥有
广阔的应用前景。目前，多视点视频编码(Multiview Video Coding, MVC)已成为数字视频技术中一个活跃的研究领域。
现有的基于视差/运动联合估计的多视点编码框架，主要以研究如 何提高编码效率、同时提供可灵活访问的多视点视频流为主，如图1 所示。此编码框架结构将多个视点分为了一个基本视点和多个增强视 点。基本视点采用标准的层次B帧编码方式，如图1中的视点V0。 增强视点在关键帧(如t、 t+4、 t+8时刻)编码中引入了视点间预测， 提高了多视点的编码效率；非关键帧则使用标准的层次B帧编码方式，如图1中的视点VI、 V2。
虽然此编码结构较好的利用了视点内和视点间的信息冗余，在多 视点编码效率和视点的任意访问间取的了平衡。但是关键帧编码时的 视点间预测方式降低了多视点视频流的传输鲁棒性，在有损的网络传 输环境中， 一旦关键帧出现传输差错(尤其是基本视点的关键帧)， 差错会通过视点间预测方式扩散到各个视点中，而从影响整个多视点 图像质量。
鉴于现有技术的以上缺点，本发明的目的是提出一种基于视差/ 运动联合估计的多视点容错编码框架，使之克服现有技术的以上缺 点，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环 境下的视频传输。本发明的目的是通过以下的手段实现的。
基于视差/运动联合估计的多视点容错编码框架，对一个以上视 点信息进行视频流传输编码，根据视点的重要程度选择其中一个视点 编码为基本视点，其余视点编码为增强视点；各个视点以图像组为单 位进行编码，每个图像组的最后一帧为关键帧，其余帧为非关键帧； 其特征在于，编码框架中引入基于分布式视频编码的差错控制帧，具 体编码方法如下
(差错控制帧，记为E帧；帧内编码帧，记为I帧；预测编码帧， 记为P帧)
对于基本视点编码基本视点编码
1) 基本视点视频序列第1帧图像编码为I帧；
2) 基本视点的关键帧可以编码为I帧、P帧或者E帧;首先判断当前关键帧是否编码为I帧,若非I帧，则判断当前关键帧是否编
码为E帧，若既不是I帧也不是E帧，则编码为P帧;其中，I帧的 确定依据为帧内编码周期，E帧的确定有多种方法，可以每隔固 定间隔插入差错控制帧，也可以根据率失真优化模型动态选择差 错控制帧；
3) 基本视点的关键帧若为E帧，则采用基于分布式视频编码理 论的帧内编码方式,其边信息是以前一关键帧重建图像为参考进 行运动补偿获取的帧间预测图像；
4) 基本视点的关键帧若为P帧，则以前一个关键参考帧的重建 图像为参考，进行基于运动估计的帧间预测编码；
5) 基本视点视频序列中的非关键帧图像按照标准层次B帧编码 方法编码；
对于增强视点编码
1) 增强视点视频序列第一帧图像编码为P帧，使用基本视点同 时刻重建图像为参考，进行基于视差估计的视点间预测编码；
2) 增强视点关键帧的编码方式根据同时刻基本视点关键帧的编 码方式来确定，若基本视点关键帧编码为I帧或者P帧，则增强 视点关键帧编码为P帧；如果基本视点关键帧编码为E帧，则增 强视点关键帧也编码为E帧；
3) 增强视点的关键帧若为E帧，则采用基于分布式视频编码理 论的帧内编码方式编码；其边信息是以基本视点同时刻重建图像 为参考进行视差补偿获取的视点间预测图像4)增强视点的非关键帧图像按照标准层次B帧编码方式编码。 所述具体的分布式视频编码方式有多种方法，可以采用基于SW 理论的无损编码，也可以采用基于WZ理论的有损编码。
采用本发明基于视差/运动联合估计的多视点容错编码框架，通 过在基于视点合成的多视点视频编码框架中引入基于分布式视频编 码理论的差错控制帧，比标准的帧内编码具有更好的编码效率；同时 抗差错性能强，即使边信息(与标准视频编码中的参考信息类似)出 现传输差错，它仍然能够正确解码，从而增强了多视点视频流的传输 鲁棒性，充分利用分布式视频编码的传输鲁棒性特性，减小视点间合 成预测引起的视点间差错扩散对多视点视频图像质量的影响，增强多 视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频 传输。
如下
图1是现有技术基于视差/运动联合估计的多视点编码框架图。 图2是本发明基于视差/运动联合估计的多视点容错编码框架图。 图3是本发明差错控制帧编码示意图。 图4是本发明差错控制帧解码示意图。
具体实施例方式
下面结合附图和具体的实施方式对本发明作进一步的详细说明。 图1所示是现有的一种基于视差/运动联合估计的多视点编码框 架，其中，基本视点采用标准的层次B帧编码方式编码；增强视点 在关键帧编码中引入了视点间预测编码方式，例如t时刻视点Vl的关键帧编码为P帧，记为Vl-P(t)，是以基本视点同时刻重建图像V0-I(t)
为参考帧，进行基于视差估计的视点间预测编码。增强视点的非关键
帧使用标准的层次B帧编码方式编码。
这种编码框架，通过在关键帧中使用视点间预测编码，提高了多 视点的编码效率，同时可以将增强视点内的差错扩散控制在一个GOP 单元中。但另一方面，由于增强视点的关键帧仅使用视点间预测，如 果某一关键帧出现传输差错，差错会扩散到以它为参考的后续增强视 点编码帧中，从而降低多视点图像质量。例如t时刻，基本视点V0-I(t) 传输出错，那么差错会扩散到以它为参考帧编码的V0-P(t+4)中；以 V0-P(t+4)为参考帧编码的Vl-P(t+4)和V2-P(t+4)中；同时差错还会扩 散到V0-V2三个视点t+l到t+3时刻编码的所有非关键帧中，使得t+l 到t+4时刻所有视频图像质量降低。同理差错会继续扩散到后续t+5 到t+7编码帧，直到t+8时刻基本视点关键帧编码为I帧，差错扩散 才会停止。
图2是本发明提出的基于视差/运动联合估计的多视点容错编码 框架，它在保持多视点编码效率和视点随机切换性能的前提下，在关 键参考帧的编码方式中引入了基于分布式视频编码理论的差错控制 帧编码方式，提供一种传输鲁棒性强的多视点视频流。
此编码框架，在各个视点关键帧的编码方法中增加了基于分布式 视频编码理论的差错控制帧编码方法。差错控制帧借助分布式视频编 码理论自身的抗传输差错性能，能有效阻止传输差错在视点内和视点 间的扩散。例如t+4时刻，基本视点的关键帧编码为差错控制帧，记为V0-E(t+4)。 V0-E(t+4)采用基于分布式视频编码技术编码，其解码 边信息是以前一关键帧重建图像为参考进行运动补偿获取的帧间预 测图像，即以VO-I(t)的重建图像为参考进行运动补偿获取V0-E(t+4) 的解码边信息。根据分布式视频编码的抗差错性能，即使VO-I(t)出现 传输差错，V0-E(t+4)仍能正确解码。同理，Vl-E(t+4)和V2-E(t+4) 也能正确解码，从而避免了 VI和V2视点t+l到t+3时刻所有非关键 帧受到传输差错的影响
图3是本发明提出的基于视差/运动联合估计的多视点容错编码 框架中差错控制帧的编码示意图。差错控制帧采用基于分布式视频编 码理论的帧内编码方式编码，包括两个步骤首先，由差错控制帧原 始图像和参考图像进行运动/视差补偿得到的帧间预测图像，将此帧 间预测图像做为差错控制帧的边信息；然后，结合边信息和传输信道 参数对差错控制帧原始图像采用分布式视频编码理论编码，得到编码 后的差错控制帧视频流。
图4是本发明提出的基于视差/运动联合估计的多视点容错编码 框架中差错控制帧的解码示意图，包括两个步骤首先，由差错控制 帧视频流中的运动/视差向量和参考图像进行运动/视差补偿得到的帧 间预测图像，将此帧间预测图像做为差错控制帧的边信息；然后，结 合边信息对差错控制帧视频流采用分布式视频编码理论解码，得到解 码后的差错控制帧图像。根据分布式视频编码的传输鲁棒性特征，即 使参考图像存在传输差错，差错控制帧仍能被正确解码。实施例
采用图2所示基于视差/运动联合估计的多视点容错编码框架， 编码框架可以适用与多个视点，现以3个视点为例，记为V0-V2。 3 个视点分为一个基本视点(VO)， 2个增强视点(V1、 V2)。本实施例假 定，GOP大小为4，每个关键帧均使用差错控制帧方式编码、每隔8 帧固定使用一个I帧。 假定在t时刻为第l帧
1) 基本视点第1帧图像使用帧内编码方式编码，记为V0-I(t);
2) 增强视点VI第1帧采用视点间预测编码，即以V0-I(t)的重建图 像为参考，进行基于视差估计的视点间预测编码，记为V1-P(t);
3) 增强视点V2第1帧编码方式与Vl-P(t)编码方式类似，但它使用 Vl-P(t)的重建图像为参考，进行视点间预测编码，记为V2-P(t)。 t+4时刻
1) 基本视点待编码帧是关键帧，使用基于分布式视频编码的差错控 制帧编码方式编码，记为V0-E(t+4)。其解码边信息是以V0-I(t) 的重建图像为参考进行运动补偿获取的帧间预测图像；
2) 增强视点VI待编码帧是关键帧，使用基于分布式视频编码的差 错控制帧编码方式编码，记为Vl-E(t+4)。其解码边信息是以 V0-E(t+4)的重建图像为参考进行视差补偿获取的视点间预测图 像；
3) 增强视点V2待编码帧编码方式与Vl-E(t+4)类似，其解码边信息 是以Vl-E(t+4)的重建图像为参考进行视差补偿获取的视点间预测图像，记为V2-E(t十4)。 t+2时刻
1) 基本视点待编码帧是非关键帧，使用层次B帧的编码方式编码， 即以V0-I(t)和V0-E(t+4)的重建图像为参考帧，使用双向帧间预测 技术编码，记为V0-B(t+2);
2) 增强视点VI待编码帧是非关键帧，使用层次B帧的编码方式编 码，即以Vl-P(t)和Vl-E(t+4)的重建图像为参考帧，使用双向帧 间预测技术编码，记为Vl-B(t+2);
3) 增强视点V2待编码帧编码方式与Vl-B(t+2)类似，以V2-P(t)和 V2-E(t+4)的重建图像为参考帧，使用双向帧间预测技术编码，记 为V2-B(t+2)。
t+l时刻
1) 基本视点待编码帧是非关键帧，使用层次B帧的编码方式编码， 即以VO-I(t)和V0-B(t+2)的重建图像为参考帧，使用双向帧间预测 技术编码，记为V0-B(t+1);
2) 增强视点VI待编码帧是非关键帧，使用层次B帧的编码方式编 码，即以Vl-P(t)和Vl-B(t+2)的重建图像为参考帧，使用双向帧 间预测技术编码，记为Vl-B(t+1);
3) 增强视点V2待编码帧编码方式与Vl-B(t+1)类似，以V2-P(t)和 V2-B(t+2)的重建图像为参考帧，使用双向帧间预测技术编码，记 为V2-B(t+1)。
t+3时刻1) 基本视点待编码帧是非关键帧，使用层次B帧的编码方式编码， 即以V0-B(t+2)和V0-E(t+4)的重建图像为参考帧，使用双向帧间 预测技术编码，记为V0-B(t+3);
2) 增强视点VI待编码帧是非关键帧，使用层次B帧的编码方式编 码，即以Vl-B(t+2)和Vl-E(t+4)的重建图像为参考帧，使用双向 帧间预测技术编码，记为Vl-B(t+3);
3) 增强视点V2待编码帧编码方式与Vl-B(t+3)类似，以V2-B(t+2) 和V2-E(t+4)的重建图像为参考帧，使用双向帧间预测技术编码， 记为V2-B(t+3)。
t+8时刻与t时刻编码方式相同。 t+6时刻与t+2时刻编码方式相同。 t+5时刻与t+l时刻编码方式相同。 t+7时刻与t+3时刻编码方式相同。
权利要求
1、基于视差/运动联合估计的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，根据视点的重要程度选择其中一个视点编码为基本视点，其余视点编码为增强视点；各个视点以图像组为单位进行编码，每个图像组的最后一帧为关键帧，其余帧为非关键帧；其特征在于，编码框架中引入基于分布式视频编码的差错控制帧，具体编码方法如下具体编码方法如下对于基本视点编码基本视点编码1)基本视点视频序列第1帧图像编码为I帧；2)基本视点的关键帧可以编码为I帧、P帧或者E帧；首先判断当前关键帧是否编码为I帧，若非I帧，则判断当前关键帧是否编码为E帧，若既不是I帧也不是E帧，则编码为P帧；其中，I帧的确定依据为帧内编码周期，E帧的确定有多种方法，可以每隔固定间隔插入差错控制帧，也可以根据率失真优化模型动态选择差错控制帧；3)基本视点的关键帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式，其边信息是以前一关键帧重建图像为参考进行运动补偿获取的帧间预测图像；4)基本视点的关键帧若为P帧，则以前一个关键参考帧的重建图像为参考，进行基于运动估计的帧间预测编码；5)基本视点视频序列中的非关键帧图像按照标准层次B帧编码方法编码；对于增强视点编码1)增强视点视频序列第一帧图像编码为P帧，使用基本视点同时刻重建图像为参考，进行基于视差估计的视点间预测编码；2)增强视点关键帧的编码方式根据同时刻基本视点关键帧的编码方式来确定，若基本视点关键帧编码为I帧或者P帧，则增强视点关键帧编码为P帧；如果基本视点关键帧编码为E帧，则增强视点关键帧也编码为E帧；3)增强视点的关键帧若为E帧，则采用基于分布式视频编码理论的帧内编码方式编码；其边信息是以基本视点同时刻重建图像为参考进行视差补偿获取的视点间预测图像；4)增强视点的非关键帧图像按照标准层次B帧编码方式编码。
2、根据权利要求1所述之基于视差/运动联合估计的多视点容错编码 框架，其特征在于，待编码帧若为E帧，采用基于分布式视频编码的 帧内编码方式,即采用以下两步，1) 基本视点差错控制帧，由差错控制帧原始图像和参考图像进行 运动补偿得到帧间预测图像，将此帧间预测图像做为差错控制 帧的边信息；增强视点差错控制帧，由差错控制帧原始图像和 参考图像进行视差补偿得到帧间预测图像，将此帧间预测图像 做为差错控制帧的边信息；2) 结合边信息和传输信道参数对差错控制帧原始图像采用分布 式视频编码理论编码，得到编码后的差错控制帧视频流。
3、根据权利要求1所述之基于视差/运动联合估计的多视点容错编码 框架，其特征在于，所述分布式视频编码方式在具体实施时有多种方 法，包括采用基于SW理论的无损编码和采用基于WZ理论的有损编 码。
全文摘要
本发明公开了一种基于视差/运动联合估计的多视点容错编码框架，对一个以上视点信息进行视频流传输编码，各个视点以图像组为单位进行编码，每个图像组的最后一帧为关键帧，其余帧为非关键帧。编码框架中引入基于分布式视频编码的差错控制帧。本发明方法比标准的帧内编码具有更好的编码效率，抗差错性能强，即使边信息出现传输差错，仍然能够正确解码，从而增强了多视点视频流的传输鲁棒性。
文档编号H04N7/64GK101568038SQ200910059508
公开日2009年10月28日 申请日期2009年6月4日 优先权日2009年6月4日
发明者旭 夏, 蕾 张, 强 彭, 策 朱 申请人:西南交通大学