专利名称：立体视频的联合预测编码方法及系统的制作方法
技术领域：
本发明涉及视频编码领域，特别涉及一种立体视频的联合预测编码方法及系统。
背景技术：
随着视频技术的不断发展，立体视频以其逼真的视觉效果获得了广泛的关注。在立体视频中，视频数据由视频序列和深度图序列构成。其中，视频序列通常包含两路甚至多路视频序列。深度图序列则包含每一路视频所对应的深度图。因此，在立体视频的应用中，如何有效的压缩和传输海量的视频和深度图成为立体视频应用的关键技术瓶颈之一。为了实现对立体视频数据的高效压缩，研究人员提出了多视点视频编码方案。在该方案中，多视点视频中的一路视频作为基本视点，采用传统的视频编码方案压缩时域上的冗余。对于其余视点的视频，该编码方案引入了视间预测模式，通过时域预测和视间预测来压缩多视点视频的时域以及视间冗余，从而有效的降低了编码多视点视频所需要的码率。由于深度图可以视为多视点灰度视频序列，因此，多视点视频编码方案同样用来对深度图进行编码。在当前的主流立体视频编码方案中，编码器对多视点视频以及深度图分别采用多视点视频编码方案进行压缩，获得视频以及深度图两路码流，并将两路码流同时传输到解码端，重构多视点视频以及深度图序列。解码端根据用户需要进一步绘制虚拟视点，从而形成用户所需要的立体视频序列，并在相应的立体视频显示器上进行播放。尽管多视点视频编码能够有效的压缩多视点视频以及深度图的时域和视间冗余，然而多视点视频和深度图之间的冗余仍无法被有效地压缩。在立体视频中，深度图表征了视频序列中对应点的深度信息。在给定拍摄条件的前提下，每个编码宏块的视差信息可以通过深度值预测获得。在立体视频中，深度图可以视为多视点视频编码的边信息，从而通过深度计算视差可以代替通过视差搜索所获得视差，减少编码视差所需要的编码码率，压缩多视点视频以及深度图之间的冗余。目前基于多视点视频和深度图联合编码的立体视频编码方式有两种。一种是编码器通过根据当前待编码视频 帧对应的深度图和及其参考视频帧渲染出一幅虚拟参考帧，从而减少深度图和视差编码中存在的冗余信息。另一种是通过时域运动信息以及视间视差信息的几何约束关系得出时域运动信息和视差信息相互关系的预测方法。现有技术的缺点包括:(I)需要额外的编解码器缓存，增加了编解码器的空间复杂度(2)计算复杂度较高，增加了编解码器的时间复杂度
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为此，本发明的一个目的在于提出一种立体视频的联合预测编码方法。本发明的另一目的在于提出一种立体视频的联合预测编码系统。为达到上述目的，本发明一方面的实施例提出一种立体视频的联合预测编码方法，包括以下步骤:s1:输入立体视频并将所述立体视频分为多个编码宏块；S2:通过深度预测的方法预测当前编码宏块的深度预测视差，并根据所述深度预测视差对当前编码宏块进行深度辅助的视间预测编码；S3:通过视间匹配的方法获得视差向量，并根据所述视差向量对所述当前宏块进行传统视间预测编码；S4:通过时域运动估计的方法获得运动向量，并根据所述运动向量对所述当前编码宏块进行时域预测编码；S5:分别计算所述当前编码宏块在所述深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；以及S6:选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。根据本发明实施例的方法，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。本发明的一个实施例中，所述方法还包括:S7:判断所述所有编码宏块是否编码完成；S8:如果未完成，则对未编码宏块重复所述步骤S1-S5直至所有编码宏块均完成编码。本发明的一个实施例中，所述时域预测编码的率失真性能通过如下公式获得，
权利要求
1.一种立体视频的联合预测编码方法，其特征在于，包括以下步骤: 51:输入立体视频并将所述立体视频分为多个编码宏块； 52:通过深度预测的方法预测当前编码宏块的深度预测视差，并根据所述深度预测视差对当前编码宏块进行深度辅助的视间预测编码； 53:通过视间匹配的方法获得视差向量，并根据所述视差向量对所述当前宏块进行传统视间预测编码； S4:通过时域运动估计的方法获得运动向量，并根据所述运动向量对所述当前编码宏块进行时域预测编码； S5:分别计算所述当前编码宏块在所述深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；以及56:选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。
2.如权利要求1所述的立体视频的联合预测编码方法，其特征在于，还包括: 57:判断所述所有编码宏块是否编码完成； 58:如果未完成，则对未编码宏块重复所述步骤S1-S5直至所有编码宏块均完成编码。
3.如权利要求1所述的立体视频的联合预测编码方法，其特征在于，所述时域预测编码的率失真性能通过如下公式获得，
4.如权利要求1所述的立体视频的联合预测编码方法，其特征在于，所述传统视间预测编码的率失真性能通过如下公式获得，
5.如权利要求1所述的立体视频的联合预测编码方法，其特征在于，所述深度辅助的视间预测编码的率失真性能通过如下公式获得，
6.一种立体视频的联合预测编码系统，其特征在于，包括: 划分模块，用于输入立 体视频并将所述立体视频分为多个编码宏块； 第一预测模块，用于通过深度预测的方法预测当前编码宏块的深度预测视差，并根据所述深度预测视差对当前编码宏块进行深度辅助的视间预测编码； 第二预测模块，用于通过视间匹配的方法获得视差向量，并根据所述视差向量对所述当前宏块进行传统视间预测编码； 第三预测模块，用于通过时域运动估计的方法获得运动向量，并根据所述运动向量对所述当前编码宏块进行时域预测编码； 计算模块，用于分别计算所述当前编码宏块在所述深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；以及 选择模块，用于选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。
7.根据权利要求6所述的立体视频的联合预测编码系统，其特征在于，还包括: 判断模块，用于判断所述所有编码宏块是否编码完成； 处理模块，用于当编码未完成时，则重复使用划分模块、第一预测模块、第二预测模块、第三预测模块、计算模块和选择模块直至所有编码宏块均完成编码。
8.如权利要求6所述的立体视频的联合预测编码方法，其特征在于，所述时域预测编码的率失真性能通过如下公式获得，
9.如权利要求6所述的立体视频的联合预测编码方法，其特征在于，所述传统视间预测编码的率失真性能通过如下公式获得，
10.如权利要求6所述的立体视频的联合预测编码方法，其特征在于，所述深度辅助的视间预测编码的率失真性能通过如下公式获得，
全文摘要
本发明提出一种立体视频的联合预测编码方法及系统。其中，方法包括S1输入立体视频并将立体视频分为多个编码宏块；S2通过深度预测的方法预测当前编码宏块的深度预测视差，并对当前编码宏块进行深度辅助的视间预测编码；S3对当前宏块进行传统视间预测编码；S4当前编码宏块进行时域预测编码；S5分别计算当前编码宏块在深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；S6选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。根据本发明实施例的方法，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。
文档编号H04N15/00GK103220532SQ201310158699
公开日2013年7月24日 申请日期2013年5月2日 优先权日2013年5月2日
发明者季向阳, 汪启扉, 戴琼海, 张乃尧 申请人:清华大学