专利名称：一种非对称立体视频编码方法
技术领域：
本发明涉及一种视频编码方法，尤其是涉及一种非对称立体视频编码方法。
背景技术：
随着立体显示技术的不断提高，3DTV(Three Dimensional Television,立体电视 /三维电视)越来越受到人们的欢迎，其产品也日益丰富，其应用领域也在不断延伸。手 机等移动终端是人们目前必不可少的通讯工具，同时也是多媒体技术的重要载体之一，将 3DTV技术移植到移动终端领域的市场前景广阔。在欧洲，mobile-3DTV项目已经开始实施， 其目的是为建立一套完整的基于移动终端的立体视频系统，包括立体视频采集，有效编码， 并通过DVB-H(Digital Video Broadcasting-Handheld,手持数字视频广播)无线通讯协议 进行传输，最终解码并显示到移动终端如手机上。然而移动终端与普通PC不同，通常其网 络带宽有限，同时处理器解码能力较低，显示屏幕较小，在实际开发应用时需要考虑这些限 制。 H. 264作为目前国际上最新的视频编码标准，具有较高的编码效率且网络鲁棒性 较好。考虑到移动终端的无线网络传输，化264是目前编码器中的一种较好的选择。传统 的基于H. 264的立体视频编码包括simulcast编码和联合视频编码，前者主要利用了时间 相关性，而后者同时考虑了时间和视点间的相关性。根据人类视觉心理学研究，立体视频中 的一个通道经过低通滤波后，其最终立体感知效果取决于质量较好的那个视点。为了消除 人类立体视觉的冗余信息并进一步节省无线网络的码率，人们提出了非对称立体视频编码 方法。在非对称立体视频编码方法中，立体视频的一个视点(通常是左视点，但也可为右视 点)采用原分辨率进行编码，而另一个视点(通常是右视点，但也可为左视点)则先进行下 采样，然后再进行编码以节省码率。 在非对称立体视频编码方法中，其右视点可以采用如图1所示的水平方向1/2分 辨率下采样或垂直方向1/2分辨率下采样，或者采用1/4分辨率下采样(即水平和垂直方 向同时进行1/2分辨率下采样)，以降低其分辨率。但由于立体视频图像的水平方向信号相 关性和垂直方向信号相关性强度可能有所不同，且相关性强弱与图像内容有关，导致在采 用1/2分辨率下采样的非对称立体视频编码中，采用水平方向和垂直方向的下采样会产生 不同的率失真性能。
发明内容
本发明所要解决的技术问题是提供一种在保证不增加编码复杂度的前提下，能够 获得较好的率失真性能的非对称立体视频编码方法。 本发明解决上述技术问题所采用的技术方案为一种非对称立体视频编码方法， 该编码方法的具体过程为对立体视频以图像组为单位进行处理，对于当前正在处理的图 像组中的左视点视频，采用仅有时域预测的基于H. 264的单视点视频编码方法进行编码； 对于当前正在处理的图像组中的右视点视频，首先对右视点视频的各个原图像进行1/2分辨率下采样得到对应的1/2分辨率下采样图像，然后对右视点视频的各个1/2分辨率下采 样图像采用既有时域预测又有视点间预测的视频编码方法进行编码，在对右视点视频的各 个1/2分辨率下采样图像进行编码的过程中，定义当前正在编码的1/2分辨率下采样图像 为当前编码帧，当前编码帧的时域预测参考帧为右视点视频中已完成编码的1/2分辨率下 采样图像的解码重建帧，当前编码帧的视点间预测参考帧为对左视点视频中与当前编码帧 同一时刻的解码重建帧进行1/2分辨率下采样后得到的1/2分辨率下采样图像；其特征在 于所述的1/2分辨率下采样的采样方向通过下述过程选择得到1)、设置一个水平方向计 数器CcnmtH和一个垂直方向计数器Co皿tv， CcnmtH和Ccnmtv的初始值均为0 ;2)、逐一比 较当前正在处理的图像组的左视点视频的I帧图像中各个既能进行水平预测又能进行垂 直预测的宏块的水平预测残差和垂直预测残差的大小定义I帧图像中当前正在处理的宏 块为当前宏块，判断当前宏块是否既能进行水平预测又能进行垂直预测，如果是，则比较当 前宏块采用水平预测模式预测的水平预测残差与采用垂直预测模式预测的垂直预测残差 的大小，如果水平预测残差小于垂直预测残差，则水平方向计数器CoimtH加1，如果水平预 测残差大于垂直预测残差，则垂直方向计数器Ccnmtv加1 ，如果水平预测残差等于垂直预测 残差，则不修改水平方向计数器CountH和垂直方向计数器Countv的值，或者水平方向计数 器Coun^和垂直方向计数器Countv均加1 ;否则，将下一个宏块作为当前宏块，重复上述过 程，直至完成对左视点视频的I帧图像中所有既能进行水平预测又能进行垂直预测的宏块 的水平预测残差和垂直预测残差的比较；3)、判断CoimtH是否大于Coimtv，如果是，则对右 视点视频的各个原图像进行1/2分辨率下采样与对左视点视频中与当前编码帧同一时刻 的解码重建帧进行1/2分辨率下采样的采样方向均采用水平方向，否则，对右视点视频的 各个原图像进行1/2分辨率下采样与对左视点视频中与当前编码帧同一时刻的解码重建 帧进行1/2分辨率下采样的采样方向均采用垂直方向。 与现有技术相比，本发明的优点在于对立体视频的图像组中的左视点视频采用只 有时域预测的基于H. 264的单视点视频编码方法进行编码，而对右视点视频先进行1/2分 辨率下采样得到1/2分辨率下采样图像，然后对各个1/2分辨率下采样图像采用既有时域 预测又有视点间预测的视频编码方法进行编码，在编码过程中通过将右视点视频中已完成 编码的1/2分辨率下采样图像的解码重建帧作为当前编码帧的时域预测参考帧，将左视点 视频中与当前编码帧同一时刻已完成编码的左视点原图像的解码重建帧的1/2分辨率下 采样图像作为当前编码帧的视点间预测参考帧，且在对右视点视频的各个原图像进行1/2 分辨率下采样与对左视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下 采样的过程中，采样方向是根据左视点视频中的I帧图像中的各个既能进行水平预测又能 进行垂直预测的宏块采用水平预测模式预测的残差与采用垂直预测模式预测的残差的大 小即I帧中水平方向和垂直方向的信号相关性强弱自适应选择的，这样能够获得较好的率 失真性能，此外由于残差信息在编码时可方便地获得，无需额外计算，不会导致编码复杂度 的增加。
图1为水平方向和垂直方向1/2分辨率下采样方式的示意图；
图2a为左视点视频IPPP编码预测结构示意 图2b为左视点视频IBBP编码预测结构示意图； 图3a为左视点视频采用图2a所示的预测结构的完整的非对称立体视频编码预测 结构示意图； 图3b为左视点视频采用图2b所示的预测结构的完整的非对称立体视频编码预测 结构示意图； 图4为宏块水平预测模式和垂直预测模式示意图； 图5为本发明具体实施例中所采用的非对称立体视频编码预测结构示意图； 图6a为"Akko&Kayo "
频编码率失真性能的比较；
图6b为"Alt Moabit"
频编码率失真性能的比较；
图7a为"Akko&Kayo ":
图7b为"Akko&Kayo ":
图8a为"Alt Moabit，
图8b为"Alt Moabit'
l试序列水平采样方向和垂直采样方向下的非对称立体视
J试序列水平采样方向和垂直采样方向下的非对称立体视
J试序列的左视点视频的I帧图像的A count结果； J试序列的右视点视频的APSNR结果； 则试序列的左视点视频的I帧图像的A count结果； 则试序列的右视点视频的A PSNR结果。
具体实施例方式
以下结合附图实施例对本发明作进一步详细描述。 立体视频由左视点视频和右视点视频组成，立体视频的编码通常以图像组(GOP， Group Of Picture)为单位，每个图像组包括同时间段内的左右2个视点的视频。现有的非 对称立体视频编码方法对左视点视频和右视点视频进行编码时，没有考虑图像水平方向和 垂直方向信号相关性强弱的不同，采取了固定方向的下采样方式，因而不能获得较好的率 失真性能。针对这一问题，本发明提出了一种非对称立体视频编码方法，该编码方法的具体 过程如下 对立体视频以一个图像组为单位进行处理，对于当前正在处理的图像组中的左视 点视频，采用现有的只有时域预测的基于H. 264的单视点视频编码方法进行编码，例如采 用如图2a所示的IPPP预测结构或如图2b所示的IBBP预测结构，当然除图2a和图2b所 示的左视点预测结构之外，也可以采用其它的时域预测结构。对于当前正在处理的图像组 中的右视点视频，首先对右视点视频的各个原图像进行1/2分辨率下采样得到各个原图像 的1/2分辨率下采样图像，然后对右视点视频的各个1/2分辨率下采样图像采用既有时域 预测又有视点间预测的视频编码方法进行编码，在对右视点视频的各个1/2分辨率下采样 图像进行编码的过程中，定义当前正在编码的1/2分辨率下采样图像为当前编码帧，当前 编码帧的时域预测参考帧采用右视点视频中已完成编码的1/2分辨率下采样图像的解码 重建帧，当前编码帧的视点间预测参考帧采用对左视点视频中与当前编码帧同一时刻的解 码重建帧进行1/2分辨率下采样后得到的1/2分辨率下采样图像。图3a给出了左视点视 频采用图2a所示的预测结构的完整的非对称立体视频编码预测结构，图3b则给出了左视 点视频采用图2b所示的预测结构的完整的非对称立体视频编码预测结构。在此，1/2分辨 率下采样可以是水平方向1/2分辨率下采样，也可以是垂直方向1/2分辨率下采样，但必须 注意的是在同一图像组中对左视点视频中的解码重建帧进行1/2分辨率下采样与对右视点视频中的各个原图像进行1/2分辨率下采样的采样方向必须相同，即若对左视点视频中 的解码重建帧进行水平方向1/2分辨率下采样，则对右视点视频中的原图像也需进行水平 方向1/2分辨率下采样。 本发明的特征在于为在保证不增加编码复杂度的前提下，获取更好的率失真性 能，就对右视点视频的各个原图像进行1/2分辨率下采样与对左视点视频中与当前编码帧 同一时刻的解码重建帧进行1/2分辨率下采样的采样方向选择提出了一种采样方向选择 方法，其选择过程为1)、设置一个水平方向计数器Co皿^和一个垂直方向计数器Coimtv， CountH和Countv的初始值均为0 ;2)、逐一比较当前正在处理的图像组的左视点视频的I 帧图像中各个既能进行水平预测又能进行垂直预测的宏块的水平预测残差和垂直预测残 差的大小定义I帧图像中当前正在处理的宏块为当前宏块，判断当前宏块是否既能进行 水平预测又能进行垂直预测，如果是，则比较当前宏块采用水平预测模式预测的水平预测 残差与采用垂直预测模式预测的垂直预测残差的大小，如果水平预测残差小于垂直预测残 差，则水平方向计数器Coun^加l，如果水平预测残差大于垂直预测残差，则垂直方向计数 器Countv加1，如果水平预测残差等于垂直预测残差，则不修改水平方向计数器CountH和 垂直方向计数器Countv的值，或者水平方向计数器CountH和垂直方向计数器Countv均加 1 ;否则，将下一个宏块作为当前宏块，重复上述过程，直至完成对左视点视频的I帧图像中 所有既能进行水平预测又能进行垂直预测的宏块的水平预测残差和垂直预测残差的比较； 3)、判断CoimtH是否大于Coimtv，如果是，则对右视点视频的各个原图像进行1/2分辨率下 采样与对左视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下采样的采 样方向均采用水平方向，否则，对右视点视频的各个原图像进行l/2分辨率下采样与对左 视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下采样的采样方向均采 用垂直方向，实际上如果CountH和Countv相等，则采样方向既可采用水平方向也可采用垂 直方向，不过Coun^和Countv相等的概率微乎其微。这里所述的既能进行水平预测也能进 行垂直预测的宏块是指该宏块的左相邻像素和上相邻像素同时存在，即图4所示的A、B、C、 D、 I、 J、 K、 L像素同时存在，其中，A、 B、 C和D像素为宏块的上相邻像素，I、 J、 K和L像素为 宏块的左相邻像素。 为验证本发明的非对称立体视频编码方法的有效性，在此采用如图5所示的非对 称立体视频编码预测结构对"Akko&Kayo"和"Alt Moabit"立体视频测试序列进行编码实 验。"Akko&Kayo"立体视频测试序列的分辨率为640X480，视点间距为50mm ;"AltMoabit" 立体视频测试序列的分辨率为1024X 768，视点间距为65mm。实验共编码6个图像组G0P， 每个图像组G0P长度设为10帧，量化参数QP分别为22、27、32、37。 这里，左视点视频采用原分辨率编码，右视点视频经过{2，0， -4， -3， 5， 19,26， 19， 5，-3，-4， 0， 2}/64抽头的滤波器进行分辨率下采样后编码。左视点视频只采用时间参考帧， 右视点视频既有时间参考帧，也存在视点间参考帧。因为左右视点视频的分辨率不同，在进 行视点间参考预测时，需要对左视点重建图像进行分辨率下采样，其下采样方式与右视点 视频下采样方法相同。右视点解码重建并通过上采样恢复原分辨率所采用的上采样抽头滤 波器系数为{1， _5，20，20，-5，l}/32。 图6a给出了 "Akko&Kayo"测试序列分别采用水平方向下采样和垂直方向下采样 进行非对称立体视频编码时率失真性能的比较，图6b则分别给出了 "Alt Moabit"测试序列分别采用水平方向下采样和垂直方向下采样进行非对称立体视频编码时率失真性能的 比较，其量化参数QP分别为22、27、32、37。由于水平方向下采样和垂直方向下采样方式下 的左视点视频编码率失真性能完全一致，所以这里只比较右视点视频编码性能。图6a和图 6b中，hor—sample代表采用水平方向下采样的非对称立体视频编码方法所得到的率失真 曲线，ver—sample则代表采用垂直方向下采样的非对称立体视频编码方法所得到的率失真 曲线，纵坐标的PSNR代表右视点重建的原分辨率图像的峰值信噪比PSNR，横坐标则为右视 点编码码率。从图6a和图6b可以看出，不同的下采样方向对最终的非对称立体视频编码 率失真性能影响很大，在高码率端，同一序列不同下采样方向的PSNR差值较大，而随着量 化参数QP的增加，不同下采样方向的非对称立体视频编码方法的率失真性能逐步接近，即 在低码率端，同一序列不同下采样方向的PSNR差值较小。由此可见，正确的下采样方向的 选择有助于提高非对称立体视频编码的率失真性能。 图7a给出了 "Akko&Kayo"测试序列A count的统计结果，图8a给出了 "Alt Moab i t"测试序列A count的统计结果，这里A count = CountH-Countv 。图7b给出了 "Akko&Kayo"测试序列分别采用水平方向下采样和垂直方向下采样进行非对称立体视频编 码时各QP参数下的PNSR(Peak Singal Noise Ratio，峰值信噪比)的差值A PSNR，图8b则 给出了 "Alt Moabit"测试序列分别采用水平方向下采样和垂直方向下采样进行非对称立 体视频编码时各QP参数下的PNSR的差值A PSNR，这里A PSNR = PSNRH_PSNRV，其中PSNRh是 整个测试序列全部采用水平方向下采样进行非对称立体视频编码后解码重建图像的PSNR 的平均值，PSNRV则是整个测试序列全部采用垂直方向下采样进行非对称立体视频编码后 解码重建图像的PSNR的平均值。由图7a可知，"Akko&Kayo"测试序列各帧的A count均小 于0，即CoimtH < Co皿tv，表明该立体视频测试序列垂直方向的信号相关性相对更强，因而 采用垂直方向下采样的编码方式其解码重建图像的PSNR应该更高，而图7b中"Akko&Kayo" 测试序列对应各帧的△ PSNR也均小于0，表明PSNRH < PSNRV，恰恰说明了这一点；图8a和 图8b给出了相似的结果，对于"Alt Moabit"测试序列，图8a中显示"Alt Moabit"测试序 列各帧的Acount均大于0，而图8b则表明"Alt Moabit"测试序列对应各帧的A PSNR也 均大于O，表明"Alt Moabit"测试序列采用水平方向下采样能得到相对更好的编码效果。 由此可见，本发明根据左视点视频中的I帧图像中的各个宏块采用水平预测模式预测的残 差与采用垂直预测模式预测的残差的大小即I帧中水平方向和垂直方向的信号相关性强 弱自适应选择下采样方向是行之有效的，这样能够获得较好的率失真性能，而且由于残差 信息在编码时可方便地获得，无需额外计算，这一做法并不会导致编码复杂度的增加。
权利要求
一种非对称立体视频编码方法，该编码方法的具体过程为对立体视频以图像组为单位进行处理，对于当前正在处理的图像组中的左视点视频，采用仅有时域预测的基于H.264的单视点视频编码方法进行编码；对于当前正在处理的图像组中的右视点视频，首先对右视点视频的各个原图像进行1/2分辨率下采样得到对应的1/2分辨率下采样图像，然后对右视点视频的各个1/2分辨率下采样图像采用既有时域预测又有视点间预测的视频编码方法进行编码，在对右视点视频的各个1/2分辨率下采样图像进行编码的过程中，定义当前正在编码的1/2分辨率下采样图像为当前编码帧，当前编码帧的时域预测参考帧为右视点视频中已完成编码的1/2分辨率下采样图像的解码重建帧，当前编码帧的视点间预测参考帧为对左视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下采样后得到的1/2分辨率下采样图像；其特征在于所述的1/2分辨率下采样的采样方向通过下述过程选择得到1)、设置一个水平方向计数器CountH和一个垂直方向计数器CountV，CountH和CountV的初始值均为0；2)、逐一比较当前正在处理的图像组的左视点视频的I帧图像中各个既能进行水平预测又能进行垂直预测的宏块的水平预测残差和垂直预测残差的大小定义I帧图像中当前正在处理的宏块为当前宏块，判断当前宏块是否既能进行水平预测又能进行垂直预测，如果是，则比较当前宏块采用水平预测模式预测的水平预测残差与采用垂直预测模式预测的垂直预测残差的大小，如果水平预测残差小于垂直预测残差，则水平方向计数器CountH加1，如果水平预测残差大于垂直预测残差，则垂直方向计数器CountV加1，如果水平预测残差等于垂直预测残差，则不修改水平方向计数器CountH和垂直方向计数器CountV的值，或者水平方向计数器CountH和垂直方向计数器CountV均加1；否则，将下一个宏块作为当前宏块，重复上述过程，直至完成对左视点视频的I帧图像中所有既能进行水平预测又能进行垂直预测的宏块的水平预测残差和垂直预测残差的比较；3)、判断CountH是否大于CountV，如果是，则对右视点视频的各个原图像进行1/2分辨率下采样与对左视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下采样的采样方向均采用水平方向，否则，对右视点视频的各个原图像进行1/2分辨率下采样与对左视点视频中与当前编码帧同一时刻的解码重建帧进行1/2分辨率下采样的采样方向均采用垂直方向。
全文摘要
本发明公开了一种非对称立体视频编码方法，该编码方法在对右视点视频的各个1/2分辨率下采样图像采用具有时域预测和视点间预测的视频编码方法进行编码的过程中，通过将右视点视频中已完成编码的1/2分辨率下采样图像的解码重建帧作为时域预测参考帧，将左视点视频中同一时刻的解码重建帧的1/2分辨率下采样图像作为视点间预测参考帧，且在进行1/2分辨率下采样过程中，采样方向是根据左视点视频中I帧图像中的各个既能进行水平预测也能进行垂直预测的宏块采用水平预测模式预测的残差与采用垂直预测模式预测的残差的大小选择的，这样能够获得较好的率失真性能，此外由于残差信息在编码时可方便地获得，无需额外计算，不会导致编码复杂度的增加。
文档编号H04N13/00GK101729892SQ20091015433
公开日2010年6月9日 申请日期2009年11月27日 优先权日2009年11月27日
发明者杨海龙, 蒋刚毅, 郁梅 申请人:宁波大学