专利名称：一种基于分布式信源编码的多视点视频压缩编解码方法
技术领域：
本发明属于计算机多媒体技术领域，特别涉及多视点视频编码设计技术。
背景技术：
随着网络技术、通信技术和信号处理技术的飞速发展，人们对获取的多媒体数据提出了更高的要求，多媒体应用也向着网络化、交互化和真实感的方向发展，多视点视频(Multi-View Video)就是在此背景下提出的一种新型的具有立体感和交互操作功能的视频，它通过多个视点的视频数据使用户可以自由地选择观看视频的角度，提供场景漫游的交互能力。多视点视频信号是由一组平行、会聚或任意角度的相机阵列拍摄得到的视频信号，能提供拍摄场景不同角度的视频信息，利用其中的一个或多个视点信息可以合成任意视点的信息，达到自由切换任意视点的目的。多视点视频的数据量随着相机数目的增加而成倍的增加，要实现海量数据的有效压缩并与用户保持实时的交互操作，对视频编码技术提出了更高的要求，目前还没有高效的解决方案，如何设计有效的多视点视频编码方案已经成为学术界和工业界的研究热点。
MPEG组织正在征集多视点视频编码方案，作为多视点视频编码性能的评价参考，Simulcast视频编码结构是在H.264/AVC视频编码标准的基础上实现多视点视频编码框架[ISO/IEC JTC1/SC29/WG11.Call for Evidence on Multi-ViewVideo Coding[C].DOC.N6720，Palma de Mallorca，Spain，2004.]，与普通单通道视频一样，该方案对各视点视频进行独立编码，其中每个GOP中各视点的第一帧使用帧内编码(I-Picture)，其余帧参考时间轴上的前面帧作预测编码(P-Picture)，该方案是普通单通道视频编码的简单扩展，所以编码效率和实时交互能力不能满足多视点视频通信系统的要求。近年来已有许多关于自由视点视频的文件提交给MPEG组织[ISO/IEC JTC1/SC29/WG11.Survey of Algorithmsused for Multi-view Video Coding(MVC)[C].DOC.N6909，Hong Kong，China，2005.]，但这些编码方案仍不完善，虽然编码效率相对于Simulcast有显著提高，但视点间的自由切换能力较弱，不能完全满足实时交互的要求，因此需要探索新的多视点视频编码方案已推动多视点视频系统的应用。
发明内容
本发明目的在于提出一种高效且可实现视点间切换的基于分布式信源编码的多视点视频压缩方法。
本发明的特征在于在编码器中，依次含有以下步骤步骤(A1)把多视点视频序列中每个视点的编码都分成I帧、P帧和SW帧三种，使每个图像组中的第一帧为I帧，之后有多个P帧和SW帧，其中的I帧用帧内编码方式编码，P帧用同一视点的前面帧作预测编码，SW帧作为视点切换时的切换帧；步骤(A2)对步骤(A1)中的I帧和P帧按H.264标准的编码方式进行编码，对后续的SW帧按步骤(A3)～(A5)所述方式编码；步骤(A3)对待编码的当前SW帧和已编码的前一帧进行H.264标准中采用的运动估计算法进行运动估计和补偿，得到的矢量用H.264标准中采用的全局变长编码器UVLC对其进行熵编码，得到运动矢量比特流B1；步骤(A4)对待编码的当前SW帧和相邻视点同一位置的已编码帧进行位移估计，得到视点间位移信息，用UVLC编码器进行熵编码，得到视点间位移编码比特流B3；步骤(A5)把待编码的当前SW帧分割成互不重叠的8×8块，应用H.264标准的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，量化后的结果按从最重要比特到最不重要比特方式分成位平面，再采用码率兼容的低密度校验码RCLDPC编码器对其进行信道编码，并根据步骤(A3)中得到的运动补偿结果以及步骤(A4)中得到的位移补偿结果输出校验码流，得互B21和B22；
在解码器中按照视点间是否有切换发生进行不同方式的解码当视点间没有切换发生时，按以下步骤解码步骤(B11)对所述I帧和P帧按H.264标准的解码方式解码，对SW帧按以下方式解码步骤(B12)用UVLC解码器从所述B1码流中解码出运动矢量；步骤(B13)用(B12)中得到的运动矢量对帧存储器中的时域参考帧按照H.264标准中的运动补偿算法进行运动补偿，得到当前SW帧的估计帧，再把该估计帧按照步骤(A5)所述的方法分割成互不重叠的块，对其中的每一块按H.264标准中的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，再按步骤(A5)中所述的方法把量化结果分成位平面，以此作为下一步RCLDPC解码的辅助信息；步骤(B14)用RCLDPC解码器对步骤(A5)得到的校验码流B21和步骤(B13)得到的辅助信息进行RCLDPC解码，再对解码结果依次进行反量化和整数变换，得到当前帧的解码图像SW’，再把该图像SW’存储到步骤(B13)所述的帧存储器中作为下一帧运动补偿的参考帧；当视点间有切换发生时，按以下步骤解码步骤(B21)对所述I帧和P帧按H.264标准的解码方式解码，对SW帧按以下方式解码步骤(B22)用UVLC解码器从输入的步骤(A3)所述的位移信息比特流B3中解码出视点间位移信息；步骤(B23)用(B22)中得到的视点间位移信息对相邻视点同一位置的已解码帧进行位移补偿，得到当前SW帧的估计帧，再把该估计帧按照步骤(A5)所述的方法分割成互不重叠的块，对其中的每一块按H.264标准中的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，再按步骤(A5)中所述的方法把量化结果分成位平面，以此作为下一步RCLDPC解码的辅助信息；步骤(B24)用RCLDPC解码器对步骤(A5)得到的校验码流B21、B22和步骤(B23)得到的辅助信息进行RCLDPC解码，再对解码结果依次进行反量化和整数变换，得到当前帧的解码图像SW’，再把该图像SW’存储到步骤(B13)所述的帧存储器中作为下一帧运动补偿的参考帧。
本发明具有以下优点1)SW帧编码时考虑了视点间的信息，可以在SW帧处实现视点间的任意切换；2)采用分布式信源编码的思想，生成的码流具有一定的误差恢复特性；3)结构清晰；4)具有较高的编码效率。
图1本发明编码器原理框图。
图2本发明解码器原理框图(a)没有视点间切换发生时的解码器原理框图，(b)有视点间切换发生时的解码器原理框图。
图3本发明的多视点视频编码帧结构实例图。
图4本发明SW帧编码器实例图。
图5本发明SW帧解码器实例图(a)没有视点间切换发生时的解码器，(b)有视点间切换发生时的解码器。
具体实施例方式
本发明根据多视点视频编码的实时交互性能要求，依据分布式信源编码原理，提出了一种新的多视点视频编码方法。本方法对每个视点视频进行编码时在切换点处使用分布式信源编码的方式进行编码，而其它帧编码方式与H.264标准中的帧编码方式相同，其中SW帧的编解码器原理结构框图如图1和图2所示，其中SW表示待编码的视频图像，B1是运动矢量编码比特流，B21和B22是信道编码器输出的校验比特流，其中信道编码器是码率可兼容的，即信道编码器输出的校验信息是码率可伸缩的，B3是视点间位移编码比特流。
本发明提出的多视点视频编码方法，包括以下步骤编码器工作流程如下(1)如图1所示，待编码的当前帧SW和时域参考帧送到运动估计和补偿器进行运动估计和运动补偿，得到的运动矢量信息送到熵编码器进行编码，输出运动矢量比特流B1；(2)待编码的当前帧SW和其它视点参考帧送到位移估计和补偿器进行位移估计和运动补偿，得到的位移矢量信息送到熵编码器进行编码，输出运动矢量比特流B3；(3)待编码的当前帧图像SW分割成互不重叠的块，对每一块进行整数变换，对变换系数用尺度量化器进行量化，最后量化结果分成位平面送到信道编码器编码，信道编码器根据运动补偿和位移补偿的结果产生校验比特流B21和B22，其中B21保证在解码端以运动补偿结果作为辅助信息进行信道解码时能够完全重建上面量化值的所有位平面，B22保证在与B21构成联合校验信息后，在解码端以位移补偿结果作为边信息进行信道解码时能够完全重建上面量化值的所有位平面；没有视点间切换发生时解码器工作流程如下(1)如图2(a)所示，运动矢量比特流B1送到熵解码器进行解码得到运动矢量信息，并与时域参考帧一起送到运动补偿器中进行运动补偿，得到当前帧的估计帧，把此估计帧分割成互不重叠的块，对每一块进行整数变换，对变换系数尺度量化器进行量化，量化结果分成位平面作为信道解码器的辅助信息；(2)校验比特流B21和上一步得到辅助信息送到信道解码器中解码，解码得到的信息再送到反量化器中进行反量化，最后进行反变换得到当前帧的解码图像SW’。
有视点间切换发生时解码器工作流程如下(1)如图2(b)所示，视点间位移比特流B3送到熵解码器进行解码得到视点间位移信息，并与其它视点参考帧一起送到位移补偿器中进行位移补偿，得到当前帧的估计帧，把此估计帧分割成互不重叠的块，对每一块进行整数变换，对变换系数尺度量化器进行量化，量化结果分成位平面作为信道解码器的辅助信息；(2)校验比特流B21、B22和上一步得到辅助信息送到信道解码器中解码，解码得到的信息再送到反量化器中进行反量化，最后进行反变换得到当前帧的解码图像SW’。
本发明提出的多视点视频编码方法实施例如图3-5所示，其中图4为SW帧的编码器实例图，图5(a)为没有视点间切换时SW帧的解码器实例图，图5(b)为有视点间切换时SW帧的解码器实例图，结合附图详细说明如下1)帧构图说明如图3所示，把多视点视频序列中每个视点视频序列的编码都分成I帧、P帧和SW帧三种，视点视频序列的每个图像组中第一帧为I帧，之后有多个P帧和SW帧，SW帧的多少可以根据需要设定，本实例图中给出的是SW帧和P帧数量相同且间隔出现。其中I帧和P帧编码方式与H.264中的编码方式相同，SW帧的编解码方式说明如下。
2)编码器工作流程(1)对I帧和P帧按H.264的编码方式进行编码，对后续帧进行如下方式编码；(2)如图4所示，对待编码的当前帧SW和已编码的前一帧进行H.264标准中采用的运动估计算法进行运动估计，得到的运动矢量用H.264标准中采用的全局变长编码器(UVLC，Universal Vary Length Code)对其进行熵编码，得到B1；(3)对待编码的当前帧SW和相邻视点同一位置的已编码的视频帧进行全局位移估计，得到视点间位移信息，用UVLC编码器对其进行熵编码，得到B3；(4)把待编码的当前帧图像SW分割成互不重叠的8×8块，对每一块进行H.264标准中的整数变换，对变换系数用H.264标准中的尺度量化器进行量化，量化步长为Q，对量化系数按从最重要比特到最不重要比特方式分成位平面，然后采用码率兼容低密度校验码RCLDPC(Rate Compatible LowDensity Parity Check)编码器对其进行信道编码，并根据运动补偿结果和位移补偿结果输出校验码流，得到B21和B22，其中B21保证在解码端以运动补偿结果作为边信息进行RCLDPC解码时能够完全重建上面量化值的所有位平面，B22保证在与B21构成联合校验信息后，在解码端以位移补偿结果作为边信息进行RCLDPC解码时能够完全重建上面量化值的所有位平面；3)没有视点间切换发生时解码器工作流程如下(1)对I帧和P帧按H.264的解码方式进行解码，对SW进行如下方式解码；(2)如图5(a)所示，用UVLC解码器从B1中解码出运动矢量；(3)用解码出的运动矢量对帧存储器中的参考帧进行运动补偿，得到当前帧的估计帧，把此估计帧分割成互不重叠的8×8块，对每一块进行H.264标准中的整数变换，对变换系数用H.264标准中的尺度量化器进行量化，量化步长为Q，量化结果按从最重要比特到最不重要比特方式分成位平面，作为下一步RCLDPC解码的辅助信息；(4)校验码流B21和上一步得到的辅助信息作为RCLDPC解码器的输入，再对RCLDPC的解码输出进行反量化，最后进行整数反变换得到当前帧的解码图像SW’，把此解码图像存储到帧存储器中作为下一帧运动补偿的参考。
4)有视点间切换发生时解码器工作流程如下(1)对I帧和P帧按H.264的解码方式进行解码，对SW进行如下方式解码；(2)如图5(b)所示，用UVLC解码器从B3中解码出视点间位移信息；(3)用解码出的视点间位移信息对相邻视点相同位置的参考帧进行位移补偿，得到当前帧的估计帧，把此估计帧分割成互不重叠的8×8块，对每一块进行H.264标准中的整数变换，对变换系数用H.264标准中的尺度量化器进行量化，量化步长为Q，量化结果按从最重要比特到最不重要比特方式分成位平面，作为下一步RCLDPC解码的辅助信息；
(4)校验码流B21、B22和上一步得到的辅助信息作为RCLDPC解码器的输入，对RCLDPC的解码输出进行反量化，最后进行整数反变换得到当前帧的解码图像SW’，把此解码图像存储到帧存储器中作为下一帧运动补偿的参考。
权利要求
1.一种基于分布式信源编码的多视点视频压缩编解码方法，其特征在于，在编码器中，依次含有以下步骤步骤(A1)把多视点视频序列中每个视点的编码都分成I帧、P帧和SW帧三种，使每个图像组中的第一帧为I帧，之后有多个P帧和SW帧，其中的I帧用帧内编码方式编码，P帧用同一视点的前面帧作预测编码，SW帧作为视点切换时的切换帧；步骤(A2)对步骤(A1)中的I帧和P帧按H.264标准的编码方式进行编码，对后续的SW帧按步骤(A3)～(A5)所述方式编码；步骤(A3)对待编码的当前SW帧和已编码的前一帧进行H.264标准中采用的运动估计算法进行运动估计和补偿，得到的矢量用H.264标准中采用的全局变长编码器UVLC对其进行熵编码，得到运动矢量比特流B1；步骤(A4)对待编码的当前SW帧和相邻视点同一位置的已编码帧进行位移估计，得到视点间位移信息，用UVLC编码器进行熵编码，得到视点间位移编码比特流B3；步骤(A5)把待编码的当前SW帧分割成互不重叠的8×8块，应用H.264标准的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，量化后的结果按从最重要比特到最不重要比特方式分成位平面，再采用码率兼容的低密度校验码RCLDPC编码器对其进行信道编码，并根据步骤(A3)中得到的运动补偿结果以及步骤(A4)中得到的位移补偿结果输出校验码流，得到B21和B22；在解码器中按照视点间是否有切换发生进行不同方式的解码当视点间没有切换发生时，按以下步骤解码步骤(B11)对所述I帧和P帧按H.264标准的解码方式解码，对SW帧按以下方式解码步骤(B12)用UVLC解码器从所述B1码流中解码出运动矢量；步骤(B13)用(B12)中得到的运动矢量对帧存储器中的时域参考帧按照H.264标准中的运动补偿算法进行运动补偿，得到当前SW帧的估计帧，再把该估计帧按照步骤(A5)所述的方法分割成互不重叠的块，对其中的每一块按H.264标准中的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，再按步骤(A5)中所述的方法把量化结果分成位平面，以此作为下一步RCLDPC解码的辅助信息；步骤(B14)用RCLDPC解码器对步骤(A5)得到的校验码流B21和步骤(B13)得到的辅助信息进行RCLDPC解码，再对解码结果依次进行反量化和整数变换，得到当前帧的解码图像SW’，再把该图像SW’存储到步骤(B13)所述的帧存储器中作为下一帧运动补偿的参考帧；当视点间有切换发生时，按以下步骤解码步骤(B21)对所述I帧和P帧按H.264标准的解码方式解码，对SW帧按以下方式解码步骤(B22)用UVLC解码器从输入的步骤(A3)所述的位移信息比特流B3中解码出视点间位移信息；步骤(B23)用(B22)中得到的视点间位移信息对相邻视点同一位置的已解码帧进行位移补偿，得到当前SW帧的估计帧，再把该估计帧按照步骤(A5)所述的方法分割成互不重叠的块，对其中的每一块按H.264标准中的变换方式进行整数变换，对变换系数应用H.264标准的量化方法进行量化，再按步骤(A5)中所述的方法把量化结果分成位平面，以此作为下一步RCLDPC解码的辅助信息；步骤(B24)用RCLDPC解码器对步骤(A5)得到的校验码流B21、B22和步骤(B23)得到的辅助信息进行RCLDPC解码，再对解码结果依次进行反量化和整数变换，得到当前帧的解码图像SW’，再把该图像SW’存储到步骤(B13)所述的帧存储器中作为下一帧运动补偿的参考帧。
全文摘要
本发明属于多视点视频编码领域，其特征在于，把每个视点的视频序列编码都分成I帧、P帧和SW帧三种，使每个图像组中的第一帧为I帧，之后有多个P帧和SW帧，其中I帧和P帧用H.264标准进行编解码，SW帧作为视点切换帧。SW帧编码时，对SW帧和前一帧依次进行运动估计和熵编码，得到运动矢量比特流；对SW帧和相邻视点同一位置的视频帧依次进行位移估计和熵编码，得到视点间位移矢量比特流；对SW帧依次进行变换、量化、分成位平面、信道编码后得到校验信息比特流；在解码端，当有视点间的视频帧切换时，以相邻视点同一位置的视频帧作为信道解码器的辅助信息重建SW帧，否则，以前一帧作为信道解码器的辅助信息重建SW帧。
文档编号H04N7/32GK101026757SQ200710065190
公开日2007年8月29日 申请日期2007年4月6日 优先权日2007年4月6日
发明者丁贵广 申请人:清华大学