专利名称：空域可分级信噪比精细可分级视频编码方法
技术领域：
本发明涉及到一种基于高/低分辨率均含增强层的空域可分级信噪比精细可分级视频编码方法。特别是与现有方法截然不同的是在低分辨率视频中除基本层外，增设了低分辨率增强层的视频编码方法。
背景技术：
在Internet和无线网络上传输视频流是当前的研究热点之一。在基于IP网络和客户/服务器架构的视频流业务中，客户端往往具有不同的终端处理与显示能力，并且网络带宽资源是随时变化的。为了能更好地适合于如IP视频电话、视频会议、视频监控和移动视频等客户有不同要求且带宽又随机波动的IP或无线网络的应用，需要对视频进行空间可分级、信噪比精细可分级编码。
传统的空域可分级性编码有其固有的缺陷，那就是它只提供很粗糙的可分级性，通常为固定的几层，而且一旦编码完毕后不能再调整。由于不同用户的网络带宽在一个很大的范围内波动，同一用户不同时刻的网络带宽也是不断变化的，而传统的空域可分级性编码很难动态而精确地适应网络带宽的变化。另外，如果某一帧的增强层在传输过程中出错，由于运动补偿使相邻帧间有依赖关系，解码器难以恢复后续的增强层视频。
鉴于此，在MPEG-4中引入了精细的空域可分级(FGSS)编码方案。在该方案中对输入的视频首先进行下采样，然后压缩到预定的码率(基本层编码)。在增强层采用位平面编码技术，对增强层需要编码的系数从高位到低位按位平面依次编码，使得增强层码流可以在任何点截断，从而有质量精细变化的特性。FGSS编码方案的也存在缺陷。对于持有低分辨率接收设备只提供了一种选择，那就是质量很低的基本层视频，即使有足够的网络带宽。另一方面，FGSS编码方案在不同分辨率下分别做运动估计时，得到的运动矢量之间和参考帧并没有直接的联系，这样运动矢量的编码将占去较多的比特数。
发明内容
本发明的目的是提供一种空域可分级噪信比精细可分级视频编码方法。首先使高低分辨率下的视频质量都具有精细可分级性，并使不同分辨率下的运动矢量建立联系，这既可降低高分辨率码流中的运动矢量编码所用的比特数，也减少了需要加强保护的数据量；对比MPEG-4的FGSS的编码方法，当高分辨率下为CIF格式的视频、低分辨率下为QCIF格式视频时，本方法的高分辨率下的平均亮度峰值信噪比(Y1-PSNR)有所增加，且码率有所降低，低分辨率下的平均亮度峰值信噪比(Y0-PSNR)亦有所增加，且它的质量也具有精细粒度可调特性。
为达到上述的目的，本发明的构思是如图1所示，对于任一种输入视频作为高分辨率下的视频，对其下采样所得视频作为低分辨率下的视频。在低分辨率下，除以适当的QP(量化参数)值来生成基本层外，另增加一组FGS(精细可分级)层，使低分辨率视频具有精细可分级的视频质量；且在高分辨率下，由低分辨率下的参考帧提供给选择高分辨率视频参考帧参考时，将所得低分辨率下的运动矢量的两倍作为高分辨率视频运动估计的参考。
根据上述构思，本发明的技术方案是一种空域可分级噪信比精细可分级视频编码方法，其特征在于基于高低分辨率均含增强层通过空域分级编码与SNR-FGS相结合，不仅使得高分辨率视频而且使得低分辨率视频具有信噪比精细可分级的增强层；在将低分辨率下的参考帧提供给选择高分辨率视频参考帧参考时，并将低分辨率运动矢量的两倍作为高分辨率视频运动估计的参考；在高分辨率下，运动补偿直接在空间预测残差帧之间进行；其步骤是(1)生成高/低分辨率下的视频图像通过空间分级将原始视频生成低分辨率与高分辨率视频图像；(2)低分辨率下的基本层和增强层编码在低分辨率下，对低分辨率下视频进行编码，生成低分辨率基本层视频流BL；对其重建图像与原始图像的残差进行编码，生成低分辨率增强层视频流EL；(3)高分辨率下的基本层编码直接对高分辨率视频进行空间预测残差帧编码，生成高分辨率基本层视频流BH；(4)高分辨率下的增强层编码对空间残差帧与其重建帧之间的残差编码生成高分辨率增强层视频流EH。
上述生成高/低分辨率下的视频图像的步骤是将原始输入图像作为所得的高分辨率图像。对原始图像进行滤波、下采样，得到的图像作为低分辨率图像。下采样垂直滤波器为(2，0，-4，-3，5，19，26，19，5，-3，-4，0，2)，而水平滤波器为(5，11，11，5)。
上述的低分辨率下的基本层和增强层编码是首先对低分辨率下视频进行编吗，生成低分辨率基本层视频流，然后对低分辨率下的视频帧与它的重建帧的残差进行比特平面编码，得到信噪比可伸缩逐次精细化质量层，其步骤如下(1)对低分辨率下的视频基于分块运动补偿和DCT变换的编码方式进行编码，生成基本层视频流BL。
(2)计算低分辨率下的视频帧与其重建帧，得出它们之间的残差系数。
(3)对残差系数进行DCT变换、量化。
(4)将量化后的DCT系数展开成二进制数，相同的位构成一层比特平面。
(5)将每一层比特平面转化为RUN-EOP(End of Plane)符号。对每一比特平面进行扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”。
(6)在进行RUN-EOP后，对每个符号位进行编码，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入。最后生成低分辨率下的增强层视频流EL上述的高分辨率下的基本层编码是对高分辨率下的空间预测残差帧进行编码，其步骤如下(1)对低分辨率下的重建图像进行上采样，得到高分辨率下的图像帧的空间预测参考帧。
(2)计算出高分辨率下的原始图像帧与空间预测参考帧的残差，得到空间预测残差帧。
(3)将低分辨率下的运动矢量两倍作为高分辨率下的参考运动矢量，低分辨率下的参考帧作为选择高分辨率下的第一参考帧，在空间预测残差帧之间直接进行运动估计、运动补偿。
(4)运动补偿后的残差纹理信息和运动信息经过编码，得到高分辨率下的基本层视频流BH。
上述的高分辨率下的增强层编码是对空间预测残差帧与其重建帧的残差进行比特平面编码，得到信噪比可伸缩逐次精细化质量层，其步骤如下(1)根据空间预测残差帧与其重建帧，计算出它们之间的残差。
(2)对残差的系数进行DCT变换、量化。
(3)将量化后的DCT系数展开成二进制数，相同的位构成一层比特平面。
(4)将每一层比特平面转化为RUN-EOP(End of Plane)符号。对每一比特平面进行扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”。
(5)在进行RUN-EOP后，对每个符号位进行编码，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入。最后生成高分辨率下的增强层视频流EH图2示出本发明总体技术方案的四个步骤下面对上述技术方案给予进一步详细说明(1)通过空间分级将原始视频生成低分辨率与高分辨率视频图像对原始视频的每一帧进行下采样，得到低分辨率下的图像。为防止混叠，先对视频进行滤波，限制频带，然后再进行下采样。垂直滤波器为(2，0，-4，-3，5，19，26，19，5，-3，-4，0，2)，而水平滤波器为(5，11，11，5)。
(2)低分辨率下的基本层和增强层编码如图3所示，在低分辨率下，基本层的编码和通常的非扩展编码相同，都是由运动估计、运动补偿、DCT变换、标量量化和变长编码组成。增强层编码使用位平面编码技术。将原始图像与其重建图像的残差进行DCT变换后，以量化参数Q1量化。将量化后的DCT系数展开成二进制数。将相同位称为一个比特平面，比特平面的层数取决于DCT系数绝对值的最大值。将每一层比特平面转化为RUN-EOP符号。每一行从左到右扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”。符号位的表示，在进行RUN-EOP后，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入。
(3)高分辨率下的基本层编码高分辨率下的基本层编码如图4所示。将低分辨率下的重建图像帧进行上采样，得到高分辨率下的图像的空间预测参考帧XS。计算高分辨率下的原始图像X与空间预测参考帧XS之间的残差，得到空间预测残差帧X-XS。空间预测残差帧X-XS代表高分辨率下的图像帧相对于低分辨率下的图像帧的额外信息，即高分辨率下的图像边缘(高频信息)。设在此之前的已编码帧的空间预测残差帧Y-YS。在高分辨率下，运动估计、运动补偿以及编码只在高频信息之间进行。其中将低分辨率下的运动矢量两倍作为运动矢量的参考，基于Y-YS对空间预测残差帧X-XS进行运动补偿，消除空间预测残差帧之间的时间冗余性。然后进行DCT变换、量化、编码，得到高分辨率下的基本层码流BH。用公式表示为DCT((X-XS)-MC(Y-YS))。MC表示运动补偿，DCT表示离散余弦变换。
(4)高分辨率下的增强层编码高分辨率下的增强层也是采用位平面编码技术，对空间预测残差帧X-XS与它的重建帧的差值进行DCT变换后，以量化参数Q1量化。将量化后的DCT系数展开成二进制数，进行位平面编码。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点本发明提供的视频编码方法，是基于高低分辨率均含有增强层，即与现有方法截然不同的是在低分辨率视频中除基本层外，增设了低分辨率增强层，使高低分辨率下的视频质量都具有精细可分级，并使不同分辨率下的运动矢量建立关系，这既可降低高分辨率码流中的运动矢量编码所用的比特数，也减少了需要加强保护的数据量。与现有技术中的MPEG-4的FGSS编码方法相比较，当高分辨率下为CIF格式的视频、低分辨率下为QCIF格式视频时，本方法的高分辨率下的平均亮度峰值信噪比(Y1-PSNR)增加0.52dB，且码率平均降低10.91％，低分辨率下的平均亮度峰值信噪比(Y0-PSNR)增加0.20dB，且它的质量也具有精细粒度可调特性。
图1是本发明的空域可分级信噪比精细可分级视频编码的结构框图。
图2是本发明的空域可分级信噪比精细可分级视频编码的程序框图。
图3是图2的中低分辨率下的基本层/增强层编码的结构框图。
图4是图2的中高分辨率下的基本层编码的结构框图。
具体实施例方式
本发明的一个实施如下所述。
参见图1，本基于高/低分辨率均含增强层的空域可分级SNR-FGS编码方法，可使高低分辨率下的视频质量都具有精细可分级性，并使不同分辨率下的运动矢量建立了联系，这既可降低高分辨率码流中的运动矢量编码所用的比特数，也减少了需要加强保护的数据量。
其步骤是(1)生成高/低分辨率下的视频图像通过空间分级将原始视频生成低分辨率与高分辨率视频图像；(2)低分辨率下的基本层和增强编码在低分辨率下，以H.264/AVC对视频的基本层进行编码，生成低分辨率基本层视频流。增强层采用位平面编码技术进行编码，生成低分辨率增强层视频流；(3)高分辨率下的基本层编码在高分辨率下，以H.264/AVC对空间预测残差帧进行编码，生成高分辨率基本层视频流；(4)高分辨率下的增强层编码在高分辨率下，对空间残差帧与其重建帧之间的残差进行比特平面编码生成高分辨率增强层视频流。
上述的生成高/低分辨率下的视频图像步骤如下将原始输入的CIF格式图像作为高分辨率下的编码图像。对原始图像进行滤波、下采样，得到QCIF格式图像作为低分辨率下的编码图像。下采样垂直滤波器为(2，0，-4，-3，5，19，26，19，5，-3，-4，0，2)，而水平滤波器为(5，11，11，5)。
上述的低分辨率下的基本层和增强层编码的步骤如下(1)对低分辨率下的视频以H.264/AVC进行基本层编码；(2)根据低分辨率下的视频帧与它的重建帧，计算出它门之间的残差；(3)对残差的系数进行DCT变换、量化；(4)将量化后的DCT系数展开成二进制数，相同的位构成一层比特平面；(5)将每一层比特平面转化为RUN-EOP(End of Plane)符号。对每一比特平面进行扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”；(6)在进行RUN-EOP后，对每个符号位进行编码，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入。
上述的高分辨率下的基本层编码的步骤如下(1)对低辨率下的重建图像进行上采样，得到高分辨率下的图像的空间预测参考帧；(2)计算出高分辨率下的原始图像与空间预测参考帧的残差，得到空间预测残差帧；(3)将低分辨率下的运动矢量两倍作为高分辨率下的参考运动矢量，低分辨率下的参考帧作为高分辨率下的第一参考帧，在空间预测残差帧之间进行运动估计、运动补偿；(4)运动补偿后的残差纹理信息和运动信息经过编码，得到高分辨率下的基本层。
上述的高分辨率下的增强层编码的步骤如下(1)根据空间预测残差帧与它的重建帧，计算出它们之间的残差。余下的(2)～(5)步骤则与上述低分辨率下的基本层和增强层编码的具体步骤中的步骤(3)～(6)相同。
下面比较本文算法和FGSS的算法，仿真条件如表1。
表1.编码参数
以下给出一个输入的视频格式为CIF时的实例。经过编码后得到信噪比精细可分级CIF格式的视频流和信噪比精细可分级的QCIF格式的视频流。输入CIF格式视频作为高分辨率下的视频。首先将CIF格式视频进行滤波、下采样，得到的QCIF格式视频作为低分辨率下的视频，以H.264/AVC对QCIF格式的视频编码，得到低分辨率下的基本层码流BL。接着，在低分辨率下，将原始图像与重建图像的残差进行比特平面编码，对需要编码的系数从高位到低位按位平面依次编码，得到低分辨率下的SNR增强层码流EL。然后，以H.264/AVC对高辨率下的空间预测残差帧进行编码，得到高分辨率下的基本层码流BH。最后，对空间预测残差帧与它的重建帧的差值进行比特平面编码，对其中需要编码的系数从高位到低位按位平面依次编码，得到高分辨率下SNR增强层码流EH。
以四个CIF格式测试序列News、Hall、Silent、Coastguard作为输入视频。表2给出MFGSS方法相对于FGSS低分辨率视频的亮度PSNR及所需码率等比较，可见由于低分辨率时增加了增强层码率可使低分辨率下的Y-PSNR平均提高0.2dB，且可精细可调。表3给出了本方法相对于FGSS高分辨率视频的亮度PSNR及码率等性能比较。相比FGSS，本发明高分辨率视频下，平均Y-PSNR增益有0.52dB且恢复它所需比特率平均降低10.91％。
表2.两种方法的低分辨率视频性能的比较
表3.两种方法的高分辨率视频性能的比较
权利要求
1.一种空域可分级信噪比精细可分级视频编码方法，其特征在于基于高低分辨率均含增强层通过空域分级编码与信噪比精细可分级编码相结合，不仅使得高分辨率视频而且使得低分辨率视频具有信噪比精细可分级的增强层；在将低分辨率下的参考帧提供给选择高分辨率视频参考帧参考时，并将低分辨率运动矢量的两倍作为高分辨率视频运动估计的参考；在高分辨率下，运动补偿直接在空间预测残差帧之间进行；其步骤是(1)生成高/低分辨率下的视频图像通过空间分级将原始视频生成低分辨率与高分辨率视频图像；(2)低分辨率下的基本层和增强层编码在低分辨率下，对低分辨率下视频进行编码，生成低分辨率基本层视频流；对其重建图像与原始图像的残差进行编码，生成低分辨率增强层视频流；(3)高分辨率下的基本层编码直接对高分辨率视频进行空间预测残差帧编码，生成高分辨率基本层视频流；(4)高分辨率下的增强层编码对其重建帧与空间残差帧之间的残差编码生成高分辨率增强层视频流。
2.根据权利要求1所述的空域可分级信噪比精细可分级视频编码方法，其特征在于所述的生成高/低分辨率下的视频图像，所得的高分辨率图像为原始输入图像，而所得的低分辨率图像是对原始图像进行滤波、下采样，得到低分辨率下的图像；下采样垂直滤波器为(2，0，-4，-3，5，19，26，19，5，-3，-4，0，2)，而水平滤波器为(5，11，11，5)。
3.根据权利要求1所述的空域可分级信噪比精细可分级视频编码方法，其特征在于所述的低分辨率下的基本层和增强层编码是首先对低分辨率下视频进行编码，生成低分辨率基本层视频流，然后对低分辨率下的视频帧与它的重建帧的残差进行比特平面编码，得到信噪比可伸缩逐次精细化质量层；其步骤是(1)对低分辨率下的视频基于分块运动补偿和DCT变换的编码方式进行编码，生成基本层视频流；(2)计算低分辨率下的视频帧与其重建帧，得出它们之间的残差系数。(3)对残差系数进行DCT变换、量化；(4)将量化后的DCT系数展开成二进制数，相同的位构成一层比特平面；(5)将每一层比特平面转化为RUN-EOP符号；对每一比特平面进行扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”；(6)在进行RUN-EOP后，对每个符号位进行编码，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入；最后生成低分辨率下的增强层视频流。
4.根据权利要求1所述的空域可分级信噪比精细可分级视频编码方法，其特征在于所述的高分辨率下的基本层编码是对高分辨率下的空间预测残差帧进行编码；其步骤是(1)对低分辨率下的重建图像进行上采样，得到高分辨率下的图像帧的空间预测参考帧；(2)计算出高分辨率下的原始图像与空间预测参考帧的残差，得到空间预测残差帧；(3)将低分辨率下的运动矢量两倍作为高分辨率下的参考运动矢量，低分辨率下的参考帧作为选择高分辨率下的第一参考帧，在空间预测残差帧之间直接进行运动估计、运动补偿；(4)运动补偿后的残差纹理信息和运动信息经过编码，得到高分辨率下的基本层视频流。
5.根据权利要求1所述的空域可分级信噪比精细可分级视频编码方法，其特征在于所述的对高分辨率下的增强层编码是对空间预测残差帧与其重建帧的残差进行比特平面编码，得到信噪比可伸缩逐次精细化质量层；其步骤是(1)根据空间预测残差帧与其重建帧，计算出它们之间的残差；(2)对残差的系数进行DCT变换、量化；(3)将量化后的DCT系数展开成二进制数，相同的位构成一层比特平面；(4)将每一层比特平面转化为RUN-EOP符号。对每一比特平面进行扫描，每遇到一个“1”，计算该“1”前面，前一个“1”后面“0”的个数作为RUN值，如果为最后一个“1”，则将EOP置为“1”，否则置为“0”；(5)在进行RUN-EOP后，对每个符号位进行编码，每个符号位只进行一次编码，而且按照从高层到底层第一个非零值之后放入。最后生成高分辨率下的增强层视频流。
全文摘要
本发明涉及一种空域可分级信噪比精细可分级视频编码方法。本方法基于高低分辨率均含增强层，通过空域分级编码与信噪比精细可分级编码相结合，不仅使得高分辨率视频且使得低分辨率视频具有精细可分级的增强层；在将低分辨率下的参考帧提供给选择高分辨率视频参考帧参考时，并将低分辨率运动矢量的两倍作为高分辨率视频运动估计的参考；在高分辨率下，运动补偿直接在空间预测残差帧之间进行。本方法与现有技术的MPEG－4的FGSS方法相比当输入视频为CIF格式时，本方法在高分辨率下的平均亮度峰值信噪比(Y
文档编号H04N7/32GK101018333SQ20071003737
公开日2007年8月15日 申请日期2007年2月9日 优先权日2007年2月9日
发明者张兆扬, 沈礼权, 王国中 申请人:上海大学, 上海广电(集团)有限公司中央研究院