专利名称：使用空间缩放预测的视频编解码方法
技术领域：
本发明涉及数字视频编解码技术领域，特别是涉及到一种使用视频序列的空间缩放信息对当前帧进行预测的编码和解码方法。
背景技术：
目前主流的基于块匹配混合编码框架的视频编解码标准，例如MPEG4，H. 264/AVC,AVS等，在帧间预测中，从空间上主要考虑了图像块在二维平面中的运动，即横向和纵向的运动。通过基于块匹配的运动估计得到当前图像块的运动矢量，找出当前图像块在前一帧或多帧中，以及在后一帧中的对应块，用这些对应块对当前图像块进行预测，并将运动向量编入码流。此外，对运动向量同样进行了预测，即使用当前块周围一些块的运动矢量计算当前块的预测运动矢量，而仅将预测运动矢量和通过运动估计得到的实际运动矢量之差编入码流，大大节约了编码所需比特数。·在大部分视频序列中，图像内容都不是简单的在二维平面中运动，而是存在缩放现象。场景中的物体相对于拍摄镜头的距离发生变化，会引起物体的缩放；摄像机拉伸镜头会造成整个场景的缩放。因此，如果当前块和参考帧中对应块存在缩放关系，使用现有视频编码标准中的运动估计算法则得不到最佳匹配的块。而如果能利用视频序列中的缩放关系进行辅助预测，则能很好地提升编码质量。经过对现有文献检索和调研发现，香港城市大学的Lai-Man Po等人于2010年发表的〈〈Subsampled Block-Matching for Zoom Motion Compensated Prediction)) SP提出了利用缩放信息进行视频编码的方法。该论文中提出，利用原编解码标准中分像素预测所需的插值图像，来生成某些特定缩放比的参考帧。同时，使用多帧参考的参考帧索引来表示原多帧参考的参考帧和进行缩放之后的参考帧。该方法能提升编码性能，并能较为方便地整合到现有编解码框架中。但是由于该方法只能使用特定缩放比的参考帧，而实际应用中的视频缩放比是不确定的，因此该方法不能达到较高的编码质量提升。同时，由于编码需要生成较多的参考帧，因此使用到的参考帧索引值会比较大，影响了编码性能。因此，本发明提出针对每一个宏块通过缩放预测，使用不同的缩放步长和缩放窗口生成不同的缩放参考帧的方法，使得对缩放的预测更加精确。同时，提出使用参考帧索引预测的方法来预测参考帧索引编号方式，减小了为表示参考帧索引需消耗的比特数。
发明内容
本发明的目的在于提供一种利用视频序列的空间缩放信息辅助压缩的视频编解码方法，在不大幅增加解码复杂度的情况下，提高视频压缩的质量和效率。为实现上述目的，根据本发明的一方面，提供了一种视频编码方法，使运动估计在原始参考帧的不同缩放比的缩放参考帧上进行，以查找最佳匹配块。所述方法包括在每一个图像帧中记录原始参考帧数目R、缩放层层数L和最小缩放步长S，缩放层层数及最小缩放步长可以人为设定或通过前面若干帧估计得到；所述原始参考帧即当前帧在原始视频序列中前后若干帧未经缩放的重建帧；所述图像帧中一个宏块的一个原始参考帧具有一组共L个相等缩放步长的包括所述原始参考巾贞在内的缩放参考巾贞组,所述缩放参考巾贞组的缩放步长以及缩放窗口通过缩放预测得到；不同宏块可以具有不同缩放步长及缩放窗口的缩放参考帧；所述宏块内的子块可以在所述原始参考帧的缩放参考帧组中进行运动估计，寻找最佳匹配块；所述宏块选择的参考帧的索引值可以采用不同的方法进行编号，编号的方法通过参考帧索引预测得出。所述缩放参考帧组是由一系列根据原始参考帧使用不同缩放比进行双线性插值缩放变换得到的缩放参考帧组成，其中包含缩放比为I的缩放参考帧，即原始参考帧。这些缩放参考帧的缩放比从小到大排列，相邻缩放比之间 具有相等的缩放步长。所述缩放步长以及缩放窗口由缩放预测得到。所述缩放预测包括将当前宏块左方、左上方、上方、右上方宏块中，可用宏块的缩放比平均值Ztl作为当前宏块的缩放比预测值；所述可用宏块是指宏块存在，并且其缩放比也存在的宏块；根据Ztl和I的大小关系以及所述当前帧缩放层层数L，通过表I查询缩放窗口设置。其中，当前帧缩放层层数L可表示为3n+k(n为自然数，k= 1，2，3)
20和1的大I丄的如估缩放比IZ0的参I缩放比之U :且缩放比I缩放比<1的
小关系考顿数目 —<為>的_考帧数号参考帧数目
权利要求
1.一种使用空间缩放预测的视频编码方法，其特征在于 在一帧编码图像头中记录该图像的原始参考帧数目R、缩放层层数L和最小缩放步长S ;所述原始参考帧是当前帧在原始视频序列中前后若干个未经缩放的重建帧；所述缩放层层数是对一个原始参考帧经缩放得到的缩放参考帧组中参考帧的个数，其中包括了缩放比为I的原始参考帧本身； 对同一宏块不同原始参考帧进行缩放生成各个原始参考帧的缩放参考帧组时，要使用相同的缩放窗口和缩放步长； 不同宏块可以拥有不同的缩放窗口和缩放步长； 缩放窗口和缩放步长通过缩放预测得到； 将所有参考帧排布成按时间维度和缩放维度组织的二维参考帧矩阵，对矩阵中参考帧按横向或纵向进行编号作为参考帧索引； 对参考帧编号的方式通过参考帧索引预测得到。
2.如权利要求I所述的视频编码方法，其中，所述最小缩放步长S，是指该帧图像中对任意一个宏块的任意一个原始参考帧进行缩放，允许的两个相邻的缩放比之差的最小值。
3.如权利要求I所述的视频编码方法，其中，所述缩放预测方法包括 当前宏块左方、左上方、上方、右上方宏块中，若宏块存在且宏块的缩放比也存在，则为可用宏块； 使用当前周围的可用宏块缩放比的平均值Ztl作为当前宏块的缩放比预测值； 跟据所述缩放比预测值Ztl、所述当前帧的缩放层层数L、所述当前帧的最小缩放步长通过查表方法求得缩放窗口； 跟据缩放窗口求得缩放步长。
4.如权利要求3所述的缩放预测方法，其中，所述查表方法包括 将所述当前帧的缩放层层数表示为3n+k(n为自然数，k= 1,2,3)的形式； 跟据所述当前宏块的缩放比预测值Ztl和I的大小关系，以及k的取值，在下表中查询缩放比在不同区间内的缩放参考帧数目。
5.如权利要求3所述的缩放预测方法，其中，所述的跟据缩放窗口求得缩放步长的方法为 当缩放比预测值Ztl同I的差的绝对值大于最小缩放步长S的n倍时，缩放比在Ztl和I之间的缩放参考帧有n+1个，其中包含I不包含Ztl，将I和Ztl之间的缩放比值平均分为n+1份，即求得缩放步长为
6.如权利要求I所述的视频编码方法，其中，所述的参考帧索引预测方法为 当前宏块左方、左上方、上方、右上方宏块中，若宏块存在且宏块的缩放比也存在，则为可用宏块；若所述可用宏块的缩放比同时大于1，或者同时小于1，则以时间维度优先，先编号同一时刻不同缩放比的参考巾贞;反之，则先编号同一缩放比不同时刻的参考中贞。
7.一种使用空间缩放预测的视频解码方法，其特征在于 先解码出该图像的原始参考帧数目R、缩放层层数L和最小缩放比S ； 在解码每个宏块时，先进行如权利要求6所述的参考帧索引预测，并跟据参考帧索引计算得出所述宏块所用的参考帧在参考帧矩阵中的位置； 进行如权利要求3所述的缩放预测，求得缩放窗口及缩放步长； 计算参考帧的缩放比； 根据所述宏块的各个子块的运动矢量以及参考帧的缩放比从原始参考帧对应位置的图像块通过双线性差值缩放操作求出所述各个子块的预测子块。
全文摘要
本发明公开了一种使用空间缩放预测的视频编解码方法。所述编码方法包括利用缩放信息，在原始参考帧不同缩放比的缩放参考帧上做运动估计，找到最佳匹配；利用缩放预测通过预先设定的缩放层数、最小缩放步长以及缩放预测值来估计所述缩放参考帧的缩放步长和缩放窗口；利用参考帧索引预测来预测原始参考帧和缩放参考帧的编号方式，节省编码参考帧索引所需的比特数。所述解码方法解码每个宏块时包括先进行参考帧索引预测，并找出参考帧所在参考帧矩阵中的位置；进行缩放预测，找出参考帧缩放比；根据缩放比和MV生成预测块；最后进行运动补偿等步骤。
文档编号H04N7/26GK102752588SQ20111010254
公开日2012年10月24日 申请日期2011年4月22日 优先权日2011年4月22日
发明者王振宇, 王荣刚, 董胜富, 高文 申请人:北京大学深圳研究生院