专利名称：一种选择在变换域完成预测编码的视频编解码方法
技术领域：
本发明涉及一种选择在变换域完成预测编码的视频编解码方法，尤其涉及一种选择性地在变换域像素空间完成预测编码的视频编解码方法。属于数字媒体处理技术领域中的视频压缩技术。
背景技术：
视频压缩(也称为视频编码)是数字媒体存储与传输等应用中的关键技术之一， 其目的是通过消除冗余信息来减少存储与传输中的数据量。当前所有的主流视频压缩标准都采用了基于块的预测变换混合编码框架，即通过预测、变换、熵编码等方法消除视频图像中的统计冗余(包括空间冗余、时间冗余和信息熵冗余)，以达到减少数据量的目的。近年来，随着场景构建、运动补偿预测等技术的发展，将场景内容和原有参考图像结合起来，构建新的可以用于预测编码的参考帧成为一种显著提高编码效率的编码方式。对于参考帧的构造，目前主要的方法分两类，一类是使用已存在的若干个参考帧构造新的参考帧，包括H. 264标准的双向预测，AVS标准的对称模式等，但是，由于相邻的缘由的参考帧之间具有统计意义上的相似性，构造出的新参考帧并不能得到较大的性能增益；另一类是针对场景特性，基于重建图像集合作为训练图像集生成一个场景模型用于当前图像的预测编码(黄铁军，张贤国，梁路宏，黄倩，高文.一种基于背景建模的静态摄像机视频压缩方法与系统.专利申请号201010034117. 3)，该方法在特定场景下能获得较高的性能，但是仍然存在重建帧建模得到的场景质量难以保证、编码效率提升主要在背景部分而不是最关注的前景区域等问题。值得注意的是，上述预测编码方法都仍然致力于去除图像之间的相似性冗余，事实证明，在视频编码中，这种冗余已经极大程度上被各种预测技术去除了，进一步去除的空间已经很小。因而，一种能够与上述普通预测相区别，进一步去除场景冗余，如场景变化的相似性冗余的方法，就成为另外一个备受关注的研究方向，现有的进一步去除相似性冗余的方法包括二次预测编码等(唐慧明；杨名；鲍庆洁；卢超；虞露；刘云海基于运动目标检测的视频编码方法，200810062879. 7. 1)，不过，由于该方法的第二次预测是在第一次预测的基础上进行的，预测结果会严重受第一次预测残差的影响，因而二次预测过程往往只是帧内预测过程。于是，寻找一种更有效的去除场景变化的相似性的方法就成为一个重要的研究方向。在变换域和原始图像空间分别进行预测编码就是一种很好的选择，这种方法不仅适用于普通视频编码，更适用于具有场景变化相似性的立体视频、监控视频等场景。
发明内容
本发明提出了一种选择在变换域完成预测编码的视频编解码方法，这种方法首先通过可逆变换或者去除场景模型，并将当前图像和参考图像映射到变换域像素空间。此后， 首先可以通过构造出的一组更具参考价值的构造参考图像块对当前图像块进行预测编码，以极大程度得在原始域像素空间去除内容上的相关性；同时，在变换域空间，对变换结果进行预测编码，并对变换域编码得到的重建结果进行逆变换以得到原始域像素空间的重建块；最后比较两种预测编码结果，选择最优的编码结果作为当前图像块的编码结果，并将选择信息写入码流。与编码方法相对应，在解码方法中，首先解码得到每个当前图像块所选择的编码方式——在原始域像素空间上的编码或是在变换域空间上的编码。如果是原始域像素空间，则通过运动补偿就可以得到当前图像块的重建图像块。如果是变换域像素空间，则需要使用编码端约定的变换方法对普通参考帧经过变换得到变换域的参考图像块，最后使用变换域的参考图像块进行运动补偿即可重建变换域的当前图像块，再对变换域的当前图像块进行逆变换或者加上场景模型就可以得到最终的解码图像块。在上面所述的编码算法思想中，如果场景模型是利用原始输入视频图像经过背景建模得到的，生成的场景模型和变换方法需要编入码流。从上述思想出发，本发明一种选择在变换域完成预测编码的视频编解码方法，含有使用了在变换域像素空间内的预测编解码，作为可选择的图像数据块的编码步骤和解码步骤。如本发明所述的视频编解码方法，编码步骤包括变换域像素空间生成步骤，使用变换域像素空间生成方法，将原始图像空间的当前图像块和参考图像映射到经过变换导出的像素空间。在变换域像素空间进行预测编码步骤，并在该像素空间使用可重建参考图像块对当前图像块进行预测编码。编码方法选择步骤，选择是否采用变换域像素空间预测编码的结果，作为当前图像数据块的编码码流。如本发明所述视频编解码方法的编码步骤，所述的变换域像素空间生成步骤中所使用的像素空间生成方法包括以下两种常见可逆变换方法基于常见可逆变换，将原始域像素空间的当前图像块和参考图像块映射到变换域像素空间。去除场景模型方法对原始域像素空间的当前图像块和参考图像块分别去除其对应的场景模型。如本发明所述的像素空间生成方法，所述去除场景模型方法中，得到当前图像和参考图像所对应的场景模型的方法包括选择已存在图像从已编码图像中选择一个或若干个重建图像，作为参考图像块和当前图像块的场景模型；构造场景模型，使用已编码的图像，构造出一个场景模型来描述场景信息。如本发明所述的像素空间生成方法，所述去除场景模型方法中，构造场景模型的方法包括使用已编码图像块，基于背景建模生成参考图像块和当前图像块的可重建的场景模型，此时需要将场景模型编入视频码流。依据已编码图像之间的内容关系，对已编码参考图像进行线性、投影、仿射等空间变换分别得到参考图像块和当前图像块场景模型。
计算已编码图像和当前图像的光照模型，作为参考图像块和当前图像块的可重建的场景模型。如本发明所述的构造场景模型方法，当构造场景模型的过程中使用了原始的视频图像，那么构造的场景模型需要经过编码写入码流，当构造场景模型的过程中只使用重建的已编码图像，那么构造的场景模型需要可以不写入码流。如本发明所述的视频编解码方法的编码步骤，所述在变换域像素空间进行预测编码步骤还包括以下步骤，变换域预测编码步骤，使用变换域下的重建参考图像块，对变换域下的当前图像块进行预测编码；变换域解码重建步骤，解码得到变换域下的重建当前图像块；重建原始域图像块步骤，对变换域下的重建当前图像块进行逆变换，得到原始域像素空间下的重建当前图像块。如本发明所述的变换域像素空间进行预测编码步骤，重建原始域图像块步骤所用方法包括常用可逆变换方法基于常用可逆变换，将变换域像素空间的当前图像块映射到原始域像素空间。叠加场景模型方法将场景模型叠加到变换域像素空间的重建当前图像块，以得到原始域像素空间的解码当前图像块。如所述的视频编解码方法的编码步骤，编码方法选择步骤包括在原始域像素空间进行预测编码步骤，使用现有的编码方法对原始当前图像进行预测编码。编码方法选择步骤，比较原始域像素空间编码和变换域像素空间编码结果，选择率失真性能较好的结果作为当前图像块的编码结果，并将选择标志位写入码流。重建参考帧生成步骤，将所选择的编码方法下对应的重建当前图像块写入重建参考帧。如本发明所述的视频编解码方法的编码步骤，所述在原始域像素空间进行预测编码步骤包括以下编码方法；使用普通参考图像对当前图像进行预测编码。基于场景建模构造可重建参考图像来对当前图像进行预测编码。如本发明所述的视频编解码方法，所述解码步骤是与编码步骤相对应的，解码步骤包括解码出编码方法标志；按照解码得到的解码方法完成解码。如本发明所述的视频编解码方法的解码步骤，所述解码出编码方法标志步骤得到的当前图像数据块的编码方法为变换域像素空间预测编码时，按照解码得到的解码方法完成解码步骤包括生成变换空间的参考图像块步骤，解码生成变换空间的参考图像块的生成方法， 根据该方法生成变换域的参考图像块。变换域解码步骤，使用变换域的参考图像和解码信息，进行解码得到变换域的当前图像；重建原始域当前图像步骤，对重建参考图像块和解码出的当前图像块，进行逆变换得到原始空间下的当前图像和重建参考图像块，所用逆变换方法与生成变换空间的方法相对应。如本发明所述的解码得到的解码方法完成解码步骤，所述的生成变换空间的参考图像块步骤方法包括以下两种常见可逆变换方法，解码编码时所使用的可逆变换，将原始域像素空间的参考图像块映射到变换域像素空间。去除场景模型方法，对原始域像素空间的参考图像块，去除解码时得到的参考图像块所对应的场景模型，并得到当前图像块的场景模型。如本发明所述的像素空间生成方法，所述去除场景模型方法中，解码参考图像所对应的场景模型的方法包括选择已存在重建图像，从已编码图像中选择一个或若干个重建图像，作为参考图像块的场景模型；解码构造场景模型，通过解码构造出编码时所使用的场景模型。如本发明所述的像素空间生成方法，所述去除场景模型方法中，解码构造场景模型的方法包括使用重建图像数据构造场景模型，使用解码得到的重建的参考图像，构造出一个场景模型来描述场景信息。解码构造的编入码流的场景模型，直接解码码流中的场景模型部分，得到编码时所使用的场景模型。如本发明所述的解码构造场景模型的方法，所述使用重建图像数据构造场景模型方法包括使用重建图像基于背景建模生成参考图像块和当前图像块的场景模型。依据重建图像之间的内容关系，对参考图像进行线性、投影、仿射等空间变换分别得到参考图像块和当前图像块的场景模型。以重建参考图像光照模型作为到参考图像块和当前图像块的场景模型。如本发明所述的按照解码得到的解码方法完成解码，重建原始域当前图像步骤所用方法包括常用可逆变换方法基于常用可逆变换，将原始域像素空间的参考图像块映射到变换域像素空间。叠加场景模型方法将当前图像块的场景模型叠加到变换域像素空间的重建当前图像块，以得到原始域像素空间的解码当前图像块。相对于现有技术而言，本发明具有如下优势第一，在变换域进行预测编码可以去除传统预测编码方式难以消除的场景变化相似性冗余。第二，通过选择性地在变换域编码方式和原始域编码方式之间进行选择，可以保持现有的预测编码技术贡献，并且通过选择变换域编码方式，显著提高了编码效率，降低了编码码流的位率。
第三，对于含有场景模型(如光照模型、全局背景)的视频，实验证明，在保证主客观视频编码质量的情况下，该方法可以实现极为显著的码率节省。
图1是本发明提出的一种高效的视频编解码方法的编码步骤流程图；图2是发明提出的一种高效的视频编解码方法在变换域像素空间进行预测编码的步骤流程图；图3是发明提出的变换域像素空间解码步骤流程图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。本发明提出了一种高效的视频编解码方法，它通过在变换域预测编码和原始域行预测编码两种块编码方式之间进行比较，选择一种较优的编码方式编码待编码图像的每一个数据块。参照图1，图1是是本发明提出的一种高效的视频编解码方法具体实施的编码步骤流程图，编码步骤包括变换域像素空间生成步骤Si，使用变换域像素空间生成方法，将原始图像空间的当前图像块和参考图像映射到经过变换导出的像素空间。在具体实施过程中，可以采用的方法包括可逆变换方法(1)基于可逆变换，将原始域像素空间的当前图像块和参考图像块映射到变换域像素空间，可逆变换能够在解码端得到。具体来讲，可以使用的可逆变换方法包含但不限于离散余弦变换、K-L变换、小波变换。(2)去除场景模型方法将原始域像素空间的当前图像块和参考图像块，分别与当前图像和参考图像所对应的场景模型做减法，该场景模型可以在解码端得到。具体使用的场景模型包含但不限于背景模型、光照模型、噪声模型。其中，生成场景模型的方法包含但不限于(1)从已编码图像中选择一个或若干个重建图像，作为参考图像块和当前图像块的场景图像。(2)直接使用已编码图像构造出一个场景模型。其中，构造场景模型的方法包括(1)使用原始图像块或重建图像块，基于背景建模生成参考图像块和当前图像块的可重建的场景模型。(2)依据已编码图像之间的内容关系，对参考图像进行线性、投影、仿射等空间变换，分别得到参考图像块和当前图像块的可重建的场景模型。(3)以参考图像和当前图像的光照模型，作为到参考图像块和当前图像块的可重建的场景模型。上述的场景模型构造过程中，如果使用了原始图像，那么构造的场景模型需要写入码流，否则，则不需要写入码流。上述内容中，背景建模方法包含但不限于均值、中值、mean shift (均值飘移)、混合高斯模型等现有建模方法。在变换域像素空间进行预测编码步骤S2，并在该像素空间使用可重建参考图像块对当前图像块进行压缩。该步骤在具体实施过程可以如图2所示，包括(1)变换域预测编码步骤S31 使用变换域下的重建参考图像块对变换域下的当前图像进行预测编码。(2)变换域解码重建步骤S32 解码得到变换域下的重建当前图像块。(3)重建原始域图像块步骤S33 对变换域下的重建当前图像块进行逆变换得到原始域像素空间下的重建当前图像块，所用的逆变换包括叠加编码中所使用的场景模型以及直接使用常见的逆变换方法。上述内容中，在变换域空间下所采用的预测编码方法，包含但不限于现有的编码标准如 MPEG-l/2/4、H. 263、H. 264/AVC、VCl、AVS、JPEG、JPEG2000、MJPEG。编码方法选择步骤S3，选择是否在变换域像素空间的预测编码结果，作为当前图像数据块的编码结果。该步骤可以通过(1)在原始域像素空间预测编码和变换域像素空间预测编码方法中进行选择来实现；(2)比较原始域像素空间编码和变换域像素空间编码结果，选择率失真性能较好的结果作为当前图像块的编码结果，并将选择标志位写入码流。(3)然后完成重建参考帧生成——将所选择的编码方法下对应的重建当前图像块写入重建参考帧。在原始域像素空间进行预测编码，是指使用可重建参考图像块，对当前图像块进行预测编码，具体方法包括(1)使用普通参考图像对当前图像进行预测编码。( 基于场景建模构造可重建参考图像，对当前图像进行预测编码。在具体实施过程中，一般以普通参考图像作短期预测参考帧，以基于场景建模构造可重建参考图像作长期参考帧会得到更优的码率节省。上述内容中预测编码方法，包含但不限于现有的编码标准如MPEG-1/2/4、H. 263, H. 264/AVC、VCl、AVS、JPEG、JPEG2000、MJPEG。在具体实施过程中，解码编码的码流的方法与编码方法是对应的，即本发明提出的一种高效的视频编解码方法，具体实施首先解码指定的编码方法标志。具体来说，对于每一个数据块，在编码码流中会有相应的标志位标识当前数据块，采用变换域编码方式和是原始域编码方式编码，通过解码该标识，就可以得到当前数据块得编码方式。如果所选的编码方法为原始域像素空间的预测编码，则对在原始域像素空间进行编码的当前图像块，按照编码方法所对应的解码方法如MPEG-V2/4、H. 263, H. 264/AVC, VCU AVS, JPEG、JPEG2000、MJPEG进行预测解码；如果所选的编码方法为变换域像素空间的预测编码，按照图3所示的解码流程进行解码生成变换空间的参考图像块步骤S4,该步骤按照编码码流所使用的生成变换空间的参考图像块的方法，将原始域的参考图像变换为变换域的参考图像。变换域解码步骤S5，使用变换域的参考图像和解码信息，按照所使用的编码方法如 MPEG-1/2/4、H. 263, H. 264/AVC, VCU AVS, JPEG、JPEG2000、MJPEG 进行预测解码， 得到变换域的当前图像。重建原始域当前图像步骤S6，对重建参考图像块和解码出的当前图像块，进行逆变换得到原始空间下的当前图像和重建参考图像块步骤，所用逆变换方法与生成变换空间的方法相对应。在解码方法的具体实例中，如果编码端所使用的场景模型未编入码流，则要按照与编码端相同的场景模型生成方式生成场景模型，进而计算变换域像素空间的参考图像， 并在解码原始域的重建图像时，将解码的变换域当前图像与场景模型进行叠加。如果编码端所使用的场景模型写入码流，则解码过程中不需要生成场景模型，直接解码即可得到场景模型，进而完成后续操作。下面举一个实例来说明本发明一种视频码流的转换压缩系统可能的实现方式。设定输入视频为YUV4:2:0格式3000帧的静态摄像机拍摄的监控视频，在编码过程中使用的变换域为减除建模背景后变换域，所用的背景建模方法为均值算法，建模过程中使用的训练集为120帧，每900帧训练一个背景，将背景编入码流，编码QP为0，在 AVS标准的伸展档次下实现。针对上述实现，进行了如下性能测试在8个3000帧标清 (720X576)或CIF(352X^8)的室内/室外场景的静止摄像机序列上，与传统的AVS伸展档次的编码方法相比较，本发明的转换压缩方法与系统，在使用AVS伸展档次编码器作为内置编码器后，在lM-3Mbps (标清)和12mi-7681ibps (CIF)位率下实现了 40%以上的码率节省。以上对本发明所提供的选择在变换域完成预测编码的视频压缩进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种视频编解码方法，其特征在于含有使用了在变换域像素空间内的预测编解码， 作为可选择的图像数据块的编码步骤和解码步骤。
2.如权利要求1所述的视频编解码方法，其特征还在于编码步骤包括a)变换域像素空间生成步骤，使用变换域像素空间生成方法，将原始图像空间的当前图像块和参考图像映射到经过变换导出的像素空间；b)在变换域像素空间进行预测编码步骤，并在该像素空间使用可重建参考图像块对当前图像块进行预测编码；c)编码方法选择步骤，选择是否采用变换域像素空间预测编码的结果，作为当前图像数据块的编码码流。
3.如权利要求2所述的视频编解码方法，其特征还在于所述的变换域像素空间生成步骤中，所使用的像素空间生成方法包括以下两种a)常见可逆变换方法基于常见可逆变换，将原始域像素空间的当前图像块和参考图像块映射到变换域像素空间；b)去除场景模型方法对原始域像素空间的当前图像块和参考图像块分别去除其对应的场景模型。
4.如权利要求3所述的视频编解码方法，其特征还在于所述的去除场景模型方法中， 当前图像块和参考图像块分别去除其对应的场景模型包括a)选择已存在图像步骤从已编码图像中选择一个或若干个重建图像，作为参考图像块和当前图像块的场景模型；b)构造场景模型步骤使用已编码的图像，构造出一个场景模型来描述场景信息。
5.如权利要求4所述的视频编解码方法，其特征还在于所述构造场景模型步骤包括a)使用已编码图像块，基于背景建模生成参考图像块和当前图像块的可重建的场景模型，此时需要将场景模型编入视频码流；b)依据已编码图像之间的内容关系，对已编码参考图像进行线性、投影、仿射等空间变换分别得到参考图像块和当前图像块场景模型；c)计算已编码图像和当前图像的光照模型，作为参考图像块和当前图像块的可重建的场景模型。
6.如权利要求5所述的视频编解码方法，其特征还在于所述构造场景模型步骤中，当构造场景模型的过程中使用了原始的视频图像，那么构造的场景模型需要经过编码写入码流，当构造场景模型的过程中只使用重建的已编码图像，那么构造的场景模型可以不写入码流。
7.如权利要求2所述的视频编解码方法，其特征还在于所述在变换域像素空间进行预测编码步骤还包括以下步骤a)变换域预测编码步骤，使用变换域下的重建参考图像块对变换域下的当前图像块进行预测编码；b)变换域解码重建步骤，解码得到变换域下的重建当前图像块；c)重建原始域图像块步骤，对变换域下的重建当前图像块，进行逆变换得到原始域像素空间下的重建当前图像块。
8.如权利要求7所述的视频编解码方法，其特征还在于重建原始域图像块步骤包括a)常用可逆变换方法基于常用可逆变换，将变换域像素空间的当前图像块映射到原始域像素空间；b)叠加场景模型方法将场景模型叠加到变换域像素空间的重建当前图像块上，以得到原始域像素空间的解码当前图像块。
9.如权利要求2所述的所述视频编解码方法，其特征还在于编码方法选择步骤包括a)在原始域像素空间进行预测编码步骤，使用现有的编码方法对原始当前图像进行预测编码；b)编码方法选择步骤，比较原始域像素空间编码和变换域像素空间编码结果，选择率失真性能较好的结果作为当前图像块的编码结果，并将选择标志位写入码流；c)重建参考帧生成步骤，将所选择的编码方法下对应的重建当前图像块写入重建参考帧。
10.如权利要求9所述视频编解码方法，其特征还在于所述在原始域像素空间进行预测编码步骤包括以下编码方法；a)使用普通参考图像对当前图像进行预测编码；b)基于场景建模构造可重建参考图像来对当前图像进行预测编码。
11.如权利要求1所述的视频编解码方法，其特征还在于所述解码步骤是与编码步骤相对应的解码步骤包括a)解码出编码方法标志；b)按照解码得到的解码方法完成解码。
12.如权利要求11所述的视频编解码方法，其特征还在于按照解码得到的解码方法完成解码步骤包括a)生成变换空间的参考图像块步骤，解码生成变换空间的参考图像块的生成方法，根据该方法生成变换域的参考图像块；b)变换域解码步骤，使用变换域的参考图像和解码信息进行解码得到变换域的当前图像；c)重建原始域当前图像步骤，对重建参考图像块和解码出的当前图像块，进行逆变换得到原始空间下的当前图像和重建参考图像块，所用逆变换方法与生成变换空间的方法相对应。
13.如权利要求12所述的视频编解码方法，其特征还在于所述的生成变换空间的参考图像块步骤方法包括以下两种a)常见可逆变换方法，解码编码时所使用的可逆变换，将原始域像素空间的参考图像块映射到变换域像素空间；b)去除场景模型方法，对原始域像素空间的参考图像块，去除解码时得到的参考图像块所对应的场景模型，并得到当前图像块的场景模型。
14.如权利要求13所述的视频编解码方法，其特征还在于所述去除场景模型方法中， 解码参考图像所对应的场景模型的方法包括a)选择已存在重建图像，从已编码图像中选择一个或若干个重建图像作为参考图像块的场景模型；b)解码构造场景模型，通过解码构造出编码时所使用的场景模型。
15.如权利要求14所述的视频编解码方法，其特征还在于所述解码构造场景模型的方法包括a)使用重建图像数据构造场景模型，使用解码得到的重建的参考图像，构造出一个场景模型来描述场景信息；b)解码构造的编入码流的场景模型，直接解码码流中的场景模型部分，得到编码时所使用的场景模型。
16.如权利要求15所述的视频编解码方法，其特征还在于所述使用重建图像数据构造场景模型方法包括a)使用重建图像基于背景建模生成参考图像块和当前图像块的场景模型；b)依据重建图像之间的内容关系，对参考图像进行线性、投影、仿射等空间变换，分别得到参考图像块和当前图像块的场景模型；c)以重建参考图像光照模型作为到参考图像块和当前图像块的场景模型。
17.如权利要求11所述的视频编解码方法，其特征还在于所述的按照解码得到的解码方法完成解码中，重建原始域当前图像步骤所用方法包括a)常用可逆变换方法基于常用可逆变换，将原始域像素空间的参考图像块映射到变换域像素空间；b)叠加场景模型方法将当前图像块的场景模型叠加到变换域像素空间的重建当前图像块，以得到原始域像素空间的解码当前图像块。
全文摘要
本发明提出了一种高效的视频编解码方法，它选择性地在原图像空间和变换空间完成基于预测的编解码。这种方法首先得到变换域的当前图像块和参考图像块，所用的变换方法包括减去当前图像和参考图像所对应的场景模型以及对参考图像和当前图像进行其它可逆变换。然后同时在原始域像素空间和变换域像素空间采用传统编码方法进行预测编码，最后比较两种预测编码结果，选择最优的编码结果作为当前图像块的编码结果，并将选择信息写入码流。在对各个数据块的编码过程中，在两种模式中选择编码效率高的作为该数据块的编码模式。该方法可以显著地提高视频压缩效率。
文档编号H04N7/50GK102333220SQ20111032164
公开日2012年1月25日 申请日期2011年10月21日 优先权日2011年10月21日
发明者张贤国, 田永鸿, 高文, 黄铁军 申请人:北京大学