图像和视频编码中多尺度兼容处理装置及其方法

专利名称：图像和视频编码中多尺度兼容处理装置及其方法
技术领域：
本发明属于图像通信技术领域，特别是涉及一种图像和视频编码中多尺度兼容处理装置及其方法。
背景技术：
在图像通信技术迅速发展的时代，数据压缩技术是高质量地实现数据保存与数据传输关键之一，人们对视频压缩技术的研究和应用也已经有20多年，在通信领域已经产生了H.261、H.263、H.264、MEPG-1、MPEG-2、MPEG-4和国内第一个针对音视频产业需求制定的标准AVS视频编码标准。在实际应用中，常把若干种方法混合使用，综合考虑预测，变换以及熵编码的编码框架，以求得到更高的压缩比，有以下几个主要特点1、利用帧间预测来消除图像间的冗余，利用帧内预测来消除图像内的冗余。
2、通过对预测残差进行变换和量化来消除图像内的视觉冗余。
3、利用熵编码来消除统计上的冗余。
上述视频编码标准都具有帧内编码图像帧(I帧)和帧间编码图像帧(P帧)，I帧和P帧采用不同的编码方法。I帧的编码过程如下可采用基于频率域或空域的帧内预测，用预测模式标记当前待编码块的参考值获得方法，然后计算待编码块与其参考块之间的差值，得到相应的残差数据块，对原始图像数据块或残差数据块进行2维变换，然后在变换域中对变换系数进行量化，最后进行熵编码，即采用变长编码或者算术编码等。P帧的编码过程如下采用基于运动补偿的帧间预测，通过运动矢量来标记当前待编码块的参考块位置，然后计算待编码块与其参考块之间的差值，得到相应的残差数据块，接着残差数据块进行2维变换，再对变换域系数进行量化，最后进行熵编码。
在视频编码中，编码端只需要传输编码模式信息、运动矢量、重建图像块与其预测值残差的变换量化系数即可。而在解码端，接收到了编码模式信息和运动矢量，即可对当前解码块进行预测，获得其预测值，再对残差的变换量化系数进行反量化反变换，与预测值相加即可得到重建图像块。
传统的图像编码标准，如JPEG标准，与视频编码标准有着相近之处，对原始图像数据或图像内预测得到的残差块进行二维变换；然后在变换域中对变换系数进行量化；最后进行熵编码。
由于视频数据和图像数据在空间域上较强的相关性，二维变换是提高编码增益的关键因素，因此二维变换是视频编码和图像编码的很重要的部分。
离散余弦变换(DCT)变换或逼近于离散余弦变换的整数变换通常用于图像数据和视频数据的块变换编码，这是因为对于各种信号，离散余弦变换和整数变换非常近似于统计最佳的K-L变换。离散余弦变换和整数变换被广泛应用于各种视频/图像编码标准中。在现有的视频/图像编码标准中，部分标准采用4×4变换、缩放和量化方法对色度/亮度块全部进行4×4变换、缩放和量化处理，部分标准采用8×8变换、缩放和量化方法对色度/亮度块全部进行8×8变换、缩放和量化处理。采用4×4变换、缩放和量化方法计算量小，但是去除信号相关性能力也小，而采用8×8变换、缩放和量化方法较4×4变换、缩放和量化方法计算量大，去除信号相关性能力大，但是对于由4个4×4块拼接而成的8×8块数据进行8×8变换、缩放和量化，其效果不佳。
对于2m×2n、2m×n、m×2n、m×n的原始图像块或残差块，应当分别采用2m×2n、2m×n、m×2n、m×n的变换、缩放和量化进行处理，但是在传统的处理系统中，这需要引入4套处理装置和方法，复杂度非常高，影响了实现的可行性。其中，m和n可以分别是任意大小的正整数。

发明内容
本发明的目的在于提供一种结构简单、性能稳定、对视频、图像、视频或图像的预测残差信号进行多尺度兼容处理装置及其方法。
为了达到上述目的，本发明采用的技术方案如下本发明所述的图像和视频编码中多尺度兼容处理装置的一种技术方案是这样实现的它包括缩放与量化相分离的正向处理器，所述缩放与量化相分离的正向处理器包括依次相连接的输入装置、多尺度兼容正向变换装置、量化装置和输出装置，其特征在于所述多尺度兼容缩放装置设置在多尺度兼容正向变换装置和量化装置之间。
本发明所述的图像和视频编码中多尺度兼容处理的一种方法是缩放与量化相分离的正向处理方法，其特征在于多尺度兼容缩放装置的处理方法对多尺度兼容正向变换装置输出得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放处理，完成正逆向缩放处理，如下sf2m×2n＝f2m×2nS2m×2n、sf2m×n＝f2m×nS2m×n、sfm×2n＝fm×2nSm×2n或sfm×n＝fm×nSm×n，其中，sf2m×2n、sf2m×n、sfm×2n或sfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放处理结果，算符表示将其左右两个矩阵中相同位置的系数分别相乘，S2m×2n、S2m×n、Sm×2n或Sm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放系数矩阵，S2m×2n中的第(i，j)个系数是S2m×2n(i，j)＝1/(si×sj)2，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，S2m×n(i，j)＝2×S2m×2n(i，2j)，Sm×2n(i，j)＝2×S2m×2n(2i，j)，Sm×n(i，j)＝4×S2m×2n(2i，2j)。
利用2m×2n整数缩放系数矩阵SI2m×2n构造2m×n、m×2n或m×n整数缩放系数矩阵SI2m×n、SIm×2n或SIm×n，如下SI2m×n(i，j)＝SI2m×2n(i，2j)、SIm×2n(i，j)＝SI2m×2n(2i，j)或SIm×n(i，j)＝SI2m×2n(2i，2j)，进行右移操作时，2m×n缩放或m×2n缩放相对于2m×2n缩放少右移1位，m×n缩放相对于2m×2n缩放少右移2位。
本发明所述的图像和视频编码中多尺度兼容处理装置的另一种技术方案是这样实现的它包括缩放与量化相结合的正向处理器，所述缩放与量化相结合的正向处理器包括依次相连接的输入装置、多尺度兼容正向变换装置和输出装置，其特征在于所述多尺度兼容缩放量化装置设置在多尺度兼容正向变换装置和输出装置之间。
本发明所述的图像和视频编码中多尺度兼容处理的另一种方法是缩放与量化相结合的正向处理方法，其特征在于多尺度兼容缩放量化装置的处理方法对多尺度兼容正向变换装置输出得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放量化处理，完成正逆向缩放量化处理，如下qsf2m×2n＝f2m×2nQS2m×2n、qsf2m×n＝f2m×nQS2m×n、qsfm×2n＝fm×2nQSm×2n或qsfm×n＝fm×nQSm×n，其中，qsf2m×2n、qsf2m×n、qsfm×2n或qsfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化处理结果，QS2m×2n、QS2m×n、QSm×2n或QSm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化系数矩阵，QS2m×2n中的第(i，j)个系数是QS2m×2n(i，j)＝1/(Q(i，j)×(si×sj)2)，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，Q(i，j)是量化步长因子，QS2m×n(i，j)＝2×QS2m×2n(i，2j)，QSm×2n(i，j)＝2×QS2m×2n(2i，j)，QSm×n(i，j)＝4×QS2m×2n(2i，2j)。
利用2m×2n整数缩放量化系数矩阵QSI2m×2n构造2m×n、m×2n或m×n整数缩放量化系数矩阵QSI2m×n、QSIm×2n或QSIm×n，如下QSI2m×n(i，j)＝QSI2m×2n(i，2j)、QSIm×2n(i，j)＝QSI2m×2n(2i，j)或QSIm×n(i，j)＝QSI2m×2n(2i，2j)，进行相同程度量化下的右移操作时，2m×n缩放量化或m×2n缩放量化相对于2m×2n缩放量化少右移1位，m×n缩放量化相对于2m×2n缩放量化少右移2位。
本发明所述的图像和视频编码中多尺度兼容处理装置的另一种技术方案是这样实现的它包括逆向处理器，其特征在于所述逆向处理器由输入装置、多尺度兼容逆向变换装置和输出装置构成，在输入装置与输出装置之间连接有多尺度兼容逆向变换装置。
本发明所述的图像和视频编码中多尺度兼容处理的另一种方法是逆向变换方法，其特征在于该逆向变换方法步骤是1)根据正向变换矩阵大小和系数选取逆向变换矩阵大小和系数；2)根据所设置的逆向变换矩阵对输入数据进行逆向变换处理。
本发明与背景技术相比，具有的有益效果本发明在正向变换处理时将正向缩放和逆向缩放相结合的基础上，利用2m×2n、2m×n、m×2n或m×n变换、缩放和量化运算的一致性，可合成一种兼容的操作和运算部件，无需任何附加计算或硬件开销就能同时实现2m×2n、2m×n、m×2n或m×n变换、缩放和量化，根据输入的图像数据或视频数据的块大小和特点，合理的选择变换类型，从而具有减少运算存储复杂度、降低成本、提高信号压缩率等优点。本发明并不限于图像编码和视频编码领域，可以推广至其它信号处理的应用中。同时本发明具有一定的可扩展性，可以与众多的信号处理方法相结合，并可以实现不同应用范围的信号处理。


图1为本发明所述多尺度兼容处理装置的缩放与量化相分离的正向处理器结构框图；图2为本发明所述多尺度兼容处理装置的缩放与量化相结合的正向处理器结构框图；图3为本发明所述多尺度兼容处理装置的逆向处理器结构框图。
具体实施例方式
图像数据和视频数据或其残差数据可以被划分为不同大小的块进行变换。例如，2m×2n、2m×n、m×2n或m×n等。对于这些不同大小的块，可以分别进行2m×2n、2m×n、m×2n或m×n变换、缩放和量化。
参照附图1本发明所述多尺度兼容处理装置的缩放与量化相分离的正向处理器包括依次相连接的输入装置110、多尺度兼容正向变换装置120、多尺度兼容缩放装置130、量化装置140和输出装置150；所述多尺度兼容缩放装置130设置在多尺度兼容正向变换装置120和量化装置140之间。
输入装置110采用现有的易失存储器(如寄存器、高速缓存、RAM)、非易失存储器(如ROM、EEPROM、闪存)或者两者的某种组合而成，它用于接受存储多尺度兼容正向变换的输入数据，该数据可以是视频信号，图像信号，视频或图像的预测残差信号等，它能够接受输入数据并保持，当需要进行多尺度兼容正向变换处理时，能提供输入数据。
多尺度兼容正向变换装置120对2m×2n、2m×n、m×2n或m×n输入数据块进行多尺度兼容正向变换处理，其中包括的算术逻辑单元125可以用乘法运算、加法运算和移位运算实现该处理。输入信号经多尺度兼容正向变换装置120后，由空域信号转变成了变换域信号，空域信号之间具有的较大相关性在频域信号中大大降低了。
多尺度兼容缩放装置130对2m×2n、2m×n、m×2n或m×n变换域信号进行多尺度兼容缩放处理，其中包括的算术逻辑单元135可以用除法运算、乘法运算、加法运算和移位运算实现该处理。变换域信号在通过多尺度兼容缩放装置130后，同时实现了正向变换后和逆向变换前的缩放处理，信号实现了正向变换后和逆向变换前的归一化处理。
量化装置140对多尺度兼容缩放装置130的输出数据进行量化处理，实现有损或无损压缩。
输出装置150用于存储量化处理后的数据，并提供输出，类似于输入装置110，当需要输出时，能提供结果数据。
参照附图2本发明所述多尺度兼容处理装置的缩放与量化相结合的正向处理器包括依次相连接的输入装置210、多尺度兼容正向变换装置220、多尺度兼容缩放量化装置230和输出装置240；所述多尺度兼容缩放量化装置230设置在多尺度兼容正向变换装置220和输出装置240之间。
输入装置210采用现有的易失存储器(如寄存器、高速缓存、RAM)、非易失存储器(如ROM、EEPROM、闪存)或者两者的某种组合而成，它用于接受存储多尺度兼容正向变换的输入数据，该数据可以是视频信号，图像信号，视频或图像的预测残差信号等，它能够接受输入数据并保持，当需要进行多尺度兼容正向变换处理时，能提供输入数据。
多尺度兼容正向变换装置220对2m×2n、2m×n、m×2n或m×n输入数据块进行多尺度兼容正向变换处理，其中包括的算术逻辑单元225可以用乘法运算、加法运算和移位运算实现该处理。输入信号经多尺度兼容正向变换装置220后，由空域信号转变成了变换域信号，空域信号之间具有的较大相关性在频域信号中大大降低了。
多尺度兼容缩放量化装置230对2m×2n、2m×n、m×2n或m×n变换域信号进行多尺度兼容缩放量化处理，其中包括的算术逻辑单元235可以用除法运算、乘法运算、加法运算和移位运算实现该处理。变换域信号在通过多尺度兼容缩放量化装置230后，同时实现了正向变换后和逆向变换前的缩放处理和量化处理，信号实现了正向变换后和逆向变换前的归一化处理和有损压缩。
输出装置240用于存储多尺度兼容缩放量化处理后的数据，并提供输出，类似于输入装置210，当需要输出时，能提供结果数据。
参照附图3本发明多尺度兼容处理装置的逆向处理器由输入装置310、多尺度兼容逆向变换装置320和输出装置330构成，在输入装置310与输出装置330之间连接有多尺度兼容逆向变换装置320。
所述输入装置310用于接受存储多尺度兼容逆向变换的2m×2n、2m×n、m×2n或m×n输入数据；多尺度兼容逆向变换装置320对2m×2n、2m×n、m×2n或m×n输入数据块进行多尺度兼容逆向变换处理，其中包括的算术逻辑单元325可以用乘法运算、加法运算和移位运算实现该处理；输出装置330用于存储逆向变换后的数据，并提供输出。
输入装置310、多尺度兼容逆向变换装置320和输出装置330均类似于缩放与量化相分离的正向处理器或缩放与量化相结合的正向处理器中相对应的部分，输入装置310可存储归一化变换域信号，通过多尺度兼容逆向变换装置320后，转变为原始的或近似原始的视频、图像或视频图像残差信号。
上述的缩放与量化相分离的正向处理器、缩放与量化相结合的正向处理器和多尺度兼容逆向变换器可以用处理器系统，微控制器，可编程逻辑器件或微处理器实现部分或全部的操作。上述的一些操作可以用软件实现，同时另一些操作可以用硬件实现，或者全部用硬件实现。
为了方便起见，这些操作被描述为不同的互连的功能单元或不同的软硬件模块。但是，这不是必要的。在一些应用中，这些功能单元或模块可以被集成到单一的逻辑器件，程序或操作中，而没有明显的界限。在任何情况中，功能单元和软硬件模块或描述的特征可以独立实现，或与其他操作一起用硬件或软件实现。
多尺度兼容处理的一种方法是缩放与量化相分离的正向处理方法，其步骤是1)对2m×2n、2m×n、m×2n或m×n输入信号中的一个或几个组合分别进行多尺度兼容正向变换处理，如下
f2m×2n＝T2m×F2m×2n×T2n、f2m×n＝T2m×F2m×n×Tn、fm×2n＝Tm×Fm×2n×T2n或fm×n＝Tm×Fm×n×Tn，其中，F2m×2n、F2m×n、Fm×2n或Fm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容正向变换输入数据，f2m×2n、f2m×n、fm×2n或fm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容正向变换结果，T2m、Tm、T2n和Tn分别是2m×2m、m×m、2n×2n和n×n变换矩阵，并且T2m和Tm、T2n和Tn满足以下关系T2m=Tm00Tm′ImImIm-Im,]]>T2n=Tn00Tn′InInIn-In,]]>其中T′m和T′n分别是m×m和n×n矩阵，Im和In分别是m×m和n×n单位阵；2)对多尺度兼容正向变换处理后得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放处理，完成正逆向缩放处理，如下sf2m×2n＝f2m×2nS2m×2n、sf2m×n＝f2m×nS2m×n、sfm×2n＝fm×2nSm×2n或sfm×n＝fm×nSm×n，其中，sf2m×2n、sf2m×n、sfm×2n或sfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放处理结果，算符表示将其左右两个矩阵中相同位置的系数分别相乘，S2m×2n、S2m×n、Sm×2n或Sm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放系数矩阵，S2m×2n中的第(i，j)个系数是S2m×2n(i，j)＝1/(si×sj)2，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，S2m×n(i，j)＝2×S2m×2n(i，2j)，Sm×2n(i，j)＝2×S2m×2n(2i，j)，Sm×n(i，j)＝4×S2m×2n(2i，2j)；3)对多尺度兼容缩放处理后得到的sf2m×2n、sf2m×n、sfm×2n或sfm×n中的一个或几个组合进行量化处理。
利用2m×2n整数缩放系数矩阵SI2m×2n构造2m×n、m×2n或m×n整数缩放系数矩阵SI2m×n、SIm×2n或SIm×n，如下SI2m×n(i，j)＝SI2m×2n(i，2j)、SIm×2n(i，j)＝SI2m×2n(2i，j)或SIm×n(i，j)＝SI2m×2n(2i，2j)，进行右移操作时，2m×n缩放或m×2n缩放相对于2m×2n缩放少右移1位，m×n缩放相对于2m×2n缩放少右移2位。
多尺度兼容处理的另一种方法是缩放与量化相结合的正向处理方法，其步骤是1)对2m×2n、2m×n、m×2n或m×n输入信号中的一个或几个组合分别进行多尺度兼容正向变换处理，如下f2m×2n＝T2m×F2m×2n×T2n、f2m×n＝T2m×F2m×n×Tn、fm×2n＝Tm×Fm×2n×T2n或fm×n＝Tm×Fm×n×Tn，其中，F2m×2n、F2m×n、Fm×2n或Fm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容正向变换输入数据，f2m×n、f2m×n、fm×2n或fm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容正向变换结果，T2m、Tm、T2n和Tn分别是2m×2m、m×m、2n×2n和n×n变换矩阵，并且T2m和Tm、T2n和Tn满足以下关系T2m=Tm00Tm′ImImIm-Im,]]>T2n=Tn00Tn′InInIn-In,]]>其中T′m和T′n分别是m×m和n×n矩阵，Im和In分别是m×m和n×n单位阵；2)对多尺度兼容正向变换处理后得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放量化处理，完成正逆向缩放量化处理，如下qsf2m×2n＝f2m×2nQS2m×2n、qsf2m×n＝f2m×nQS2m×n、qsfm×2n＝fm×2nQSm×2n或qsfm×n＝fm×nQSm×n，其中，qsf2m×2n、qsf2m×n、qsfm×2n或qsfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化处理结果，QS2m×2n、QS2m×n、QSm×2n或QSm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化系数矩阵，QS2m×2n中的第(i，j)个系数是QS2m×2n(i，j)＝1/(Q(i，j)×(si×sj)2)，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，Q(i，j)是量化步长因子，QS2m×n(i，j)＝2×QS2m×2n(i，2j)，QSm×2n(i，j)＝2×QS2m×2n(2i，j)，QSm×n(i，j)＝4×QS2m×2n(2i，2j)。
利用2m×2n整数缩放量化系数矩阵QSI2m×2n构造2m×n、m×2n或m×n整数缩放量化系数矩阵QSI2m×n、QSIm×2n或QSIm×n，如下QSI2m×n(i，j)＝QSI2m×2n(i，2j)、QSIm×2n(i，j)＝QSI2m×2n(2i，j)或QSIm×n(i，j)＝QSI2m×2n(2i，2j)，进行相同程度量化下的右移操作时，2m×n缩放量化或m×2n缩放量化相对于2m×2n缩放量化少右移1位，m×n缩放量化相对于2m×2n缩放量化少右移2位。
图像和视频编码中多尺度兼容处理的另一种方法是逆向变换方法，其步骤是1)根据正向变换矩阵大小和系数选取逆向变换矩阵大小和系数；2)根据所设置的逆向变换矩阵对输入数据进行逆向变换处理。
多尺度兼容处理方法的实例
8×8变换矩阵是ICT8=8888888810962-2-6-9-10104-4-10-10-44109-2-10-66102-98-8888-8-886-1029-9-210-64-1010-4-410-1042-69-1010-96-2.]]>与该矩阵兼容的4×4变换矩阵是ICT4=8888104-4-108-8-884-1010-4.]]>对9比特的8×8、8×4、4×8或4×4输入信号中的一个或几个组合分别进行多尺度兼容正向变换处理，如下f8×8＝(T8×F8×8×T8+16)＞＞5、f8×4＝(T8×F8×4×T4+16)＞＞5、f4×8＝(T4×F4×8×T8+16)＞＞5或f4×4＝(T4×F4×4×T4+16)＞＞5，其中，＜＜表示将矩阵中所有的系数都左移，＞＞表示将矩阵中所有的系数都右移。8×8变换后数据的缩放处理根据其位置乘以缩放系数矩阵ScaleMatrix8×8中相应位置的缩放系数再右移19比特，8×4变换后数据的缩放处理根据其位置乘以缩放系数矩阵ScaleMatrix8×4中相应位置的缩放系数再右移18比特，4×8变换后数据的缩放处理根据其位置乘以缩放系数矩阵ScaleMatrix4×8中相应位置的缩放系数再右移18比特，4×4变换后数据的缩放处理根据其位置乘以缩放系数矩阵ScaleMatrix4×4中相应位置的缩放系数再右移17比特，ScaleMatrox8×8如下ScaleMatrix8×8=32768379583615837958327683795836158379583795843969418844396937958439694188443969361584188439898418843615841884398984188437958439694188443969379584396941884439693276837958361583795832768379583615837958379584188439898418843615841884398984188436158418843989841884361584188439898418843795843969418844396937958439694188443969.]]>ScaleMatrix8×4中的第(i，j)个系数ScaleMatrix8×4(i，j)如下ScaleMatrix8×4(i，j)＝ScaleMatrix8×8(i，2j)。
ScaleMatrix4×8中的第(i，j)个系数ScaleMatrix4×8(i，j)如下ScaleMatrix4×8(i，j)＝ScaleMatrix8×8(2i，j)。
ScaleMatrix4×4中的第(i，j)个系数ScaleMatrix4×4(i，j)如下ScaleMatrix4×4(i，j)＝ScaleMatrix8×8(2i，2j)。
可以采用一套运算部件实现8×8、8×4、4×8或4×4变换和缩放中的一组或几组运算。对多尺度兼容缩放处理后得到的完成正向变换后和逆向变换前的归一化处理的数据进行量化处理，实现有损或无损压缩。
在解码端，根据8×8、8×4、4×8或4×4正向变换矩阵系数选取8×8、8×4、4×8或4×4逆向变换矩阵系数，然后根据所设置的8×8、8×4、4×8或4×4逆向变换矩阵对8×8、8×4、4×8或4×4输入数据进行多尺度兼容逆向变换处理，恢复得到原始的或近似原始的视频、图像或视频图像残差信号。
同样的，也可以采用一套运算部件实现8×8、8×4、4×8或4×4变换和缩放量化中的一组或几组运算。
权利要求
1.一种图像和视频编码中多尺度兼容处理装置，包括缩放与量化相分离的正向处理器，所述缩放与量化相分离的正向处理器包括依次相连接的输入装置(110)、多尺度兼容正向变换装置(120)、量化装置(140)和输出装置(150)，其特征在于所述多尺度兼容缩放装置(130)设置在多尺度兼容正向变换装置(120)和量化装置(140)之间。
2.根据权利要求1所述的一种图像和视频编码中多尺度兼容处理装置的处理方法，其特征在于对多尺度兼容正向变换装置输出得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放处理，完成正逆向缩放处理，如下sf2m×2n＝f2m×2nS2m×2n、sf2m×n＝f2m×nS2m×n、sfm×2n＝fm×2nSm×2n或sfm×n＝fm×nSm×n，其中，sf2m×2n、sf2m×n、sfm×2n或sfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放处理结果，算符表示将其左右两个矩阵中相同位置的系数分别相乘，S2m×2n、S2m×n、Sm×2n或Sm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放系数矩阵，S2m×2n中的第(i，j)个系数是S2m×2n(i，j)＝1/(si×sj)2，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，S2m×n(i，j)＝2×S2m×2n(i，2j)，Sm×2n(i，j)＝2×S2m×2n(2i，j)，Sm×n(i，j)＝4×S2m×2n(2i，2j)。
3.根据权利要求2所述的一种图像和视频编码中多尺度兼容处理方法，其特征在于利用2m×2n整数缩放系数矩阵SI2m×2n构造2m×n、m×2n或m×n整数缩放系数矩阵SI2m×n、SIm×2n或SIm×n，如下SI2m×n(i，j)＝SI2m×2n(i，2j)、SIm×2n(i，j)＝SI2m×2n(2i，j)或SIm×n(i，j)＝SI2m×2n(2i，2j)，进行右移操作时，2m×n缩放或m×2n缩放相对于2m×2n缩放少右移1位，m×n缩放相对于2m×2n缩放少右移2位。
4.一种图像和视频编码中多尺度兼容处理装置，包括缩放与量化相结合的正向处理器，所述缩放与量化相结合的正向处理器包括依次相连接的输入装置(210)、多尺度兼容正向变换装置(220)和输出装置(240)，其特征在于所述多尺度兼容缩放量化装置(230)设置在多尺度兼容正向变换装置(220)和输出装置(240)之间。
5.根据权利要求4所述的一种图像和视频编码中多尺度兼容处理装置的处理方法，其特征在于对多尺度兼容正向变换装置输出得到的f2m×2n、f2m×n、fm×2n或fm×n中的一个或几个组合进行多尺度兼容缩放量化处理，完成正逆向缩放量化处理，如下qsf2m×2n＝f2m×2nQS2m×2n、qsf2m×n＝f2m×nQS2m×n、qsfm×2n＝fm×2nQSm×2n或qsfm×n＝fm×nQSm×n，其中，qsf2m×2n、qsf2m×n、qsfm×2n或qsfm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化处理结果，QS2m×2n、QS2m×n、QSm×2n或QSm×n分别表示2m×2n、2m×n、m×2n或m×n多尺度兼容缩放量化系数矩阵，QS2m×2n中的第(i，j)个系数是QS2m×2n(i，j)＝1/(Q(i，j)×(si×sj)2)，其中si是2m×2m变换矩阵中的第i行向量的模，sj是2n×2n变换矩阵中的第j行向量的模，Q(i，j)是量化步长因子，QS2m×n(i，j)＝2×QS2m×2n(i，2j)，QSm×2n(i，j)＝2×QS2m×2n(2i，j)，QSm×n(i，j)＝4×QS2m×2n(2i，2j)。
6.根据权利要求5所述的一种图像和视频编码中多尺度兼容处理方法，其特征在于利用2m×2n整数缩放量化系数矩阵QSI2m×2n构造2m×n、m×2n或m×n整数缩放量化系数矩阵QSI2m×n、QSIm×2n或QSIm×n，如下QSI2m×n(i，j)＝QSI2m×2n(i，2j)、QSIm×2n(i，j)＝QSI2m×2n(2i，j)或QSIm×n(i，j)＝QSI2m×2n(2i，2j)，进行相同程度量化下的右移操作时，2m×n缩放量化或m×2n缩放量化相对于2m×2n缩放量化少右移1位，m×n缩放量化相对于2m×2n缩放量化少右移2位。
7.一种图像和视频编码中多尺度兼容处理装置，包括逆向处理器，其特征在于所述逆向处理器由输入装置(310)、多尺度兼容逆向变换装置(320)和输出装置(330)构成，在输入装置(310)与输出装置(330)之间连接有多尺度兼容逆向变换装置(320)。
8.根据权利要求7所述的一种图像和视频编码中多尺度兼容处理装置的处理方法，其特征在于逆向变换方法步骤是1)根据正向变换矩阵大小和系数选取逆向变换矩阵大小和系数；2)根据所设置的逆向变换矩阵对输入数据进行逆向变换处理。
全文摘要
本发明公开了一种图像和视频编码中多尺度兼容处理装置及其方法。它包括缩放与量化相分离或相结合的正向处理器、逆向处理器。缩放与量化相分离的正向处理器包括依次相连接的输入、多尺度兼容正向变换、量化和输出装置，多尺度兼容缩放装置设置在多尺度兼容正向变换和量化装置之间。缩放与量化相结合的正向处理器包括依次相连接的输入、多尺度兼容正向变换和输出装置，多尺度兼容缩放量化装置设置在多尺度兼容正向变换和输出装置之间。逆向处理器包括依次相连接的输入、多尺度兼容逆向变换和输出装置。它具有结构简单、性能稳定的特点，它能够对视频、图像或残差信号进行多尺度兼容处理。无需附加计算或硬件开销能同时实现多尺度变换、缩放和量化。
文档编号H04N7/30GK1564605SQ200410017419
公开日2005年1月12日 申请日期2004年3月30日 优先权日2004年3月30日
发明者虞露, 楼剑 申请人:浙江大学