视频编码和解码中用于变换选择的方法和装置的制造方法
【专利说明】视频编码和解码中用于变换选择的方法和装置
[0001]本申请是申请日为2009年10月21日、申请号为200980155459.6、发明名称为“视频编码和解码中用于变换选择的方法和装置”的发明专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求2009年I月27日提交的美国临时申请序列号61/147，705的权益，其整体并入于此作为参考。本申请还要求2009年2月17日提交的美国临时申请序列号61/207,783的权益，其整体并入于此作为参考。而且，本申请也紧密涉及两个其它申请，两者与本申请同时提交并且具有共同发明人和共同受让人(代理人案号PU090137和PU090013)，每个所述申请整体并入作为参考，并且每个要求2009年I月27日提交的美国临时申请序列号61/147，705和2009年2月17日提交的美国临时申请序列号61/207，783的权益。
技术领域
[0004]本原理一般涉及视频编码和解码，且更具体地涉及选择待用于视频编码和解码的变换的方法和装置。
【背景技术】
[0005]基于块的离散变换是包括下列的许多图像和视频压缩标准和推荐的基本组成部分:联合图像专家组(JPEG)标准，国际电信联盟电信部门(ITU-T)H.263推荐标准(下文是“H.263推荐标准”)，国际标准化组织/国际电工委员会(IS0/IEC)运动图像专家组-1 (MPEG-1)标准，MPEG-2标准，IS0/IEC MPEG-4第10部分高级视频编码(AVC)标准/ITU-T H.264推荐标准(下文是“MPEG-4AVC标准”)及其它，并且它在广泛的应用中使用。
[0006]离散余弦变换(DCT)是最常用的块变换。DCT方案通过将图像/帧分为像素块(通常是4X4和8X8)，使用离散余弦变换将每个块从空间域变换到频域，并且量化DCT系数，来利用图像/帧的局部空间相关属性。大多数图像和视频压缩标准使用固定的二维(2-D)可分离DCT块变换。如果允许若干块大小(通常，从4X4到16X16个块)，则它们使用其大小对应于该块的DCT。但是，对于每个块大小仅存在一种可能变换。
[0007]然而，图像和视频内容包含变化统计和属性的数据。因此，每块大小的单个变换的可用性以及由此强迫使用使得无法实现任何潜在压缩获益，而这潜在压缩获益是可以使用与每块大小可用的单个变换不同的变换而获得的。
[0008]在诸如像MPEG-4AVC标准之类的图像和视频编码标准中，针对每个块大小使用的块变换仅存在一种选择。不存在对变换的选择。
[0009]参考图1，能够按照MPEG-4AVC标准进行视频编码的视频编码器一般地用附图标号100表示。视频编码器100包括帧排序缓冲器110，其具有与组合器185的非反向输入端进行信号通信的输出端。组合器185的输出端与变换器和量化器125的第一输入端进行信号通信连接。变换器和量化器125的输出端与熵编码器145的第一输入端以及逆变换器和逆量化器150的第一输入端进行信号通信连接。熵编码器145的输出端与组合器190的第一非反向输入端进行信号通信连接。组合器190的输出端与输出缓冲器135的第一输入端进行信号通信连接。
[0010]编码器控制器105的第一输出端与帧排序缓冲器110的第二输入端、逆变换器和逆量化器150的第二输入端、画面型判定模块115的输入端、宏块型(MB-型)判定模块120的第一输入端、帧内预测模块160的第二输入端、去块滤波器165的第二输入端、运动补偿器170的第一输入端、运动估计器175的第一输入端以及参考画面缓冲器180的第二输入端进行信号通信连接。
[0011]编码器控制器105的第二输出端与补充增强信息(SEI)插入器130的第一输入端、变换器和量化器125的第二输入端、熵编码器145的第二输入端、输出缓冲器135的第二输入端以及序列参数组(SPS)和画面参数组(PPS)插入器140的输入端进行信号通信连接。
[0012]SEI插入器130的输出端与组合器190的第二非反向输入端进行信号通信连接。
[0013]画面型判定模块115的第一输出端与帧排序缓冲器110的第三输入端进行信号通信连接。画面型判定模块115的第二输出端与宏块型判定模块120的第二输入端进行信号通信连接。
[0014]序列参数组(SPS)和画面参数组(PPS)插入器140的输出端与组合器190的第三非反向输入端进行信号通信连接。
[0015]逆量化器和逆变换器150的输出端与组合器119的第一非反向输入端进行信号通信连接。组合器119的输出端与帧内预测模块160的第一输入端和去块滤波器165的第一输入端进行信号通信连接。去块滤波器165的输出端与参考画面缓冲器180的第一输入端进行信号通信连接。参考画面缓冲器180的输出端与运动估计器175的第二输入端和运动补偿器170的第三输入端进行信号通信连接。运动估计器175的第一输出端与运动补偿器170的第二输入端进行信号通信连接。运动估计器175的第二输出端与熵编码器145的第三输入端进行信号通信连接。
[0016]运动补偿器170的输出端与开关197的第一输入端进行信号通信连接。帧内预测模块160的输出端与开关197的第二输入端进行信号通信连接。宏块型判定模块120的输出端与开关197的第三输入端进行信号通信连接。开关197的第三输入端确定开关的“数据”输入端(与控制输入端相比较，即，第三输入端)是否将由运动补偿器170或帧内预测模块160来提供。开关197的输出端与组合器119的第二非反向输入端和组合器185的反向输入端进行信号通信连接。
[0017]帧排序缓冲器110的第一输入端和编码器控制器105的输入端可用作编码器100的用于接收输入画面的输入端。而且，补充增强信息(SEI)插入器130的第二输入端可用作编码器100的用于接收元数据的输入端。输出缓冲器135的输出端可用作编码器100的用于输出位流的输出端。
[0018]参考图2，能够按照MPEG-4AVC标准进行视频解码的视频解码器一般地用附图标号200表示。视频解码器200包括输入缓冲器210，其具有与熵解码器245的第一输入端进行信号通信连接的输出端。熵解码器245的第一输出端与逆变换器和逆量化器250的第一输入端进行信号通信连接。逆变换器和逆量化器250的输出端与组合器225的第二非反向输入端进行信号通信连接。组合器225的输出端与去块滤波器265的第二输入端以及帧内预测模块260的第一输入端进行信号通信连接。去块滤波器265的第二输出端与参考画面缓冲器280的第一输入端进行信号通信连接。参考画面缓冲器280的输出端与运动补偿器270的第二输入端进行信号通信连接。
[0019]熵解码器245的第二输出端与运动补偿器270的第三输入端以及去块滤波器265的第一输入端进行信号通信连接。熵解码器245的第三输出端与解码器控制器205的输入端进行信号通信连接。解码器控制器205的第一输出端与熵解码器245的第二输入端进行信号通信连接。解码器控制器205的第二输出端与逆变换器和逆量化器250的第二输入端进行信号通信连接。解码器控制器205的第三输出端与去块滤波器265的第三输入端进行信号通信连接。解码器控制器205的第四输出端与帧内预测模块260的第二输入端、运动补偿器270的第一输入端以及参考画面缓冲器280的第二输入端进行信号通信连接。
[0020]运动补偿器270的输出端与开关297的第一输入端进行信号通信连接。帧内预测模块260的输出端与开关297的第二输入端进行信号通信连接。开关297的输出端与组合器225的第一非反向输入端进行信号通信连接。
[0021]输入缓冲器210的输入端可用作解码器200的用于接收输入位流的输入端。去块滤波器265的第一输出端可用作解码器200的用于输出输出画面的输出端。
[0022]在单一编码方案中对于多个变换的使用已经存在一些现有建议。在第一种现有技术途径中，揭露了一种最佳线性变换，称作Karhunen Loeve变换(KLT)。KLT被利用来在MPEG-4AVC标准中对于9种帧内预测模式的每种模式推导出最佳变换。提取每种模式的统计并且推导出相应的KLT。每个帧内预测剩余部分(residue)利用它的KLT来编码。以DCT不再接近最佳变换的这种方式，数据空间被9种帧内模式有效地分割，因此可以推导并且成功地应用独特的最佳变换。总之，该建议使用数种变换，但是每种变换被固定为所选择的帧内预测模式。
[0023]第二种现有技术途径提出修改DCT变换为若干频率，也就是，利用不同的全通滤波器改变基本函数以便获得各种各样的弯曲(warped)频率响应。得到的变换称作弯曲DCT(WDCT)。对于每个块进行穷尽比率失真(R_D，rate distort1n)搜索，并且用辅助信息(side informat1n)表示被选变换。该构思应用于图像压缩。
[0024]第三种现有技术途径描述了使用WDCT和在变换的系数本身内嵌入变换选择。该方法对低位速率图像压缩显示了良好性能。而且，该方法添加了最小化均方差(MSE)的后滤波步骤。该滤波是在编码器处确定的并且被复用到位流。
[0025]第四种现有技术途径提出针对大数据库的一组变换的代数最优化。该组被迭代地分割，直到它达到稳定点，在该稳定点，每个变换对于它的特殊子集数据是最佳稀疏的。编码器通过四重树表示在每个块中使用哪个变换。因此，对于每个块不是独立地完成变换选择。
[0026]第五种现有技术途径提出用于帧间模式的整数正弦变换(1ST)。帧间剩余部分相关性低，并且DCT仅对于高相关数据是足够的。因此，提出了正弦变换，它对相关性从-0.5到0.5的数据有效。KLT在该范围部分与正弦变换一致。1ST是以与MPEG-4AVC标准中的整数余弦变换完全相同的方式从正弦变换中推导出的。第五种现有技术途径已经实现4X4和8X8IST版本。对于整个宏块应用相同变换，发送标记，除非宏块被分为4个子宏块，随后发送规定在每个子宏块中采用的变换的4个标记。
[0027]第六种现有技术途径提出了类似于在第五种现有技术途径中提出的方案。该第六种现有技术途径提出能够在空间域和频域中进行自适应预测差错编码的自适应预测差错编码(APEC)方案。对于预测差错的每个块，应用变换编码或空间域编码。选择较低比率失真成本的算法。
[0028]先前的途径提出最佳变换的有限范围