专利名称：用于变换和逆变换图像的方法和设备的制作方法
技术领域：
符合本发明的设备和方法涉及视频编码和解码，并更具体地，涉及变换 和逆变换图像，其中可选择性地使用多个频率变换算法。
背景技术：
已经提出了用于图像和视频压缩的各种变换算法。最广泛使用的变换算 法之一可是基于块的变换算法或基于图像的变换算法。基于块的变换算法的 示例包括Karhuhen-Loeve (KLT)算法、奇异值分解(SVD )算法、以及离 散余弦(DCT)算法。基于块的变换算法用于变换NxN图像块或错误样本 块。
根据DCT算法，将输入图像信号划分为低频分量和高频分量。作为DCT 算法的结果，能量集中于低频分量。因此，在量化处理中可以轻易去除高频 分量。人类视觉系统对低频分量损失的敏感，而对高频分量损失不敏感。因 此，即使去除高频分量，仍能压缩图像而不会显著降低图像质量。
图1是用于解释相关技术DCT算法的原理的示意图。
参见图1，根据相关技术DCT算法，NxN输入块10经受列方向 (colmn-wise )变换20和行方向(row-wise )变换30以形成N x N系凄t块 40。前向DCT定义为Y=AxAT,其中x表示N x N输入块10, A表示N x N DCT矩阵，以及Y表示NxN系数块40。为了执行第一矩阵乘法Ax, x(即， NxN输入块10)的每列经受一维DCT。为了将Ax乘以转置矩阵AT， x的 每行都经受一维DCT。
αik是NxNDCT矩阵A的(i,k)分量，并由等式1表示。<formula>see original document page 6</formula>
图2表示8x8DCT的标准基础图案。当NxN输入块进行DCT时，创 建由DCT系数组成的N x N系数块。DCT系数与如图2所示的标准基础图 案集的权重因子相关联。参考图2,标准基础图案被配置为水平余弦函数和 垂直余弦函数的组合。在乘以与各个图案对应的DCT系数之后，可通过组 合在标准基础图案中包括的各个图案来重新配置图像块。
在相关技术方案中，使用相同DCT而不考虑图像信号特性。因此，需 要通过合适地根据图像信号特性执行DCT而增加压缩效率。
发明内容
本发明的示例性实施例克服了上述缺点和上面没有描述的其它缺点。此 外，本发明不需要克服上述的缺点，以及本发明的示例性实施例可能没有克 服上述的任何问题。
本发明提供一种用于变换和逆变换图像的方法和设备，其中可以通过根 据输入图像的频率特性来对各个块适当地使用不同的频率变换算法来改进 编码效率。
根据本发明一方面，提供一种变换图像的方法，包括根据通过对与当 前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选 择将用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将
当前块变换为频域。
根据本发明又一方面，提供一种变换图像的设备，包括频率变换算法 选择器，其根据通过对与当前块相邻的外围块的频率进行变换而获得的结 果，来从多个频率变换算法中选择要用于当前块的频率变换算法；以及频率 变换器，其使用所选择的频率变换算法而将当前块变换为频域。
根据本发明又一方面，提供一种逆变换图像的方法，包括通过对已编 码的位流进行熵解码来提取频率变换系数；从其中频带是非均勻划分的多个 频率变换算法中选择用于变换所提取的频率变换系数的频率变换算法，以便 进一步细微地变换特定的频带分量；以及使用所选择的频率变换算法来逆变 换频率变换系数。
根据本发明又一方面，提供一种逆变换图像的设备，包括频率变换算 法选择器，从其中频带是非均匀划分的多个频率变换算法选择用于变换从位 流提取的频率变换系数的频率变换算法，以便进一步细微地变换特定的频带
分量；以及逆变换器，使用所选择的频率变换算法来逆变换频率变换系数。
通过参考附图而详细描述示例性实施例，本发明的上述和其它特征将变 得更加明显，其中
图1是用于解释相关技术DCT算法的原理的示意图2表示8x8DCT的标准基础图案；
图3是表示根据本发明示例性实施例的变换图像的设备的结构的框图4A至图4F是用于解释根据本发明示例性实施例的多个频率变换算法
的频率选择特性的图示；
图5是用于解释在根据本发明示例性实施例的变换图像的设备中确定输
入块的频率特性的过程的图示；
图6是用于解释已频率变换的块的频率特性的图示；
图7是根据本发明示例性实施例的用于变换图的方法的流程图8是表示根据本发明的示例性实施例的、釆用用于变换图像的设备的
图像编码系统的结构的框图9是表示根据本发明示例性实施例的用于逆变换图像的设备的结构的
框图10是根据本发明示例性实施例的用于逆变换图像的方法的流程以及
图11是根据本发明示例性实施例的、采用用于逆变换图像的设备的图 像解码系统的结构的框图。
具体实施例方式
下文，将参考附图详细描述本发明的示例性实施例。
为了便于理解，将首先描述图像的频率。示出帧内微小变化的图像在屏 幕内具有极高的相关性。关于频率，示出微小变化的图像具有低空间频率分 量。相反，示出帧内较大变化的图像，例如，交替显示黑白颜色的棋盘形图像，具有极低的帧内相关性。关于频率，示出较大变化的图像具有高空间频 率分量。
在诸如DCT的相关技术频率变换方案中，通过使用相同算法将图像变 换为频域。如果根据图像特性而将图像的能量集中在特定频带，则优选进一 步精确变换所述特定频带。例如，对于其能量集中于低频带的图像的情形， 诸如在帧内示出微小变化的图像，当通过进一步细分低频带来执行变换时， 可以改善图像编码效率。
因此，根据本发明的示例性实施例，当根据输入图像的特性、通过进一 步细分其中集中了输入图像的频率分量的频带来执行变换时，可以改进图像 编码效率。
为了简便，本发明的示例性实施例的如下描述将集中于作为代表性频率 变换方案的DCT上。然而，本发明并不限制于此，并可以应用于其它频率 变换方案。
图3是图示了根据本发明示例性实施例的用于变换图像的设备的结构的 框图。
参考图3，用于变换图像的设备300包括频率变换算法选择器310和频 率变换器320。
考虑到当前块的频率特性，频率变换算法选择器310从多个频率变换算 法中选择当前块要使用的频率变换算法。如下所述，多个频率变换算法的每 一个都具有不同的频率选择特性。根据这些算法，在进一步细分之后提取属 于特定带宽的频率分量。如果当前块是帧间预测块，则频率变换算法选择器 310可以考虑参考帧的对应块的频率特性来预测当前块的频率特性。此外， 如果通过使用可缩放的编码方案执行层级编码，则频率变换算法选择器310 可以考虑对应的低层级块来预测当前块的频率特性。
通过使用由频率变换算法选择器310选择的频率变换算法，频率变换器 320将当前块变换为频域。
图4A至4F是用于解释根据本发明示例性实施例的多个频率变换算法的 频率选择特性的图示。
如图4A所示，在相关技术频率变换方案中，通过使用固定的频率选择 特性来执行频率变换。另一方面，如图4B至4E所示，在本发明的用于变换 图像的设备中，通过从具有互相不同的频率选择特性的多个频率变换算法中选择频率变换算法而将输入块变换为频域，其中在进一步细分之后提取当前 块的频率分量相对密集集中的频带。
具体地，本发明的多个频率变换算法可具有多个频率特性，其中，如图
4B所示的，可在比那些其它频带进一步细分之后提取低频带420的频率分 量fo至f8。进一步，如图4C所示，可在比其它频带进一步细分之后提取中 间频带430的频率分量ft,至f37。而且，如图4D所示，可在比其它频带进 一步细分之后提取高频带440的频率分量&8至&3。而且，如图4E所示，在 以非线性增加的频率为单元从输入块提取频率分量。此外，如图4F所示， 可以以非线性降低的频率为单元从输入块提取频率分量。由于本发明并不限 于此，因此多个频率变换算法可具有多种频率选择特性。可以通过使用类似 于DCT的余弦函数来设计具有图4A至图4F的频率选择特性的频率变换算 法。
图5是用于解释根据本发明示例性实施例、在用于变换图像的设备中确 定输入块的频率特性的过程的图示。
如上所述，频率变换算法选择器310可使用有关外围块的频率特性的信 息来确定要变换的当前块的频率特性。参考图5，可以使用通过对先前经历 频率变换的外围块510至530的频率进行变换而获得的结果来预测当前块E 550的频率特性。这是因为空间上彼此相邻的块更有可能具有相似的频率特 性。例如，频率变换算法选择器310可以使用通过变换向上与当前块E 550 相邻的块B 520的频率、或向左与当前块E 550相邻的块D 540的频率而获 得的结果，来确定当前块E 550的频率特性。
图6是用于解释已频率变换的块的频率特性的图示。在图6中，a!至E64 表示频率变换块的频率变换系数。
参考图6，在已频率变换的块的系数中，位于左上部分的频率变换系数 610是输入块中包括的低频分量。位于中间部分的频率变换系数620是输入 块中包括的中间频率分量。位于右下部分的频率变换系数630是输入块中包 括的高频分量。
通过使用对外围块的频率进行变换而获得的结果，频率变换算法选择器 310将外围块的低频分量之和、外围块的中间频率分量之和、以及外围块的 高频分量之和与特定阈值进行比较，从而确定外围块的频率特性。所确定的 外围块的频率特性用于选择当前块使用的频率变换算法。例如，如果确定外
围块相对集中于低频带，如图4B所示，则频率变换算法选择器310选择具 有在进一步细分之后提取低频带的频率特性的频率变换算法。
图7是根据本发明示例性实施例的用于变换图像的方法的流程图。
参考图7,根据通过变换与当前块相邻的外围块的频率而获得的结果来
预测当前块的频率特性，然后从多个频率变换算法中选择当前块所使用的频
率变换算法(操作710)。
所选择的频率变换算法用于将当前块变换为频域(操作720 )。
图8是表示根据本发明的示例性实施例的、采用用于变换图像的设备的
图像编码系统的结构的框图。在图8中，用于变换图像的设备对应频率变换
器810。
参考图8,预测单元850通过执行帧内预测或帧间预测来创建输入块的 预测块。作为输入块和预测块之间的差异的残余块被输入到频率变换器810 。 通过使用先前处理的外围块的频率特性，频率变换器810选择输入残余块所 使用的频率变换算法。然后，根据所选择的频率变换算法，频率变换器810 将输入残余块变换为频域。已变换的残余块由量化器820量化然后由熵编码 器860进行可变长度编码。结果，以位流的形式输出已变换的残余块。为了 用作下一个块的参考数据，分别由去量化器830和频率逆变换器840对量化 的残余块进行去量化和逆变换，然后输入到预测单元850。
图9是图示了根据本发明的示例性实施例、用于逆变换图像的设备的结 构的框图。
参考图9，用于逆变换图像的设备900包括频率变换算法选择器910和 频率逆变换器920。
频率变换算法选择器910从前述的多个频率变换算法中选择用于变换从 位流提取的频率变换系数的频率变换算法。频率变换算法选择器910可以选 择先前用于变换已解码的外围块的频率变换算法，作为用于变换所提取的频 率变换系数的频率变换算法。替换地，如果当前块是帧间预测块，则频率变 换算法选择器910可以选择当前块所参考的参考帧的对应块所使用的频率变 换算法，作为用于变换所提取的频率变换系数的频率变换算法。此外，如果 使用可缩放编码方案来编码位流，则频率变换算法选择器910可以选择与当 前块相关联的对应低层级块所使用的频率变换算法。
频率逆变换器920使用所选择的频率变换算法来逆变换所提取的频率变
换系数。
图IO是根据本发明的示例性实施例、用于逆变换图像的方法的流程图。
参考图10,从输入位流中提取频率变换系数(操作1010)。
接下来，从多个频率变换算法中选择用于变换从位流提取的频率变换系数的频率变换算法(操作1020)。
使用所选择的频率变换算法来逆变换所提取的频率变换系数，从而获得 恢复的图像(操作1030)。
图11是根据本发明的示例性实施例、采用用于逆变换图像的设备的图 像解码系统的结构的框图。
参考图11,图像解码系统1100包括熵解码器1110、去量化器1120、逆 变换器1130、加法器1160、帧内预测单元1140、运动补偿单元1150、以及 滤波器1170。用于逆变换图像的设备对应逆变换器1130。
对于位流的接收，熵解码器1110熵解码位流，并然后提取已量化的频 率变换系数。去量化器1120对已量化的频率变换系数进行去量化以便创建 频率变换系数。类似于图9的频率逆变换器900，逆变换器1130选择在编码 处理中所使用的频率变换算法，然后通过使用所选择的频率变换算法而逆变 换频率变换系数。例如，如果在编码所提取的频率变换系数时所使用的频率 变换算法被定义为函数B(.),以及输入块被定义为X,那么逆变换器1130 计算逆变换的B乂B(X))，其中B(X)是频率变换系数，而B"是所选频率变换 算法的逆函数。
作为逆变换的结果，如果已经编码了残余分量则恢复残余分量。所恢复像，因此获取恢复的图像。
根据本发明，分析输入图像的频率分量，从而根据特定频率的出现次数 进一步细微地或粗略地划分频带。因此，可以提高图像编码效率。
本发明同样可以实施为计算机可读记录介质上的计算机可读编码。计算 机可读记录介质可以是可存储此后可由计算机系统读取的数据的任何存储 装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储 器(RAM)、 CD-ROM、磁带、软盘、和光学数据存储装置。计算机可读记 录介质也可以分布在网络耦接的计算机系统上，以便以分布式形式存储并执 行计算机可读编码。尽管已参考本发明的示例性实施例具体示出并描述了本发明，但本领域 技术人员将理解，在不脱离附加权利要求所限定的本发明的精神和范围的情 况下，可以对形式和细节作出各种改变。示例性实施例应该理解为用于描述 而不用于限制。因此，本发明的范围不是由本发明的详细描述来限定，而是 由所附的权利要求来限定，并且在该范围内的所有差别都应理解为包括在本 发明之中。
权利要求
1、一种用于变换图像的方法，该方法包括根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选择将用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将当前块变换为频域。
2、 根据权利要求1的方法，其中所述多个频率变换算法的每一个以非 均匀划分的频率为单元执行变换，以便提取彼此不同的特定频带分量。
3、 根据权利要求1的方法，其中各个频率变换算法基于离散余弦变换。
4、 根据权利要求l的方法，其中所述选择步骤包括根据通过对外围块的频率进行变换而获得的结果，来确定其中集中了外 围块的频率分量的频带；以及从多个频率变换算法之中选择频率变换算法，以便提取接近所确定的频 带的频率分量。
5、 根据权利要求1的方法，其中，在所述选择步骤中，如果当前块是 帧间预测块，则选择用于当前块所参考的参考帧的对应块的频率变换算法。
6、 根据权利要求1的方法，其中，在所述选择步骤中，如果以可缩放 方式编码图像，则选择由与当前块相关联的低层级的对应块或由该对应块的 外围块使用的频率变换算法。
7、 一种用于变换图像的设备，该设备包括频率变换算法选择器，其根据通过对与当前块相邻的外围块的频率进行 变换而获得的结果，来从多个频率变换算法中选择要用于当前块的频率变换 算法；以及频率变换器，其使用所选择的频率变换算法而将当前块变换为频域。
8、 根据权利要求7的设备，其中所述多个频率变换算法的每一个以非 均匀划分的频率为单元执行变换，以便提取彼此不同的特定频带分量。
9、 根据权利要求7的设备，其中该频率变换算法选择器根据通过对外 围块的频率进行变换而获得的结果来确定其中集中了外围块的频率分量的 频带，并从多个频率变换算法之中选择频率变换算法，以提取接近所确定的 频带的频率分量。
10、 根据权利要求7的设备，其中，如果当前块是帧间预测块，则该频率变换算法选择器选择用于当前块所参考的参考帧的对应块的频率变换算 法。
11、 根据权利要求7的设备，其中，如果以可缩放方式编码图像，则频 率变换算法选择器选择由与当前块相关联的低层级的对应块、或由该对应块 的外围块使用的频率变换算法。
12、 一种用于逆变换图像的方法，该方法包括 通过对已编码的位流进行熵解码，来提取频率变换系数； 从其中频带是非均匀划分的多个频率变换算法中选择用于变换所提取的频率变换系数的频率变换算法，以便变换特定的频带分量；以及 使用所选择的频率变换算法来逆变换频率变换系数。
13、 根据权利要求12的方法，其中，在所述选择步骤中，选择用于变 换先前已解码外围块的频率变换算法，作为用于变换所提取的频率变换系数 的频率算法。
14、 根据权利要求12的方法，其中，在所述选择步骤中，如果当前块 是帧间预测块，则选择用于当前块所参考的参考帧的对应块的频率变换算 法，作为用于变换所提取的频率变换系数的频率变换算法。
15、 根据权利要求12的方法，其中，在所述选择步骤中，如果以可缩 放方式编码图像，则选择由与当前块相关联的低层级的对应块使用的频率变 换算法。
16、 一种用于逆变换图像的设备，该设备包括频率变换算法选择器，从其中频带是非均匀划分的多个频率变换算法中 选择用于变换从位流提取的频率变换系数的频率变换算法，以便变换特定的 频带分量；以及逆变换器，使用所选择的频率变换算法来逆变换频率变换系数。
17、 根据权利要求16的设备，其中频率变换算法选择器选择用于变换 先前解码的外围块的频率变换算法，作为用于变换所提取的频率变换系数的 频率算法。
18、 根据权利要求16的设备，其中，如果当前块是帧间预测块，则频 率变换算法选择器选择用于当前块所参考的参考帧的对应块的频率变换算 法，作为用于变换所提取的频率变换系数的频率变换算法。
19、 根据权利要求16的设备，其中，如果以可缩放方式编码图像，则频率变换算法选择器选择由与当前块相关联的低层级的对应块所使用的频 率变换算法。
20、 一种存储计算机可读程序的计算机可读记录介质，该程序用于执行对图像进行变换的方法，该方法包括根据通过变换与当前块相邻的外围块的频率而获得的结果，从多个频率 变换算法中选择要用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将当前块变换为频域。
21、 一种存储计算机可读程序的计算机可读记录介质，该程序用于执行 变换图像的方法，该方法包括通过对已编码的位流进行熵解码，提取频率变换系数； 从其中频带是非均匀划分的多个频率变换算法中选择用于变换所提取 的频率变换系数的频率变换算法，以便变换特定的频带分量；以及 通过使用所选频率变换算法来逆变换频率变换系数。
全文摘要
提供一种变换和逆变换图像的方法和设备，其中根据输入图像的频率特性、通过选择性地使用多个频率变换算法而将输入图像变换为频域。该方法包括根据通过对与当前块相邻的外围块的频率进行变换而获得的结果，从多个频率变换算法中选择将用于当前块的频率变换算法；以及通过使用所选择的频率变换算法而将当前块变换为频域。
文档编号H04N7/32GK101175211SQ20071016762
公开日2008年5月7日 申请日期2007年8月24日 优先权日2006年8月24日
发明者金素英, 韩宇镇 申请人:三星电子株式会社