专利名称：用于图像编码和图像解码的方法和设备的制作方法
技术领域：
符合本发明的设备和方法涉及图像编码和图像解码，更具体地说，涉及通过对输入图像沿直线执行预测并沿直线执行一维变换，根据图像特性来提高预测效率和压缩效率的图像编码。
背景技术：
通常，根据视频压缩标准(诸如运动图像专家组(MPEG) -1、MPEG-2, MPEG-4视觉、
H.261、H.263和H.264)，通过以下处理对图像数据进行压缩:将图像帧划分为多个图像块，对图像块执行预测，从而获得预测块，对原始图像块与预测块之间的差值进行变换和量化。执行的预测可以是帧内预测或帧间预测。通过使用包括在当前图像块中的所恢复的邻近块的数据对所述当前图像块执行帧内预测。通过从先前使用基于块的运动压缩方法编码的一个或多个视频帧产生相应于当前图像块的预测块来执行帧间预测。根据现有技术的方法，通常，用于帧内预测的邻近块的数据包括邻近的先前块的像素，所述像素临近当前图像块的左上方。在这种情况下，当前图像块的左上方像素临近先前块的像素，并且由于它们距离先前块的像素较近，所以在预测值与原始像素值之间具有较小的差值。然而，远离先前块的像素而设置的当前块的像素在预测值与原始像素值之间会具有较大的差值。同时，根据H.264标准，对通过按照4X4块使用帧间预测或帧内预测而获得的残差数据执行二维离散正弦变换(DCT)。根据现有技术中的联合图像专家组(JPEG)、MPEG-1、MPEG-2和MPEG-4标准，按照8X8块对残差数据执行二维DCT。在二维DCT中，尽管残差数据中存在水平或垂直相关，但是无法有效地使用残差块中数据之间的相关性。因此，期望一种通过提高预测效率来提高压缩效率的图像编码方法，以便应对传输带宽的限制并向用户提供具有更高质量的图像。
发明内容
技术问题本发明的各方面提供一种用于图像编码的方法和设备以及一种用于图像解码的方法和设备，其中，所述用于图像编码的方法和设备在图像被编码时提高预测效率和压缩效率。有益效果根据本发明，如果在输入图像块的像素之间存在水平或垂直相关，则可以通过考虑上述相关性沿直线执行预测和一维变换来提高预测效率和压缩效率。
图1是示出根据本发明实施例的用于图像编码的设备的框图；图2A、图2B和图2C是示出根据本发明示例性实施例的当残差块被划分为多个子残差块时的示例的示图；图3A和图3B是示出根据本发明示例性实施例的产生预测子残差块的方法的示图；图4是示出根据本发明另一示例性实施例的产生预测子残差块的方法的示图；图5是示出根据本发明示例性实施例的图像编码方法的流程图；图6是示出根据本发明另一示例性实施例的图像编码设备的框图；图7是由图6示出的预测单元沿直线预测像素值的方法的示图；图8是示出根据本发明另一示例性实施例的预测像素值的方法的示图；图9是示出根据本发明另一示例性实施例的图像编码方法的流程图；图10是示出根据本发明示例性实施例的图像解码设备的框图；图11是示出根据本发明示例性实施例的图像解码方法的流程图；图12是示出根据本发明另一示例性实施例的图像解码设备的框图；以及图13是示出根据本发明另一示例性实施例的图像解码方法的流程图。
具体实施例方式根据本发明的一方面，提供一种图像编码方法，包括:通过划分残差块来产生具有预定大小的多个子残差块；通过使用先前处理的邻近子残差块的残差来产生子残差块的预测子残差块；通过计算预测子残差块与子残差块之间的差值来产生差值子残差块；对所述差值子残差块进行变换。根据本发明的另一方面，提供一种图像编码设备，包括:划分单元，用于通过划分残差块来产生具有预定大小的多个子残差块；残差预测单元，用于通过使用先前处理的邻近子残差块的残差来产生子残差块的预测子残差块；减法单元，用于通过计算预测子残差块与子残差块之间的差值来产生差值子残差块；变换单元，用于对所述差值子残差块进行变换。根据本发明的另一方面，提供一种图像解码方法，包括:通过使用关于包括在接收的比特流中的残差块的划分模式的信息来确定将被解码的当前残差块的划分模式；根据确定的划分模式，通过使用先前解码的邻近子残差块的残差来产生残差块的多个子残差块的预测子残差块；恢复差值残差，所述差值残差为预测子残差块与子残差块之间的差值并包括在比特流中；通过将预测子残差块与差值残差相加来恢复子残差块。根据本发明的另一方面，提供一种图像解码设备，包括:残差预测单元，用于根据包括在接收的比特流中的残差块的划分模式，通过使用先前解码的邻近子残差块的残差来产生将被解码的当前残差块的多个子残差块的预测子残差块；差值残差恢复单元，用于恢复差值残差，所述差值残差为预测子残差块与子残差块之间的差值并包括在比特流中；力口法单元，用于通过将预测子残差块与差值残差相加来恢复子残差块。根据本发明的另一方面，提供一种图像编码方法，包括:将输入图像划分为多个图像块，并沿水平或垂直线来产生每个图像块的像素的预测值；沿直线产生作为像素的原始值与预测值之间的差值的残差；沿直线对所述残差执行一维离散余弦变换(DCT)。
根据本发明的另一方面，提供一种图像编码设备，包括:预测单元，用于将输入图像划分为多个图像块，并沿水平或垂直线来产生每个图像块的像素的预测值；减法单元，用于沿直线产生作为像素的原始值与预测值之间的差值的残差；变换单元，用于沿直线对所述残差执行一维离散余弦变换(DCT)。根据本发明的另一方面，提供一种图像解码方法，包括:恢复残差，所述残差为水平或垂直像素线的预测值与原始值之间的差值并被包括在接收的比特流中；通过使用按照预定顺序解码的先前像素线的像素值来预测将被解码的每条像素线的像素值；通过将像素线的预测的像素值与恢复的残差相加对像素线的像素进行解码。根据本发明的另一方面，提供一种图像解码设备，包括:预测单元，用于通过按照预定的顺序，沿垂直或水平线使用先前的像素线，来预测将被解码的水平或垂直像素线的像素值；恢复单元，用于恢复残差，所述残差为像素线的预测值与像素线的原始像素值之间的差值并被包括在接收的比特流中；加法单元，通过将像素线的预测的像素值与恢复的残差相加对像素线的像素进行解码。发明方式以下，将通过参照附图解释本发明的示例性实施例来描述本发明。图1是示出根据本发明示例性实施例的用于图像编码的设备100。所述设备100将残差块(即，原始图像块与预测图像块之间的差值)划分为多个子残差块，通过使用邻近残差来产生子残差块的预测子残差块，并变换差值子残差块，所述差值子残差块为原始子残差块与预测子残差块之间的差值。参照图1，所述设备100包括:预测单元110、第一减法单元115、划分单元120、第二减法单元125、残差预测单元130、变换单元135、量化单元140、熵编码单元145、逆量化单元150、逆变换单元155和加法单元160。预测单元110将输入图像划分为具有预定大小的多个子块，并通过对每个子块执行帧间或帧内预测来产生预测块。通过使用先前编码并随后恢复的参考画面来执行帧间预测。所述预测单元110通过执行运动预测，执行运动补偿来执行帧间预测，从而产生当前块的预测块，其中，所述运动预测产生指示在参考画面的预定搜索范围中与当前块的区域类似的区域的运动矢量，所述运动补偿获得关于由所述运动矢量指示的参考画面的相应区域的数据。此外，预测单元110执行帧内预测，所述帧内预测通过使用当前块的邻近块的数据来产生预测块。可使用根据现有技术中的图像压缩标准(诸如H.264)的帧间和帧内预测，并且还可使用各种改进的预测方法。当通过执行帧间预测或帧内预测而产生当前块的预测块时，第一减法单元115通过从当前块的原始像素值减去预测块的像素值来计算预测误差。以下，将原始像素值与预测像素值之间的预测误差定义为残差，并将包括多个残差的块定义为残差块。划分单元120将残差块划分为多个子残差块。更具体地说，假设残差块的大小为NXN (其中，N是大于等于2的正数)，则残差块被划分为大小为NXlUXN和aXa中的任意一个的子残差块(其中，a是小于N的自然数)。图2A到图2B是示出根据本发明示例性实施例的当残差块被划分为多个子残差块时的示例的示图。图2A是示出当4 X 4残差块210被划分为多个I X 4子残差块211、212、213和214时的示例的示图。图2B是示出当4X4残差块220被划分为多个4X I子残差块221、222、223和224时的示例的示图。图2C是示出当4 X 4残差块230被划分为多个2X2子残差块231、232、233和234时的示例的示图。尽管仅将4X4残差块描述为示例，但是本发明并不受限于此。还可将本发明相似地应用于各种残差块，诸如8X8残差块、16X16残差块。再次参照图1，残差预测单元130通过使用先前处理的邻近子残差块的残差来预测如图2A、图2B或图2C中划分的残差块的子残差块的残差，以产生子残差块的预测子残差块。图3A和图3B是用于示出根据本发明示例性实施例的产生预测子残差块的方法的示图。在图3A和图3B中，Rxy表示在位置(x，y)的残差(x，y=l，2，3，4)。现将参照图3A和图3B来描述通过将4X4残差块划分为多个1X4子残差块311、312、313和314或者321、322,323和324来产生预测子残差块的方法。参照图3A，通过使用按照预定顺序在先前处理的邻近子残差块的残差来分开预测包括在4X4残差块中的子残差块311、312、313和314。可沿与子残差块311、312、313和314的划分方向垂直的方向来执行预测。例如，假设沿向下的方向来顺序地预测沿水平方向划分的子残差块311、312、313和314，则可通过沿垂直方向扩展在当前残差块之前编码的先前残差块的残差a、b、c和d来预测第一子残差块311的残差R11、R12、R13和R14。也就是说，假设第一子残差块311的残差R11、R12、R13和R14分别具有预测残差PR11、PR12、PR13 和 PR14，则 PRl l=a，PR12=b，PR13=c，PR14=d。此外，假设第二子残差块312的残差R21、R22、R23和R24分别具有预测残差PR21、PR22、PR23和PR24，则可通过沿垂直方向来扩展第一子残差块311的先前处理的残差R11、R12、R13和R14来预测第二子残差块312的预测残差PR21、PR22、PR23和PR24。同样地，可通过分别扩展第二子残差块312的原始或恢复的残差R21、R22、R23和R24以及第三子残差块313的原始或恢复的残差R31、R32、R33和R34来预测第三子残差块313的残差R31、R32、R33和R34的预测残差PR31、PR32、PR33和PR34以及预测第四子残差块314的残差R41、R42、R43和R44的预测残差PR41、PR42、PR43和PR44。在这种情况下，通过使用先前子残差块的残差或使用邻近子残差块的残差，并将差值子残差块加到预测子残差块来预测每个子残差块，其中，先前子残差块的残差为原始图像与预测图像之间的差值，并且，通过以下处理来恢复邻近子残差块的残差:对差值子残差块执行一维离散余弦变换(DCT)、量化、逆量化和一维逆离散余弦变换(IDCT)。在图3A中，沿向下的方向顺序地预测沿水平方向划分的子残差块。然而，可如图3B所示来改变子残差块的预测顺序。参照图3B，首先预测第四子残差块324，然后预测第二子残差块322，然后预测第一子残差块321，然后预测第三子残差块323。更具体地说，通过扩展先前残差块的残差a、b、c、d来预测第四子残差块324的残差R41、R42、R43和R44，然后，通过计算均分别来自先前残差块的残差a、b、c和d以及第四子残差块324的残差R41、R42、R43和R44的相应残差的平均值来预测第二子残差块322的残差R21、R22、R23和R24。此外，通过计算均分别来自先前残差块的残差a、b、c和d以及第二子残差块322的残差R21、R22、R23和R24的相应残差的平均值来预测第一子残差块321的残差R11、R12、R13和R14，并且通过计算均分别来自第二子残差块322的残差R21、R22、R23和R24以及第四子残差块324的残差R41、R42、R43和R44的相应残差的平均值来预测第三子残差块323的残差R31、R32、R33和R34。例如，假设 PRxy 是残差 Pxy 的预测残差，则 PR41=1，PR21= (a+R41)/2，PR11= (a+R21)/2，PR31= (R21+R41)/2。还可按照相似的方式将上述产生沿水平方向划分的子残差块的预测子残差块的方法应用于图2B所示的沿垂直方向划分的子残差块。图4是示出根据本发明另一示例性实施例的产生预测子残差块的方法的示图。当残差块被划分为宽度为一的多个子残差块(如图3A或图3B所示的残差块)时，通过使用沿与子残差块的划分方向垂直的方向设置的先前子残差块的残差沿直线执行预测来预测当前子残差块的残差。然而，参照图4，当4X4残差块被划分为多个2X2子残差块时，可通过沿水平方向和垂直方向中的至少一个扩展先前子残差块的邻近像素来产生预测残差。例如，假设在2X2子残差块410的位置(x，y)的残差Rxy具有预测残差PRxy，如果沿垂直方向扩展上面的邻近先前残差a和b，则PRll=a，PR13=a, PR12=b, PR14=b，或者，如果沿水平方向扩展左边的邻近先前残差c和d，则PRll=C, PR12=c, PR13=d, PR14=d。或者，将被预测的当前子残差块的预测残差可被计算为上面和左边的邻近先前残差中位于相同水平和垂直线上的先前残差的平均残差。例如，PRll= (a+c)/2，PR12= (b+c)/2，PR13=(a+d) /2，PR14= (b+d) /2。再次参照图1，第二减法单元125通过计算由残差预测单元130产生的预测子残差块与原始子残差块之间的差值来产生差值子残差块。变换单元135对差值子残差块执行DCT。具体说来，变换单元135对NX I或I XN子残差块执行一维DCT。例如，变换单元135对如图2A所示沿水平方向划分并随后预测出的差值子残差块执行一维水平DCT，并对如图2B所示沿垂直方向划分并随后预测出的差值子残差块执行一维垂直DCT。量化单元140对变换差值子残差块的差值残差执行量化，熵编码单元145对所述变换差值子残差块的差值残差执行可变长度编码，从而产生比特流。由量化单元140量化的差值残差通过逆量化单元150进行逆量化，并通过逆变换单元155进行逆变换,从而恢复差值子残差块。加法单元160通过将恢复的差值子残差块的差值残差与由残差预测单元130产生的预测子残差块的预测残差相加来恢复子残差块。当产生接下来的子残差块的预测子残差块时使用恢复的子残差块。此外，设备100可还包括划分模式确定单元(未示出)，其用于比较通过使用多个具有不同大小的子残差块产生的比特流的代价，并选择具有最小代价的子残差块，从而使用所述子残差块来划分当前残差块。划分模式确定单元通过以下处理来确定残差块的划分模式:将残差块划分为多个具有不同大小的子残差块，通过使用先前子残差块的残差来产生子残差块的预测子残差块，比较通过对差值子残差块进行变换、量化和熵编码而产生的比特流的代价。例如，划分模式确定单元按照划分模式I将NXN残差块划分为多个I XN子残差块，或者按照划分模式2将NXN残差块划分为多个NX I子残差块，或者按照划分模式3将NXN残差块划分为多个aXa子残差块，比较通过对根据每种划分模式产生的差值子残差块进行变换、量化和熵编码而产生的比特流的码率失真(RD)代价，并将具有最小RD代价的划分模式确定为最终划分模式。划分模式确定单元还可通过将通过对多个具有不同大小的子残差块的差值残差块编码而产生的比特流的代价与绕过残差块的变换而对残差块进行量化和熵编码而产生的比特流的代价进行比较，来确定是否执行残差块的变换。图5是示出根据本发明示例性实施例的图像编码方法的流程图。参照图5，在操作510，通过从当前块的原始像素值减去预测块的像素值而产生的残差块被划分为多个子残差块。在操作520，通过使用先前处理的子残差块的残差预测当前子残差块的残差来产生预测子残差块。如上所述，通过根据子残差块的划分类型，沿水平方向和垂直方向中的至少一个扩展先前子残差块的残差来预测所述预测子残差块。在操作530，通过计算预测子残差块与原始子残差块之间的差值来产生差值子残差块。在操作540，根据划分类型对差值子残差块执行DCT。如上所述，对NX I或I XN差值子残差块执行一维DCT。对变换的差值子残差块进行量化和熵编码，由此输出比特流。此外，通过对量化的差值子残差块进行逆量化和逆变换，并将处理后的差值子残差块加到预测子残差块来恢复子残差块。当预测接下来的子残差块的残差时，使用恢复的子残差块。在根据参照图1到图6描述的上述示例性实施例的用于图像编码的方法和设备中，如果在残差块中存在水平或垂直相关，则为了编码而通过执行DCT产生的数据量级被降低，由此提高压缩效率。例如，假设4X4残差块包括以下所示的矩阵中示出的垂直相关的残差:
权利要求
1.一种图像编码方法，所述方法包括: 将输入图像划分为多个图像块； 沿水平或垂直线来产生每个图像块的像素的预测值； 沿直线产生作为像素的原始值与预测值之间的差值的残差；以及 沿直线对所述残差执行一维离散余弦变换DCT。
2.如权利要求1所述的方法，其中，产生预测值的步骤包括:通过使用按照预定顺序进行变换、量化、逆量化和逆变换的先前像素线来预测每条像素线的像素值。
3.一种图像编码设备，所述设备包括: 预测单元，用于将输入图像划分为多个图像块，并沿水平或垂直像素线来产生每个图像块的像素的预测值； 减法单元，用于沿直线产生作为像素的原始值与预测值之间的差值的残差；以及 变换单元，用于沿直线对所述残差执行一维离散余弦变换DCT。
4.如权利要求3所述的设备，其中，预测单元通过使用按照预定顺序进行变换、量化、逆量化和逆变换的先前像素线来预测每条像素线的像素值。
5.一种图像解码方法，所述方法包括: 恢复残差，所述残差为水平或垂直像素线的预测值与原始值之间的差值并被包括在接收的比特流中； 通过使用按照预定顺序解码的先前像素线的像素值来预测将被解码的每条像素线的像素值；以及 通过将像素线的预测的像素值与恢复的残差相加对像素线的像素进行解码。
6.一种图像解码设备，所述设备包括: 预测单元，用于通过按照预定的顺序，沿垂直或水平线使用先前的像素线，来预测将被解码的水平或垂直像素线的像素值； 恢复单元，用于恢复残差，所述残差为像素线的预测值与像素线的原始像素值之间的差值并被包括在接收的比特流中；以及 加法单元，通过将像素线的预测的像素值与恢复的残差相加对像素线的像素进行解码。
全文摘要
提供一种用于图像编码和图像解码的方法和设备，其中，所述图像编码方法包括将输入图像划分为多个图像块；沿水平或垂直线来产生每个图像块的像素的预测值；沿直线产生作为像素的原始值与预测值之间的差值的残差；以及沿直线对所述残差执行一维离散余弦变换DCT。
文档编号H04N7/50GK103108181SQ20131001288
公开日2013年5月15日 申请日期2008年1月10日 优先权日2007年3月23日
发明者孙有美, 韩宇镇 申请人:三星电子株式会社