专利名称：视频编码的空间预测技术的制作方法
技术领域：
本发明涉及图像编码的一般领域。本发明更具体地涉及编码图像块的方法和解码图像块的方法。
背景技术：
在现有技术中众所周知，编码图像序列的一个图像是将这个图像划分成像素块，然后通过空间预测(INTRA模式)或时间预测(INTER模式)编码每个块。编码当前块一般包含通过,例如，当前块的像素与预测块的像素之间的差值(difference)的DCT (离散余弦变 换)变换成系数块。该编码进一步包含量化系数，然后熵编码量化的系数。在现有技术中众所周知，以INTRA模式，即，通过空间预测编码当前块是从以前编码的空间邻近(neighbouring)块的图像数据中预测当前块。例如,在H. 264视频编码标准中众所周知，从处在当前块上面或当前块左边的像素中预测当前块。更具体地说，当前块的像素通过线性组合按照优选预测方向(例如，水平、垂直等)与当前块邻近的像素来预测。预测像素，即，线性组合当前块的邻近像素所得的预测像素形成预测块。当待预测的当前块包含轮廓时，这种预测方法尤其有效。事实上，如果一个对象的边缘对应于按H. 264标准定义的预测方向之一时，该轮廓事实上以单向方式在待预测的当前块中扩展。但是，当存在二维结构时，这种预测方法丧失了其效率。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此，本发明涉及通过空间预测编码叫做当前块的像素块的方法。按照本发明的编码方法包含如下步骤-通过利用当前阈值对应用在至少覆盖当前块的像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的每个像素确定预测像素；-从当前块中提取由预测像素形成的预测块以生成残差块；以及_编码残差块。有利的是，从当前块的邻近重构像素中确定或编码该当前阈值。在从当前块的邻近重构像素中确定或编码该当前阈值中，提高了编码效率。按照一个特定实施例，利用多个阈值的每个阈值重复为当前块的每个像素确定预测像素的步骤。该方法还包含从多个阈值当中选择在当前块与预测块之间计算的预测误差最小的阈值作为当前阈值。按照本发明的一个特定方面，通过与预测阈值的差值编码当前阈值，该预测值取决于当前块的邻近重构像素。按照特定特性，该预测阈值等于用在当前块的邻近块中的阈值的平均值。按照第一变型，该预测阈值等于用在当前块的邻近块中的阈值的中值。按照第二变型，该预测阈值按照如下步骤确定-通过利用阈值对应用在至少覆盖重构像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素；-利用多个阈值的每个阈值重复为邻近区域的每个像素确定预测像素的步骤；以及-从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为预测阈值。按照另一实施例，该当前阈值按照如下步骤确定-通过利用阈值对应用在至少覆盖重构像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素；-利用多个阈值的每个阈值重复为邻近区域的每个像素确定预测像素的步骤；以 及-从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为当前阈值。有利的是，对于当前块的邻近区域的每个重构像素，在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差考虑它们相对于当前块的边缘的距离。按照本发明的另一个方面，当为尺寸8X8的当前块选择了当前阈值时，通过将选择的当前阈值乘以严格小于I的系数α，为当前块的尺寸4X4的每个块计算当前阈值。有利的是，窗口的尺寸取决于待预测的像素在当前块中的位置。本发明还涉及通过空间预测解码像素的当前块的方法，其包含如下步骤-解码残差块；-通过利用当前阈值对应用在至少覆盖当前块的像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的每个像素确定预测像素；以及-通过合并解码的残差块和由预测像素形成的预测块重构所述当前块。有利的是，从当前块的邻近重构像素中确定该当前阈值。按照一个特定实施例，该当前阈值按照如下步骤确定-通过利用阈值对应用在至少覆盖重构像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素；-利用多个阈值的每个阈值重复为邻近区域的每个像素确定预测像素的步骤；以及-从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为当前阈值。按照另一个特定实施例，按照本发明的解码方法还包含如下步骤-解码阈值的差值；-从当前块的邻近重构像素中确定预测阈值；以及-计算该差值与该预测阈值之和，该和值是当前阈值。有利的是，该预测阈值按照如下步骤确定-通过利用阈值对应用在至少覆盖重构像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素；-利用多个阈值的每个阈值重复为邻近区域的每个像素确定预测像素的步骤；以及
-从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为预测阈值。
通过参考附图借助决不是限制性的实施例和有利实现方式，可以更好地理解和例示本发明，在附图中-图I示出了按照本发明的编码方法；-图2示出了包含待预测块和用于预测这个块的窗口的图像部分；-图3和4详细示出了按照本发明的编码方法的步骤；-图5和6示出了包含待预测块和用于预测这个块的不同窗口的图像部分； -图7示出了包含待预测块、与这个块邻近的因果带Zc和用于预测这个因果带的像素的窗口的图像部分；-图8示出按照本发明的解码方法；-图9例不了按照本发明的编码设备；以及-图10示出了按照本发明的解码设备。
具体实施例方式图像包含每一个与至少一项图像数据相关联的像素或图像点。一项图像数据是，例如，一项亮度数据或一项色度数据。术语“残差”表示提取了其它数据之后获得的数据。该提取一般是从源像素中减去预测像素。但是，该提取更一般，尤其包含加权相减。术语“重构”表示将残差与预测数据合并之后获得的数据(例如，像素、块)。该合并一般是残差预测像素之和。但是，该合并更一般，并且尤其包含加权相加。重构块是重构像素的块。关于图像解码，术语“重构”和“解码”经常用作同义。因此，“重构块”也表示在“解码块”的术语下。本发明涉及通过空间预测编码叫做当前块的像素块的方法。它应用于图像或图像序列的编码。按照本发明的编码方法基于描述在如下文献中的外推信号的方法Guleryuz, O. G.,标题为"Nonlinear approximation based image recovery usingadaptive sparse reconstructions and iterated denoising〃，Image Processing, IEEETransactions卷15，3期，2006年3月页539-571。这种外推方法最初用于掩蔽(masking)错误的目的。下面参考图I描述按照本发明编码图像的当前块的方法。在步骤10期间，为当前块的每个像素确定预测像素。预测像素形成当前块的预测块。预测像素是通过利用当前阈值对应用在至少覆盖待预测的当前块的像素的窗口上的变换所得的系数加阈(thresholding)获得的。该窗口对应于变换的支持。使用的变换是,例如，DCT。但是，本发明不局限于后者。也可以应用像离散傅立叶变换那样的其它变换。按照本发明，从当前块的邻近重构像素中确定或编码当前阈值。在从当前块的邻近重构像素中确定或编码当前阈值时，提高了编码效率。
在步骤12期间，从当前块中提取由预测像素形成的预测块以生成残差块。在步骤14期间，将残差块编码在流S中。例如，通过，例如，DCT或小波变换将残差块变换成系数块，其被量化然后通过熵编码被编码。按照一种变型，只量化然后通过熵编码编码残差块。下面参考图2和3更精确地描述确定预测像素的步骤10。在图2中，预测像素pQ，Q对应于待预测的当前块B的左上方上的像素。在图2中用叉号标识的像素是已知像素，即，重构像素。预测像素P"以便将代表其环境的值赋予它。窗口 F在其初始位置Ftlitl上至少覆盖待预测的像素Pm。在步骤10中就是 在这个窗口上应用变换。在步骤100期间，对像素Pu指定初始值。作为一个简单例子，将来自邻近像素的平均值指定给像素Po』。将这个值表示成Pav(l，。Pav0,0=(a+b+c)/3o按照一种变型，将像素a、b和c的中值指定给像素pQ,Q。按照另一变型,将值a、b或c之一指定给像素pQ，Q。按照其它变型，考虑处在像素P。，。的因果邻近区域中的其它像素，以为像素P。,。确定初始值。当前像素的因果邻近区域包含在编码(相应地解码)当前像素期间已经重构的当前图像的像素组。在步骤110期间，将变换应用于窗口 F的像素。然后将这些像素变换成系数。在步骤120期间，使用阈值th。#在变换域中对系数加阈。这种加阈具有消除噪声以便只保留有意义系数的作用。在步骤130期间，应用在步骤110中应用的变换的逆变换以返回到像素域，以便恢复表示成/Ct的新预测像素值，零值的大于的索引对应于窗口 F的行和列相对于该窗口的初始位置的零偏移。参考图4和5,利用窗口 F偏移应用与参考图3所描述的方法相同的方法，以为当前块B的其它像素确定预测像素。重复地(iteratively)预测像素Ptltl到Pn-^115相对于图3中的窗口 F的位置Ftlμ将窗口向右偏移I个像素，以便确定与当前块正好在像素pQ，Q右边的像素相对应的预测像素P。」。在图5中，a、b和c是分别处在待预测的像素Ptu的左边、上面和对角上的像素Ptu的邻近重构像素，其中，更具体地说，在当前情况下，a等于以前内插的像素P=O的值。按照一种变型，将位置Ftlitl上的窗口向右偏移2个像素，即，偏移到位置\2。在该情形中，在第二重复中，预测像素P。，!和P。』。更一般地说，可以以m个像素将窗口 F偏移m个像素。为了不使预测过于降级，m的值保持较小是有利的。在步骤100期间，将来自邻近像素的平均值指定给Pcu,例如，该值是(/4%+ + 0/3。将这个值表示成尤L。也可以应用在步骤100中参考像素Ptltl所描述的变型。在步骤110期间，将变换应用于窗口 Fcu的像素。然后将这些像素变换成系数。在步骤120期间，利用阈值th。#在变换域中对系数加阈。这种加阈具有消除噪声以便只保留有意义系数的作用。在步骤130期间，应用在步骤110中应用的变换的逆变换返回到像素域，以便恢复表示成的新预测像素值，大于的索引对应于窗口 F偏移了 O行和I列。如图5所示，像素Pcici包含在位置Fcu上的窗口 F中。因此,在计算预测像素Pcu期间，也为像素Pcici计算新值。事实上，在逆变换期间，将值ML指定给像素Po,这个值可以不同于在窗口F没有偏移时的在前重复(窗口在Ftl C1位置上)中计算的那个。为了考虑为像素Pd，ο计算的两个值，即，在窗口 F零偏移的在前重复中获得的那个/^.1；^和在偏移O行和I列的当前重复中获得的，将新值指定给预测像素P。，。。表示成的这个新值等于，例如，两个值C和C的平均值，即，PiLm = (Ptio + Λ°ο,ο)/2。重复该方法直到块B的所有像素都得到预测。为此，在步骤140期间，验证当前像素是否是待预测块的最后像素。如果是这种情形，则终止确定预测块的步骤。在相反的情形下，如果在当前行中仍然存在待预测的像素，则将窗口 F向右偏移一列，或将窗口 F向下偏移一行 ，以便再次将窗口放置在行的开始。但是，在每次重复时偏移窗口F的方式不是固定的。它取决于为待预测块定义的扫描次序。参考前图，像素的扫描从左到右逐个像素然后逐行地进行。这种扫描不是排他的，锯齿型扫描以及像，例如，先第I行然后第I列，接着第2行然后第2列等等的扫描那样的其它类型也是可能的。对窗口的新位置再次应用步骤100到140。为待预测的新像素psk，sl确定值。也为在以前重复期间已经计算了预测值或多个预测值的当前块包含在窗口 F中的像素计算新预测值。对于这些像素，如上面参考像素Ptici所描述，以如下方式确定新预测值^,；=ΣΣ (P^fiisk-k + Disl-l + l)),
P=k q=l其中，- 是在与窗口 F的位置Fstsl相对应的重复期间在待预测块的第k行和第I列中预测的像素；-sk和Si :分别是窗口 F的行和列的偏移；是通过将窗口 F相继偏移到位置Fstsl递归预测的位置(k，I)中的预测像素的值。按照一种变型，用中值函数或直方图峰型函数取代加权和。
q=!..sl按照第一实施例，从因果带Zc，S卩，包含当前块B的邻近区域中的重构像素，但未必与这个块相邻，确定阈值th。#。这个实施例参考图7来描述。在这个图7中，叉号表示重构像素。灰色背景上的叉号表示属于因果带Zc的像素。这个带Zc用于为待预测的当前块确定阈值。为此，将参考图4和5所描述的方法应用于这个带Zc的像素，以便为它们当中的每一个确定预测像素以及针对几个阈值thi确定这个预测像素。因此，针对每个阈值thy在带Zc上计算能量级(energy level)。作为一种简单例示,这个能量将按照如下公式计算
2SSE,= X(Y(P)-PiM)，
P^ZC其中，-P代表包含在块中的像素的位置；-Y是待预测的当前块中的像素的一项图像数据(例如，亮度和/或色度)的值；-pInt是针对阈值也确定的预测值。
对于带Zc，将阈值thz。确定为生成最小预测能量SSEi的那个。按照一种变型，按如下计算能量
权利要求
1.一种通过空间预测编码叫做当前块的像素块的方法，其包含如下步骤 -通过利用当前阈值对来自应用在至少覆盖所述当前块的所述像素的窗口上的变换的系数加阈，和通过应用于所述加阈系数的逆变换，为所述当前块的每个像素确定(10)预测像素； -从所述当前块中提取(12)由预测像素形成的预测块以生成残差块； 以及 -编码(14)所述残差块， 所述方法的特征在于从当前块的邻近重构像素中确定或编码所述当前阈值。
2.按照权利要求I所述的方法，其中利用多个阈值的每个阈值重复为所述当前块的每个像素确定预测像素的步骤，该方法进一步包含从多个阈值当中选择在当前块与预测块之间计算的预测误差最小的阈值作为当前阈值。
3.按照权利要求2所述的方法，其中通过与预测阈值的差值编码所述当前阈值，该预测值取决于当前块的邻近重构像素。
4.按照权利要求3所述的方法，其中所述预测阈值等于用在所述当前块的邻近块中的阈值的平均值。
5.按照权利要求3所述的方法，其中所述预测阈值等于用在所述当前块的邻近块中的阈值的中值。
6.按照权利要求3所述的方法，其中所述预测阈值按照如下步骤确定 -通过利用阈值对应用在至少覆盖所述重构像素的窗口上的变换所得的系数加阈，和通过应用于所述加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素； -利用多个阈值的每个阈值重复为所述邻近区域的每个像素确定预测像素的所述步骤；以及 -从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为预测阈值。
7.按照权利要求I所述的方法，其中所述当前预测阈值按照如下步骤确定 -通过利用阈值对应用在至少覆盖所述重构像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素； -利用多个阈值的每个阈值重复为所述邻近区域的每个像素确定预测像素的所述步骤；以及 -从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为当前阈值。
8.按照权利要求6或7所述的方法，其中对于当前块的邻近区域的每个重构像素，在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差考虑它们相对于当前块的边缘的距离。
9.按照权利要求2到8之一所述的方法，其中为尺寸8X8的当前块选择所述当前阈值，通过将选择的所述当前阈值乘以严格小于I的系数α，为当前块的尺寸4X4的每个块计算当前阈值。
10.按照权利要求I到5之一所述的方法，其中所述窗口的尺寸取决于待预测的像素在当前块中的位置。
11.一种通过空间预测解码像素的当前块的方法，其包含如下步骤 -解码(20)残差块; -通过利用当前阈值对来自应用在至少覆盖所述当前块的所述像素的窗口上的变换的系数加阈，和通过应用于所述加阈系数的逆变换，为所述当前块的每个像素确定(22)预测像素；以及 -通过合并所述解码残差块和由所述预测像素形成的预测块重构(24)所述当前块， 所述方法的特征在于从当前块的邻近重构像素中确定所述当前阈值。
12.按照权利要求11所述的方法，其中所述当前预测阈值按照如下步骤确定 -通过利用阈值对应用在至少覆盖所述重构像素的窗口上的变换所得的系数加阈，和通过应用于所述加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素； -利用多个阈值的每个阈值重复为所述邻近区域的每个像素确定预测像素的所述步骤；以及 -从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为当前阈值。
13.按照权利要求11所述的方法，另外还包含如下步骤 -解码阈值的差值； -从当前块的邻近重构像素中确定预测阈值；以及 -计算所述差值与所述预测阈值之和，所述和值是所述当前阈值。
14.按照权利要求13所述的方法，其中所述预测阈值按照如下步骤确定 -通过利用阈值对应用在至少覆盖所述重构像素的窗口上的变换所得的系数加阈，和通过应用于所述加阈系数的逆变换，为当前块的邻近区域中的每个重构像素确定预测像素； -利用多个阈值的每个阈值重复为所述邻近区域的每个像素确定预测像素的所述步骤；以及 -从多个阈值当中选择在当前块的邻近区域的重构像素与相应预测像素之间计算的预测误差最小的阈值作为预测阈值。
全文摘要
本发明涉及编码像素块的方法，其包含如下步骤通过利用当前阈值对应用在至少覆盖当前块的像素的窗口上的变换所得的系数加阈，和通过应用于加阈系数的逆变换，为当前块的每个像素确定(10)预测像素；从当前块中提取(12)由预测像素形成的预测块以生成残差块；以及编码(14)所述残差块。按照本发明，从当前块的邻近重构像素中确定或编码该当前阈值。
文档编号H04N7/32GK102726045SQ201180007027
公开日2012年10月10日 申请日期2011年1月19日 优先权日2010年1月25日
发明者A.马丁, D.索罗, E.弗朗索瓦, J.维尔隆, P.波蒂斯 申请人:汤姆森特许公司