用于编码数字图像序列的方法
【专利说明】用于编码数字图像序列的方法
[0001] 本发明设及用于编码数字图像序列的方法W及对应的解码方法。另外，本发明设 及用于编码数字图像序列的装置和用于解码数字图像序列的装置。
[0002] 在许多不同的应用中，例如在监测系统中或者在医学成像装置中，产生大量图像 和视频数据。因而，存在压缩该数据W便节省存储容量或者减小在传输数据时的带宽的需 要。
[0003] 在现有技术中，存在许多标准W便压缩图像和视频数据。标准的突出示例是 比264/AVC(AVC=高级视频编码，参见文献[1] )W及草案标准肥VC(肥VC=高效视频编码， 同样参见文献巧])，其还将被标准化为口U-T推荐H. 265。标准肥VC还将允许无损编码的 图像序列的实时传输。标准肥VC和比264/AVC包括基于相同图像中的块的不同帖内预测 模式（intrapredictionmode)。在那些模式中，针对邻域中的已经重构的像素而预测当前 块。编码器通常测试不同的预测类型并且选择关于某个失真准则具有最小成本的一个。针 对当前块而构建预测误差并且将其连同预测类型一起传输至解码器。按块（block-wise)预 测具有W下缺点：远离用于预测的参考像素的像素并不与参考像素很好地相互关联。因而， 预测误差对于那些像素而言通常较高。为了改进预测，块的大小可W被减小。然而，运导致 图像中的块的较高数目，其引起用于预测类型的信令的较高比特率。另外，如果参考像素包 含噪声，则那些像素对于预测而言变成是次优的。
[0004]简单且高效的按像素的预测方法在文献巧]中被提出。名为LOCO-I的该预测方 法使用简单且直接的算法来基于=个周围的像素而预测像素。该预测方法对于针对有噪声 的图像的压缩也不是最优的。
[0005] 在文献[4]中W及在国际专利申请No.PCT/EP2012/075988中，公开了一种基于 模板的预测，其中通过将根据像素周围的模板的补块（patch)与根据要预测的像素的邻域 中的像素周围的模板的其它补块进行比较来确定像素的经预测值。作为该比较的结果，确 定补块之间的类似性度量。预测是基于考虑到类似性度量的邻域中的像素值的加权和，其 中较低的类似性度量导致较低权重。该预测方法相当复杂并且不适合用于特殊类型的内 容，例如计算机屏幕的内容。
[0006] 本发明的目的是提供一种数字图像序列的编码，其克服W上缺点并且使得能够实 现具有低复杂度的高效压缩。另外，本发明的目的是提供一种对应的解码方法W及用于编 码的装置和用于解码的装置。
[0007]该目的通过独立专利权利要求来解决。本发明的优选实施例在从属权利要求中被 限定。
[0008] 根据本发明的用于编码数字图像序列的方法使用多个预测模式（即至少一个预测 模式）W用于基于之前处理的图像区域中的像素的经重构的值来预测图像中的像素值。术 语"像素的经重构的值"要被宽泛地解释并且取决于所使用的编码方案。对于无损编码，像 素的经重构的值对应于像素的原始值。在有损编码的情况中，像素的经重构的值对应于经 编码并且此后经解码的像素值。而且，像素的经重构的值还可W是指在对应预测模式中确 定的像素的经预测的值。像素的经预测的值在当预测当前像素时尚未执行相应像素的编码 和解码的情况中使用。
[0009] 在编码方法中，像素的经预测的值与原始值之间的预测误差被处理W用于生成数 字图像的经编码序列。
[0010] 本发明的方法的特征在于特殊的预设的预测模式，其是基于单个图像的像素的帖 内预测模式。该预设的预测模式包括如下文中解释的步骤i)和ii)。
[0011] 在步骤i)中，对于单个图像中的具有经重构的值的像素的区和对于图像区域的 模板，将基于模板围绕要预测的第一像素的区中的像素的第一补块与若干第二补块进行比 较，每个第二补块被分配给来自该区中的多个第二像素的第二像素并且包括基于模板而围 绕第二像素的区中的像素。基于该比较，确定针对每个第二像素的类似性度量，其描述在被 分配给相应第二像素的第二补块的像素的经重构的值与第一补块的像素的经重构的值之 间的类似性。
[0012] 在根据本发明的方法的步骤ii)中，基于在区中的多个第二像素的所有第二像素 之中具有由类似性度量描述的最高类似性的一个或多个第二像素的值来确定第一像素的 经预测的值。
[0013] 本发明是基于W下想法：如文献[4]和国际专利申请No.PCT/EP2012/075988中 所描述的预测的复杂度可W通过不是在像素的加权和上而是在根据类似性度量具有最高 类似性的像素上来确定经预测的值而被降低。文献[4]和W上提到的国际专利申请的完整 公开内容通过引用并入在本申请中。
[0014]本发明的方法提供了特别地用于屏幕内容的高效编码而不需要如在现有技术方 法中的情况那样求解线性方程组。另外，不存在要用于预测第一像素的第二像素的数目中 的约束。而且，没有或较少边信息需要从编码器传输到解码器，因为根据本发明的预测方案 是后向自适应的。另外，预测是基于样本实施的，使得预测误差不取决于像素位置。
[0015] 在本发明的优选实施例中，第一像素的经预测的值是在区中的多个第二像素的所 有第二像素之中具有由类似性度量所描述的最高类似性的单个第二像素的值。如果存在具 有最高类似性的若干第二像素，通过多个第二像素中的第二像素的预定次序来选择单个第 二像素，其中单个第二像素是W第二像素的预定次序首先具有最高类似性的第二像素。可 替换地或附加地，还可W基于在区中的多个第二像素中具有由类似性度量所描述的最高类 似性的所有第二像素的值确定第一像素的经预测的值。在仅存在具有最高类似性的单个第 二像素的情况中，第一像素的经预测的值是该单个第二像素的值。如果存在具有最高类似 性的若干第二像素，则第一像素的经预测的值是所述若干第二像素的值的组合并且特别地 是其线性组合，优选地为所述第二若干像素的值的平均。W上所描述的本发明的两个变型 提供了用于应对其中存在具有相同的最大类似性度量的若干像素的情况的高效机制。
[0016] 在本发明的另一实施例中，预设的预测模式针对预定的图像块中的第一像素而按 块执行。因而，方法可W容易地与基于块的编码方案组合。
[0017] 在特别优选的实施例中，类似性度量是基于第一补块和相应第二补块中的对应 (经重构的）像素之间的绝对差之和。然而，第一补块和相应第二补块中的对应像素之间的 平方差之和也可W用于限定类似性度量。
[0018] 在本发明的另一实施例中，单个图像是具有在多个竖直和水平位置处的像素的二 维图像，其中区和/或模板中的多个第二像素被限定成使得区和/或模板中的多个第二像 素通过至少两个相邻的像素而围绕对应像素，其中对应像素在限定区中的多个第二像素的 情况中为第一像素并且对应像素在限定模板的情况中为被基于模板的第一或第二补块围 绕的像素，所述至少两个相邻像素包括： -具有相对于对应像素向上偏移一个像素的竖直位置并且具有与单个图像中的对应 像素相同的水平位置的上相邻像素； -具有相对于对应像素向左偏移一个像素的水平位置并且具有与单个图像中的对应 像素相同的竖直位置的左相邻像素；W及可选地 -具有相对于对应像素向上偏移一个像素的竖直位置并且具有相对于单个图像中的 对应像素向左偏移一个像素的水平位置的左上像素。
[0019] 在特别优选的实施例中，区和/或模板中的多个第二像素还包括具有相对于对应 像素向上偏移一个像素的竖直位置并且具有相对于单个图像中的对应像素向右偏移一个 像素的水平位置的右上像素。
[0020] 基于相邻像素而限定区中的多个第二像素的W上方法可W与其中给出预定次序 W用于在具有最高类似性的若干第二像素的情况中选择用于预测的第二像素的本发明的 实施例组合。为了运样做，可W如下限定多个第二像素中的预定次序： 上相邻像素，左相邻像素，左上像素，W及在多个第二像素还包括右上像素的情况中， 右上像素。
[0021] 可替换地，可W如下限定多个第二像素中的预定次序： 上相邻像素，右上像素(如果存在的话)，左相邻像素和左上像素W及。
[0022] 在特别优选的实施例中，本预测模式用于图像序列的无损编码。在该情况中，在步 骤i)中使用的像素的经重构的值等于像素的原始值。
[0023] 在本发明的另一实施例中，本预测模式用于图像序列的有损编码。优选地，有损编 码包括(经变换的）预测误差的变换和/或量化的已知步骤，其中执行预测误差的逆变换和 /或解量化（dequantization)W用于确定像素的经重构的值。在针对像素的预测误差尚未 经受变换和/或量化的情况中，像素的经预测的值被用作经重构的值。
[0024] 在特别优选的实施例中，预测误差的处理包括增强编码效率的赌编码步骤。
[00巧]在另一实施例中，本发明的方法除预设的预测模式之外包括预定的预