用于数字图像的帧内编码方法和对应的解码方法与流程

文档序号:16995905发布日期:2019-03-02 01:22阅读:246来源:国知局
用于数字图像的帧内编码方法和对应的解码方法与流程

本发明的领域是对图像或图像序列的编码和解码,并且特别是对视频流的编码和解码。

更具体地,本发明涉及使用图像的块表示来压缩图像或图像序列。

本发明尤其可以应用于在当前编码器(jpeg、mpeg、h.264、hevc等及其修改)或未来编码器中实现的图像或视频编码,以及对应的解码过程。

2.相关技术的描述

图像和数字图像序列在存储器方面占据大量空间,这需要在发送这些图像时对其进行压缩以便避免用于该发送的网络上的拥挤问题。实际上,该网络上的可用吞吐量通常是有限的。

许多视频数据压缩技术是已知的。其中,hevc压缩标准(高效视频编码、编码工具和规范,matthiaswien,信号和通信技术,2015)提出了关于属于同一图像(帧内预测)或者属于前一个或下一个图像(帧间预测)的其他像素实现对当前图像的像素的预测。

更具体地,帧内预测利用图像内的空间冗余。为此,将图像分成像素块。然后使用已经重构的信息根据图像中的块的顺序来预测像素块,该信息对应于当前图像中的先前经编码/经解码的块。

此外,传统上,使用对当前块的预测(称为预测块)和与当前块和预测块之间的差相对应的预测残差(residue)或“残差块”来执行对当前块的编码。然后例如使用dct变换(离散余弦变换)变换所获得的残差块。然后经变换的残差块的系数被量化,之后通过熵编码进行编码并将其发送到解码器,解码器可以通过将该残差块添加到预测块来重构当前块。

解码是逐个图像地完成的,并且针对每个图像,逐个块地完成。针对每个块,读取流的对应元素。执行对残差块的系数的逆量化和逆变换。然后,计算对块的预测以获得预测块,并且通过将预测(预测块)添加到经解码的残差块来重构当前块。

在hevc标准中,可以根据35个帧内预测模式执行对当前块的帧内预测。为了对所选择的帧内预测模式进行编码以预测当前块,hevc标准定义了两个预测模式列表:

-称为mpm列表的第一列表(用于“最可能模式”),其包括针对当前块的3个最可能的帧内预测模式,这种mpm列表根据在对当前块的相邻块的编码期间先前选择的预测模式进行定义。

-被称为非mpm列表的第二列表,其包括剩余的32个帧内预测模式,即未被包括在mpm列表中的帧内预测模式。

索引被发送到解码器以指示使用哪个mpm或非mpm列表来预测当前块。当通过mpm列表的帧内预测模式对当前块进行编码时,在mpm列表中选择的预测模式的索引通过熵编码发送到解码器。当通过非mpm列表的帧内预测模式对当前块进行编码时,在非mpm列表中选择的帧内预测模式的索引通过5比特的固定长度码进行编码。

非mpm列表包括大量帧内预测模式,使得对该列表的预测模式的索引进行编码的成本高。

文献“noveladaptivealgorithmforintrapredictionwithcompromisedmodesskippingandsignallingprocessesinhevc”,l-l.wang,wcsiu,ieee,2013描述了一种编码方法,其可以减少用于按顺序预测当前块的帧内预测模式的数量,以便一方面降低用信号发送帧内预测模式的成本,并且另一方面降低选择预测模式的复杂性。这种方法基于可用的35个帧内预测模式来创建三个类别,第一类别包括1个模式,第二类别包括19个模式,并且第三类别包括35个模式。它针对每个当前块选择根据当前块的参考像素的方差值而适应的类别。当前块的参考像素对应于当前块上方的行和当前块右边的列的像素。然后通过列表中的预测模式之一预测当前块。在所选择的类别中,根据率失真标准选择最佳预测模式。它标记有识别类别并然后标识该类别中的模式的信息。

这种方法使得可以减少对当前块的预测的计算时间,这是因为在一些情况下不是所有帧内预测模式都被测试。它还可以允许在一些情况下减少流量。实际上,如果所选择的类别是只有一个预测器的类别,则无需报告。

3.现有技术的缺点

当选择第二或第三类别时没有降低比特率,这是因为信号发送是在最初可用的预测模式集合的基础上提供的。

4.本发明的目的

本发明改善了这种情况。

本发明特别旨在克服现有技术的这些缺点。

更具体地,本发明的目的是提出一种解决方案,其有助于降低用信号发送在多个候选模式中针对当前块所选择的预测模式的成本,而不会损害预测的质量。

5.本发明的描述

这些目标以及稍后将出现的其他目标借助于对表示至少一个图像的编码数据流进行解码的方法来实现,所述图像被分成块,至少两个预测模式集合可用于预测块(所述当前块),所述方法包括以下步骤:

-从集合中提供至少两个预测模式类别;

-基于至少一个第一预定消除标准来抑制至少一个类别;

-通过删除与所述至少一个已消除的类别共有的预测模式来更新未消除的类别;

-从数据流中对针对当前块识别经更新的类别的模式当中的预测模式的信息进行解码。

利用本发明,解码器消除了不适合当前块的预测模式的类别,并从剩余的类别中去除了与已消除的类别共有的预测模式。它使用其未消除和更新的类别的知识来在数据流中解释编码数据,其用信号发送由编码器针对当前块选择的预测模式。

与用信号发送在初始类别的基础上选择的预测模式的现有技术不同,用信号发送的针对当前块选择的预测模式是特定的并且适合于更新的预测模式类别。因此,优化了用信号发送预测模式的成本。

本发明还涉及一种以编码数据流的形式对图像进行编码的方法,所述图像被分成块,至少两个预测模式集合可用于预测块(所述当前块),所述方法包括以下步骤:

-从集合中提供至少两个预测模式类别;

-根据至少一个第一预定消除标准抑制至少一个类别;

-通过删除与所述至少一个已消除的类别共有的预测模式来更新未消除的类别;

-在经更新的类别中的一个中选择预测模式;以及

-基于经更新的类别对识别所选择的预测模式的信息进行编码并将编码信息插入到编码数据流中。

下面提到的各种实施例或特征可以独立地或彼此组合地添加到上面定义的解码方法和/或编码方法的特征。

根据本发明的一个方面,获得步骤包括读取存储器中的所述类别的识别信息。

预测模式的类别是预定的。一个优点是实现的简单性和对计算资源的有限需求。

根据本发明的另一方面,获得步骤包括分析已经处理的块的内容的至少一个特征,以及从预测模式的分组的至少一个标准并根据所述至少一个分析特征创建类别。

基于已处理的内容动态地创建类别。一个优点在于所获得的类别适合于图像的内容。

根据本发明的另一方面,该方法包括:针对所获得的类别,确定表示该类别的预测模式的步骤,并且消除该类别的步骤包括消除表示对该类别的消除的预测模式,对该类别的消除通过消除表示它的预测模式而被触发。

一个优点在于在一次操作中消除了整个类别。

根据本发明的又另一方面,针对所获得的类别,消除类别的步骤包括连续消除其预测模式,将类别中已消除的预测模式的数量与预定阈值进行比较,当已消除的模式的数量大于阈值时触发对类别的消除。

一个优点在于在做出消除决定之前单独测试类别的模式。

根据本发明的另一方面,该方法包括:针对所获得的类别,所述类别与用于对预测模式进行分组的标准相关联,分析已经处理的相邻块的内容的步骤旨在提供内容的特征,且当特征和分组标准彼此不兼容时,消除步骤消除类别。

一个优点在于如果可以确定它不适合于要处理的内容,则消除整个类别。

本发明还涉及一种解码设备,其适合于实现根据上面定义的特定实施例中的任一项的解码方法。该解码设备当然可以包括与根据本发明的解码方法有关的各种特征。因此,该解码设备的特征和优点与解码方法的特征和优点相同,并且不再详述。

根据本发明的特定实施例,这种解码设备被包括在终端中。

本发明还涉及一种编码设备,其适合于实现根据上面定义的特定实施例中的任一项的编码方法。该编码设备当然可以包括与根据本发明的编码方法有关的各种特征。因此,该编码设备的特征和优点与编码方法的特征和优点相同,并且不再详述。

根据本发明的特定实施例,这种编码设备被包括在终端或服务器中。这种终端或服务器设备可以包括根据本发明的编码设备和解码设备。

根据本发明的解码方法、编码方法可以分别以各种方式实现,特别是以硬连线形式或以软件形式实现。

根据本发明的特定实施例,解码方法、编码方法分别由计算机程序实现,该计算机程序包括用于在由处理器执行该程序时实现如上所述的方法的步骤的指令。

这些程序可以使用任何编程语言。它们可以从通信网络下载和/或被记录在计算机可读介质上。

本发明最后涉及由处理器(无论是否被集成到根据本发明的用于编码数字图像的设备中和用于解码数字图像的设备中)可读取的记录介质,其可以是可移动的,如上所述分别存储了实现编码方法的计算机程序和实现解码方法的计算机程序。

6.附图列表

通过阅读对作为简单说明性和非限制性示例给出的本发明实施例的以下描述以及附图,本发明的其他特征和优点将更清楚地显现,在附图中:

-图1示意性地呈现了根据本发明第一实施例的获得、消除和更新预测模式的类别的步骤;

-图2示意性地呈现了根据本发明第一实施例的获得、消除和更新预测模式的类别的步骤;

-图3示意性地呈现了包括共有模式的预测模式的类别;

-图4a至图4g示出了由本发明实现的预测模式的类别的示例;

-图5示出了在本发明的一个实施例中实现的类别的示例;

-图6示意性地示出了根据本发明的用于编码图像的方法的步骤;

-图7示意性地示出了根据本发明的用于解码图像的方法的步骤;

-图8示意性地示出了根据本发明的编码设备的硬件结构;并且

-图9示意性地示出了根据本发明的解码设备的硬件结构。

7.本发明特定实施例的描述

7.1一般原理

本发明的目的是改善用信号发送用于预测要编码的图像的像素块的预测模式的成本。

当前的压缩标准提供了大量用于编码块的预测模式,以便提供尽可能接近要编码的块的像素的预测。因此,经量化的预测残差是低的,或者甚至是零,这使得可以降低编码预测残差的成本。然而,用信号发送预测模式的成本随着可能的预测模式的数量而增加。

然而,似乎可以基于它们共有的图像的内容的一个或多个特征将预测模式分组为类别,并且预测相同类别的预测模式不适合于预测当前块。

本发明的一般原理基于在初始预测模式集合中建立预测模式的类别,以竞争对数字图像的当前块的编码或解码以及消除整个类别。删除尚未消除的以及与已消除的类别共有的类别的模式。该原理适用于编码器和解码器两者。

以这种方式,减少了用于编码块的预测模式的数量,并且由于解码器适合于相等地构建相同类别,从而可以在可用于预测当前块的减少数量的模式的基础上来完成信号发送。

这里,在hevc标准中定义的帧内预测模式的应用的上下文中描述了本发明。本发明容易地可应用于其他压缩标准和其他预测模式。

应该提醒的是,hevc标准定义了35个帧内预测模式:

-planar模式(模式0),该模式包括从参考像素线性插入预测器块(或预测块)的像素;参考像素由先前重构的相邻块构成,

-模式dc(模式1),该模式包括向预测器块的像素分配对应于参考像素的平均值的相同值,

-图4a中所示的33个角度模式a2-a34。这种模式通过在33个相关联的方向之一上扩展当前块的参考像素来形成预测器块。

结合图1,根据本发明的获得类别e10、消除类别e11、更新类别e12的步骤被实现在结合图6描述的根据本发明的解码方法以及参考图7的根据本发明的解码方法中。

7.2从初始集合中提供至少两个预测模式类别

在步骤e10中,编码器或解码器获得从初始可用预测模式集合形成的预测模式的类别。如图3所示,类别可以具有共同的预测模式。

使用预测模式的一个或多个cr分组标准形成这些类别。分组标准有利地与块的内容的特征的值或值范围相关联。换句话说,在至少一个共同特征的基础上对预测模式进行分组,使得相同类别的预测模式可以被认为是最适合于预测具有与它们相关联的特征值的块。

类别可以在预编码和预解码阶段中已经形成并且固定。在这种情况下,获得类别的步骤e10包括在存储器mem、mem0中读取表示这些类别的信息的子步骤e101。例如,该信息是连接类别的标识符的单词,并且类别标识符与存储其包含的预测模式的标识符的存储空间相关联。

在没有已经处理的图像的内容的分析特征的情况下,编码器和解码器通过对称性系统地获得对应于例如与编码简档(profile)相关联的第一分类简档的预定类别。

当它具有分析已经处理的块的内容的结果时,其在运行中提供图像的内容的特征,编码器和解码器通过对称性可以动态地创建类别以使用与从该分析导出的特定值或特征值范围相关联的分组标准。

在这种情况下,步骤e10包括获得已经处理的块的内容的特征cc的子步骤e102和在基于这些特征中的至少一个特征的至少一个分组标准cr的基础上创建至少一个类别的子步骤e103。

要理解的是,步骤e10可以实现仅子步骤e101、仅子步骤e102、e103或所有子步骤,而形成的类别动态地补充了先前创建的类别。

例如,根据与图像的内容的物理特征相关联的标准对预测模式进行分组。结合图4b,所考虑的物理特征是预测模式的定向,且具有彼此接近的定向的预测模式被分组为包括垂直角度模式a26(v)及其相邻模式的第一类别cv(称为垂直类别))以及包括水平角度模式a10(h)及其相邻模式的第二类别ch(称为水平类别)。

这些类别与预测具有直向的图像块相关,该直向对于类别ch而言是相当水平的,或者对于类别cv而言是相当垂直的。例如,表示具有高建筑物的城市场景的图像就是这种情况。

有利地,对于当前块,消除步骤e11将基于块的主定向在消除标准的基础上消除两个类别中的一个。

结合图4c考虑了考虑类别的创建的物理特征的另一示例。假设编码器在内容中检测到存在通常在水平或垂直方向上由非常均匀的区域隔开的相对于背景的锐利和对比的轮廓,这对应于真实场景上的文本或标志镶嵌。因此,被编码的图像的内容包括真实场景上的虚拟元素的叠加。它创建了第一类别,该第一类别将适合于称为“屏幕内容”的此类场景的模式进行分组。例如,在该类别csc中,它包括dmm模式(用于“深度建模模式”)、ibc(用于“帧内块复制”)、水平角度模式a10(h)、垂直角度模式a26(v)。它创建了第二ca类别,包括先前提到的所有角度模式,包括水平模式和垂直模式。

结合图4d,编码器在e10中从角度预测模式中获得三个类别。类别ca1包括模式a26(v)和a10(h),类别ca2包括模式a2、a6、a14、a22并且类别ca3包括所有其他模式。对于对方向的编码,类别ca1允许非常少的精细度,类别ca2允许稍微多的精细度并且类别ca3是最精确的。应理解的是,这三个类别使得可以适应表示块的内容的方向所需的精细度。

这些类别在前一阶段创建并且固定。他们没有共同的模式。

该类别集合的优选应用是将其用作与其他人竞争的编码工具。因此,当该类别集合给出例如根据率失真标准的最佳结果时,将选择该组类别。特别地,可以预期,对于给定区域包含简单方向(垂直和水平)且另一区域将具有更精细的方向(对角线的精细度)的图像,可以很好地工作。

根据本发明的一个实施例,类别创建的子步骤e103基于用于已经处理的相邻块的预测模式的统计分析(e102)(因果上下文)而考虑分组标准。有利地,最常用的模式被放置在第一类别中。第二类别包括初始集合的所有模式。

在另一个实施例中,如图4e所示,关于因果描述符,优选最可能的因果描述符,通过学习对当前图像的已经处理的块的预测模式的“机器学习”类型动态地创建其他类别。“机器学习”或ml技术被本领域技术人员所熟知,并且例如在tommitchell的由mcgrawhill于1997年出版的题为《machinelearning》的书中进行了描述。

该技术允许在学习阶段之后发出关于当前区域的模式选择的概率。ml是一种已知的复杂方法,我们不详细说明。因此,我们可以想象创建其他3个类别,取决于每个模式的出现概率的程度。例如,我们可以比较在一个或多个阈值处获得的发生概率并将具有大于第一阈值的发生概率的那些分组在第一类别中,然后将具有大于第二阈值而低于第一阈值的发生概率的那些分组在第二类别中,并将具有大于第三阈值而低于第二阈值的发生概率的那些分组在第三类别中。

这提供了以下类别,如结合图4e所示:

·类别1c1':a2a8a9a10a11

·类别2c2':a10a3a4a11a12a16

·类别3c3':所有其他角度模式an。

以可以变化的频率定期重复学习。例如,在每个编码单元或每个图片或gop图片组(用于“图片组”)处。

有利地,我们将所谓默认的第一预定类别c0'(包括预测模式dc、a10(h)、a26(v)和pl)添加到动态创建的这三个类别。该类别由e10中的编码器和解码器获得。这使得可以克服由ml学习导致的不良预测。

结合图4f和4g,也可以分层地构建类别。

可以采用任何树结构(二元、三元、不规则等)。该结构通过分层级别模仿一种mpm。

例如,类别通过二分法建立。我们将水平模式a10和垂直模式a26定义为两个最可能的模式mpm1和mpm2。它们形成顶级类别ch1。通过取具有两个跳跃的其相邻模式mpm1-2、mpm1+2、mpm2-2和mpm2+2来导出第二分层类别ch2。因此,我们可以通过取先前类别的模式的一个跳跃内的相邻模式mpm1-1、mpm1+1、mpm2-1、mpm2+1来创建第3级分类ch3。ch1类别包括很少的预测模式,并且在角度方向方面提供低精度,而ch3类别提供更高的定向精细度。

7.3消除类别

本发明涵盖了消除类别的不同方式。

根据结合图1描述的本发明的一个实施例,消除步骤e11包括确定表示类别的模式的子步骤e111。

在角度模式集合的情况下,代表可以例如是中值或平均值。因此,角度预测器是有序的,并且具有指定它们的数字。因此,平均值指定类别的中心角。

根据一个变型,表示类别的预测模式是附加预测模式,在某种意义上它不是该初始预测模式集合的一部分。例如,其此时可以通过对预测器本身(也就是说用于进行预测的像素的值,或这些值的任何其他函数)进行平均来获得。例如,结合图4b,选择垂直模式作为针对cv类别的rv代表,并选择水平模式作为针对ch类别的hr代表。

步骤e11还包括根据消除标准消除代表的子步骤e112。基于至少一个预测器消除标准来测试消除或不消除代表。

步骤e113包括一旦其代表已经被消除就消除整个类别。

根据图2中所示的变型,它不指定代表,但是在子步骤e114期间的类别的预测模式被逐个检查并且它们通过标准模式消除标准被消除。

在图4e的示例中,类别ca0至ca3是异构的。因此,没有针对这些类别定义代表。模式将被单独审查,以决定它们的最终消除。模式消除标准例如对应于以下规则:“如果其邻域中的块还没有选择an、an-1或an+1模式,则丢弃an”。

结果,假设消除了每个类别中的多个模式。如果应该消除该类别的模式的例如50%,则应用整个类别的消除标准。在这种情况下,该类别的所有模式都被消除。特别是,这些相同的模式从它们存在的其他类别中消失。在相反的情况下(小于50%),保留类别,并且也保留该类别的所有模式(甚至应该被消除的那些模式)。

在e115中,如果在类别中消除的模式的比率大于预定阈值th,则去除类别。

在又一实施例中,如果用于形成的分组标准cr与已经处理的相邻块的内容的至少一个物理特征不兼容,则通常消除特征。例如,图4c的csc类别包括预测模式,其具有用于从深度图像导出的块或包括非自然内容(例如计算机屏幕类型(用于“屏幕内容”)或包括嵌层(incrustation))的高概率。然而,它不适合于属于图像区域的当前块,针对该图像区域,对已经处理的相邻块的分析指示了内容包括标记的角度特征以及纹理区域。然后csc类别与其所有预测模式一起被消除。

回到图4d的示例,我们可以基于当前块的内容的定向的物理特征来获得类别ca1至ca3。当对已经处理的相邻块的内容分析指示了我们处于非常均匀的区域时,因此不要求大的角精度。因此,我们可以消除ca3类别。

类似地,如果例如应用于已经处理的相邻块的sobel类型的梯度技术没有显示任何清晰的水平或垂直方向,则可以消除其模式分组的类别与要处理的内容不兼容的类别ca1。

7.4更新未消除的类别

我们已经看到创建出的类别可以具有共同的预测模式。

注意的是,根据本发明,如果给定预测模式属于第一类别和第二类别,则对第一类别中的该模式的消除涉及其对第二类别e12的消除。

结合图3,对类别c1的消除意味着第二类别c2仅包含两个预测模式。

7.5第一实施例的描述

在该示例中,如图5所示,预测模式的类别是预定的。换句话说,对他们的创建是在编码之前的阶段中完成的。因此,步骤e10包括读取表示这些类别的信息以便访问预测模式,预测模式例如被存储在编码器可访问的存储器中。

我们考虑如下构成的五个类别,如图5所示:

-类别c11包括预测模式dmm、ibc、h(a10)、h-1(a9)、h+1(a11)、v(a26)、v-1(a25)、v+1(a27);

-类别c21包括角度预测模式a34...a27;

-类别c31包括角度预测模式a25...a11;

-类别c41包括角度预测模式a9...a2;

-类别c51包括dc、h、v、pl。

可以看出的是,某些预测模式(诸如某些角度模式)对多个类别是共有的。

编码器和解码器已知预先确定并固定的这些类别。

对于仅由角度模式组成的类别2、3和4,在t12中确定代表,其对应于它们中的每个的中值角度模式。例如,分组c2”的中值是a30.5模式。注意的是,这是额外的角度模式,其不是类别c2”的一部分。

不确定由异构类型的预测模式组成的其他类别c11和c51的代表。

在e11中,目的是消除一个或多个类别。在该实施例中,所采用的策略包括消除最可能无用的角度预测模式。基于对在空间和时间两者上的邻域中已经处理的块所使用的预测模式的统计分析,使用所谓的统计消除标准。

例如,对于类别c21、c31和c41,使用下述消除标准来测试代表,上述消除标准以以下规则的形式来表示:“如果在其邻域中已经处理的块都没有选择由an、an-1和an+组成的分组中的模式之一,则丢弃模式。

该标准可能导致消除类别c2”和c3”的代表,从而消除这些类别。

在e12中,通过去除它们与已消除的类别共有的预测模式来更新未消除的类别。这导致我们从类别1中去除a11(h+1)、a25(v-1)、a26(v)和a27(v+1)角度模式。

经更新的类别如下:

-类别c11:dmm、ibc、h(a10)、h-1(a9)、v(a26);

-类别c41:a9...a2;以及

-类别c51:dc、h、v、pl

观察到的是,与最初的38个模式相比,总共只剩下15个模式。

注意的是,在该示例中,只有类别c21、c31、c41具有代表并可能是可任意处理的。这对应于希望消除不必要的角度模式中的最大的而不消除其他模式的具体情况。

然后,编码器选择通常从剩余15个中选择的预测模式。传统上,该选择是在率失真或rdo的基础上进行的,这导致保持优化了比特率和编码质量的模式。

所选模式被指示在比特流中。然后报告该模式。

有几种已知的方法来报告所选择的预测模式。根据第一种选择,它关于15个模式被索引并且用信号发送其索引。根据第二种选择,用信号发送其属于剩余三个类别之中的类别,然后用信号发送其在该类别中的位置或索引。

7.3第二实施例的描述

与第一实施例中一样考虑了相同的预定类别。

类别c1”对预测模式进行分组,该预测模式应该与预测包括嵌层或屏幕内容类型的人工内容的块相关。

在类别消除步骤e11期间,当它不适合于要处理的块的内容时,它试图消除该类别1。

对于该类别,使用基于当前块的经处理的邻域的结构分析的去除标准。例如,通过sobel滤波执行轮廓检测,并且确定这些轮廓的方向,如由prenticehall于1989年出版的akjain的题为“fundamentalsofdigitalimageprocessing”的书籍的第4节和第5节中所描述的。如果发现相邻块不包括该类别涵盖的类型的内容,则它被丢弃。

应该注意的是,类似的操作可以应用于类别c5”,其更适合于均匀区域或轻度退化区域。

7.6第三实施方式的描述

在该示例(未示出)中,第一默认类别c12是固定的,其包含预测模式dc、h、v、pl。

步骤e10包括三个类别的动态创建e103。为此,它在e102中实现了机器学习技术(ml)。考虑每个模式的发生概率而创建了三个类别。

类别可以是,例如:

-类别c12:dc、h、v、pl;

-类别c22:a2、a8、a9;

-类别c32:a10、a3、a4、a11、a12、a16;

-类别c42:所有其他角度模式an。

因此形成的类别是异构的。因此,我们不会定义任何代表。

在e11中,审查每个类别的每个模式以决定是否应该消除该模式。消除模式的第一标准例如以以下规则的形式表示:如果其邻域中的块未选择an、an-1或an+1模式,则将丢弃an。

如果通过第一标准消除该类别的模式的例如50%,则应用整个类别的第二消除标准。在这种情况下,该类别的所有模式都被消除。

在e12中,从剩余的类别中删除已消除的模式。

特别是,这些相同的模式从它们存在的其他类别中消失。

在相反的情况下(小于50%),保留类别,并且也保留该类别的所有模式(甚至应该被消除的那些模式)。

例如,如果消除了类别4和类别2的模式的50%,则仅类别1的3个模式和类别3的6个模式总体上保持可用。这将允许补救从ml导出的可能不好的结果预测。

7.7根据本发明的编码方法的示例性实施例的描述

图6呈现了根据本发明的特定实施例的以str编码数据流的形式对要编码的图像序列i1,i2,...,in进行编码的方法的步骤。例如,这种编码方法由如参考图8描述的编码设备实现。在编码方法的输入处提供要编码的图像序列i1,i2,...,in。编码方法输出表示在输入处提供的图像序列的编码数据流str或比特流。

以已知的方式,图像序列i1,i2,...,in的编码是根据先前建立并且解码器已知的编码顺序逐个图像完成的。例如,图像可以按时间顺序i1,i2,...,in或以其他顺序(例如i1,i3,i2,...,in)进行编码。

在步骤e0期间,将图像序列i1,i2,...,in的要编码的图像ik切割成最大尺寸的块。每个最大尺寸的块可以切割成更小的块。例如,最大尺寸的块尺寸为32×32像素。这种最大尺寸块可以被细分为正方形或矩形的子块,例如尺寸为16×16、8×8、4×4、16×8、8×16......。然后,在步骤e0期间,根据预定图像ik的行进方向选择图像ik的要编码的块bc。

在步骤e10期间,获得用于编码当前块bc的至少两个预测模式类别。在步骤e11期间,根据至少一个消除标准来消除类别,并且在e12中,通过消除与已消除的类别共有的模式来更新尚未消除的类别。

以上已经结合图4a至4g根据本发明的不同实施例描述了这些步骤。

在步骤e13期间,从经更新的类别的预测模式中选择用于编码当前块bc的预测模式,例如,选择提供当前块的最佳率/失真折衷的预测模式。

在步骤e14期间,识别所选预测模式的信息被编码在当前块bc的编码数据str的流中。例如,这种信息在流中被编码为由固定或可变长度代码所编码的idx索引。

根据变型,表示所选择的预测模式所属的类别的信息和表示该类别中的预测模式的位置的信息被编码。

注意的是,利用本发明,一旦通过编码器和解码器对称地获得、消除和更新类别,编码器就可以有利地选择代码以便用信号发送根据经更新的类别的预测模式的数量而不是基于初始集合的预测模式的数量而选择的预测模式。因此,信号发送变得较便宜。

在步骤e15期间,从当前块bc和与在步骤e13中选择的预测模式相关联的预测器块p计算预测残差res。通过要编码的当前块bc和预测器块p之间的差来获得预测残差res。

在步骤e16处,然后以已知的方式(例如通过dct)转换res预测残差并量化对其进行量化。然后获得经量化的变换残差系数。

在步骤e17期间,经量化的变换残差系数然后由熵编码模块编码,例如cabac编码器,其在d.marpe,h.schwarz,t.wiegand,《context-basedadaptivebinaryarithmeticcodingintheh.264/avcvideocompressionstandard》,ieeetransactionsoncircuitsandsystemsforvideotechnology(卷:13,期号:7)第620-636页,2003年7月中以编码数据流str的形式描述。在步骤e18期间,通过对经量化的变换系数应用逆量化和逆变换来重构预测残差res'。在步骤e19期间,通过将重构的预测残差res'添加到与在步骤e13中选择的预测模式相关联的预测器块p来重构像素块rec。

在步骤e20期间,检查是否已经编码了要编码的图像的所有块。在否定的情况下,编码方法通过根据要编码的图像的预定路径前进到下一个块而在步骤e10中重新开始。

在已经处理了图像的所有块的情况下,在步骤e21期间,从图像的重构块rec重构图像ikrec并将其保存在参考图像的列表中,以稍后在编码图像序列的后续图像时用作参考。

7.8解码方法

图7呈现了根据本发明的特定实施例的对编码数据的流str进行解码的方法的步骤,该编码数据表示要被解码的图像序列i1,i2,...,in。

例如,已经使用参考图1描述的编码方法生成了数据流str。数据流str在解码设备dec的输入处提供,如参考图9所述。

解码方法逐个图像地对流进行解码。对于要解码的每个图像,解码方法逐块地解码图像。

在步骤e0期间,将图像序列i1,i2,...,in的要编码的图像ik切割成最大尺寸的块。每个最大尺寸的块可以进一步切割成更小的块。例如,最大尺寸的块尺寸为32×32像素。这种最大尺寸块可以被细分为正方形或矩形的子块,例如尺寸为16×16、8×8、4×4、16×8、8×16......。然后,根据预定图像ik的行进方向选择图像ik的要编码的块bc。

对于要重构的图像的块bc,在步骤e10期间,获得预测模式的类别。在e11中,在至少一个消除标准的基础上消除类别,并且通过消除与已消除的类别共有的预测模式,在e12中更新未消除的类别。根据与在数据流str的编码期间使用的实施例相同的特定实施例来执行这些步骤e10至e12。它们包括以上已经结合图1和2根据本发明的不同实施例描述的子步骤集合。

在步骤d20中,对应于块bc的数据流str的数据由熵解码模块解码,以一方面提供与当前块bc的编码模式(或预测模式)有关的语法元素,并且其次提供当前块bc的一组预测残差系数。解码的语法元素特别包括预测模式信息,其针对当前块bc识别根据本发明更新的预测模式类别中的预测模式之中的预测模式。例如,如果假设更新的类别以及构成它们的预测模式是有序的,则这种信息在流中被编码为由剩余预测模式形成的有序列表的索引idx。可替换地,预测模式信息被编码为所识别的类别中的类别标识符和idx位置索引。

在步骤d21中,块bc的预测残差系数经历逆量化,并然后逆变换以输出经解码的预测残差res'。

在步骤d22期间,从与经解码的预测模式相关联的预测器块p和与已经从编码的数据流str解码的当前块bc相关联的预测残差res'来重构当前块bc。先前已在步骤e10中计算了预测器块p。因此,通过将预测器块p添加到经解码的预测残差res'来获得当前块bc的重构块rec。

在步骤d23期间,检查是否已经解码和重构了要解码的图像的所有块。在否定的情况下,解码方法通过根据要解码的图像的预定路径前进到下一个块而在步骤e10中重新开始。

在已经处理了图像的所有块的情况下,在步骤d24期间,从图像的重构块rec重构图像ikrec并将其保存在参考图像列表中,以随后在编码图像序列的后续图像时用作参考。

上述编码方法和解码方法可以集成到标准视频编码器/解码器中,诸如h.266、hevc/h.265、avc/h.264或任何类型的专有视频编码器/解码器。根据本发明的编码方法和解码方法还适用于静止图像的所有类型的编码器/解码器,并且更一般地适用于使用预测编码(使用若干可用预测模式)的信号。

先前已经在块空间编码(帧内编码)的情况下描述了编码方法和解码方法。这些方法容易应用于根据其他类型的编码模式(例如,帧间编码)来编码块的情况。因此,所构造的预测模式列表可以包括不同类型的编码模式(帧内、帧间、层间等)。

7.9编码设备

图8示出了适合于实现根据本发明的任何特定实施例的编码方法的编码设备100的简化结构。编码设备100适合于以编码数据流的形式编码至少一个图像,所述图像被分成块,至少两个预测模式可用于预测所述图像的块(被称为当前块)。

编码设备100被特别配置为:

-从可用于预测与可用预测模式相关联的所述当前块、预测器块的预测模式集合获得至少两个预测模式类别,

-基于至少一个消除标准来消除至少一个类别,

-通过去除与已消除的类别共有的预测模式来更新未消除的类别,

-在经更新的类别中选择用于编码当前块的预测模式,

-在数据流中对针对所述当前块识别经更新的类别中选择的所述预测模式的信息进行编码。

根据本发明的特定实施例,编码方法的步骤由计算机程序指令实现。为此目的,编码设备100具有计算机的传统架构,并且特别地包括存储器mem、处理单元ut(其例如配备有微处理器proc,并且由存储器mem中存储的计算机程序pg驱动)。当程序由处理器proc执行时,计算机程序pg包括用于实现如上所述的编码方法的步骤的指令。

在初始化时,计算机程序pg的代码指令例如在由处理器proc执行之前被加载到ram中。处理单元ut的处理器proc根据计算机程序pg的指令特别地实现上述编码方法的步骤。

根据本发明的另一特定实施例,编码方法由功能模块实现。为此目的,编码设备cod还包括:

-获取模块obt,用于从可用于预测与可用预测模式相关联的所述当前块、预测器块的预测模式集合获得至少两个预测模式类别,

-消除模块elim,用于基于至少一个消除标准来消除至少一个类别,

-更新模块,用于通过去除与已消除的类别共有的预测模式更新未消除的类别,

-选择模块sel,用于在经更新的类别中选择用于编码当前块的预测模式,

-编码模块cod,用于在数据流中对针对所述当前块识别经更新的类别中选择的所述预测模式的信息进行编码。

处理单元ut与上述各种功能模块和存储器mem协作,以便实现编码方法的步骤。

上述各种功能模块可以是硬件和/或软件形式。在软件形式下,这种功能模块可以包括处理器、存储器和用于在处理器执行代码指令时实现与模块相对应的功能的程序代码指令。在材料形式中,这种功能模块可以由任何类型的合适编码电路实现,诸如例如但不限于微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、逻辑单元接线。

有利地,这种设备100可以被集成到用户终端设备et中。然后,设备100被布置为至少与终端et的下一个模块协作:

-存储器mem1,其中特别存储了预测模式的类别;

-数据发送/接收e/r1模块,通过该模块,编码数据流str通过电信网络(例如旨在用于一个或多个解码器的有线网络或无线电网络)发送。

7.10解码设备

图9示出了适合于实现根据本发明的任何特定实施例的解码方法的解码设备200的简化结构。解码设备200适合于以解码数据流的形式解码至少一个图像,所述图像被分成块,至少两个预测模式可用于预测所述图像的块(被称为当前块)。解码设备200被特别配置为:

-从可用于预测与可用预测模式相关联的所述当前块、预测器块的预测模式集合获得至少两个预测模式类别,

-基于至少一个消除标准来消除至少一个类别,

-通过去除与已消除的类别共有的预测模式来更新未消除的类别,

-在经更新的类别中选择用于编码当前块的预测模式,

-从数据流中对针对所述当前块识别经更新的类别中的预测模式的信息进行解码,

-从与所述识别的预测模式相关联的预测器块重构所述当前块。

根据本发明的特定实施例,解码设备200具有计算机的传统架构,并且特别地包括存储器mem0、处理单元ut0(其例如配备有微处理器proc0并由存储器mem0中存储的计算机程序pg0驱动)。当程序由处理器proc0执行时,计算机程序pg0包括用于实现如上所述的解码方法的步骤的指令。

在初始化时,计算机程序pg0的代码指令例如在由处理器proc0执行之前被加载到存储器ram中。处理单元ut0的处理器proc0根据计算机程序pg0的指令实现上述解码方法的步骤。

根据本发明的另一特定实施例,解码方法由功能模块实现。为此目的,解码设备200还包括:

-获取模块obt0,用于从可用于预测与可用预测模式相关联的所述当前块、预测器块的预测模式集合获得至少两个预测模式类别,

-消除模块elim0,用于基于至少一个消除标准来消除至少一个类别,

-更新模块maj0,用于通过去除与已消除的类别共有的预测模式更新未消除的类别,

-解码模块dc,用于从数据流中对针对所述当前块识别更新类别中的预测模式的信息进行解码,

-重构模块rc,用于从与所述识别的预测模式相关联的预测器块重构所述当前块。

处理单元ut0与上述各种功能模块和存储器mem0协作,以便实现解码方法的步骤。

上述各种功能模块可以是硬件和/或软件形式。在软件形式下,这种功能模块可以包括处理器、存储器和用于在处理器执行代码指令时实现与模块相对应的功能的程序代码指令。在材料形式中,这种功能模块可以由任何类型的合适编码电路实现,诸如例如但不限于微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、逻辑单元接线。

有利地,这种设备200可以被集成到用户终端设备ut中。然后,设备200被布置为至少与终端ut的下一个模块协作:

-存储器mem2,其中特别存储了预测模式的类别;

-数据发送/接收模块e/r2,经由该模块,从电信网络(例如来自编码器的有线网络或无线电网络)接收比特流str。

不言而喻的是,上面已经描述的实施例是出于纯粹指示性和非限制性的原因而给出的,并且本领域技术人员可以在不脱离本发明的范围的情况下容易地进行许多修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1