专利名称：：用于几何分割超级块的视频编码和解码的方法和设备的制作方法
技术领域：
：本发明原理一般涉及视频编码和解码；具体而言，涉及用于几何分割超级块的视频编码和解码的方法和设备。
背景技术：
：目前，一些视频编码标准中采用树状结构宏块分割技术。国际电信联盟电信部门(ITU-T)的H.261推荐标准(以下简称“H.261推荐标准”)、国际标准化组织/国际电工委员会(IS0/IEC)运动图像专家组-1标准(以下简称“MPEG-I标准”)、IS0/IEC运动图像专家组_2标准/ITU-TH.262推荐标准(以下简称“MPEG-2标准”)只支持16x16的宏块(macroblock,MB)分割块。IS0/IEC运动图像专家组_4第2部分SimpleProfile或ITU-TH.263(+)推荐标准支持16x16宏块的16x16和8x8两种分割块。IS0/IEC运动图像专家组_4第10部分高级视频编码标准/ITU-TH.264推荐标准(以下简称“MPEG-4AVC标准”)支持树状结构的层级宏块分割块。一个16x16宏块可分成16x8,8x16或8x8大小的宏块分割块。8x8分割块也称为亚宏块。亚宏块进一步分成8x4，4x8和4x4大小的亚宏块分割块。根据对其编码的帧是预测(P)帧或是双向预测(B)帧，可利用树状分割块获得不同的预测配置。这些预测配置规定了可在MPEG-4AVC标准编码器和/或解码器中应用的编码模式。P帧允许通过一个第一参考帧列表进行前向时间预测，而B帧允许通过使用多达两个参考帧列表进行块分割块中的后向/前向/双向预测。比如，P帧和B帧的编码方式可包括以下几种P帧<formula>formulaseeoriginaldocumentpage4</formula>B帧<table>tableseeoriginaldocumentpage5</column></row><table>其中，“FWD”表示来自前向预测列表中的预测，“BKW”表示来自后向预测列表中的预测，“Bi”表示根据前向列表和后向列表进行的双向预测，“FWD-FWD”表示均来自于前向预测列表的两个预测，“FWD-BKW”表示来自前向预测列表中的一个第一预测和来自后向预测列表中的一个第二预测。同样，帧内编码帧允许进行16x16，8x8和/或4x4块的预测编码模式，其相应的宏土夬编码模式为INTRA4x4；INTRA16x16；和INTRA8x8。MPEG-4AVC标准的帧分割比主要用于旧的视频编码标准(如MPEG_2标准)的简单均勻的块分割更有效。然而，树状帧分割也不是没有缺陷，比如其由于无法获得二维(2D)数据的几何结构而无法有效地在一些编码方案中使用。为了解决这些局限性，现有技术中引用了一种方法(以下简称“现有技术方法”)，其引入二维几何学从而能更好地表示和编码二维视频数据。现有技术方法在帧间预测(INTER16xl6GE0,INTER8x8GE0)和帧内预测(INTRA16xl6GE0,INTRA8x8GE0)的一组新的模式中采用楔形分割块(即由任意一条直线或曲线将一个块分割块分成两个区域)。现有技术方法的一个实施方式将MPEG-4AVC标准和几何分割模式结合。块内的几何分割块通过隐式的直线公式进行建模。参见图1，一个示范的图像块几何分割法如参考数字100所示。整体图像块如参考数字120所示。图像块120的两个分割块位于斜线150的两侧，分别如参考数字130和140所示。因此，分割块的定义如下f(x,y)=xcosθ+ysinθ-ρ其中，ρ和θ分别表示以下内容在f(x，y)的正交方向上，坐标原点到边界线f(x,y)的距离；以及f(x，y)的正交方向和水平坐标轴χ之间的夹角。从该公式可直接推导出更多f(x，y)所涉及的、具有高阶几何参数的模型。对每个块像素(X，y)进行分类，从而得到if/(ar,y)>OPartitionOGEO-Partition={iff(oc,y)=OLineBoundaryiff(x,y)<OPartition1为了进行编码，先验定义一个包含所有可能的分割块(或几何模式)的词典。可对词典进行正式定义，从而得出<formula>formulaseeoriginaldocumentpage6</formula>和<formula>formulaseeoriginaldocumentpage6</formula>其中，Δρ和Δθ是选定的量化(参数分辨率)步骤。θ和ρ的量化指标是为了对边缘进行编码而传输的信息。然而，如果在编码程序中使用16x8和8x16模式，那么当ρ=0时，0°和90°角将从可能的边缘集合中移除。在现有技术方法中，针对几何自适应运动补偿模式搜索出每一分割块的θ和ρ、以及运动矢量，从而找出最佳配置。一个完整的搜索策略分为两个阶段，针对每对θ和ρ搜索出最佳运动矢量。在几何自适应帧内预测模式中，对每一分割块的θ和P、以及最佳预测量(方向预测或统计等等)进行搜索，从而找出最佳配置。参见图2，示例中采用几何自适应直线分割的INTER-P图像块由参数数字200表示。整体图像块由参数数字220表示。图像块220的两个分割块分别由参考数字230和240表示。P模式下的块预测补偿如下所述Tt=Tt^(X-MV1)-MASKP0(x,y)-\-Tt(x-MV2)'MASKP1(x,y)其中，A表示当前预测，^(茫-MVr2^pfrO-MV1)分别是分割块P2和Pl的块运动补偿参考。每个MASKp(x，y)包括每一分割块中的每个像素(x，y)的贡献权重。不在分割界限上的像素通常不需要进行任何操作。实际上，掩码值为1或0。只有在分割边界附近的像素需要合并两个参考的预测值。因此，采用几何自适应块分割的视频和图像编码已被认定为提高视频编码效率的发展方向之一。几何自适应块分割方法允许进行更准确的图像预测，其中帧间和/或帧内预测量等局部预测模型可根据图象结构进行定制。然而，高清(highdefinition,HD)视频和图像的编码增益仍需提高。譬如，帧间预测中的几何自适应块分割法大幅提高了低分辨率到中等分辨率的视频内容的编码效率。举例而言，当存在运动边缘时，几何分割块对于改善块预测方面尤为有效。然而，对于高清视频内容，几何模式获得的增益是有限的，且其无法平衡几何模式的复杂性。一种可能的原因是，高清内容的信号结构较大，而用于现存视频编码标准的宏块(MB)大小固定为16x16(其不随高清物体大小的增加而缩放比例)。因此，宏块几何自适应分割法不能对高清编码产生大的改变，至少无法改变大部分类型的编码的高清内容。事实上，相对于大范围的信号，该分割法不能压缩足够的信息。比如，从速度失真角度来说，只有一小部分的块将降低速率失真成本，因此，大量的具有“相同”运动的块会平均每一个几何分割的帧内块所带来的编码增益。用于高清视频编码的放大的块大小为了克服MPEG-4AVC标准的局限性，针对高清内容压缩展开了各种研究工作。一个明显的例子就是增加宏块大小的研究。目前已经能够允许大于16x16的宏块大小。诸如32x32,32x16,16x32的扩展分割块模式已被用于完善MPEG-4AVC标准的视频编解码器。当使用放大的宏块大小时，即，当使用此类扩展分割块模式时，可有效获取较大的增益。迄今为止，和放大的块大小的使用相关的研究仅包含简单均勻的四叉树分割块。四叉树分割对高清内容和低分辨率内容具有同样的局限性。四叉树分割不能获取二维(2D)视频和/或图像数据的几何结构
发明内容本发明原理中描述了现有技术中的缺点和不足，进而引入了用于几何分割超级块的视频编码和解码的方法和设备。根据本发明原理的一个方面，其提供了一种设备。所述设备包括一个用于对图像的至少一部分的图像数据进行编码的编码器。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一个方式而获得。根据本发明原理的另一方面，其提供了一种方法。所述方法包括对图像的至少一部分的图像数据进行编码。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。还是根据本发明原理的另一方面，其提供了一种设备。所述设备包括一个用于对图像的至少一部分的图像数据进行解码的解码器。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。仍然根据本发明原理的另一方面，其提供了一种方法。所述方法包括对图像的至少一部分的图像数据进行解码。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。结合附图阅读下文中对示例实施例的具体描述，可清楚了解本发明原理的各个方式、特征及优势所在。结合以下示例性附图，能更清楚地了解本发明的原理，其中图1示例性地示出了一个图像块的几何分割法；图2示例性地示出了一个用几何自适应直线分割的INTER-P图像块；图3的块图中，根据本发明原理的具体实施例，示例性地示出了可应用本发明原理的编码器；图4的块图中，根据本发明原理的具体实施例，示例性地示出了可应用本发明原理的解码器；图5A中，根据本发明原理的具体实施例，示例性地示出了采用自下而上和自上而下的方法进行的超级块和子块的组合树状帧分割，以产生多重宏块；图5B中，根据本发明原理的具体实施例，示例性地示出了由图5A中的树状分割法500形成的超级块和子块；图6中，根据本发明原理的具体实施例，示例性地示出了由宏块相互组合而成的超级块；图7中，根据本发明原理的具体实施例，示例性地示出了一种管理一个超级块的去块区域的方法；图8中，根据本发明原理的具体实施例，示例性地示出了另一种管理一个超级块的去块区域的方法；图9中，示例性地示出了按照MPEG-4AVC标准进行的光栅扫描排序，以及根据本发明原理的实施例中的折线扫描排序；图10中，根据本发明原理的具体实施例，示例性地示出了一个图像的分割；图11的流程图中，根据本发明原理的具体实施例，示例性地示出了一种用于视频编码的方法；以及图12的流程图中，根据本发明原理的具体实施例，示例性地示出了一种用于视频解码的方法。具体实施例方式本发明原理涉及用于几何分割超级块的视频编码和解码的方法和设备。本说明书中阐述了本发明的原理。由此可知，本领域的技术人员可在本发明的精神实质和范围内设计出包含本发明原理的不同方案(尽管本说明书中没有进行明确描述)O本说明书中的所有例子和条件性语言都是出于教学目的，以帮助读者理解本发明原理以及发明人提出的概念，进而推动本领域的发展，而本发明不局限于这些具体的实例和条件。此外，文中所有对原理、方式、发明原理的具体实施例、以及特殊实例的说明都旨在囊括所有在结构上和功能上等同的元件。并且，所述等同元件不但包括当前已知的等同元件，还包括将来开发的元件，即所有即将开发的、具有相同功能的任何结构的元件)。因此，举例而言，本领域的技术人员应该了解本说明书给出的流程图代表的是体现本发明原理的示例性电路的概念视图。同样，还应该了解任何流程表、流程图、状态转换表、伪代码等等代表的是计算机可读介质能够基本代表的各种流程，所述流程是由计算机或处理器执行的(无论文中是否明确给出这样的计算机或处理器)。附图中各种元件的功能可通过专用硬件来实现，也可通过借助于适当软件来运行其自身软件的硬件来实现。如果提供的是处理器，那么实现所述功能的可以是单个处理器、单个共享处理器或多个独立处理器(其中一些可共享)。另外，“处理器”或“控制器”等术语的使用不应只表面地理解为只包括能够执行软件的硬件，在没有限定的情况下，其隐含包括了数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取器(RAM)、以及非易失性存储器。还可包括其他通用的和/或自定义的硬件。同样，附图中所示的任何开关都只是概念性的，并在程序逻辑、专用逻辑、程序控制和专用逻辑的交互、甚至手动操作等过程中发挥作用，该特别技术是实施者通过对上下文的具体理解而具体选择的。在权利要求书中，限定为执行特定功能的装置的元件将包括实现该功能的任意方式，如包括a)用于实现该功能的电路元件的组合，或b)用于实现该功能的、任何形式的软件(如固件、微码等等)与运行该软件的相应电路的组合。按照所述权利要求书请求的方式把所述各种设备的功能结合在一起，即体现了这些权利要求所限定的本发明原理。由此可知，任何能提供上述功能的装置都等同于本说明书中的装置。说明书中的引用语，如本发明原理的“一个具体实施例”，其表示结合具体实施例描述的特定功能、结构、特征等等都包含在本发明原理的至少一个实施例中。说明书中多处出现的语句“在一个具体实施例中”不一定都指同一个实施例。此外，“在另一具体实施例中”并不排除把所述具体实施例的主题名称全部或部分地合并到另一个具体实施例中。我们必须明白对于所使用的“和/或”和“至少一个”等术语，比如在“A和/或B”和“A和B中的至少一个”中，其含义将包括只选择所列出的第一选项(A)，或者只选择所列出的第二选项(B)，或者两个选项(A和B)都选。再比如，“A，B和/或C”和“A，B和C中的至少一个”，其含义将包括只选择所列出的第一选项(A)，或者只选择所列出的第二选项(B)，或者只选择所列出的第三选项(C)，或者只选择所列出的第一和第二选项(A和B)，或者只选择所列出的第一和第三选项(A和C)，或者只选择所列出的第二和第三选项(B和C)，或者三个选项(A，B和C)全选。本领域或相关领域的技术人员很容易了解上述描述可扩展到很多内容中去。而且，尽管本说明书中所述的一个或多个本发明原理的具体实施例都针对于MPEG-4AVC标准，但是本发明原理并非仅限于这一标准，所以说，在不偏离本发明精神实质的情况下，所述具体实施例还可以应用于其他视频编码标准、推荐标准、以及扩展标准，包括MPEG-4AVC标准的扩展标准。另外，本说明书中的表达“超级块”是指在MPEG-2标准中的其大小大于8的块，以及在MPEG-4AVC标准中的其大小大于4的块。当然，本发明原理并不仅限于这些标准，因此，在本发明原理的教导下，本领域或相关领域的普通技术人员能够了解并很容易确定针对其他视频编码标准和推荐标准的超级块可具有的不同的块大小。此外，本说明书中使用的短语“基本分割大小”通常是指MPEG-4AVC标准中定义的一个宏块大小。当然，如上文所述，本发明原理并不仅限于MPEG-4AVC标准，因此，本领域或相关领域的普通技术人员很容易了解，在不脱离本发明原理的精神实质的情况下，“基本分割大小”在其他编码标准或推荐标准中的所指内容可能有所不同。还应该明确的是，在不脱离本发明原理的精神实质的情况下，可在编码和/或解码环路的环内和环外执行本说明书中所述的去块滤波。参见图3，按照MPEG-4AVC标准进行视频编码的视频编码器通常如参考数字300所示。视频编码器300包含一个帧排序缓冲器310，其输出与合成器385的非反向输入有信号通讯。合成器385的输出与具有几何和超级块扩展的变换量化器325的第一输入信号通讯连接。具有几何和超级块扩展的变换量化器325的输出与具有几何和超级块扩展的熵编码器345的第一输入信号通讯连接，并与具有几何扩展的逆变换逆量化器350的第一输入信号通讯连接。具有几何和超级块扩展的熵编码器345的输出信号与合成器390的第一非反向输入信号通讯连接。合成器390的输出与输出缓冲器335的第一输入信号通讯连接。具有几何和超级块扩展的编码器控制器305的第一输出与帧排序缓冲器310的第二输入、具有几何和超级块扩展的逆变换逆量化器350的第二输入、画面型决策模块315的输入、具有几何和超级块扩展的宏块型(macroblock-type，MB型)决策模块320的第一输入、具有几何和超级块扩展的帧内预测模块360的第二输入、具有几何和超级块扩展的去块滤波器365的第二输入、具有几何和超级块扩展的运动补偿器370的第一输入、具有几何和超级块扩展的运动估算器375的第一输入以及参考画面缓冲器380的第二输入信号通讯连接。具有几何和超级块扩展的编码器控制器305的第二输出与补充增强信息(supplementalenhancementinformation,SEI)插入器33O的第一输入、具有几何和超级块扩展的变换量化器325的第二输入、具有几何和超级块扩展的熵编码器345的第二输入、输出缓冲器335的第二输入、以及序列参数集(sequenceparameterset,SPS)和图像参数集(piCtui^parameterset,PPS)插入器340的输入信号通讯连接。补充增强信息(SEI)插入器330的输出与合成器390的第二非反向输入信号通讯连接。画面型决策模块315的第一输出与帧排序缓冲器310的第三输入信号通讯连接。画面型决策模块315的第二输出与具有几何和超级块扩展的宏块型决策模块320的第二输入信号通讯连接。序列参数集(SPS)和图像参数集(PPS)插入器340的输出与合成器390的第三非反向输入信号通讯连接。具有几何和超级块扩展的逆变换逆量化器350的输出与合成器319的第一非反向输入信号通讯连接。合成器319的输出与具有几何和超级块扩展的帧内预测模块360的第一输入以及具有几何和超级块扩展的去块滤波器365的第一输入信号通讯连接。具有几何和超级块扩展的去块滤波器365的输出与参考画面缓冲器380的第一输入信号通讯连接。参考画面缓冲器380的输出与具有几何和超级块扩展的运动估算器375的第二输入以及与具有几何和超级块扩展的运动补偿器370的第三输入信号通讯连接。具有几何和超级块扩展的运动估算器375的第一输出与具有几何和超级块扩展的运动补偿器370的第二输入信号通讯连接。具有几何和超级块扩展的运动估算器375的第二输出与具有几何和超级块扩展的熵编码器345的第三输入信号通讯连接。具有几何和超级块扩展的运动补偿器370的输出与开关397的第一输入信号通讯连接。具有几何和超级块扩展的帧内预测模块360的输出与开关397的第二输入信号通讯连接。具有几何和超级块扩展的宏块型决策模块320的输出与开关397的第三输入信号通讯连接。开关397的所述第三输入确定是否由具有几何和超级块扩展的运动补偿器370或者具有几何和超级块扩展的帧内预测模块360提供开关的“数据”输入(相对于控制输入，即第三输入)。开关397的输出与合成器319的第二非反向输入以及与合成器385的反向输入信号通讯连接。帧排序缓冲器310的第一输入和具有几何和超级块扩展的编码器控制器305的输入均可作为编码器100的输入，以接收输入画面。另外，补充增强信息(SEI)插入器330的第二输入可作为编码器300的输入，以接收元数据。输出缓冲器335的输出可作为编码器300的输出，以输出比特流。参见图4，按照MPEG-4AVC标准执行视频解码的视频解码器通常如参考数字400所示。视频解码器400包含一个输入缓冲器410，其输出与具有几何和超级块扩展的熵解码器445的第一输入信号通讯连接。具有几何和超级块扩展的熵解码器445的第一输出与具有几何和超级块扩展的逆变换逆量化器450的第一输入信号通讯连接。具有几何和超级块扩展的逆变换逆量化器450的输出与合成器425的第二非反向输入信号通讯连接。合成器425的输出与具有几何和超级块扩展的去块滤波器465的第二输入以及具有几何和超级块扩展的帧内预测模块460的第一输入信号通讯连接。具有几何和超级块扩展的去块滤波器465的第二输出与参考画面缓冲器480的第一输入信号通讯连接。参考画面缓冲器480的输出与具有几何和超级块扩展的运动补偿器470的第二输入信号通讯连接。具有几何和超级块扩展的熵解码器445的第二输出与具有几何和超级块扩展的运动补偿器470的第三输入以及与具有几何和超级块扩展的去块滤波器465的第一输入信号通讯连接。具有几何和超级块扩展的熵解码器445的第三输出与具有几何和超级块扩展的解码器控制器405的输入信号通讯连接。具有几何和超级块扩展的解码器控制器405的第一输出与具有几何和超级块扩展的熵解码器445的第二输入信号通讯连接。具有几何和超级块扩展的解码器控制器405的第二输出与具有几何和超级块扩展的逆变换逆量化器450的第二输入信号通讯连接。具有几何和超级块扩展的解码器控制器405的第三输出与具有几何和超级块扩展的去块滤波器465的第三输入信号通讯连接。具有几何和超级块扩展的解码器控制器405的第四输入与具有几何和超级块扩展的帧内预测模块460的第二输入、具有几何和超级块扩展的运动补偿器470的第一输入、以及参考画面缓冲器480的第二输入信号通讯连接。具有几何和超级块扩展的运动补偿器470的输出与开关497的第一输入信号通讯连接。具有几何和超级块扩展的帧内预测模块460的输出与开关497的第二输入信号通讯连接。开关497的输出与合成器425的第一非反向输入信号通讯连接。输入缓冲器410的输入可作为解码器400的输入，以接收输入比特流。具有几何扩展的去块滤波器465的第一输出可作为解码器400的输出，以输出输出图像。如上所述，本发明原理旨在提供用于几何分割超级块的视频编码和解码的方法和设备。在一个具体实施例中，我们提出一种基于较大型块或超级块的分割的新的几何自适应分割框架。特别是，它能通过提供更好地利用较大格式规模的内容的冗余画面的分割块，提高高清(highdefinition,HD)视频内容的编码效率，从而减少了随内容分辨率的增加而造成的几何分割块的性能损失。在一个具体实施例中，对超级宏块大小(例如32x32、64x64等等)引入了几何分割(如，参见图5A、图5B、和图6)。参见图5A，其中示出了采用自下而上和自上而下的方法进行的超级块和子块的组合树状帧分割以产生多重宏块，其通常如参考数字500所示。宏块通常如参考数字510所示。参见图5B，示例中由图5A的树状分割500分别形成的超级块和子块通常如参考数字550和560所示。参见图6，超级块范例通常如参考数字600所示。超级块600是由宏块510相互组合而成的。左上方的宏块(超级块600内)通常如参考数字610所示。可以独立使用(即单独使用)超级宏块几何分割，也可以和其他基于四叉树分割方式(quad-treepartitioning)的超级宏块的简单分割结合在一起使用。例如，在具体实施例中，你可以把Inter32x32GE0、Inter32x32、Inter32xl6和Interl6x32模式与其余一般的MPEG-4AVC标准的编码模式结合起来，以用于帧间预测。应该明确的是，先前的分割大小和编码模式只是说明性的，因此，根据说明书中本发明原理的教导，本领域及相关领域的技术人员在不背离本发明原理的精神实质的情况下，能够想到所述的和其他各种分割大小和编码模式，以及其他与编码和解码相关的各种变化。举例而言，本领域及相关领域的技术人员很容易认识到，采用大容量内容的几何分割而产生帧内编码模式的类似方法显然是在本发明原理的实质范围内的。所以，尽管这里描述的一个或多个具体实施例是针对32x32的超级块大小以及MPEG-4AVC标准，但是本发明原理不仅仅适用于此，其在维持本发明原理的精神实质的前提下，还可用于其他超级块大小以及其他视频编码标准、推荐标准、及其扩展标准。因此，在一个具体实施例中，除了表1列出的模式以外，我们加入一个新的超级块模式INTER32x32GE0。TABLE1表1<table>tableseeoriginaldocumentpage12</column></row><table>对于INTER32x32GE0，比如在较小的几何分割块中，需要发送描述分割边缘的必要信息。在一个具体实施例中，分割边缘可由一对参数(θ和P)确定。对于每个分割，要对恰当的预测量进行编码。也就是说，P帧的两个运动矢量得到编码(每个矢量对应超级块的每个分割块)。对于B帧，每个分割块的预测模式，比如前向预测、后向预测和双向预测，都得到了编码。该信息可单独地，或者和编码模式一起进行编码。在B帧实例中，根据每个几何分割块所用到的不同预测模式，一个运动矢量(来自其中一个预测列表)或两个运动矢量将和被编码块剩余信息一同进行编码。我们应该注意，通过明确发送相关信息或在编码器/解码器中进行隐式推导，可以对边缘信息和/或运动信息进行编码。在一个具体实施例中，隐式推导规则可以这样定义，已知块的边缘信息可以从已编码/解码的可用数据中推导出来，和/或至少一个分割块的运动信息可以从已编码/解码的可用数据中推导出来。运动信息有效明确的编码需要使用基于预测模型的运动预测，这种预测利用了已编码/解码的现有数据。在超级宏块的几何分割编码模式的运动矢量预测中，可以使用与INTER16xl6GE0类似的方法。也就是说，各个分割块的运动矢量可以根据每个分割块相邻的现有4x4子块运动分割块加以预测，每个列表取决于该分割块的形状。假设相邻的4x4子块被边缘分割，我们考虑的运动矢量来自和该4x4子块重叠部分最大的分割部分。残差编码在用几何分割块模式进行预测之后，剩余的残差信号将进行变换、量化和熵编码。在MPEG-4标准框架下，可以在每个编码的宏块里选择大小为8x8和4x4的变换。这对几何分割的超级宏块同样适用。然而，一个具体实施例中，我们可以采用更大的变换，以通过在超级宏块上更有效的几何自适应编码模式，更好的处理更为平稳的残差。可以考虑为每个超级宏块、一个超级宏块中的每个宏块以及超级宏块中宏块分割块的一个亚宏块中的至少一个提供选择变换大小的可能性。在一个具体实施例中，可供选择的变换大小有4x4、8x8和16x16.最终，在另一具体实施例中，甚至可以考虑32x32大小的变换。在另一个例子中，我们可以重新利用MPEG-4AVC标准中支持4x4和8x8大小变换的现有句法。但是，我们可以将可能的变换集改成8x8和16x16大小的变换，而不是4x4和8x8大小的变换，比如说，可以通过改变句法的语义来实现这一点。具体来说，在MPEG-4标准中，规定以下句法语义若tranSf0rm_SiZe_8X8_flag等于1，说明对于当前宏块，在残差8x8块的去块滤波进程之前，变换系数解码进程和图像构建进程将为亮度样本调用。若transf0rm_size_8x8_flag等于0，则说明对于当前宏块，在残差4x4块的去块滤波进程之前，变换系数解码进程和图像构建进程将被亮度样本调用。当比特流中不存在transf0rm_size_8X8_flag时，可推知该标志等于0。我们可以这样改变语义若tranSf0rm_SiZe_8X8_flag等于1，说明对于当前宏块，在残差8x8块的去块滤波进程之前，变换系数解码进程和图像构建进程将被亮度样本调用。若transf0rm_size_8x8_flag等于0，则表明对于当前宏块，在残差16x16块的去块滤波进程之前，变换系数解码进程和图像构建进程将被亮度样本调用。当比特流中不存在transf0rm_size_8X8_flag时，可推知该标志等于1。去块滤波环内去块滤波缓解了由预测块结构和MPEG-4AVC标准变换的残差编码引入的块失真(blockingartifact)0环内去块滤波根据已编码视频数据以及跨块边界两侧的像素间的局部强度差异调整滤波强度。在一个具体实施例中，超级宏块经过几何分割，在残差信号可能用不同的变换大小来编码的情况下，可以使用INTER32x32GE0编码模式(比如将4个16x16宏块结合在一起进行几何分割)。在具体实施例中，去块滤波会根据几何分割后的超级宏块的应用需要进行调整。事实上，我们把超级宏块边界而不是宏块边界视为可能出现块失真的地方。同时，变换边界也是块效应可能出现的地方。因此说，如果使用较大变换(比如16x16变换)，可能出现的块效应的地方是16x16块的变换边界，而不是任何4x4和/或8x8的块边界。在示例实施例中，通过调整INTER32x32GE0和其他模式中的滤波强度决策过程，环内去块滤波模块得到了拓展。在考虑内部超级块分割块的具体形状的情况下，这一过程现在应该能够确定过滤强度。根据超级块边界滤波的部分，滤波强度确定过程要按照分割形状(如图7中所述)，而不是按照像其他MPEG-4AVC模式下4x4块的情况，获取适当的运动矢量和参考帧。参见图7，管理超级块的去块区域的典型方法一般如参考数字700所示。用运动矢量MVptl计算出的去块强度以及由PO得出的参考帧一般如参考数字710所示。用运动矢量MVpi计算出的去块强度以及由Pl得出的参考帧一般如参考数字720所示。超级块730是通过使用一种几何分割模式(INTER32x32GE0模式)把四个宏块731、732、733、734结合而成的。设置具体图像位置的去块强度时要把预测信息(如运动矢量、参考帧和/或其他各种信息)考虑在内。给定一个位置，通过选出与将被滤波的变换块大小重叠部分最大的分割块，进而提取预测信息。然而，还有一种方法可供选择，这种方法能简化角落里的块的计算，它认为整个变换块都含有来自分割块的运动信息和参考帧信息，该分割块包括被过滤的两个块边界的最大部分。另一种把环内去块滤波和几何分割超级块的分割方式的使用相结合的示例方法是，在诸如INTER32x32GE0及其他编码模式下，总是允许在超级块分界处进行某种程度的滤波。同时，在超级块几何模式中，有些变换块不在超级宏块的边界处(如，参见图8)，这些块不一定会应用去块滤波。参见图8，另一个管理超级块中的去块区域示例方法一般如参考数字800所示。图8的例子涉及INTER32x32GE0超级宏块模式，其示出了形成超级宏块的宏块，以及变换块820的残差位置。此外，区域830和840所对应的去块滤波强度分别是1和0。预测分割块之间的几何边界通过如参考数字860所示。编码模式信令几何分割超级宏块编码模式相对于其他编码模式需要额外的信令。比如通常通过添加一个新的高级句法元素(如inter32X32geo_enable)可启用和/或禁用INTER32x32GE0，该高级句法元素可以通过条带层、图像层、序列层、和/或补充增强信息(SEI)消息进行传输(且不仅限于此)。在解码器中，如果inter32X32geo_enable等于1，则启用几何分割超级块。否则，如果inter32X32geo_enable等于0，则禁用几何分割超级块。在启用几何分割超级宏块的具体实施例中，宏块的扫描次序从简单的光栅扫描次序变成折线扫描次序，以更好地满足INTER32x32GE0超级宏块模式。参见图9，按照MPEG-4AVC标准的光栅扫描排序和根据本发明原理的具体实施例的折线扫描排序的实例分别由参考数字900和950表示。参考数字910表示宏块。所述扫描次序的变化，即从光栅扫描次序到折线扫描次序的变化，可以更好地满足INTER32x32GE0(在超级宏块层进行的编码模式)、常规INTER16xl6GE0模式、以及其他MPEG-4AVC标准编码模式(在宏块层和亚宏块层进行的)的自适应应用。参见图10，参考数字1000表示一个示例性的图像分割块。对于图像分割块1000，在利用常规宏块结构对图像的一些区域进行编码的同时，使用几何分割超级宏块(如:INTER32x32GEO)1010对16x16宏块的组合体(如:INTER16xl6宏块1030和INTER16xl6GEO宏块1040)进行编码。图10中，最底行的块对应于传统宏块结构。如果inter32X32ge0_enable等于0，则只有表1中所列的模式才能被认为是在宏块基础上按光栅扫描次序进行的编码。在无影响普遍性且不超出本发明原理的精神实质的情况下，可以考虑为inter32x32geo_flag使用许多其他名称。为了通知解码器使用超级块的几何分割块的时间和位置，根据本发明原理可以创建和生成附加信息和/或句法，并插入到，例如条带数据中。在一个具体实施例中，尽管执行的是超级宏块分割，但仍使用宏块信令结构。这使我们可以重新使用现有的宏块类型编码模式，如MPEG-4AVC标准的编码模式以及任何一种几何自适应块分割的最终扩展标准的编码模式。其中把INTER16xl6GE0，INTER8x8GE0,INTRA16xl6GE0和INTRA8x8GE0中的至少一种模式作为可选模式添加到MPEG-4AVC标准所使用的模式列表中(如表1所示)。由于可以重新使用现有的编解码器的部件，因而简化了新编解码器的建造。在本发明的一个具体实施例中，给定一个基于宏块的信令结构和宏块扫描次序的变化情况(见图9)，通过在宏块层添加一个标志(如inter32X32ge0_flag)，可发出信号以表示在条带(slice)和/或图像的特定位置使用几何分割超级宏块。可以把此标志的使用限于INTER16xl6GE0模式的宏块。从而，仅利用该标志发出1或0的信号，就可以重新使用这种模式的编码结构来表示所引入的编码模式INTER32x32GE0。此外，由于我们实例中的超级宏块相对于宏块分割块具有层级结构，超级宏块是由2x2的宏块构成的，所以只有处在坐标(χ，y)(其中χ为偶数，y也为偶数)位置的宏块需要带有inter32x32ge0_flag标志。为此，我们假设条带中最左上方的为(0，0)宏块。在此基础上，如果一个具有偶数-偶数(x，y)坐标(如(2，2))的宏块是INTER16xl6GE0类型，其inter32x32geo_flag设为1，那么这种情况表示宏块(2,2),(2，3),(3,2)和(3，3)组合在一个具有几何分割块的超级宏块内。在这种情况下，与几何信息(比如，几何分割块的角度或位置)相关的宏块(2，2)的句法可重新用于传输超级宏块的几何信息。最后，在一个具体实施例中，为了获得可能的最佳编码效率，根据inter32X32ge0_flag标志改变几何参数编码的分辨率。以上内容还适用于运动信息和超级宏块预测。此后，由于宏块(2，2)包含所有用于确定编码模式和超级宏块数据预测的必要信息，宏块(2，3)，(3,2),(3,3)不需要发送任何模式信息或预测信息。在本发明的一个实施例中，只需要在这些宏块中传输残差。然而，本领域的技术人员能够想到可以对模式进行修改从而使得所有残差数据都只在宏块(2，2)的宏块数据结构中传输，而这仍然是在本发明的范围内的。根据inter32X32geo_flag标志，在宏块层改变残差编码的结构是必要的。如果inter32X32ge0_flag等于1，则对单个残差超级块(即:32x32残差)进行编码。否则，如果inter32X32ge0_flag等于0，则对单个宏块残差进行编码。在本发明的一个具体实施例中，根据inter32X32ge0_flag标志，还可更改残差变换的大小，如8x8或16x16等。同样，在本发明的一个具体实施例中，根据inter32x32ge0_flag,可以修改transformsize_8x8_flag的语义。例如如果inter32x32geo_flag=1，那么，如果transform_size_8x8_flag=1，则使用8x8变换，否则，如果transform_size_8x8_flag=0，则使用16x16变换。在本发明的另一具体实施例中，尽管使用了几何超级宏块模式(如INTER32x32GE0)，还是可以在每个宏块中修改变换大小(transform_size)。基于上文中的定义和探讨，本领域的技术人员能够根据是否使用了几何超级宏块模式来预测与残差相关的句法和语义(如MPEG-4AVC标准的编码块式样(CBP))和/或变换大小的各种不同的实施方式。在这样的实例中，可在超级宏块层应用CBP的新定义，其允许使用单一比特来表示超级宏块层的全零残差。在本发明原理的教导下，本领域和相关领域的技术人员在不背离本发明原理的精神实质的情况下，可以想到上述与CBP相关的变化模式只是多个实施方式中的一种。当inter32x32geo_flag等于0时，宏块(2，2)按照INTER16xl6GE0宏块的定义进行规则编码。宏块(2，3)，(3,2),(3,3)进行均勻编码，并遵照一个实施例中使用的表1中限定的所有宏块层模式的既有定义。当在偶数-偶数坐标位置的宏块不使用INTER16xl6GE0码字进行编码时，则数据中不插入inter32X32geo_flag标志。对于上面的实例，利用一个具体实施例中的表1所限定的规则编码模式在宏块层分别对宏块(2，2)，(2,3),(3,2)and(3,3)进行编码。一个具体实施例中，示例的编码器用于把超级宏块INTER32x32GE0的编码效率成本与嵌入该超级宏块相同位置的四个16x16宏块的整体编码效率成本进行比较，随后，所述编码器将选择具有最低成本的编码策略要么选择INTER32x32GE0，要么选择四个宏块的编码模式，即，选择具有最低编码成本的那个。表2中给出了宏块层的MPEG-4标准的句法元素。表3示出了可支持几何分割宏块和超级宏块的改进的宏块层结构。在一个具体实施例中，在编码过程mb_pred(mb_type)中处理几何信息。该示例的改进宏块结构中，假设inter32X32geo_enable等于1.在一个具体实施例中，在对每个超级宏块组进行解码之前，可在条带层将句法元素isMacroblocklnGEOSuperMacroblock初始化为0。TABLE2表2<table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table><table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table><table>tableseeoriginaldocumentpage20</column></row><table><table>tableseeoriginaldocumentpage21</column></row><table>参见图11，所示出的用于视频编码的方法通常如参考数字1100所示。该方法1100把宏块大小编码模式和在超级宏块上的几何自适应分割结合了起来。所述方法1100包括由起始块1105把控制权传给循环限制块1110的步骤。该循环限制块1110发起每个超级块i的循环，并把控制权传给循环限制块1115。该循环限制块1115发起超级块i中的每个宏块j的循环，并把控制权传给功能块1120。该功能块1120找出最佳宏块编码模式，并把控制权传给功能块1125。该功能块1125存储最佳编码模式及其编码成本，并把控制权传给循环限制块1130。该循环限制块1130终止超级块i中的每个宏块j的循环，并把控制权传给功能块1135。该功能块1135测试GEO超级块模式(如INTER32x32GE0)，并把控制权传给功能块1140。该功能块1140存储GEO超级块模式编码成本，并将控制权传给决策块1145。该决策块1145确定GEO超级块模式编码成本是否小于超级块组中所有宏块成本的和。如果是，则把控制权传给功能块1150。否则，把控制权传给循环限制块1160。功能块1150把超级块组作为一个GEO超级块进行编码，并把控制权传给循环限制块1155。该循环限制块1155终止每个超级块i的循环，并把控制权传给结束块1199。循环限制块1160发起超级块i中的每个宏块j的循环，并把控制权传给功能块1165。该功能块1165按照最佳编码模式对当前宏块j进行编码，并把控制权传给循环限制块1170。该循环限制块1170结束超级块i中每个宏块j的循环，并把控制权传给循环限制块1155。参见图12，所示出的用于视频解码的方法由参考标号1200表示。该方法1200把几何自适应分割块组合在具有宏块大小编码模式的超级宏块上。所述方法1200包括由起始块1205把控制权传给循环限制块1210的步骤。该循环限制块1210发起每个超级块组i的循环，并把控制权传给循环限制块1215。该循环限制块1215发起超级块组i中的每个宏块j的循环，并把控制权传给决策块1220。该决策块1220确定该超级块是否为GEO编码的超级块。如果是，则把控制权传给功能块1125。否贝U，把控制权传给循环限制块1235。功能块1125把超级块组作为一个GEO超级块进行解码，并把控制权传给循环限制块1230。该循环限制块1230结束每个超级块i的循环，并把控制权传给结束块1199。循环限制块1235发起超级块i中的每个宏块j的循环，并把控制权传给功能块1240。该功能块1240对当前宏块j进行解码，并把控制权传给循环限制块1245。该循环限制块1245结束超级块i中每个宏块j的循环，并把控制权传给循环限制块1230。下面将对本发明带来的一些优点/特征进行描述，而其中有些优点/特征已经在上文中提及。例如，一个优点/特征在于一个设备，其具有用于对图像的至少一部分图像数据进行编码的编码器。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下的分割(top-downpartitioning)或自下而上的树邻接(bottom-uptreejoining)中的至少一种方式而获得。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，当分割块大小大于给定的用于编码视频数据的视频编码标准或视频编码推荐标准的基本分割大小时，启用几何分割。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，所述编码器把大于基本分割大小的几何分割块中的至少一个和具有基本分割块大小的基本分割块组合在一起。该基本分割块对应于至少一个图像块分割块的至少一部分。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，所述编码器对所述部分的边缘信息和运动信息中的至少一个进行隐式或显示编码。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，对应于所述至少一部分的残差通过可跨越分割边界的至少一个可变大小变换进行编码。另一个优点/特征在于上文所述的具有编码器的所述设备，所述设备还包括一个去块滤波器，用于针对几何分割而进行去块滤波。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，所述编码器发信号表示在高级句法层、序列层、图像层、条带层和块层的至少一个中使用几何分割块。另一个优点/特征在于上文所述的具有编码器的所述设备，其中，所述编码器通过隐式数据和显式数据中的至少一个发出信号，以表示用于至少一个图像块分割块的局部超级块相关信息。基于本说明书中的教导，相关领域的技术人员可以很容易确定本发明原理的所述特征和优点。还应该明确的是，本发明原理的教导还可应用于不同形式的硬件、软件、固件、特殊用途的处理器、或各种组合元件中。本发明原理最好应用于硬件和软件的组合中。此外，软件可以实施为一个明确体现在一个程序存储单元中的应用程序。该应用程序可以上载到一个具有任意适当结构的机器上，并由其运行。优选地，该机器可在计算机平台上运行，该计算机具有各种硬件，如一个或多个中央处理单元(“CPU”)、随机存储器(“RAM”)、输入/输出(“I/O”)接口。该计算机平台还可包括操作系统和微指令码。说明书中所述的不同程序和功能可以是由CPU运行的微指令码的一部分，或应用程序的一部分，亦或是二者的任意组合。另外，其他各种外部单元也可连接到计算机平台上，如附加的数据存储单元和打印单元。还应注意，由于附图中所示的一些系统组成部件和方法优选地应用于软件中，系统组成部件或程序功能模块之间的实际连接关系会随着本发明原理的操作方式而有所改变。在本说明书的教导下，相关领域的技术人员将能够构想出本发明原理的上述实施方式或配置，或者类似的实施方式或配置。虽然本说明中参考附图描述了具体实施例，但应该明确的是，本发明原理不限于这些具体实施例，在不偏离本发明的精神实质的情况下，相关领域的技术人员可对这些实施例进行各种改动和更正。所有这些改动和更正都应包含在所附的权利要求书限定的本发明原理的范围之内。权利要求一种设备，包括编码器(300)，用于对图像的至少一部分的图像数据进行编码，其中，所述图像数据通过几何分割而形成，所述几何分割把几何分割块应用到图像块分割块中，所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。2.根据权利要求1所述的设备，其中，在大于给定的视频编码标准或视频编码推荐标准的基本分割大小的分割块中启用几何分割，以对图像数据进行编码。3.根据权利要求1所述的设备，其中，所述编码器(300)把大于基本分割大小的几何分割块中的至少一个和具有基本分割块大小的基本分割块组合在一起，该基本分割块对应于至少一个图像块分割块的至少一部分。4.根据权利要求1所述的设备，其中，所述编码器(300)对所述部分的边缘信息和运动信息中的至少一个进行隐式或显示编码。5.根据权利要求1所述的设备，其中，对应于所述至少一部分的残差通过可跨越分割边界的至少一个可变大小变换进行编码。6.根据权利要求1所述的设备，还包括去块滤波器(365)，用于针对几何分割而进行去块滤波。7.根据权利要求1所述的设备，其中，所述编码器(300)发信号表示在高级句法层、序列层、图像层、条带层和块层的至少一个中使用几何分割块。8.根据权利要求1所述的设备，其中，所述编码器(300)通过隐式数据和显式数据中的至少一个发出信号，以表示用于至少一个图像块分割块的局部超级块相关信息。9.一种方法，包括对图像的至少一部分的图像数据进行编码，其中，所述图像数据通过几何分割而形成，所述几何分割把几何分割块应用到图像块分割块中，所述图像块分割块通过自上而下的分割和自下而上的树邻接(500，1000，1115，1150)中的至少一种方式而获得。10.根据权利要求9所述的方法，其中，在大于给定的视频编码标准或视频编码推荐标准的基本分割大小的分割块中启用几何分割，以编码图像数据(1000，1150)。11.根据权利要求10所述的方法，其中，所述编码步骤包括把大于基本分割大小的几何分割块中的至少一个和具有基本分割块大小的基本分割块组合在一起，该基本分割块对应于至少一个图像块分割块(1000)的至少一部分。12.根据权利要求9所述的方法，其中，对所述部分的边缘信息和运动信息中的至少一个进行隐式或显示编码。13.根据权利要求9所述的方法，其中，对应于所述至少一部分的残差通过可跨越分割边界的至少一个可变大小变换进行编码。14.根据权利要求9所述的方法，还包括针对几何分割(1150)进行去块滤波。15.根据权利要求9所述的方法，还包括发信号表示在高级句法层、序列层、图像层、条带层和块层的至少一个中使用几何分割块。16.根据权利要求9所述的方法，还包括通过隐式数据和显式数据(1150,1165)中的至少一个发出信号，以表示用于至少一个图像块分割块的局部超级块相关信息。17.一种设备，包括解码器(400)，用于对图像的至少一部分的图像数据进行解码，其中，所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中，所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。18.根据权利要求17所述的设备，其中，在大于给定的视频编码标准或视频编码推荐标准的基本分割大小的分割块中启用几何分割，以对图像数据进行解码。19.根据权利要求18所述的方法，其中，所述解码器(400)把大于基本分割大小的几何分割块中的至少一个和具有基本分割块大小的基本分割块组合在一起，该基本分割块对应于至少一个图像块分割块的至少一部分。20.根据权利要求17所述的设备，其中，对所述部分的边缘信息和运动信息中的至少一个进行隐式或显示解码。21.根据权利要求17所述的设备，其中，对应于所述至少一部分的残差通过可跨越分割边界的至少一个可变大小变换进行解码。22.根据权利要求17所述的设备，还包括去块滤波器(465)，用于针对几何分割进行去块滤波。23.根据权利要求17所述的设备，其中，所述解码器(400)确定在高级句法层、序列层、图像层、条带层和块层的至少一个中使用几何分割块。24.根据权利要求17所述的设备，其中，所述解码器(400)通过隐式数据和显式数据中的至少一个发出信号，以表示用于至少一个图像块分割块的局部超级块相关信息。25.一种方法，包括对图像的至少一部分的图像数据进行解码，其中，所述图像数据通过几何分割而形成，所述几何分割把几何分割块应用到图像块分割块中，所述图像块分割块通过自上而下的分割或自下而上的树邻接(500，1000，1215，1225)中的至少一种方式而获得。26.根据权利要求25所述的方法，其中，在大于给定的视频编码标准或视频编码推荐标准的基本分割大小的分割块中启用几何分割，以对图像数据(1000，1225)进行解码。27.根据权利要求26所述的方法，其中，所述解码步骤包括把大于基本分割大小的几何分割块中的至少一个和具有基本分割块大小的基本分割块组合在一起，该基本分割块对应于至少一个图像块分割块(1000)的至少一部分。28.根据权利要求25所述的方法，其中，对所述部分的边缘信息和运动信息中的至少一个进行隐式或显示解码。29.根据权利要求25所述的方法，其中，对应于所述至少一部分的残差通过可跨越分割边界的至少一个可变大小变换进行解码。30.根据权利要求25所述的方法，还包括针对几何分割(1225)进行去块滤波.31.根据权利要求25所述的方法，还包括确定在高级句法层、序列层、图像层、条带层和块层的至少一个中使用几何分割块。32.根据权利要求25所述的方法，还包括通过隐式数据和显式数据中(1220,1225，1240)的至少一个确定至少一个图像块分割块的局部超级块相关信息。33.一种用于视频编码的视频信号结构，包括图像的至少一部分的被编码的图像数据，其中，所述图像数据通过几何分割而形成，所述几何分割把几何分割块应用到图像块分割块中，所述图像块分割块通过自上而下的分割或自下而上的树邻接中的至少一种方式而获得。全文摘要本发明提供了用于几何分割超级块的视频编码和解码的方法和设备。一种设备包括编码器(300)，用于对图像的至少一部分的图像数据进行编码。所述图像数据通过几何分割而形成，所述几何分割即是把几何分割块应用到图像块分割块中。所述图像块分割块通过自上而下分割或自下而上的树邻接中的至少一种方式而获得。文档编号H04N7/26GK101822064SQ200880110729公开日2010年9月1日申请日期2008年10月15日优先权日2007年10月16日发明者奥斯卡·迪沃拉·埃斯科达,尹鹏申请人:汤姆逊许可公司