编解码的方法及装置与流程

本发明涉及视频编解码及压缩领域，尤其涉及编解码过程中多编码图像块的划分技术。

背景技术：

数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。数字视频装置实施视频压缩技术，例如由mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效率视频编解码(hevc)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而更高效地发射及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。

在视频编解码领域中，帧的概念是指一副完整的图像，由一帧一帧的图像按照一定的次序和帧速率组成视频格式后即可播放。当帧速率达到一定的速度后，两帧之间的间隔时间小于人眼的分辨极限，会出现短暂的视觉停留，方才能看似动态的出现在屏幕上。视频文件能够实现压缩的基础是单帧数字图像的压缩编码，数字化后的图像中存在很多的重复表示信息，称之为冗余信息。一帧图像中往往存有许多空间结构相同或相似的地方，例如同一物体或背景中的采样点颜色之间大都存在着紧密关联性和相似性。在多帧图像组 中，一帧图像和其前一帧或后一帧基本上都有巨大的相关性，描述信息的像素值差别很小，这些都是可以被压缩的部分。同样的道理，视频文件中不但存在着空间冗余信息，而且包含大量的时间冗余信息，这是由视频的组成结构导致的。例如，视频采样的帧速率一般为25帧/秒至30帧/秒，特殊情况中会出现60帧/秒的可能。也就是说，相邻两帧间的采样时间间隔至少为1/30秒到1/25秒。在这么短的时间内，采样得到的图像画面中基本上都存在大量的相似信息，画面之间存在巨大关联性。但是在原始的数字视频录入系统中是各自独立的记录，没有考虑和利用到这些连贯相似特性，这就造成了相当巨大的重复多余的数据量。另外，已通过研究表明，从人眼的视觉敏感度这一心理特性的角度出发，视频信息中也是存在可以用来压缩的部分，即视觉冗余。所谓视觉冗余，是指利用人眼对亮度变化比较敏感，而对色度的变化相对不敏感的胜利特性来适当的压缩视频比特流。在高亮度的区域，人眼视觉对亮度变化的敏感度呈现下降趋势，转而对物体的边缘处较为敏感，内部区域相对不敏感；对整体结构较为敏感，对内部细节变换相对不敏感。因为视频图像信息的最终服务对象是我们人类群体，所以可以充分利用人眼的这些特性对原有的视频图像信息进行压缩处理，达到更佳的压缩效果。除了上面提到的空间冗余、时间冗余和视觉冗余外，视频图像信息中还会存在信息熵冗余、结构冗余、知识冗余、重要性冗余等等这一系列的冗余信息。视频压缩编码的目的就是使用各种技术方法将视频序列中的冗余信息去除掉，以达到减小存储空间和节省传输带宽的效果。

就目前的技术发展现状而言，视频压缩处理技术主要包括帧内预测、帧间预测、变换量化、熵编码以及消块滤波处理等。在国际通用范围内，存在的视频压缩编码标准中主流的压缩编码方式主要有四种：色度抽样、预测编码、变换编码和量化编码。

色度抽样：此方式充分利用了人眼的视觉心理特点，从底层的数据表示中就开始设法最大限度的缩减单个元素描述的数据量。在电视系统中多数采 用的是亮度-色度-色度(yuv)颜色编码，它是欧洲电视系统广泛采用的标准。yuv颜色空间中包括一个亮度信号y和两个色差信号u和v，三个分量彼此独立。yuv颜色模式彼此分开的表示方式更加灵活，传输占用带宽少，比传统的红绿蓝(rgb)色彩模型更具优势。例如，yuv4:2:0形式表示两色度分量u和v在水平方向和垂直方向上都只有亮度y分量的一半，即4个采样像素点中存在4个亮度分量y，而色度分量u和v则只有一个。这样表示时，数据量进一步缩小，仅为原始的33％左右。利用人眼生理视觉特性，通过这种色度抽样的方式实现视频压缩的目的，是目前广泛采用的视频数据压缩方式之一。

预测编码：即利用之前已编码帧的数据信息来预测当前将要编码的帧。通过预测得到一个预测值，它不完全等同与实际值，之间存在着一定的残差值。如果预测越适合，则预测值就会越接近实际值，残差值就越小，这样对残差值进行编码就能大大减小数据量，在解码端解码时运用残差值加上预测值还原重构出初始图像，这就是预测编码的基本思想方法。在主流编码标准中预测编码分为帧内预测和帧间预测两种基本类型。

变换编码：是不直接对原本的空间域信息进行编码，而是将信息采样值按照某种形式的变换函数，从当前域转换到另外一种人为定义域中(通常称为变换域)，再根据信息在变换域的分布特性进行压缩编码。变换编码的原因是：视频图像数据往往在空间域的数据相关性大，导致大量冗余信息的存在，直接编码需要很大的比特量。而在变换域中数据相关性则大大减少，使得编码的冗余信息减少，编码所需的数据量也随之大大减少，这样就能够得到较高的压缩比，而且可以实现较好的压缩效果。典型的变换编码有卡洛(k-l)变换、傅立叶变换等。整数离散余弦变换(dct)是许多国际标准中都普遍采用的变换编码方式。

量化编码：上述提到的变换编码其实本身并不压缩数据，量化过程才是压缩数据的有力手段，也是有损压缩中数据“损失”的主要原因。量化的过程就是将动态范围较大的输入值强行规划成较少的输出值的过程。因为量化 输入值范围较大，需要较多的比特数表示，而“强行规划”后的输出值范围较小，从而只需要少量的比特数即可表示。每个量化输入被归一化到一个量化输出，即量化到某个数量级中，这些数量级通常被称之为量化级(通常由编码器规定)。

在基于混合编码架构的编码算法中，上述压缩编码方式被混合使用，编码器控制模块根据视频帧中不同图像块的局部特性，选择该图像块所采用的编码模式。对帧内预测编码的块进行频域或空域预测，对帧间预测编码的块进行运动补偿预测，预测的残差再通过变换和量化处理形成残差系数，最后通过熵编码器生成最终的码流。为避免预测误差的累积，帧内或帧间预测的参考信号是通过编码端的解码模块得到。变换和量化后的残差系数经过反量化和反变换重建残差信号，再与预测的参考信号相加得到重建的图像。环路滤波会对重建后的图像进行像素修正，提高重建图像的编码质量。

在使用上述视频压缩处理技术进行图像压缩的过程中，首先需要对待编码图像，即原始图像，进行块划分，在h.264/avc中，编码块(codingblock,cb)的大小是固定的，而在h.265/hevc中，一个编码树块(codingtreeblock,ctb)可以直接作为一个cb，也可以进一步以四叉树的形式划分为多个小的cb。所以在h.265/hevc中的cn的大小是可变的，亮度cb最大为64x64，最小为8x8，一方面大的cb可以使得平缓区域的编码效率大大提高，另一方面能很好的处理图像局部的细节，从而可以使复杂图像的预测更加的准确。随着视频内容成为社交媒体的主流方式，对视频压缩性能的需求越来越高，因此，需要有更加灵活以及高效的图像的划分方式来提满足这一需求。

技术实现要素：

本发明提供一种编解码方法和装置，在四叉树联合二叉树划分方式下，减少冗余，提高编解码的效率。

根据本发明第一方面，一种编码的方法，其包括：在尺寸为2nx2n的图 像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式对所述第一子图像块进行划分；编码所述第一子图像块的划分方式，以及划分后的所述第一子图像块；以及

判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式对所述第二子图像块进行划分，编码所述第二图像块的图像划分方式，以及划分后的所述第二子图像块，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，需要说明的是，在上述方法中，特征“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同”，也可以表述为“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn”，即，通过对子图像划分方式的约束使得经过二叉树划分得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

本发明通过引入上述的约束子图像处理方式，来对尺寸为2nxn的第一 子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第一方面提供的编码方法一种实施方式，其中，在采用约束子图像处理方式中，所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。例如，所述第一划分方式集合可以包括垂直划分及水平划分，而所述第二划分方式集合则仅包括水平划分或者仅包括垂直划分，即，所述的第二划分方式的集合为第一划分方式集合的子集。具体地，对于尺寸为2nxn的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括水平划分方式；对于尺寸为nx2n的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括垂直划分方式。通过这种限制方式，可以避免第一子图像块及第二子图像块在处理过程中使用将2nx2n划分成为4个尺寸为nxn的子图像块的划分方式，从而减少冗余，同时在对第二个子图像进行解码处理过程中，由于限制其使用的划分方法的数量，从而可以减少所读取的码字。

根据本发明第一方面提供的编码方法的另一种实施方式，对于2nxn的第一子图像块如果采用垂直划分，那么对于2nxn的第二子图像块只允许采用水平划分，这种情况下，可以允许编码方法仅仅编码对于该2nxn的第二子图像块是否进一步划分即可，而不需要编码其具体的划分方式，如果需要进一步划分，那么其划分方式就默认采用水平划分，如此可以进一步的减少编码码字。

根据本发明第一方面提供的编码方法的另一种实施方式，对于nx2n的第一子图像块如果采用水平划分，那么对于nx2n的第二子图像块只允许采用垂直划分，这种情况下，可以允许编码方法仅仅编码对于该nx2n的第二子图像块是否进一步划分即可，而不需要编码其具体的划分方式，如果需要进一步划分，那么其划分方式默认采用垂直平划分，如此可以进一步减少编码所需要的码字。

根据本发明第一方面提供的编码方法的另一种实施方式，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂 直划分方式，所述第二子图像块的划分方式为水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为水平划分或者垂直划分。这种方式可以充分利用二叉树划分方式的灵活性来提高编码的效率。

根据本发明第一方面提供的编码方法的另一种实施方式，在允许四叉树划分的情况下，所述约束子图像处理方式仅对特定划分方式的子图像块有效，即仅用于处理特定划分方式的子图像块；例如，对于尺寸为nx2n的子图像块有效，即，适用；而对于尺寸为2nxn的子图像块无效，即不适用。如此，可以增加处理过程的灵活性。

根据本发明第一方面提供的编码方法的另一种实施方式，所述的编码方法还可以包括：当尺寸为2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块由划分所述尺寸为2nx2n的图像块得到；其中，所述非约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，根据所述第一子图像块的划分方式划分所述第一子图像块，编码所述第一子图像块的划分方式以及划分后的所述第一子图像块，其中，所述第一子图像块的 划分方式来自于第一划分方式集合；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，根据所述第二子图像块的划分方式划分所述第二子图像块，编码所述第二子图像块的划分方式以及划分后的所述第二子图像块，所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中的所有划分方式与第二划分方式集合中的所有划分方式相同。

这种处理方式可以保证当四叉树的划分方式不可以使用的时候，例如，按照现在的规定如果四叉树的叶子节点如果采用二叉树进行划分时，则不可以再采用四叉树对通过二叉树划分得到的叶子节点进行划分，那么在这种情况下，允许通过采用非约束子图像处理方式来获取尺寸为nxn的子图像块可以保证图像能够充分的利用四叉树划分模式下所带来增益。

根据本发明第一方面提供的编码方法的另一种实施方式，所述的约束子图像处理方式用于对i条带(slice)进行编码，可以保证增益最大。

根据本发明第二方面，一种解码方法，其包括：

解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

所述约束子图像处理方式包括：

判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；以及

判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并 根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，需要说明的是，在上述方法中，特征“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同”，也可以表述为“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn”，即，通过对子图像划分方式的约束使得经过二叉树划分得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

本发明通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第二方面提供的编码方法的一种实施方式，在采用约束子图像处理方式中，所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。例如，所述第一划分方式集合可以包括垂直划分，即水平划分，而所述第二划分方式集合则仅包括水平划分或者仅包括垂直划分，即，所述的第二划分方式的集合为第一划分方式集合的子集。具体地，对于尺寸为2nxn的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括水平划分方式；对于尺寸为nx2n的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括垂直划分方式。通过这种限制方式，可以避免第一子图像块及 第二子图像块在处理过程中使用将2nx2n划分成为4个尺寸为nxn的子图像块的划分方式，从而减少冗余，同时在对第二个子图像进行解码处理过程中，由于限制其使用的划分方法的数量，从而可以减少所读取的码字。

根据本发明第二方面提供的解码方法的另一种实施方式，对于2nxn的第一子图像块如果采用垂直划分，那么对于2nxn的第二子图像块只允许采用水平划分，这种情况下，可以允许解码方法仅仅解码对于该2nxn的第二子图像块是否进一步划分即可，而不需要解码其具体的划分方式，如果需要进一步划分，那么其划分方式就默认采用水平划分，如此可以进一步的减少解码过程中所需要读取的码字，提高解码效率。

根据本发明第二方面提供的解码方法的另一种实施方式，对于nx2n的第一子图像块如果采用水平划分，那么对于nx2n的第二子图像块只允许采用垂直划分，这种情况下，可以允许解码方法仅仅解码对于该nx2n的第二子图像块是否进一步划分即可，而不需要解码其具体的划分方式，如果需要进一步划分，那么其划分方式默认采用垂直平划分，如此可以进一步的减少解码过程中所需要读取的码字，提高解码效率。

根据本发明第二方面提供的编码方法的另一种实施方式，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为水平划分或者垂直划分。这种方式可以充分利用二叉树划分方式的灵活性来提高编码的效率。

根据本发明第二方面提供的编码方法的另一种实施方式，在允许四叉树 划分的情况下，所述约束子图像处理方式仅对特定划分方式的子图像块有效，即仅用于处理特定划分方式的子图像块；例如，对于尺寸为nx2n的子图像块有效，即，适用；而对于尺寸为2nxn的子图像块无效，即不适用。如此，可以增加处理过程的灵活性。

根据本发明第二方面提供的编码方法的另一种实施方式，当尺寸为2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；其中，所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块，所述第一子图像块的划分方式来自于第一划分方式集合；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中的所有划分方式与第二划分方式集合中的所有划分方式相同。

这种处理方式可以保证当四叉树的划分方式不可以使用的时候，例如，按照现在的规定如果四叉树的叶子节点如果采用二叉树进行划分时，则不可以再采用四叉树对通过二叉树划分得到的叶子节点进行划分，那么在这种情况下，允许通过采用非约束子图像处理方式来获取尺寸为nxn的子图像块可 以保证图像能够充分的利用四叉树划分模式下所带来增益。

根据本发明第二方面提供的编码方法的另一种实施方式，上述的约束子图像处理方式用于对i条带(slice)进行解码。

根据本发明第三方面，一种编码方法，包括：在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

所述约束子图像处理方式包括：

确定所述第一子图像的划分方式，编码所述第一图像块的划分方式，并根据所述第一子图像块的划分方式编码所述第一子图像块；以及

确定所述第二子图像块的划分方式，编码所述第二图像块的划分方式，并根据所述第二子图像块的划分方式编码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，需要说明的是，在上述方法中，特征“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同”，也可以表述为“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn”，即，通过对子图像划分方式的约束使得经过二叉树划分得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

该编码方法采用约束子图像处理方式对尺寸为nx2n或者尺寸为2nxn的子图像块进行编码，从而减少了使用四叉树联合二叉树进行图像划分时的冗余。

根据本发明第三方面提供的编码方法具备根据本发明第一方面提供的编码方法所具有的所有有益效果，同时还可以节省码流，此外，无特别说明的情况下，该第三方面提供的编码方法适用于发明第一方面提供的编码方法所具有的扩展实施方式。

此外，根据本发明第三方面的编码方法的一种实施方式中，对于尺寸为2nxn的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和水平划分方式；对于尺寸为nx2n的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和垂直划分方式。

根据本发明第三方面的编码方法的另一种实施方式中，所述第二子图像块的划分方式受所述第一子图像块的划分方式约束包括：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为不划分或者水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为不划分、垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为不划分或者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为不划分、水平划分或者垂直划分。

根据本发明第四方面，一种解码方法，包括：解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

其中，所述约束子图像处理方式包括：

解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，需要说明的是，在上述方法中，特征“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同”，也可以表述为“所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn”，即，通过对子图像划分方式的约束使得经过二叉树划分得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

该本发明第四方面提供的解码方法具备本发明第二方面提供的解码方法所具有的所有有益效果，同时还可以节省码流，此外，本发明第四方面提供的解码方法适用于本发明第二方面提供的解码方法的所有扩展实施方式。

根据本发明第四方面的解码方法的一种实施方式中，对于尺寸为2nxn的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和水平划分方式；对于尺寸为nx2n的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和垂直划分方式。

根据本发明第四方面的解码方法的另一种实施方式中，所述第二子图像 块的划分方式受所述第一子图像块的划分方式约束包括：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为不划分或者水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为不划分、垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为不划分或者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为不划分、水平划分或者垂直划分。

根据本发明第五方面，一种编码装置，该编码装置对应于本发明第一方面提供的编码方法，并用于实现本发明第一方面提供的编码方法中所包含的所有实施方式，其包括:

约束编码判断模块，其用于，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束编码模块，其用于实施所述约束子图像处理方式，并包括：

第一子图像处理模块，其用于，判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式对所述第一子图像块进行划分；编码所述第一子图像块的划分方式，以及划分后的所述第一子图像块；以及

第二子图像处理模块，其用于，判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式对所述第二子图像块进行划分，编码所述第二图像块的图像划分方式，以及划分后的所述第二子图 像块，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明编码装置通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第六方面，一种解码装置，该解码装置对应于本发明第二方面提供的解码方法，并用于实现本发明第二方面提供的解码方法中所包含的所有实施方式，该解码装置包括：

约束解码判断模块，其用于，解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束解码模块，其用于实施所述的约束子图像处理方式，并包括：

第一子图像处理模块，其用于,判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；

第二子图像处理模块，其用于，判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明实施方式提供的解码装置通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第六方面提供的解码装置的一种实施方式，所述约束解码判断模块，还用于，当所述2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对所述第一子图块及所述第二子图像块的编码码流进行处理；对应，所述解码装置还包括：非约束解码模块，其用于实施所述的非约束子图像处理方式，所述非约束解码模块包括：

第三子图像处理模块，其用于，解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

第四子图像处理模块，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中所示第一子图像块的划分方式与所述第二子图像块的划分方式选自相同的划分方式集合。

根据本发明第七方面，一种编码装置，该编码装置对应于本发明第三方面提供的编码方法，并用于实现本发明第三方面提供的编码方法中所包含的所有实施方式，该编码装置包括:

约束编码判断模块，其用于，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束编码模块，其用于实施所述约束子图像处理方式，并包括：

第一子图像处理模块，其用于，确定所述第一子图像的划分方式，编码所述第一图像块的划分方式，并根据所述第一子图像块的划分方式编码所述第一子图像块；以及

第二子图像处理模块，其用于，确定所述第二子图像块的划分方式，编 码所述第二图像块的划分方式，并根据所述第二子图像块的划分方式编码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明编码装置通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第八方面，一种解码装置，该解码装置对应于本发明第四方面提供的解码方法，并用于实现本发明第四方面提供的解码方法中所包含的所有实施方式，该解码装置包括：

约束解码判断模块，其用于，解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束解码模块，其用于实施所述的约束子图像处理方式，并包括：

第一子图像处理模块，其用于,解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；

第二子图像处理模块，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明实施方式提供的解码装置通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像 和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

根据本发明第八方面提供的解码装置的一种实施方式，所述约束解码判断模块，还用于，当所述2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对所述第一子图块及所述第二子图像块的编码码流进行处理；对应，所述解码装置还包括：非约束解码模块，其用于实施所述的非约束子图像处理方式，所述非约束解码模块包括：

第三子图像处理模块，其用于，解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

第四子图像处理模块，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中所示第一子图像块的划分方式与所述第二子图像块的划分方式选自相同的划分方式集合。

本发明实施方式提供的编码方法及装置以及解码方法及装置通过引入约束子图像处理方式在采用四叉树联合二叉树对图像进行划分的场景下，除去了四叉树划分及二叉树划分所的冗余，从而提降低了编解码的复杂度，提升了编解码的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的视频编码系统的示意性框图；

图2是根据本发明实施例的用于视频编码的示意性装置图；

图3是根据本发明实施例的另一视频编解码系统的示意性框图；

图4是根据本发明实施例的视频编码器的示意性框图；

图5是根据本发明实施例的视频解码器的示意性框图；

图6是根据本发明实施例的视频编码器的示意性装置图；

图7是四叉树联合二叉树划分结构示意图；

图8是根据本发明实施例的视频解码器的示意性装置图；

图9是采用四叉树划分方式将尺寸为2nx2n的图像块划分为尺寸为nxn的子图像块的示意图；

图10是采用二叉树划分方式将尺寸为2nx2n的图像块划分为尺寸为nxn的子图像块的示意图；

图11是采用四叉树联合二叉树划分方式将尺寸为2nx2n的图像块划分为尺寸为nxn的子图像块时不同的划分方式下的子图像块处理顺序示意图；

图12是采用四叉树联合二叉树划分方式将尺寸为2nx2n的图像块划分为尺寸为nxn的子图像块时不同的划分方式下的不同的子图像处理字顺序中，可也用参考块的示意图；

图13是根据本发明实施例的编码方法的实施方法的示意性流程图；

图14是根据本发明实施例的解码方法的实施方法的示意性流程图；

图15是根据本发明另一实施例的编码方法的实施方法的示意性流程图；

图16是根据本发明另一实施例的解码方法的实施方法的示意性流程图；

图17是根据本发明实施例的编码装置示意性框图；

图18是根据本发明实施例的解码编码装置示意性框图；

图19是根据本发明另一实施例的编码编码装置示意性框图；

图20是根据本发明另一实施例的解码编码装置示意性框图；

图21是本发明实施例适用于电视机应用的示意性结构图；

图22是本发明实施例适用于移动电话应用的示意性结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是视频编解码装置或电子设备50的示意性框图，该装置或者电子设备可以并入根据本发明的实施例的编码解码器。图2是根据本发明实施例的用于视频编码的示意性装置图。下面将说明图1和图2中的单元。

电子设备50可以例如是无线通信系统的移动终端或者用户设备。应理解，可以在可能需要对视频图像进行编码和解码，或者编码，或者解码的任何电子设备或者装置内实施本发明的实施例。

装置50可以包括用于并入和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中，显示器可以是适合于显示图像或者视频的任何适当的显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中，可以运用任何适当的数据或者用户接口机制。例如，可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入，该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备，该音频输出设备在本发明的实施例中可以是以下各项中的任何一项：耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40，在本发明的其它实施例中，设备可以由任何适当的移动能量设备，比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中，装置50还可以包括任何适当的近程通信解决方案，比如蓝牙无线连接或者usb/火线有线连接。

装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58，该存储器在本发明的实施例中可以存储形式为图像的数据和音频的数据，和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器电路54。

装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46，例如uicc和uicc读取器。

装置50还可以包括无线电接口电路52，该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置50还可以包括天线44，该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号 并且用于从其它(多个)装置接收射频信号。

在本发明的一些实施例中，装置50包括能够记录或者检测单帧的相机，编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本发明的一些实施例中，装置可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本发明的一些实施例中，装置50可以通过无线或者有线连接接收图像用于编码/解码。

图3是根据本发明实施例的另一视频编解码系统10的示意性框图。如图3所示，视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。

目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中，信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制编码后的视频数据，且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体，例如射频(rf)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、dvd、cd-rom、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。

在另一实例中，信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如，用于网站)、文件传送协议(ftp)服务器、网络附加存储(nas)装置，及本地磁盘驱动器。

目的地装置14可经由标准数据连接(例如，因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，dsl、缆线调制解调器等)，或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用场景，示例性的，可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频编解码系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图3的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口，及/或用于产生视频数据的计算机图形系统，或上述视频数据源的组合。

视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。

在图3的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整 合或可在目的地装置14外部。一般来说，显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(lcd)、等离子体显示器、有机发光二极管(oled)显示器或其它类型的显示装置。

视频编码器20及视频解码器30可根据视频压缩标准(例如，高效率视频编解码h.265标准)而操作，且可遵照hevc测试模型(hm)。h.265标准的文本描述itu-th.265(v3)(04/2015)于2015年4月29号发布，可从http://handle.itu.int/11.1002/1000/12455下载，所述文件的全部内容以引用的方式并入本文中。

或者，视频编码器20及视频解码器30可根据其它专属或行业标准而操作，所述标准包含itu-th.261、iso/iecmpeg-1visual、itu-th.262或iso/iecmpeg-2visual、itu-th.263、iso/iecmpeg-4visual，itu-th.264(还称为iso/iecmpeg-4avc)，包含可分级视频编解码(svc)及多视图视频编解码(mvc)扩展。应理解，本发明的技术不限于任何特定编解码标准或技术。

此外，图3仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如，单侧的视频编码或视频解码)。在其它实例中，从本地存储器检索数据，经由网络流式传输数据，或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器，及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中，通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。

视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施，则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中，且可使用一个或多个处理器执行硬件中的指令以执行本发明的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中，其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(codec))的部分。

本发明大体上可指代视频编码器20将某一信息“用信号发送”到另一装 置(例如，视频解码器30)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生，所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。

所述视频编码器20编码视频数据。视频数据可包括一个或多个图片。视频编码器20可产生码流，所述码流以比特流的形式包含了视频数据的编码信息。所述编码信息可以包含编码图片数据及相关联数据。相关联数据可包含序列参数集(sps)、图片参数集(pps)及其它语法结构。sps可含有应用于零个或多个序列的参数。pps可含有应用于零个或多个图片的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集合。

产生图片的编码信息，视频编码器20可将图片分割成编码树型块(ctb)的栅格。在一些例子中，ctb可被称作“树型块”、“最大编码单元”(lcu)或“编码树型单元”。ctb不限于特定大小且可包含一个或多个编码单元(cu)。每一个ctb可以与图片内的具有相等大小的像素块相关联。每一像素可对应一个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此，每一个ctb可与一个亮度采样块及两个色度采样块相关联。图片的ctb可分成一个或多个条带。在一些实例中，每一个条带包含整数个数的ctb。作为编码图片的一部分，视频编码器20可产生所述图片的每一条带的编码信息,即编码所述条带内的ctb。为了编码ctb，视频编码器20可对与ctb相关联的像素块递归地执行四叉树分割，以将像素块分割成递减的像素块。所述较小的像素块可以和cu相关联。

图4是根据本发明实施例的视频编码器20的示意性框图，包括编码端预测模块201、变换量化模块202、熵编码模块203、编码重建模块204、编码端滤波模块205，图5是根据本发明实施例的视频解码器30的示意性框图，包括解码端预测模块206、反变换反量化模块207、熵解码模块208、解码重建模块209、解码滤波模块210。具体的：

编码端预测模块201和解码端预测模块206用于产生预测数据。视频编码器20可产生每一不再分割cu的一个或多个预测单元(pu)。cu的每一个pu可与cu的像素块内的不同像素块相关联。视频编码器20可针对cu的每一个pu产生 预测性像素块。视频编码器20可使用帧内预测或帧间预测来产生pu的预测性像素块。如果视频编码器20使用帧内预测来产生pu的预测性像素块，则视频编码器20可基于与pu相关联的图片的解码后的像素来产生pu的预测性像素块。如果视频编码器20使用帧间预测来产生pu的预测性像素块，则视频编码器20可基于不同于与pu相关联的图片的一个或多个图片的解码后的像素来产生pu的预测性像素块。视频编码器20可基于cu的pu的预测性像素块来产生cu的残余像素块。cu的残余像素块可指示cu的pu的预测性像素块中的采样值与cu的初始像素块中的对应采样值之间的差。

变换量化模块202用于对经过预测的残差数据进行处理。视频编码器20可对cu的残余像素块执行递归四叉树分割以将cu的残余像素块分割成与cu的变换单元(tu)相关联的一个或多个较小残余像素块。因为与tu相关联的像素块中的像素各自对应一个亮度采样及两个色度采样，所以每一个tu可与一个亮度的残余采样块及两个色度的残余采样块相关联。视频编码器20可将一个或多个变换应用于与tu相关联的残余采样块以产生系数块(即，系数的块)。变换可以是dct变换或者它的变体。采用dct的变换矩阵，通过在水平和竖直方向应用一维变换计算二维变换，获得所述系数块。视频编码器20可对系数块中的每一个系数执行量化程序。量化一般指系数经量化以减少用以表示系数的数据量，从而提供进一步压缩的过程。反变换反量化模块207执行的是变换量化模块202的逆过程。

视频编码器20可产生表示量化后系数块中的系数的语法元素的集合。视频编码器20通过熵编码模块203可将熵编码操作(例如，上下文自适应二进制算术译码(cabac)操作)应用于上述语法元素中的部分或者全部。为将cabac编码应用于语法元素，视频编码器20可将语法元素二进制化以形成包括一个或多个位(称作“二进位”)的二进制序列。视频编码器20可使用规则(regular)编码来编码二进位中的一部分，且可使用旁通(bypass)编码来编码二进位中的其它部分。

除熵编码系数块的语法元素外，视频编码器20通过编码重建模块204，可将逆量化及逆变换应用于变换后的系数块，以从变换后的系数块重建残余采样块。视频编码器20可将重建后的残余采样块加到一个或多个预测性采样块的对应采样块，以产生重建后的采样块。通过重建每一色彩分量的采样块， 视频编码器20可重建与tu相关联的像素块。以此方式重建cu的每一tu的像素块，直到cu的整个像素块重建完成。

在视频编码器20重建构cu的像素块之后，视频编码器20通过编码端滤波模块205，执行消块滤波操作以减少与cu相关联的像素块的块效应。在视频编码器20执行消块滤波操作之后，视频编码器20可使用采样自适应偏移(sao)来修改图片的ctb的重建后的像素块。在执行这些操作之后，视频编码器20可将cu的重建后的像素块存储于解码图片缓冲器中以用于产生其它cu的预测性像素块。

视频解码器30可接收码流。所述码流以比特流的形式包含了由视频编码器20编码的视频数据的编码信息。视频解码器30通过熵解码模块208，解析所述码流以从所述码流提取语法元素。当视频解码器30执行cabac解码时，视频解码器30可对部分二进位执行规则解码且可对其它部分的二进位执行旁通解码，码流中的二进位与语法元素具有映射关系，通过解析二进位获得语法元素。

视频解码器30通过解码重建模块209，可基于从码流提取的语法元素来重建视频数据的图片。基于语法元素来重建视频数据的过程大体上与由视频编码器20执行以产生语法元素的过程互逆。举例来说，视频解码器30可基于与cu相关联的语法元素来产生cu的pu的预测性像素块。另外，视频解码器30可逆量化与cu的tu相关联的系数块。视频解码器30可对逆量化后的系数块执行逆变换以重建与cu的tu相关联的残余像素块。视频解码器30可基于预测性像素块及残余像素块来重建cu的像素块。

在视频解码器30重建cu的像素块之后，视频解码器30通过解码滤波模块210，执行消块滤波操作以减少与cu相关联的像素块的块效应。另外，基于一个或多个sao语法元素，视频解码器30可执行与视频编码器20相同的sao操作。在视频解码器30执行这些操作之后，视频解码器30可将cu的像素块存储于解码图片缓冲器中。解码图片缓冲器可提供用于后续运动补偿、帧内预测及显示装置呈现的参考图片。

图6为说明经配置以实施本发明的技术的实例视频编码器20的框图。应理解，图6是示例性的而不应视为限制如本发明广泛例证并描述的技术。如图6所示，视频编码器20包含预测处理单元100、残余产生单元102、变换处 理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重建单元112、滤波器单元113、解码图片缓冲器114及熵编码单元116。熵编码单元116包含规则cabac编解码引擎118及旁通编解码引擎120。预测处理单元100包含帧间预测处理单元121及帧内预测处理单元126。帧间预测处理单元121包含运动估计单元122及运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。

视频编码器20接收视频数据。为编码视频数据，视频编码器20可编码视频数据的每一图片的每一条带。作为编码条带的一部分，视频编码器20可编码所述条带中的每一ctb。作为编码ctb的一部分，根据h.265/hevc国际视频编码标准中,预测处理单元100可对与ctb相关联的像素块执行四叉树分割，以将像素块分成递减的像素块。举例来说，对于帧内预测，预测处理单元100可将ctb的像素块分割成四个相等大小的子块，所述子块中的一个或多个又可以继续进行递归四叉树划分，分割成四个相等大小的子块，从而得到可以进行编码的图像块，又称为编码块(cu)。而对于帧间预测来说，预测处理单元100将根据8种非递归的划分模式来将ctb中的cu划分1、2或4个pu。

视频编码器20可编码图片中的ctb的cu以产生cu的编码信息。视频编码器20可根据折形扫描次序来编码ctb的cu。换句话说，视频编码器20可按左上cu、右上cu、左下cu及接着右下cu来编码所述cu。当视频编码器20编码分割后的cu时，视频编码器20可根据折形扫描次序来编码与分割后的cu的像素块的子块相关联的cu。

此外，预测处理单元100可在cu的一个或多个pu中分割cu的像素块。视频编码器20及视频解码器30可支持各种pu大小。假定特定cu的大小为2n×2n，在现有的h.265/hevc视频编码标准中，视频编码器20及视频解码器30可支持2n×2n或n×n的pu大小以用于帧内预测，且支持2n×2n、2n×n、n×2n、n×n或类似大小的对称pu以用于帧间预测。视频编码器20及视频解码器30还可支持2n×nu、2n×nd、nl×2n及nr×2n的不对称pu以用于帧间预测。

然而，h.265/hevc视频编码标准所采用的这种对ctb/cu划分模式的主要问题在于在帧内预测中，待编码图像块只能为方形块，而帧间预测尽管可以为矩形块，但由于帧间cu划分成pu是非递归的，因此帧间pu的形状也受到了很大限制。为了提高视频编码块划分中的灵活性，出现了一种四叉树联合二 叉树(qualtreeplusbinarytree,qtbt)的划分方法。

其具体为：一个图像块(例如：ctu)首先进行递归的四叉树划分，然后对四叉树的每个叶子节点使用二叉树进行递归划分。在四叉树划分时，要满足四叉树的叶子节点不小于minqtsize。在二叉树划分时，要满足二叉树划分的根节点不大于maxbtsize，不小于minbtsize，且二叉树的划分深度不超过maxbtdepth。对于二叉树划分，分为水平二叉树划分与垂直二叉树划分，即沿水平方向或垂直方向将当前图像块划分成两个等大的子图像块。四叉树联合二叉树的划分结构如图7所示。对于一个图像块(可以是ctu或者是ctb)，假设它的尺寸为128x128，minqtsize为16x16，maxbtsize为64x64，minbtsize(对于宽和高)为4，maxbtdepth为4。首先，对该图像块进行四叉树划分得到四叉树叶子节点。四叉树叶子节点大小可以是从16x16(即：minqtsize)到128x128(即：该图像块的大小)。如果四叉树叶子节点是128x128，它不会进行二叉树划分，因为它的大小超过了maxbtsize(即：64x64)。其它情况下，四叉树叶子节点将会进一步进行二叉树划分。此时，该四叉树的叶子节点是二叉树的头节点，二叉树深度为0。当二叉树深度到达maxbtdepth(即：4)时，将没有进一步划分。当二叉树的宽度等于minbtsize(即：4)时，将没有进一步的水平划分。类似的，当二叉树的高度等于minbtsize(即：4)时，将没有进一步的垂直划分。如图7所示，左边的图是通过qtbt得到的块划分，右边的图是对应的树结构说明。实线表示四叉树划分，点线表示二叉树划分。上述四叉树联合二叉树划分方式的在编码过程中的具体标记办法可以如下：

a)如果当前图像块可以使用四叉树划分，即块大小不小于minqtsize，且之前没有进行过二叉树划分，则编码标识符a，0表示不进行四叉树划分，1表示进行四叉树划分；

b)如果当前块也可以使用二叉树划分，即当前块大小不小于maxbtsize，且不大于maxbtszie，且二叉树深度不超过maxbtdepth，则编码标识符b，为0表示不进行二叉树划分，为非0表示进行二叉树划分。如果标识符为非0，表示进行了二叉树划分，需要再去编码一个值去表示是水平划分还是垂直划分。1表示水平二叉树划分，2表示垂直二叉树划分。例如，标识符b的表达形式为0为不进行二叉树划分，10为进行水平二 叉树划分，11为进行垂直二叉树划分。

通过这种四叉树联合二叉树的划分方式对图像块进行划分可以提高编码的灵活性并同时提高编码效率。

帧间预测处理单元121可通过对cu的每一pu执行帧间预测而产生pu的预测性数据。pu的预测性数据可包含对应于pu的预测性像素块及pu的运动信息。条带可为i条带、p条带或b条带。帧间预测单元121可根据pu是在i条带、p条带还是b条带中而对cu的pu执行不同操作。在i条带中，所有pu执行帧内预测。

如果pu在p条带中，则运动估计单元122可搜索参考图片的列表(例如，“列表0”)中的参考图片以查找pu的参考块。pu的参考块可为最紧密地对应于pu的像素块的像素块。运动估计单元122可产生指示列表0中的含有pu的参考块的参考图片的参考图片索引，及指示pu的像素块与参考块之间的空间位移的运动向量。运动估计单元122可将参考图片索引及运动向量作为pu的运动信息而输出。运动补偿单元124可基于由pu的运动信息指示的参考块来产生pu的预测性像素块。

如果pu在b条带中，则运动估计单元122可对pu执行单向帧间预测或双向帧间预测。为对pu执行单向帧间预测，运动估计单元122可搜索第一参考图片列表(“列表0”)或第二参考图片列表(“列表1”)的参考图片以查找pu的参考块。运动估计单元122可将以下各者作为pu的运动信息而输出：指示含有参考块的参考图片的列表0或列表1中的位置的参考图片索引、指示pu的像素块与参考块之间的空间位移的运动向量，及指示参考图片是在列表0中还是在列表1中的预测方向指示符。为对pu执行双向帧间预测，运动估计单元122可搜索列表0中的参考图片以查找pu的参考块，且还可搜索列表1中的参考图片以查找pu的另一参考块。运动估计单元122可产生指示含有参考块的参考图片的列表0及列表1中的位置的参考图片索引。另外，运动估计单元122可产生指示参考块与pu的像素块之间的空间位移的运动向量。pu的运动信息可包含pu的参考图片索引及运动向量。运动补偿单元124可基于由pu的运动信息指示的参考块来产生pu的预测性像素块。

帧内预测处理单元126可通过对pu执行帧内预测而产生pu的预测性数据。pu的预测性数据可包含pu的预测性像素块及各种语法元素。帧内预测处 理单元126可对i条带、p条带及b条带内的pu执行帧内预测。

为对pu执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生pu的预测性数据的多个集合。为使用帧内预测模式来产生pu的预测性数据的集合，帧内预测处理单元126可在与帧内预测模式相关联的方向上跨越pu的采样块扩展来自相邻pu的采样块的采样。假定从左向右、从上而下的编码次序用于pu、cu及ctb，相邻pu可在pu的上方，在pu的右上方，在pu的左上方或在pu的左方。帧内预测处理单元126可使用包含不同数目的帧内预测模式，例如，33个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于pu的像素块的大小。

预测处理单元100可从通过帧间预测处理单元121针对pu而产生的预测性数据或通过帧内预测处理单元126针对pu而产生的预测性数据当中选择cu的pu的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度来选择cu的pu的预测性数据。例如，使用拉格朗日代价函数来在编码模式及其参数值(比如运动矢量、参考索引和帧内预测方向)之间进行选择。这一种类的代价函数使用加权因子lambda将由于有损编码方法所致的实际的或者估计的图像失真与为了表示在图像区域中的像素值而需要的实际的或估计的信息量联系在一起：c＝d+lambda×r，其中c是待最小化的拉格朗日代价，d是具有模式及其参数的图像失真(例如均方误差)，r是为了在解码器中重构图像块而需要的比特数(例如包括用于表示候选运动矢量的数据量)。一般的，代价最小的编码模式被选定作为实际编码模式。选定预测性数据的预测性像素块在本文中可被称作选定预测性像素块。

残余产生单元102可基于cu的像素块及cu的pu的选定预测性像素块来产生cu的残余像素块。举例来说，残余产生单元102可产生cu的残余像素块，使得残余像素块中的每一采样具有等于以下两者之间的差的值：cu的像素块中的采样，及cu的pu的选定预测性像素块中的对应采样。

预测处理单元100可执行四叉树分割以将cu的残余像素块分割成子块。每一不再划分的残余像素块可与cu的不同tu相关联。与cu的tu相关联的残余像素块的大小及位置与基于cu的pu的像素块的大小及位置没有必然联系。

因为tu的残余像素块的像素可对应一个亮度采样及两个色度采样，所以每一个tu可与一个亮度采样块及两个色度采样块相关联。变换处理单元104 可通过将一个或多个变换应用于与tu相关联的残余采样块而产生cu的每一个tu的系数块。举例来说，变换处理单元104可将离散余弦变换(dct)、方向性变换或概念上类似的变换应用于残余采样块。

量化单元106可量化系数块中的系数。举例来说，n位系数可在量化期间舍位到m位系数，其中n大于m。量化单元106可基于与cu相关联的量化参数(qp)值来量化与cu的tu相关联的系数块。视频编码器20可通过调整与cu相关联的qp值来调整应用于与cu相关联的系数块的量化程度。

逆量化单元108及逆变换处理单元110可分别将逆量化及逆变换应用于变换后的系数块以从系数块重建残余采样块。重建单元112可将重建后的残余采样块的采样加到预测处理单元100产生的一个或多个预测性采样块的对应采样，以产生与tu相关联的重建后的采样块。通过此方式重建cu的每一个tu的采样块，视频编码器20可重建cu的像素块。

滤波器单元113可执行消块滤波操作以减少与cu相关联的像素块的块效应。此外，滤波器单元113可将由预测处理单元100确定的sao偏移应用于重建后的采样块以恢复像素块。滤波器单元113可产生ctb的sao语法元素的编码信息。

解码图片缓冲器114可存储重建后的像素块。帧间预测单元121可使用含有重建后的像素块的参考图片来对其它图片的pu执行帧间预测。另外，帧内预测处理单元126可使用解码图片缓冲器114中的重建后的像素块来对在与cu相同的图片中的其它pu执行帧内预测。

熵编码单元116可接收来自视频编码器20的其它功能组件的数据。举例来说，熵编码单元116可接收来自量化单元106的系数块且可接收来自预测处理单元100的语法元素。熵编码单元116可对数据执行一个或多个熵编码操作以产生熵编码后的数据。举例来说，熵编码单元116可对数据执行上下文自适应可变长度编解码(cavlc)操作、cabac操作、可变到可变(v2v)长度编解码操作、基于语法的上下文自适应二进制算术编解码(sbac)操作、机率区间分割熵(pipe)编解码操作，或其它类型的熵编码操作。在一特定实例中，熵编码单元116可使用规则cabac引擎118来编码语法元素的经规则cabac编解码二进位，且可使用旁通编解码引擎120来编码经旁通编解码二进位。

图8为说明经配置以实施本发明的技术的实例视频解码器30的框图。应 理解，图8是示例性的而不应视为限制如本发明广泛例证并描述的技术。如图8所示，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158、滤波器单元159及解码图片缓冲器160。预测处理单元152包含运动补偿单元162及帧内预测处理单元164。熵解码单元150包含规则cabac编解码引擎166及旁通编解码引擎168。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频解码器30可接收码流。熵解码单元150可解析所述码流以从所述码流提取语法元素。作为解析码流的一部分，熵解码单元150可解析码流中的经熵编码后的语法元素。预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158及滤波器单元159可根据从码流中提取的语法元素来解码视频数据，即产生解码后的视频数据。

语法元素可包含经规则cabac编解码二进位及经旁通编解码二进位。熵解码单元150可使用规则cabac编解码引擎166来解码经规则cabac编解码二进位，且可使用旁通编解码引擎168来解码经旁通编解码二进位。

如果pu使用帧内预测编码，则帧内预测处理单元164可执行帧内预测以产生pu的预测性采样块。帧内预测处理单元164可使用帧内预测模式以基于空间相邻pu的像素块来产生pu的预测性像素块。帧内预测处理单元164可根据从码流解析的一个或多个语法元素来确定pu的帧内预测模式。

运动补偿单元162可根据从码流解析的语法元素来构造第一参考图片列表(列表0)及第二参考图片列表(列表1)。此外，如果pu使用帧间预测编码，则熵解码单元150可解析pu的运动信息。运动补偿单元162可根据pu的运动信息来确定pu的一个或多个参考块。运动补偿单元162可根据pu的一个或多个参考块来产生pu的预测性像素块。

另外，视频解码器30可对不再分割的cu执行重建操作。为对不再分割的cu执行重建操作，视频解码器30可对cu的每一tu执行重建操作。通过对cu的每一tu执行重建操作，视频解码器30可重建与cu相关联的残余像素块。

作为对cu的tu执行重建操作的一部分，逆量化单元154可逆量化(即，解量化)与tu相关联的系数块。逆量化单元154可使用与tu的cu相关联的qp值来确定量化程度，且与确定逆量化单元154将应用的逆量化程度相同。

在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一个或多 个逆变换应用于系数块，以便产生与tu相关联的残余采样块。举例来说，逆变换处理单元156可将逆dct、逆整数变换、逆卡忽南-拉维(karhunen-loeve)变换(klt)、逆旋转变换、逆方向性变换或其它与编码端的变换对应的逆变换应用于系数块。

重建单元158可在适用时使用与cu的tu相关联的残余像素块及cu的pu的预测性像素块(即，帧内预测数据或帧间预测数据)以重建cu的像素块。特定来说，重建单元158可将残余像素块的采样加到预测性像素块的对应采样以重建cu的像素块。

滤波器单元159可执行消块滤波操作以减少与ctb的cu相关联的像素块的块效应。另外，滤波器单元159可根据从码流解析的sao语法元素来修改ctb的像素值。举例来说，滤波器单元159可根据ctb的sao语法元素来确定修正值，且将所确定的修正值加到ctb的重建后的像素块中的采样值。通过修改图片的ctb的部分或全部像素值，滤波器单元159可根据sao语法元素来修正视频数据的重建图片。

视频解码器30可将cu的像素块存储于解码图片缓冲器160中。解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测及显示装置(例如，图3的显示装置32)呈现。举例来说，视频解码器30可根据解码图片缓冲器160中的像素块来对其它cu的pu执行帧内预测操作或帧间预测操作。

本发明是针对上述的预测处理单元100在进行帧内预测过程中对图像块(ctb/ctu)进行划分提出的改进方法。

在本文前述内容中已经介绍了，编码器20的预测处理单元100可以根据上述四叉树联合二叉树的划分方式对图像块进行划分，但是，在采用四叉树联合二叉树对图像块进行划分的过程中存在如下的问题，即，对于一个尺寸2nx2n图像块，如果将其划分为4个nxn的子图像块时，可以通过图9，即图10中的，如下的三种方式来实现。

方式一：请参阅图9，采用四叉树划分，直接将所述2nx2n的图像块划分为4个nxn的子图像块，这种方法可以记为qt；

方式二：请参阅图10(a)，采用二叉树递归划分方式，首先将所述2nx2n的图像块进行水平二叉树划分，得到两个2nxn的子图像块，然后对两个2nxn的子图像块分别进行垂直的二叉树划分，记为hbqt；

方式三，请参阅图10(b)，采用二叉树递归划分方式，首先将所述2nx2n的图像块进行垂直平二叉树划分，得到两个2nxn的子图像块，然后对两个2nxn的子图像块分别进行水平的二叉树划分，记为vbqt。

对于四叉树联合二叉树划分结构，尽管提高了编码块的划分灵活性，但对于一个子图像块，即可以使用四叉树划分得到，又可以使用二叉树划分得到，四叉树划分与二叉树划分之间存在着一定冗余，这种冗余即增加在编码端复杂度上，又增加了划分标志，相应的拖累了解码端，即也增加了解码端的复杂度，以及延时。

此外，通过研究和实验分析发现，虽然这三种不同的划分方法得到的划分结果是相同的，但并不意味着编码结果(压缩效率)完全一样，因为三者之间的划分标志是不同的，另外，四个子块的处理次序也是不同的，如图11所示，左边是qt处理顺序，中间是hbqt处理顺序，右边是vbqt处理顺序，从图中可以看出对于通过qt划分方式得到的nxn的子图像块的处理顺序至少可根据vbqt划分方式得到的nxn的子图像块的处理顺序是不同的，这种处理顺序的不同会导致在编码过程中可用的参考像素的差异，尤其是对于i条带而言，如图12所示，由于不同的处理顺序，会导致使用不同的参考像素。这种可参考像素的差异将会导致编码效率的差异。因此，为了减少编码过程中由于四叉树联合二叉树划分方式产生的冗余，本发明提供一种改进思路，即，一种四叉树联合受限的二叉树划分方法，针对想要得到nxn这种形状的子图像时，当四叉树划分方式可用，二叉树划分方式也可用时，通过限制使用hbqt得到nxn；当四叉树不可用时，允许通过hbqt来得到nxn。对于vbqt的限制性，使用预设的方式，即可以设置为始终限制，也可以设置为始终不限制。，经过研究和实验对比，推荐在i条带的时候不对vbt进行限制，对于p、b条带对vbt进行限制。

基于上述思路，本发明实施例提供一种编码方法，该编码方法可以通过上述的编码器20来实施，需要说明的是以下的编码方法仅将对上述所介绍的编码器20所使用的编码方法中有改进的环节进行说明，而对于未说明的环节，则可以依然适用上述编码器20所使用的编码方法，本发明实施方式提供的编码方法如图13所示，包括：

s132在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时， 应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

对于尺寸为2nx2n的图像，在进行帧内预测过程中，既允许适用四叉树划分，又允许二叉树划分时，为了减少编码过程中由于四叉树联合二叉树划分方式产生的冗余，采用约束的图像处理方式对尺寸为2nxn的第一子图像块以及尺寸为2nxn的第二子图像块进行处理，或者对尺寸为nx2n的第一子图像块以及尺寸为nx2n的第二子图像块进行处理，或者，同时对尺寸为2nxn的第一子图像块和第二子图像块以及尺寸为nx2n的第一子图像块和第二子图像块进行处理，其具体处理方式，即所述约束子图像处理方式包括：

s134判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式对所述第一子图像块进行划分；编码所述第一子图像块的划分方式，以及划分后的所述第一子图像块；

s136判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式对所述第二子图像块进行划分，编码所述第二图像块的图像划分方式，以及划分后的所述第二子图像块，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同，也可以理解为所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn，即，通过对子图像划分方式的约束使得经过二叉树划分 得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

本发明通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。同时通过如下的实验数据也可以证明，对于i条带，当四叉树划分方式可用时，通过约束子图像处理方式，尤其是对上述hbt(水平二叉树划分)进行限制的情况下，可以得到3％的编码复杂度(enct)降低，即，同时对编码性能不产生影响。

在上述编码方法130中，在采用约束子图像处理方式中，所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。例如，所述第一划分方式集合可以包括垂直划分，即水平划分，而所述第二划分方式集合则仅包括水平划分或者仅包括垂直划分，即，所述的第二划分方式的集合为第一划分方式集合的子集。具体地，对于尺寸为2nxn的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括水平划分方式；对于尺寸为nx2n的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括垂直划分方式。通过这种限制方式，可以避免第一子图像块及第二子图像块在处理过程中使用将2nx2n划分成为4个尺寸为nxn的子图像块的划分方式，从而减少冗余， 同时在对第二个子图像进行解码处理过程中，由于限制其使用的划分方法的数量，从而可以减少所读取的码字。此外，对于2nxn的第一子图像块如果采用垂直划分，那么对于2nxn的第二子图像块只允许采用水平划分，这种情况下，可以允许编码方法仅仅编码对于该2nxn的第二子图像块是否进一步划分即可，而不需要编码其具体的划分方式，如果需要进一步划分，那么其划分方式就默认采用水平划分，如此可以进一步的减少编码码字。相应地，对于nx2n的第一子图像块如果采用水平划分，那么对于nx2n的第二子图像块只允许采用垂直划分，这种情况下，可以允许编码方法仅仅编码对于该nx2n的第二子图像块是否进一步划分即可，而不需要编码其具体的划分方式，如果需要进一步划分，那么其划分方式默认采用垂直平划分，如此可以进一步减少编码所需要的码字。

可选地，在对第一子图像块及第二子图像块采用所述约束子图像处理方式处理时，即，进行进一步的二叉树划分时，第一子图像块将先于第二子图像块处理，因此，第二子图像块的划分方式可以依赖与第子图像块的划分方式，即所述第二子图像块的划分方式依赖/受约束于所述第一子图像的划分方式。具体可以是：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为水平划分或者垂直划分。

可选地，在允许四叉树划分的情况下，所述约束子图像处理方式仅对特 定划分方式的子图像块有效，即仅用于处理特定划分方式的子图像块，例如，针对，一个尺寸为2nx2n的图像块，被划分成两个nx2n的第一子图像块以及第二子图像块时，可以采用上述的约束子图像处理方式，具体的，在该划分方式下，所述的约束子图像处理方式可以是：限制所述第二图子图像块不可以使用水平划分方法，即不使用hbt；或者，第二子图像块的划分方式根据第一子图像块的划分方式确定，即，当第一子图像块使用水平划分方式时，第二子图像不可以使用水平划分方式，而当第一子图像块使用垂直划分方式时，第二子图像可以使用水平划分方式或者垂直划分方式。与此同时，当一个尺寸为2nx2n的图像块，被划分成两个2nxn的第一子图像块以及第二子图像块时，所述两个2nxn的第一子图像块和第二子图像块可以采用相同或者不同的划分方式，而不采用所述约束子图像处理方式进行处理。如此，可以增加处理过程的灵活性。

可选地，所述的编码方法130还可以包括：当尺寸为2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块由划分所述尺寸为2nx2n的图像块得到；其中，所述非约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，根据所述第一子图像块的划分方式划分所述第一子图像块，编码所述第一子图像块的划分方式以及划分后的所述第一子图像块，其中，所述第一子图像块的划分方式来自于第一划分方式集合；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，根据所述第二子图像块的划 分方式划分所述第二子图像块，编码所述第二子图像块的划分方式以及划分后的所述第二子图像块，所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中的所有划分方式与第二划分方式集合中的所有划分方式相同。

这种处理方式可以保证当四叉树的划分方式不可以使用的时候，例如，按照现在的规定如果四叉树的叶子节点如果采用二叉树进行划分时，则不可以再采用四叉树对通过二叉树划分得到的叶子节点进行划分，那么在这种情况下，允许通过采用非约束子图像处理方式来获取尺寸为nxn的子图像块可以保证图像能够充分的利用四叉树划分模式下所带来增益。

优选地，上述的约束子图像处理方式用于对i条带(slice)进行编码，也以对p条带，或者b条带进行编码。

对应该编码方法13，本发明实施例还提供一种解码方法，该解码方法可以通过上述的解码器30来实施，需要说明的是以下的解码方法仅将对上述所介绍的解码器30所使用的解码方法中有改进的环节进行说明，而对于未说明的环节，则可以依然适用上述解码器30所使用的解码方法，该解码方法140如图14所示，包括：

s142解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

对于尺寸为2nx2n的图像，在进行帧内预测过程中，既允许适用四叉树划分，又允许二叉树划分时，为了减少编码过程中由于四叉树联合二叉树划分方式产生的冗余，采用约束的图像处理方式对尺寸为2nxn的第一子图像块以及尺寸为2nxn的第二子图像块进行处理，或者对尺寸为nx2n的第一子图像块以及尺寸为nx2n的第二子图像块进行处理，或者，同时对尺寸为2nxn的第一子图像块和第二子图像块以及尺寸为nx2n的第一子图像块和第二子图像块进行处理，其具体处理方式，即所述约束子图像处理方式包括：

s144判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；

s146判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

其中，经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同，也可以理解为所述第一子图像块以及所述第二子图像块中的至少一个经过划分后得到的子图像块的尺寸为非nxn，即，通过对子图像划分方式的约束使得经过二叉树划分得到的子图像块的尺寸与通过四叉树划分得到的子图像块的尺寸产生差异，从而去除冗余。

本发明通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

在上述解码方法140中，在采用约束子图像处理方式中，所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。例如，所述第一划分方式集合可以包括垂直划分，即水平划分，而所述第二划分方式集合则仅包括水平划分或者仅包括垂直划分，即，所述的第二划分方式的集合为第一划分方式集合的子集。具体地，对于尺寸为2nxn的第一子图像块，其第一划分方 式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括水平划分方式；对于尺寸为nx2n的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括垂直划分方式。通过这种限制方式，可以避免第一子图像块及第二子图像块在处理过程中使用将2nx2n划分成为4个尺寸为nxn的子图像块的划分方式，从而减少冗余，同时在对第二个子图像进行解码处理过程中，由于限制其使用的划分方法的数量，从而可以减少所读取的码字。此外，对于2nxn的第一子图像块如果采用垂直划分，那么对于2nxn的第二子图像块只允许采用水平划分，这种情况下，可以允许解码方法仅仅确认对于该2nxn的第二子图像块是否进一步划分即可，而不需要解码其具体的划分方式，如果需要进一步划分，那么其划分方式就默认采用水平划分，如此可以进一步的所需要读取的码流。相应地，对于nx2n的第一子图像块如果采用水平划分，那么对于nx2n的第二子图像块只允许采用垂直划分，这种情况下，可以允许解码方法仅仅确认对于该nx2n的第二子图像块是否进一步划分即可，而不需要解码其具体的划分方式，如果需要进一步划分，那么其划分方式默认采用垂直平划分，如此可以进一步的所需要读取的码流。

可选地，在对第一子图像块及第二子图像块采用所述约束子图像处理方式处理时，即，进行进一步的二叉树划分时，第一子图像块将先于第二子图像块处理，因此，第二子图像块的划分方式可以依赖与第子图像块的划分方式，即所述第二子图像块的划分方式是根据所述第一子图像的划分方式确定。具体可以是：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子 图像块的划分方式为者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为水平划分或者垂直划分。

可选地，在允许四叉树划分的情况下，所述约束子图像处理方式仅对特定划分方式的子图像块有效，即仅用于处理特定划分方式的子图像块，例如，针对，一个尺寸为2nx2n的图像块，被划分成两个nx2n的第一子图像块以及第二子图像块时，可以采用上述的约束子图像处理方式，具体的，在该划分方式下，所述的约束子图像处理方式可以是：限制所述第二图子图像块不可以使用水平划分方法，即不使用hbt，或者，第二子图像块的划分方式根据第一子图像块的划分方式确定，当第一子图像块使用水平划分方式时，第二子图像不可以使用水平划分方式，而当第一子图像块使用垂直划分方式时，第二子图像可以使用水平划分方式或者垂直划分方式。于此，同时，当一个尺寸为2nx2n的图像块，被划分成两个2nxn的第一子图像块以及第二子图像块时，所述第一子图像块和第二子图像块可以采用相同或者不同的划分方式，而不采用所述约束子图像处理方式进行处理。如此，可以增加处理过程的灵活性。

可选地，所述的解码方法140还可以包括：当尺寸为2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块由划分所述尺寸为2nx2n的图像块得到；其中，所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划 分方式解码所述第一子图像块，所述第一子图像块的划分方式来自于第一划分方式集合；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中的所有划分方式与第二划分方式集合中的所有划分方式相同。

这种处理方式可以保证当四叉树的划分方式不可以使用的时候，例如，按照现在的规定如果四叉树的叶子节点如果采用二叉树进行划分时，则不可以再采用四叉树对通过二叉树划分得到的叶子节点进行划分，那么在这种情况下，允许通过采用非约束子图像处理方式来获取尺寸为nxn的子图像块可以保证图像能够充分的利用四叉树划分模式下所带来增益。

优选地，上述的约束子图像处理方式用于对i条带(slice)进行解码，也以对p条带，或者b条带进行解码。

基于上述思路，本发明实施例提供另一种编码方法150，该编码方法150如图15所示，包括：

s152在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；其中，所述约束子图像处理方式包括：

s154确定所述第一子图像的划分方式，编码所述第一图像块的划分方式，并根据所述第一子图像块的划分方式编码所述第一子图像块；以及

s166确定所述第二子图像块的划分方式，编码所述第二图像块的划分方式，并根据所述第二子图像块的划分方式编码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使 得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

该编码方法采用约束子图像处理方式对尺寸为nx2n或者尺寸为2nxn的子图像块进行编码，从而减少了使用四叉树联合二叉树进行图像划分时的冗余。

该实施方式提供的编码方法具备编码方法130所具有的所有有益效果，同时还可以节省码流，此外，无特别说明的情况下，该编码方法150适用于编码方法130的前述的所有扩展方式，为了简洁起见，在此不再重复，对于编码方法130的所有适用的限定即扩展方式均引用至此作为该编码方法150的限定和扩展。

编码方法150与编码方法130的区别在，在解码方法150中，对于尺寸为2nxn的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和水平划分方式；对于尺寸为nx2n的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和垂直划分方式。

此外，所述编码方法150与编码方法130的区别在于，在编码方法150中，所述第二子图像块的划分方式受所述第一子图像块的划分方式约束包括：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为不划分或者水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为不划分、垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为不划分或者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为不划分、水平划分或者垂直划分。

对应该编码方法15，本发明实施例还提供一种解码方法160，该解码方法160如图16所示，该解码方法与解码方法140的区别在于，在该解码方法中， 不需要根据码流预先判断尺寸为nx2n的子图像块，或者2nxn的图像块是否需要进一步划分之后再进行解码，而是直接根据码流图像块的划分指示来解码编码码流，如此可以减少判断的逻辑，进一步的降低解码的复杂度，具体的所述解码方法160具体包括：

s162解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；其中，所述约束子图像处理方式包括：

s164解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

s166解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

该实施方式提供的解码方法具备解码方法140所具有的所有有益效果，同时还可以节省码流，此外，无特别说明的情况下，该解码方法160适用于解码方法140的所有前述的扩展方式，为了简洁起见，在此不再重复，对于解码方法140的所有适用的限定即扩展方式均引用至此作为该解码方法160的限定和扩展。

解码方法160与解码方法140的区别在，在解码方法160中，对于尺寸为2nxn的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和水平划分方式；对于尺寸为nx2n的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合 包括不划分和垂直划分方式。

此外，所述解码方法160与解码方法140的区别在于，在解码方法160中，所述第二子图像块的划分方式受所述第一子图像块的划分方式约束包括：当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为不划分或者水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2nxn，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为不划分、垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为不划分或者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为nx2n时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为不划分、水平划分或者垂直划分。

请参阅图17，本发明还提供一种用来实施编码方法130的编码装置170，该编码装置170具备有与本发明前述介绍的编码器20具有相同的架构，而区别在于，所述编码装置170在进行帧内预测中对图像块进行划分时的划分方式有所不同，而其他的编码处理过程均可以采用编码器20相同的方式来实现。具体的，所述编码装置170包括：

约束编码判断模块172，其用于，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束编码模块174，其用于实施所述约束子图像处理方式，并包括：

第一子图像处理模块1742，其用于，判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式对所述第一子图像块进行划分；编码所述第一子图像块的划分方式，以及划分后的所述第一子图像块；以及

第二子图像处理模块1744，其用于，判断所述第二子图像块是否需要进 一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式对所述第二子图像块进行划分，编码所述第二图像块的图像划分方式，以及划分后的所述第二子图像块，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明编码装置170通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

请参阅图18，本发明还提供一种用来实施解码方法140的解码装置180，该解码装置180具备有与本发明前述介绍的解码器30具有相同的架构，而区别在于，所述解码装置180在进行帧内预测中对图像块进行划分时的划分方式有所不同，而其他的编码处理过程均可以采用解码器30相同的方式来实现。具体的，所述解码装置180包括：

约束解码判断模块182，其用于，解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块，或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块，或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；

约束解码模块184，其用于实施所述的约束子图像处理方式，并包括：

第一子图像处理模块1842，其用于,判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；

第二子图像处理模块1844，其用于，判断所述第二子图像块是否需要进 一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明实施方式提供的解码装置180通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

可选地，所述约束解码判断模块182，还用于，当所述2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对所述第一子图块及所述第二子图像块的编码码流进行处理；对应，所述解码装置180还包括：非约束解码模块186，其用于实施所述的非约束子图像处理方式，所述非约束解码模块包括：

第三子图像处理模块1862，其用于，解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

第四子图像处理模块1864，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中所示第一子图像块的划分方式与所述第二子图像块的划分方式选自相同的划分方式集合。

请参阅图19，本发明还提供一种用来实施编码方法150的编码装置190，该编码装置190具备有与本发明前述介绍的编码器20具有相同的架构，而区别在于，所述编码装置190在进行帧内预测中对图像块进行划分时的划分方式有所不同，而其他的编码处理过程均可以采用编码器20相同的方式来实 现。具体的，所述编码装置190包括：

约束编码判断模块192，其用于，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得到；以及

约束编码模块194，其用于实施所述约束子图像处理方式，并包括：

第一子图像处理模块1942，其用于，确定所述第一子图像的划分方式，编码所述第一图像块的划分方式，并根据所述第一子图像块的划分方式编码所述第一子图像块；以及

第二子图像处理模块1944，其用于，确定所述第二子图像块的划分方式，编码所述第二图像块的划分方式，并根据所述第二子图像块的划分方式编码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明编码装置190通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

请参阅图20，本发明还提供一种用来实施解码方法160的解码装置210，该解码装置210具备有与本发明前述介绍的解码器30具有相同的架构，而区别在于，所述解码装置210在进行帧内预测中对图像块进行划分时的划分方式有所不同，而其他的编码处理过程均可以采用解码器30相同的方式来实现。具体的，所述解码装置210包括：

约束解码判断模块212，其用于，解析码流，在尺寸为2nx2n的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2nxn第一子图像块及第二子图像块或者尺寸为nx2n的第一子图像块及第二子图像块进行处理，其中所述2nxn第一子图像块及第二子图像块或者所述nx2n的第一子图像块及第二子图像块通过划分所述尺寸为2nx2n的图像块得 到；

约束解码模块214，其用于实施所述的约束子图像处理方式，并包括：

第一子图像处理模块2142，其用于,解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；

第二子图像处理模块2144，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式(pattern)与采用四叉树方式划分所述2nx2n的图像块后得到的图像块划分模式(pattern)不同。

本发明实施方式提供的解码装置210通过上述的约束子图像处理方式，来对尺寸为2nxn的第一子图像块和第二子图像块和/或尺寸为nx2n的第一子图像和第二子图像块进行约束处理，从而可以减少四叉树联合二叉树划分过程中所存在的冗余。

可选地，所述约束解码判断模块212，还用于，当所述2nx2n的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对所述第一子图块及所述第二子图像块的编码码流进行处理；对应，所述解码装置210还包括：非约束解码模块216，其用于实施所述的非约束子图像处理方式，所述非约束解码模块216包括：

第三子图像处理模块2162，其用于，解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及

第四子图像处理模块2164，其用于，解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中所示第一子图像块的划分方式与所述第二子图像块的划分方式选自相同的划分方式集合。

本发明上述实施方式中介绍的编码装置及解码装置可以应用于各种电子装置中，示例性的，下面给出本发明实施例应用于电视设备和移动电话设备的例子。

图21是本发明实施例适用于电视机应用的示意性结构图。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

调谐器902从经天线901接收到的广播信号提取期望频道的信号，并且解调提取的信号。调谐器902随后将通过解调获得的编码比特流输出到多路解复用器903。也就是说，调谐器902在接收编码图像的编码流的电视设备900中用作发送装置。

多路解复用器903从编码比特流分离将要观看的节目的视频流和音频流，并且将分离的流输出到解码器904。多路解复用器903还从编码比特流提取辅助数据，例如，电子节目指南，并且将提取的数据提供给控制器910。如果编码比特流被加扰，则多路解复用器903可对编码比特流进行解扰。

解码器904对从多路解复用器903输入的视频流和音频流进行解码。解码器904随后将通过解码产生的视频数据输出到视频信号处理器905。解码器904还将通过解码产生的音频数据输出到音频信号处理器907。

视频信号处理器905再现从解码器904输入的视频数据，并且在显示单元906上显示视频数据。视频信号处理器905还可在显示单元906上显示经网络提供的应用画面。另外，视频信号处理器905可根据设置对视频数据执行额外的处理，例如，噪声去除。视频信号处理器905还可产生gui(图形用户界面)的图像并且将产生的图像叠加在输出图像上。

显示单元906由从视频信号处理器905提供的驱动信号驱动，并且在显示装置，例如，液晶显示器、等离子体显示器或oeld(有机场致发光显示器)的视频屏幕上显示视频或图像。

音频信号处理器907对从解码器904输入的音频数据执行再现处理，例如，数模转换和放大，并且通过扬声器908输出音频。另外，音频信号处理器907可对音频数据执行额外的处理，例如，噪声去除。

外部接口909是用于连接电视设备900与外部装置或网络的接口。例如， 经外部接口909接收的视频流或音频流可由解码器904解码。也就是说，外部接口909也在接收编码图像的编码流的电视设备900中用作发送装置。

控制器910包括处理器和存储器。存储器存储将要由处理器执行的程序、节目数据、辅助数据、经网络获取的数据等。例如，当电视设备900启动时，存储在存储器中的程序由处理器读取并且执行。处理器根据从用户接口911输入的控制信号控制电视设备900的操作。

用户接口911连接到控制器910。例如，用户接口911包括用于使用户操作电视设备900的按钮和开关以及用于接收遥控信号的接收单元。用户接口911检测由用户经这些部件执行的操作，产生控制信号，并且将产生的控制信号输出到控制器910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910彼此连接。

在具有这种结构的电视设备900中，解码器904具有根据上述实施例的视频解码装置的功能。

图22是本发明实施例适用于移动电话应用的示意性结构图。移动电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编码解码器923。操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930和控制器931彼此连接。

移动电话装置920在各种操作模式下执行操作，例如，音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像的拍摄、数据的记录等，所述各种操作模式包括语音呼叫模式、数据通信模式、成像模式和视频电话模式。

在语音呼叫模式下，由麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，对转换的音频数据执行模数转换，并且压缩音频数据。音频编码解码器923随后将作为压缩结果得到的音频数据输出到通信单元922。通信单元922对音频数据进行 编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以产生音频数据，并且将产生的音频数据输出到音频编解码器923。音频编解码器923解压缩音频数据并且对音频数据执行数模转换以产生模拟音频信号。音频编码解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。

在数据通信模式下，例如，控制器931根据由用户经操作单元932的操作产生将要被包括在电子邮件中的文本数据。控制器931还在显示单元930上显示文本。控制器931还响应于经操作单元932来自用户的用于发送的指令产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制器931。控制器931在显示单元930上显示电子邮件的内容，并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是内部存储介质，或者可以是在外部安装的存储介质，例如，硬盘、磁盘、磁光盘、usb(通用串行总线)存储器或存储卡。

在成像模式下，相机单元926对对象成像以产生图像数据，并且将产生的图像数据输出到图像处理器927。图像处理器927对从相机单元926输入的图像数据进行编码，并且将编码流存储在存储/再现单元929的存储介质中。

在视频电话模式下，多路解复用器928多路复用由图像处理器927编码的视频流和从音频编码解码器923输入的音频流，并且将多路复用流输出到通信单元922。通信单元922对多路复用流进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。待发送的信号和接收到的信号可 包括编码比特流。通信单元922随后对接收到的信号进行解调和解码以恢复流，并且将恢复的流输出到多路解复用器928。多路解复用器928从输入流分离视频流和音频流，将视频流输出到图像处理器927并且将音频流输出到音频编解码器923。图像处理器927对视频流进行解码以产生视频数据。视频数据被提供给显示单元930，并且一系列图像由显示单元930显示。音频编解码器923解压缩音频流并且对音频流执行数模转换以产生模拟音频信号。音频编解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。

在具有这种结构的移动电话装置920中，图像处理器927具有根据上述实施例的视频编码装置和视频解码装置的功能。

在一个或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一个或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体而发送，且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非瞬时的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或多个计算机或一个或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

通过实例而非限制，某些计算机可读存储媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(dsl)或无线技术(例如，红外线、无线电及微波)而从网站、服务器或其它远程源发送指令，则同轴电缆、光缆、双绞线、dsl或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是有关非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字影音 光盘(dvd)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。以上各物的组合还应包含于计算机可读媒体的范围内。

可由例如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其它等效集成或离散逻辑电路等一个或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。

本发明的技术可以广泛地由多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(ic)或ic集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。确切地说，如上文所描述，各种单元可组合于编解码器硬件单元中，或通过交互操作性硬件单元(包含如上文所描述的一个或多个处理器)的集合结合合适软件及/或固件来提供。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请所提供的实施例中，应理解，“与a相应的b”表示b与a相关联， 根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。