用于混合帧内预测的方法和设备与流程

当前实施例中的至少一个一般涉及用于视频编码和解码的方法或设备，并且更具体地，涉及用于使用用于正编码和解码的当前块的像素的混合帧内预测子、执行帧内预测的方法或设备。通过利用对应权重、对使用要用于当前块的帧内预测方向的预测子和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子求和，来确定混合帧内预测子。
背景技术：
：为了达到高压缩效率，图像和视频编码方案通常采用预测和变换以补充(1everage)视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像块和预测图像块之间的差异(通常表示为预测误差或预测残差)进行变换、量化、和熵编码。为了重构视频，通过对应于预测、变换、量化、和熵编码的逆处理，来解码所压缩的数据。视频压缩中的帧内预测是指使用来自因果相邻块(即，同一帧中已被编码或解码的相邻块)的信息对像素块进行空间预测。帧内预测是一种强大的编码工具，因为它允许帧内以及帧间的高压缩效率。因此，帧内预测已被包括在许多视频压缩标准中作为核心编码工具，包括但不限于h.264/avc(高级视频编码)、h.265/hevc(高效视频编码)和jvet(联合视频探索小组)开发的h.266。技术实现要素：根据至少一个实施例的一般方面，提出了一种用于编码视频数据的方法，包括：获得用于要编码的当前块的帧内预测方向；获得所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；获得所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而获得所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行编码。根据至少一个实施例的另一一般方面，提出了一种用于解码视频数据的方法，包括：获得要解码的当前块的帧内预测方向；获得所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；获得所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而获得所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行解码。根据至少一个实施例的另一一般方面，提出了一种用于编码视频数据的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：获得要编码的当前块的帧内预测方向；获得所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；获得所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而获得所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行编码。根据至少一个实施例的另一一般方面，一种用于解码视频数据的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：获得要解码的当前块的帧内预测方向；获得所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；获得所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而获得所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行解码。根据至少一个实施例的另一一般方面，一种比特流，其被格式化为包括视频数据的已编码块，其中所述视频数据的已编码块通过以下方式编码：获得要编码的视频数据块的帧内预测方向；获得所述视频数据块的一个或多个相邻块的一个或多个对应帧内预测方向；获得所述视频数据块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用视频数据块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而获得所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对所述视频数据块进行编码。本实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有用于根据上述方法对视频数据进行编码或解码的指令。本实施例还提供一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供用于传送或接收根据上述方法生成的比特流的方法和设备。附图说明图1图示了示例性视频编码器的框图。图2a是描绘了用于hevc中的帧内预测的参考样本的图示示例，图2b是描绘了hevc中的帧内预测方向和对应模式的图示示例，图2c是描绘了jvet正在开发的jem(联合探索模型)中的帧内预测方向和对应模式的图示示例。图3图示了示范性视频解码器的框图。图4以图形方式图示了在jem中用于最可能模式(mpm)编码和解码所使用的五个可能的相邻候选者。图5图示了使用预测块用于画面的帧内预测。图6图示了如何取决于画面内容将画面细分为具有不同大小的较小编码块。图7以图形方式图示了用于hevc中的帧内模式34和30-33的边界预测滤波器。图8图示了使用当前和邻近预测子及其对应方向的概念上和图形上的混合帧内预测。图9a图示了根据示例性实施例的加权值(在y轴上)对以像素数为单位的与对应相邻候选者的像素距离(在x轴上)的曲线图，图9b还图示了根据另一示例性实施例的加权值(在y轴上)对以像素数为单位的与对应相邻候选者的像素距离(在x轴上)的另一曲线图。图10图示了根据实施例的用于具有子块的画面的混合帧内预测。图11还图示了根据实施例的用于具有子块的画面的混合帧内预测。图12图示了根据实施例的视频编码的示例性方法。图13图示了根据实施例的视频解码的示例性方法。图14图示了根据实施例的视频编码的另一示例性方法。图15图示了根据实施例的视频解码的示例性方法。图16图示了根据实施例的用于确定是否要使用混合帧内预测的示例性方法。图17图示了根据实施例的应用于已经细分为4个不同子块的块的混合帧内预测。图18图示了其中可以实现示例性实施例的各个方面的示例性设备的框图。具体实施方式图1图示了示例性视频编码器100，诸如hevc编码器。hevc是由视频编码联合协作小组(jct-vc)开发的压缩标准(例如，参见“itu-th.265telecommunicationstandardizationsectorofitu(10/2014)，seriesh：audiovisualandmultimediasystems，infrastructureofaudiovisualservicescodingofmovingvideo，highefficiencyvideocoding，recommendationitu-th.265”)。图1还可以图示其中对hevc标准进行改进的编码器或采用类似于hevc的技术的编码器，诸如基于jvet正在开发的jem(联合探索模型)或在其基础上改进的编码器。在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，并且术语“画面”和“帧”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。hevc规范区分“块”和“单元”，其中“块”寻址样本阵列中的特定区域(例如亮度，y)，而“单元”包括所有编码的颜色分量(y、cb、cr或单色)、语法元素、和与块相关联的预测数据(例如，运动向量)的并置块。为了进行编码，将画面分区为具有可配置大小的方形编码树块(ctb)，并将编码树块的连续集合分组为切片。编码树单元(ctu)包含已编码颜色分量的ctb。ctb是分区为编码块(cb)的四叉树的根，并且编码块可以分区为一个或多个预测块(pb)，并形成分区为变换块(tb)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(cu)包括预测单元(pu)和树状结构的变换单元(tu)集，pu包括所有颜色分量的预测信息，并且tu包括每个颜色分量的残差编码语法结构。亮度分量的cb、pb和tb的大小适用于对应的cu、pu和tu。在本申请中，术语“块”可以用来指代ctu、cu、pu、tu、cb、pb和tb中的任一个。另外，“块”还可用于指代h.264/avc或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种大小的数据阵列。在图1的示例性编码器100中，如下所述，通过编码器元件对画面进行编码。将要编码的画面以cu为单位进行处理。使用帧内或帧间模式对每个cu进行编码。当cu以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器判断(105)使用帧内模式或帧间模式中的哪一个来对cu进行编码，并且通过预测模式标志指示帧内/帧间判断。通过从原始图像块中减去(110)已预测块，来计算预测残差。然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。编码器还可以跳过该变换，并以4x4tu为基础将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，直接对残差进行编码，而不应用变换或量化处理。在直接pcm编码中，不应用任何预测，并且将编码单位样本直接编码为比特流。编码器对已编码的块进行解码，以为进一步的预测提供参考。对量化的变换系数进行反量化(140)并进行逆变换(150)以解码预测残差。在组合(155)已解码的预测残差和已预测块的情况下，重构图像块。环内滤波器(165)被应用于重构的画面，以例如执行解块/sao(样本自适应偏移)滤波以减少编码伪像。滤波后的图像存储在参考画面缓冲器(180)中。图3图示了示例性视频解码器300(例如，hevc解码器)的框图。在示例性解码器300中，如下所述，由解码器元件对比特流进行解码。视频解码器300一般执行与图1所示的编码遍历(pass)相对应的解码遍历，其执行视频解码作为编码视频数据的一部分。图3还可以图示其中对hevc标准进行改进的解码器或采用类似于hevc的技术的解码器，例如基于jem或在其基础上改进的解码器。特别地，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对该比特流进行熵解码(330)以获得变换系数、运动向量和其他已编码信息。对变换系数进行反量化(340)和逆变换(350)以解码预测残差。在组合(355)已解码预测残差和已预测块的情况下，重构图像块。可以从帧内预测(360)或运动补偿预测(即帧间预测)(375)获得(370)已预测块。可以使用高级运动向量预测(amvp)和合并模式技术来导出用于运动补偿的运动向量，该运动向量可以使用内插滤波器来计算用于参考块的子整数样本的内插值。环内滤波器(365)被应用于重构的图像。滤波后的图像被存储在参考画面缓冲器(380)中。为了利用空间冗余，从同一切片内的重构相邻样本中预测帧内模式下的cu。当考虑当前cu的编码/解码时，因果相邻cu已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器两者使用来自重构/解码的相邻因果cu的信息，以形成对于当前cu的预测。hevc中的帧内预测处理包括三个步骤：(1)参考样本生成，(2)帧内样本预测，和(3)预测样本的后处理。在图2a中图示了用于帧内预测的示例性hevc参考样本，其中参考样本候选是目标块(未阴影)的上边行(阴影)和左边列(也阴影)。坐标(x，y)处的像素值在图2中由p(x，y)示出。对于大小为n×n的cu，由解码的cu形成上边一行2n个解码样本。类似地，由解码的cu形成左边一列2n个样本。来自左上方解码的cu的拐角像素用于填充上边行和左边列参考之间的间隙。如果某些样本不可用，例如，当对应cu不在同一切片中或当前cu在帧边界时，则执行参考样本替换，其中沿着顺时针方向从可用样本复制丢失的样本。然后，取决于当前cu大小和预测模式，使用指定的滤波器对参考样本进行滤波。下一步骤，即帧内样本预测，在于基于参考样本预测目标cu的像素。为了有效地预测不同种类的内容，hevc支持多种预测模式。特别地，使用平面和dc预测模式来预测平滑且逐渐变化的区域，而使用定向预测模式(也称为“角度预测模式”)来捕获不同的方向结构。hevc支持从2到34编索引的33个定向预测模式。这些预测模式对应于如图2b所示的不同预测方向，其中数字(即，2、3、......、34)表示帧内预测模式索引。在jem中，与hevc相比，当前的建议增加了帧内预测模式的数目。例如，如图2c所示，除了平面模式0和dc模式1外，jem3.0使用65种定向帧内预测模式。按照与图2b所示hevc中从2到34相同的方式，这些定向帧内预测模式以递增顺序从2到66编号。这65种定向预测模式包括hevc中规定的33种定向预测模式、加上与两个原始角度之间的角度对应的32种附加定向预测模式。换句话说，jem中的预测方向具有hevc的角度分辨率的两倍。已经提出了更多数目的预测模式，以利用具有提出的更大块尺寸的更精细的角度结构的可能性。由于存在多个可用的帧内预测模式，所以解码器需要模式信息来形成对于帧内编码的cu的预测。在hevc中，可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式被包含在三个最可能模式(mpm)的构造列表中，则通过mpm列表中的索引发信号通知该模式。否则，通过模式索引的固定长度二进制化，来发信号通知该模式。在jem中，mpm方法基于这样的算法，其中考虑5个相邻的候选位置，即左(l)、上(a)、左下(bl)、右上(ar)、和左上(al)，如图4所示。一些预测模式，例如dc模式以及直接水平(即，hevc中的模式10，jem中的模式18，也称为“hor”)和直接垂直模式(即，hevc中的模式26，jem中的模式50，也称为“ver”)，可能导致预测样本的cu边界处的不连续。因此，在hevc以及jem中，这种预测模式之后跟随后处理步骤，其中使用低通滤波器对预测样本的边界进行平滑化。这里，直接水平模式是指当目标块左侧的参考样本向右水平重复用于帧内预测时的预测模式。类似地，直接垂直模式是指当目标块上边的参考样本垂直向下重复用于帧内预测时的预测模式。本示例性实施例的各方面涉及改进用于视频编码和解码的帧内预测。例如，本实施例将帧内预测扩展到当前块的边界之外，以对具有不同预测方向的块之间的过渡(transition)进行平滑化。提出了创建一种混合模式，该混合模式混合使用用于当前块的方向的预测以及使用相邻块所使用的方向的预测。本实施例通过组合邻域的模式和当前模式，来对于其因果邻域带来补充信息的块改进帧内预测效率。本实施例旨在减少块边界处的预测不连续性。注意，如前所述，当前在jem中通过帧内块边界滤波器来解决块边界不连续性，但是jem没有考虑相邻块的预测方向。在现有的编解码器中，帧内预测旨在构造当前块的第一版本，称为预测子，其使得要在比特流中传送的残差信号的能量最小化，如图5所示。在频域中对残差进行变换，然后进行量化和编码。因此，目标通常不是提供最佳的视觉上令人满意的预测子，而是使得编码或传送的数据的成本最小化的、使用可用样本的构造。例如，在块位于对象边界、弯曲边缘或变化纹理的情况下，编码器可能具有以下选项：-使用最佳匹配定向模式，-使用dc或平面，或-在可能的情况下，拆分该块，使得按照更多语法元素的成本，更好地预测较小的子块。例如，对象的弯曲边界将使得编码器沿着边缘选择较小的块，使得直向模式可以近似该形状，如图6所示。因此，弯曲的边缘以及变化的纹理大多使用小块进行编码。然而，现有的定向模式在于沿固定方向传播或复制参考样本。因此，例如，通过多条直线来预测曲线。因此，该预测一般不太有效。如前所述，对于帧内预测的某些方向，为了对块边界处的预测不连续性进行平滑化，沿着未用于预测的边缘应用滤波器。在hevc中，在已经针对ver和hor帧内模式生成帧内预测块之后，分别进一步调整预测样本的最左列和最上行。此方法已在jem中进一步扩展到几种对角帧内模式，并且使用两抽头(用于帧内模式2和34)或三抽头滤波器(用于帧内模式3-6和30-33)进一步调整多达四列或四行的边界样本。用于帧内模式34和30-33的边界预测滤波器的示例在图7中示出，并且用于帧内模式2和3-6的边界预测滤波器是相似的，但是未示出。应当注意，在图7中，示出了用于hevc模式的过滤。在更新版本的jem中，如前所述，该方法已扩展到67种模式。为了更好地预测对象和纹理的变化的空间方向、并对具有不同预测方向的块之间的过渡进行平滑化，本实施例使用混合帧内预测来导出用于正编码或解码的当前块的混合帧内预测子。该概念在图8中进行了图形方式地图示。混合帧内预测将帧内预测扩展到块的边界之外，以创建这样的混合模式，该混合模式混合经典意义的根据当前块的方向的预测(例如，如在h.264或hevc中使用的那样，并且如图8的a)所示)、和根据相邻块所使用的方向的预测(例如，如图8的b)所示)。使用相邻块的预测方向来创建多个预测候选，然后使用加权和与经典当前块预测组合，该加权和有利于与给定相关邻域更接近的像素的给定预测(例如，如图8的c)所示)。根据本实施例的各方面，为了构造当前帧内预测，使用已编码或解码的相邻块的帧内预测方向来生成暂时预测。还计算具有编码或解码模式的当前块的经典预测作为暂时预测。然后，将这些暂时预测组合作为加权和，使得用于预测的对应权重随着被编码或解码的当前块的像素与对应相邻块的距离的增加而减小，并且权重之和等于1。因此，本实施例确保块之间的平滑过渡的产生，并且当像素进一步离开已经编码或解码的邻域时，向经典预测给予更多重要性。在一个实施例中，对于大小为w×h的当前块，将执行以下操作：-标识诸如用于mpm导出的相关邻域位置(例如，如图4所示)，-计算已编码/已解码并具有帧内预测的每个邻域n∈{left，above，right，below}一个预测pn，其中计算预测意味着对当前块进行经典预测，但具有对于块n使用/编码的预测方向，-使用针对当前块编码的预测方向，来计算当前块的经典预测pc，-通过如下组合预测来计算最终预测pfinal：pfinal(x，y)＝wc(x，y)×pc(x，y)+∑n∈{left，above...}wn(x，y)×pn(x，y)(1)wi为权重，i∈{c，left，above，right，below}，对于当前块wi＝wc，i＝current，wi(i≠c)取决于在坐标(x，y)处的像素((0，0)为当前块的左上像素)到邻域i的距离，并且∑iwi(x，y)＝1应用于预测pi：○对于i＝左，其中w是当前块的宽度○对于i＝上，其中h为当前块的高度○对于i＝右，○对于i＝下，○对于当前块预测，wc(x，y)＝1-∑i≠cwi(x，y)图9a以图形方式图示了基于上述加权计算的权重值(在y轴上)对以像素数为单位的与对应相邻候选者的像素距离(在x轴上)的曲线图，其中wleft(x，y)并且w＝16。这里使用了四个邻域。应当注意，可以使用不同的邻域位置集合，并且也可以使用更多或更少的邻域。注意，可以利用定点算法来实现加权，例如，通过将所有wi乘以m＝2m(例如，m＝5)并然后将结果除以m，其中可以通过右移实现除法运算：使用这些等式，组合区域的宽度(其中wi＞0)取决于块大小：1个像素用于大小4，2个像素用于大小8，依此类推。在另一非限制性示例性实施例中，可以如下计算另一加权计算的集合：○其中wc(x，y)＝1-∑i≠cwi(x，y)用于当前块预测。图9b图示了根据上述第二示例性实施例的基于加权计算的加权值(在y轴上)对以像素数为单位的与对应相邻候选者的像素距离(在x轴上)的曲线图。在又一非限制性示例性实施例中，可以如下计算另一加权计算的集合：○w0＝.5，w1＝.3，w2＝.1，wk＝0，如果k＞2其中wc(x，y)＝1-∑i≠cwi(x，y)用于当前块预测，另外，本实施例的示例性方面说明具有用于考虑的当前块和/或用于用作加权和的一部分的相邻块的子块的可能性。在示例性实施例中，按每个子块执行预测。基本原理是处置其中沿界线或边界拆分邻域的块。如图10所示，当前块沿以上块边缘可以具有几个邻域，每个邻域具有其自己的预测模式。在这种情况下，预测pn由最接近的邻域定义，即，紧靠当前块的上边缘上侧的子块、或者紧靠当前块或子块的左边缘左侧的块或子块。再次参考图10，对于当前块的子块1中的像素，“上1(above1)”块将被用作上相邻块，并且对于当前块的子块2中的像素，“上2(above2)”块将被用作上相邻块。注意，子块2的左边缘可能不需要考虑左相邻子块，因为左侧的子块具有与子块2相同的方向(实际上，它在同一块中)。图11示出了另一示例性实施例，其为图10所示的先前实施例提供了附加优点。如前所述，当当前块沿一个块边缘具有几个邻域，每个邻域具有其自己的预测模式时，可以通过子块来完成混合帧内预测。然而，在子块边界处，为了避免来自不同邻域(例如，上1和上2)的混合帧内预测之间的突然变化，这些预测也将在子块边界附近进行混合。在这种情况下，针对整个块的每个相邻子块建立暂时预测。例如，如图10所示的情况那样，对于当前块，利用邻域的方向计算三个暂时预测，并利用当前块的方向计算一个暂时预测。然后，这些暂时预测如上所述被一起求和，而子块1没有任何改变。对于子块2，取而代之的是如下计算加权或权重：○对于i＝上1○对于i＝上2在又一非限制性示例性实施例中，对于子块1，取而代之的是可以如下计算加权或权重，而不附加考虑上2相邻块：○对于i＝上2○对于i＝上1○对于i＝左基于以上并且如图11所示，由于当前的混合帧内预测考虑并混合了顶部相邻子块的不同方向，因此顶部的子块1和子块2之间的边界现在被平滑化。这降低了子块边界附近的、来自当前块顶部的上1和上2相邻块的混合预测之间的突变。图12图示了根据实施例的由用于编码视频数据的编码器(例如，图1中的编码器100)执行的示例性编码方法1200。在步骤1210，编码器确定用于要编码的当前块所要使用的帧内预测方向。在步骤1220，编码器确定当前块的一个或多个相邻块的一个或多个对应的帧内预测方向。在步骤1230，编码器确定当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用要用于当前块的帧内预测方向的预测子、与使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子求和来确定该加权和，并且一个或多个相邻块的对应权重随着像素与一个或多个相邻块的距离增加而减小。在步骤1240，编码器使用具有加权和的混合帧内预测子对当前块进行编码。在步骤1250，也对当前块的帧内预测方向进行编码。图13图示了根据实施例的由用于解码视频数据的解码器(例如，图3中的解码器300)执行的示例性解码方法1300。在步骤1310，解码器确定用于要解码的当前块所要使用的帧内预测方向。在步骤1320，解码器确定当前块的一个或多个相邻块的一个或多个对应帧内预测方向。在步骤1330，解码器确定当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用要用于当前块的帧内预测方向的预测子、与使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子求和来确定该加权和，并且一个或多个相邻块的对应权重随着像素与一个或多个相邻块的距离增加而减小。在步骤1340，解码器使用具有加权和的混合帧内预测子对当前块进行解码。如图12和图13所示，对于用于混合帧内预测的一个块，仍然仅编码或解码一个帧内预测模式。然而，在混合帧内预测中也使用相邻帧内预测方向，以使得块边界不连续性平滑化。在一个非限制性示例性实施例中，在编码器处对指示使用混合帧内预测的信令标志或语法元素进行编码，并将其发送至解码器。图14图示了由编码器执行的这种示例性编码方法1400。在图14的步骤1410处，编码器确定当前块的左边缘和/或上边缘对于混合帧内预测是否合格。如果确定为否，则在步骤1420，不使用混合帧内预测，并且不需要或不对混合帧内预测模式标志或语法元素进行编码。另一方面，如果确定为是，则在步骤1430，使用混合帧内预测，并且对混合帧内预测模式标志或语法元素进行编码，并将其发送至解码器。图15图示了由解码器执行的示例性解码方法。在图15的步骤1510处，解码器确定当前块的左边缘和/或上边缘对于混合帧内预测是否合格，例如，存在相邻帧内预测。如果确定为否，则在步骤1520，不使用混合帧内预测。另一方面，如果确定为是，则在步骤1530，对混合帧内预测标志进行解码。在步骤1540，进行确定以查看解码的混合帧内预测标志是否为真(例如，＝1)。如果否，则在步骤1550中不使用混合帧内预测。如果是，则在步骤1560中使用混合帧内预测用于左/上边缘。在另一非限制性示例性实施例中，针对每个编码单元发信号通知上述混合帧内预测模式标志或语法元素。在另一非限制性示例性实施例中，当相邻块或子块使用帧内预测并且因此不需要指示使用混合帧内预测的专用信令标志或语法元素时，总是使用混合帧内预测。在另一非限制性示例性实施例中，如果用于当前块的帧内预测方向与用于一个或多个相邻块的一个或多个对应帧内预测方向之一之间的差大于阈值，仅应用混合帧内预测。在又一非限制性示例性实施例中，如果当前块的高度或宽度大于阈值，仅应用混合帧内预测。例如，仅当边缘长度大于或等于8个像素时，才在边缘上应用混合帧内预测，如下表格1所定义的那样：表格1块大小(wxh)混合帧内预测使用4x4无混合帧内预测4x8仅左边缘的混合帧内预测8x4仅上边缘的混合帧内预测8x8两个边缘的混合帧内预测16x4仅上边缘的混合帧内预测图16图示了合并本实施例的各方面的另一示例性方法1600。可以在编码器或解码器侧使用方法1600。在步骤1610，进行确定以查看是否对左和/或上相邻块进行帧内编码。如果确定为否，则在步骤1620，不使用混合帧内预测。另一方面，如果确定为是，则在步骤1630，进行另一确定以查看用于当前块的帧内预测方向与一个或多个相邻块的一个或多个对应帧内预测方向之一之间的差是否大于阈值，其中阈值是4个定向模式差异(例如，jem帧内预测角度模式7和模式2之间的差异将是5，其大于阈值4)。如果在步骤1630的确定为否，则在步骤1640，不使用混合帧内预测。另一方面，如果在步骤1630的确定为是，则在步骤1650，进行另一确定以查看当前块的宽度或高度是否大于或等于8，如上表格1所示。如果在步骤1650的确定为否，则在步骤1660，不使用混合帧内预测。另一方面，如果在步骤1650的确定为是，则在步骤1670，将混合帧内预测应用于当前块的合格边缘。在另一非限制性示例性实施例中，例如，将当前块细分为四个不同的子块，但是没有对紧靠上侧和左侧的相邻块进行细分，如图17所示。当预测的方向针对当前块内的每个子块改变时，该实施例是有趣的。因此，本实施例与先前提出和已知的重叠块帧内预测(obip)的不同之处在于，本实施例提供了用于一个或多个相邻块的权重，该权重随着所考虑的像素与一个或多个相邻块的距离的增加而减小。另外，本实施例说明用于正考虑的当前块或其参考相邻块的子块的可能性。以上描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非需要步骤或动作的特定顺序用于方法的正确操作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。如上所述的根据本实施例的各种方法可以用于修改例如图1和图3中分别示出的jvet或hevc编码器100和解码器300的帧内预测模块(160，360)。此外，本实施例不限于jvet或hevc，并且可以应用于其他标准、建议及其扩展。上面描述的各个方面和/或实施例可以单独或组合使用。在本申请中使用各种数值，例如，用于接通/关断混合帧内预测的模式差阈值、以及权重计算方程中使用的常数。应当注意，特定值是出于示例性目的，并且本实施例不限于这些特定值。图18图示了其中可以实现示例性实施例的各个方面的示例性系统的框图。系统1800可以实施为包括以下描述的各种组件的装置，并且被配置为执行上述处理。这样的装置的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、和服务器。系统1800可以可通信地耦合到其他类似系统，并且经由如图18所示并且如本领域技术人员所知的通信信道耦合到显示器，以实现上述示例性视频系统。系统1800可以包括至少一个处理器1810，该至少一个处理器1810被配置为执行加载在其中的指令用于实现如上所述的各种处理。处理器1810可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1800还可以包括至少一个存储器1820(例如，易失性存储器件、非易失性存储器件)。系统1800可以另外包括储存装置1820，其可以包括非易失性存储器，包括但不限于eeprom、rom、prom、ram、dram、sram、闪存、磁盘驱动器、和/或光盘驱动器。作为非限制性示例，储存装置1840可以包括内部储存装置、附接的储存装置和/或网络可访问的储存装置。系统1800还可包括编码器/解码器模块1830，其被配置为处理数据以提供编码视频或解码视频。编码器/解码器模块1830表示可以被包括在装置中以执行编码和/或解码功能的(多个)模块。众所周知，装置可以包括编码和解码模块之一或两者。另外，编码器/解码器模块1830可以被实现为系统1800的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入处理器1810内。要加载到处理器1810上以执行上述各种处理的程序代码可以存储在储存装置1840中，并随后加载到存储器1820上用于由处理器1810执行。根据示例性实施例，(多个)处理器1810、存储器1820、储存装置1840和编码器/解码器模块1830中一个或多个可在执行本文上面讨论的处理期间存储各个项目中的一项或多项，包括但不限于输入视频、解码视频、比特流、方程式、公式、矩阵、变量、运算、和运算逻辑。系统1800还可包括使能经由通信信道1860与其他装置进行通信的通信接口1850。通信接口1850可以包括但不限于被配置为从通信信道1860传送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实现。系统1800的各个组件可以使用各种合适的连接而连接或通信耦合到一起，包括但不限于内部总线、电线、和印刷电路板。示例性实施例可以由处理器1810实现的计算机软件、或硬件、或硬件和软件的组合来执行。作为非限制性示例，示例性实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1820可以是适合技术环境的任何类型，并且可以使用任何适当的数据储存技术来实现，例如，光学存储装置、磁存储装置、基于半导体的存储装置、固定存储器和可移除存储器。作为非限制性示例，处理器1810可以是适合于技术环境的任何类型，并且可以包括基于多核架构的微处理器、通用计算机、专用计算机和处理器中的一个或多个。本文描述的实现方式可以例如以方法或处理、设备、软件程序、数据流、或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以其他形式(例如，设备或程序)来实现。设备可以例如以适当的硬件、软件和固件来实现。所述方法可以在例如诸如处理器之类的设备中实现，该设备一般指代处理装置，包括例如计算机、微处理器、集成电路、或可编程逻辑器件。处理器还包括通信装置，例如计算机、手机、便携式/个人数字助理(“pda”)、和有助于最终用户之间的信息通信的其他装置。根据至少一个实施例的一般方面，提出了一种用于编码视频数据的方法，包括：确定用于要编码的当前块的帧内预测方向；确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；确定所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行编码。根据至少一个实施例的另一一般方面，提出了一种用于解码视频数据的方法，包括：确定用于要解码的当前块的帧内预测方向；确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；确定所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，而确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行解码。根据至少一个实施例的另一一般方面，提出了一种用于编码视频数据的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：确定用于要编码的当前块的帧内预测方向；确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；确定所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行编码。根据至少一个实施例的另一一般方面，提出了一种用于编码视频数据的设备，包括：用于确定用于要编码的当前块的帧内预测方向的部件；用于确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向的部件；用于确定所述当前块的像素的混合帧内预测子的加权和的部件，其中通过利用对应权重对使用当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和用于使用具有所述加权和的混合帧内预测子对当前块进行编码的部件。根据至少一个实施例的另一一般方面，一种用于解码视频数据的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：确定用于要解码的当前块的帧内预测方向；确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向；确定所述当前块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用要用于当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对当前块进行解码。根据至少一个实施例的另一一般方面，一种用于解码视频数据的设备，包括：用于确定用于要解码的当前块的帧内预测方向的部件；用于确定所述当前块的一个或多个相邻块的一个或多个对应帧内预测方向的部件；用于确定所述当前块的像素的混合帧内预测子的加权和的部件，其中通过利用对应权重对使用要用于当前块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和用于使用具有所述加权和的混合帧内预测子对当前块进行解码的部件。根据一个实施例，所述当前块代表已经从较大块细分的当前子块，并且所述一个或多个相邻块代表已经从一个或多个较大相邻块中分别细分的一个或多个相邻子块。根据另一实施例，所述一个或多个相邻块包括在所述当前块上方的一个或多个块。根据另一实施例，所述一个或多个相邻块包括所述当前块左侧的一个或多个块。根据另一实施例，所述一个或多个相邻子块包括紧靠所述当前子块上方的相邻子块。根据另一实施例，所述一个或多个相邻子块还包括紧靠所述当前子块左上方的子块。根据另一实施例，所述一个或多个相邻子块还包括紧靠所述当前子块左侧的子块。根据另一实施例，如果所述当前块的帧内预测方向与所述一个或多个相邻块的一个或多个对应帧内预测方向之一之间的差大于阈值，则仅应用使用具有所述加权和的混合帧内预测子对当前块进行解码或编码。根据另一实施例，如果所述当前块的高度或宽度大于阈值，则仅应用使用具有所述加权和的混合帧内预测子对当前块进行解码或编码。根据至少一个实施例的另一一般方面，一种比特流，其被格式化为包括视频数据的已编码块，其中所述视频数据的已编码块通过以下方式编码：确定要编码的视频数据块的帧内预测方向；确定所述视频数据块的一个或多个相邻块的一个或多个对应帧内预测方向；确定所述视频数据块的像素的混合帧内预测子的加权和，其中通过利用对应权重对使用视频数据块的帧内预测方向的预测子、和使用一个或多个相邻块的一个或多个对应帧内预测方向的一个或多个预测子进行求和，来确定所述加权和，并且所述一个或多个相邻块的对应权重随着所述像素到所述一个或多个相邻块的距离增加而减小；和使用具有所述加权和的混合帧内预测子，对所述视频数据块进行编码。。对“一个实施例”或“实施例”或“一种实现方式”或“实现方式”、及其其他变体的引用意味着结合实施例所描述的特定特征、结构、特性等等被包括在至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一种实现方式中”或“在实现方式中”、以及任何其他变体的出现并不一定全都指代相同的实施例。此外，本申请或其权利要求可指代“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息、或从存储器中检索信息中的一个或多个。此外，本申请或其权利要求可指代“访问”各条信息。访问信息可以包括例如接收信息、(例如，从存储器中)检索信息、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息中的一个或多个。此外，本申请或其权利要求可指代“接收”各条信息。与“访问”一样，接收意欲为广义的术语。接收信息可以包括例如访问信息、或(例如，从存储器中)检索信息中的一个或多个。此外，通常在诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息的操作期间，以一种方式或另一方式涉及“接收”。对于本领域技术人员来说将显而易见的是，各实现方式可以产生各种信号，这些信号被格式化以携带可被例如存储或传送的信息。该信息可以包括，例如用于执行方法的指令、或由所述实现方式中的一种所产生的数据。例如，信号可以被格式化以携带所述实施例的比特流。这种信号可以被格式化为，例如电磁波(例如，使用谱的射频部分)或基带信号。格式化可以包括，例如对数据流进行编码并用经编码的数据流来调制载波。信号携带的信息可以是，例如模拟或数字信息。如已知的，可以通过各种不同的有线或无线链路来传送信号。可将信号存储在处理器可读介质上。当前第1页12