帧内预测方法及装置、计算机可读存储介质与流程

帧内预测方法及装置、计算机可读存储介质
1.本技术是申请日为2019年1月2日，申请号为2019800712115，发明名称为“帧内预测方法及装置、计算机可读存储介质”的申请的分案申请。
技术领域
2.本技术实施例涉及视频编码领域的帧内预测技术，尤其涉及一种帧内预测方法和装置、及计算机存储介质。


背景技术：

3.在下一代视频编码标准h.266或多功能视频编码(versatile video coding，vvc)的亮度预测过程中，为了减少熵编码的比特数，会构造一个mpm列表，存储相邻块的预测模式。基于空间相邻块相似度高的原理，当前块选中的预测模式较大概率会与mpm列表中存在的某一种模式相同，因此，可以用更少的比特数编码当前块的预测模式。然而，由于非方形块宽角度模式的存在，角度模式编号代表的实际角度方向可能和原始意义不同，这造成了在mpm列表中，相同编号的角度模式对于相邻块和当前块来说可能代表着不同的预测方向，而且情况分类众多，这就会影响当前块的预测模式的准确表述与使用。并且在色度预测过程中，dm模式会借用当前色度块中心位置所在处的亮度块的预测模式，无论该亮度块的预测模式是否为宽角度模式，dm模式都会借用原始的角度模式编号，这就可能会造成色度块实际使用的角度模式和对应亮度块的角度模式之间也存在偏差。也就是说在宽角度模式下，角度模式编号可能对应不同的实际角度模式，使得亮度预测过程中角度换算较为复杂，且使得色度预测借用的亮度块的角度模式也存在偏差，出现预测的不准确的问题。


技术实现要素：

4.本技术实施例提供一种帧内预测方法及装置、计算机可读存储介质，能够有效地提高帧内预测的准确性，同时提高编解码效率。
5.本技术实施例的技术方案是这样实现的：
6.本技术提供了一种帧内预测方法，所述方法包括：
7.配置相对角度编号表示的实际角度模式；其中，所述相对角度编号依次表征在预设宽高关系对应的预测方向范围内，从起始角度开始，采用预设角度采样点采样后对应的所述实际角度模式；所述起始角度是根据处理块的宽高关系和所述预设宽高关系对应的预测方向范围确定的，实际角度与所述实际角度模式一一对应。
8.在上述方案中，所述预设角度采样点采样为65时，所述相对角度编号为2’至66’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
14至80范围内连续的65个实际角度模式，65个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
9.在上述方案中，所述预设角度采样点采样为33时，所述相对角度编号为2’至34’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
7至41范围内连续的33个实际
角度模式，33个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
10.在上述方案中，所述预设角度采样点采样为129时，所述相对角度编号为2’至130’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
28至158范围内连续的129个实际角度模式，129个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
11.本技术实施例还提供了一种帧内预测方法，包括：
12.获取当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点；
13.根据所述宽高关系、所述预设宽高关系对应的预测方向范围和所述预设角度采样点，确定出采用相对角度编号表示的所述参考块对应的实际角度模式，使得实际角度与实际角度模式一一对应；
14.基于所述参考块对应的实际角度模式，得到所述参考块对应的角度预测模式；
15.基于所述角度预测模式，对所述当前块进行帧内预测。
16.在上述方案中，所述根据所述宽高关系、所述预设宽高关系对应的预测方向范围和所述预设角度采样点，确定出采用相对角度编号表示的所述参考块对应的实际角度模式，包括：
17.根据所述宽高关系和所述预设宽高关系对应的预测方向范围，确定出所述参考块的角度模式的起始角度；
18.基于所述预设角度采样点，确定所述参考块的角度偏移范围；
19.根据所述起始角度和所述角度偏移范围，确定出采用相对角度编号表示的所述参考块对应的所述实际角度模式。
20.在上述方案中，所述基于所述角度预测模式，对所述当前块进行帧内预测，包括：
21.基于所述角度预测模式，构造所述当前块的预测模式列表；
22.采用预测模式列表，实现对所述当前块进行帧内预测。
23.在上述方案中，所述帧内预测至少包括以下之一：亮度帧内预测和色度帧内预测。
24.本技术实施例提供了一种帧内预测装置，包括：
25.处理器、存储有所述处理器可执行帧内预测指令的存储器，和用于连接所述处理器、所述存储器的通信总线，当所述帧内预测指令被执行时，实现上述的帧内预测方法。
26.本技术实施例提供了一种计算机可读存储介质，其上存储有帧内预测指令，其中，所述帧内预测指令被处理器执行时，实现上述的帧内预测方法。
27.本技术实施例中，采用上述技术实现方案，帧内预测装置在帧内预测的过程中，针对不同宽高关系的参考块，可以采用统一的实际角度模式的方式来处理，以使得实际角度与实际角度模式一一对应，这样无论在亮度预测过程中还是在色度预测过程中，在表示某一角度时，根据长宽比具体确定每种形状的块的角度模式，简化了有关宽角度模式下的角度换算，统一了每个模式代表的角度值含义，消除了偏差，有效地提高帧内预测的准确性，同时提高编解码效率。
附图说明
28.图1为本技术实施例vvc支持的67种帧内预测模式的示意图；
29.图2a为本技术实施例提供的视频编码系统的组成结构示意图；
30.图2b为本技术实施例提供的视频解码系统的组成结构示意图；
31.图3为本技术实施例提供的示例性的宽角度模式的帧内预测模式的示意图；
32.图4为本技术实施例提供的一种帧内预测方法的流程图；
33.图5为本技术实施例提供的示例性的相邻帧内预测模式示意图；
34.图6为本技术实施例提供的示例性的当前块对应的亮度块和色度块的排布示意图一；
35.图7为本技术实施例提供的示例性的当前块对应的亮度块和色度块的排布示意图二；
36.图8为本技术实施例提供的一种帧内预测装置的结构示意图一；
37.图9为本技术实施例提供的一种帧内预测装置的结构示意图二。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
39.下面先对本技术中的名称进行解释说明。
40.vvc/h.266:下一代视频编码标准。
41.vtm：the test model of vvc，是vvc的参考软件测试平台。
42.mpm:most probable modes，最可能的模式。
43.dm：direct mode，一种色度预测模式。
44.ver：垂直方向角度预测模式，在vtm3.0中对应于编号为50的帧内预测模式。
45.hor：水平方向角度预测模式，在vtm3.0中对应于编号为18的帧内预测模式。
46.dia：对角方向角度预测模式，在vtm3.0中对应于编号为34的帧内预测模式。
47.vdia：反对角方向角度预测模式，在vtm3.0中对应于编号为66的帧内预测模式。
48.在本技术实施例中，预测编码的功能是：在视频编码中利用空间或时间上已有的重建图像构造当前块的预测值，仅将原始值和预测值的差值传输，以达到减少传输数据量的目的。其中，在亮度预测中，这里的原始值和预测值可以为亮度的原始值和亮度的预测值；在色度预测中，这里的原始值和预测值可以为色度的原始值和色度的预测值。
49.帧内预测的功能是：利用与当前块相邻的上一行像素单元和左一列像素单元构造该当前块的预测值。利用当前块周围已经恢复的邻近像素(即与当前块相邻的上一行中的像素单元和左一列中像素单元)，对当前块的每个像素单元进行预测。
50.例如，当前块为亮度块，在利用邻近像素构造当前块的亮度预测值时，采用多种预测方向，依次对所述当前块进行亮度预测，得到每一预测方向对应的亮度预测值矩阵；基于每一亮度预测值矩阵和当前块的亮度原始值矩阵，确定每一预测方向对应的差值矩阵；基于每一差值矩阵，确定对应预测方向的评价参数值，评价参数值用于表征对应预测方向对当前块的预测效果；基于每一评价参数值，从这多种预测方向中确定出目标预测方向，例
如，在保证视频恢复质量的前提下，能够获得最小的图像编码比特数的预测方向确定为目标预测方向；然后将该目标预测方向写入码流。
51.示例性的，vvc支持的67种帧内预测方向，即预测模式，其中，索引号为2
‑
66帧内预测方向如图1所示。
52.需要说明的是，为了适应视频分辨率越来越高的需求，更加精细准确地表达视频内容的方向，h.266/vvc中将h.265/hevc中定义的33种帧内亮度预测角度模式扩展到了65种，新增的角度模式在图1中以虚线箭头表示。编号0表示planar模式，编号1表示dc模式，编号2
‑
66表示65种角度模式(从左下到右上)，共67种帧内预测模式，这里的2
‑
66为绝对角度编号。
53.在本技术实施例中，以索引号为66的帧内预测方向为例，给出构造当前块的每个像素单元的亮度预测值的方法。其中，与当前块相邻的上一行数据为已完成预测的像素单元。当前块的每个像素单元按照右上对角线(即索引号为66的预测方向)的像素单元进行填充。
54.另外，还有两种比较平坦的构造预测块方式，分别为dc模式planar模式。dc模式是利用上一行或左一列的特征值(例如，色度值或亮度值)的平均值填充整个当前块，planar模式采用渐变的方式填充当前块。
55.对于亮度模式，按照图1中的0
‑
66种方向依次预测，选取与当前块最匹配(例如差值最小，或率失真代价最小)的预测方向作为目标预测方向，构造当前块的每一像素单元的亮度预测值，这就是亮度帧内预测的基本原理。在得到目标预测方向和目标预测方向对应的每一像素单元对应的差值之后，编码器将每一像素单元对应的差值和当前块对应的目标预测方向的索引号写入码流。解码器在接收到码流之后，对接收的码流进行解析，得到目标预测方向的索引号，便可计算出对应的当前块中每一像素单元的亮度预测值，与码流解析出的差值相加，即可得到对应像素单元的亮度重建值。
56.在已知上述几种基本概念的基础上，提供一种视频编码系统，图2a为本技术实施例视频编码系统的组成结构示意图，如图2a所示，该视频编码系统21，包括：
57.变换与量化单元211、帧内估计单元212、帧内预测单元213、运动补偿单元214、运动估计单元215、反变换与反量化单元216、滤波器控制分析单元217、滤波单元218、编码单元219和解码图像缓存单元210；针对输入的原始视频信号，通过编码树块(coding tree unit，ctu)的划分可以得到一个视频重建块，然后，对经过帧内或帧间预测后得到的残差像素信息，通过变换与量化单元211对该视频重建块进行变换，包括将残差信息从像素域变换到变换域，并对所得的变换系数进行量化，用以进一步减少比特率；帧内估计单元212和帧内预测单元213用于对该视频重建块进行帧内预测；其中，帧内估计单元212和帧内预测单元213用于确定该视频重建块的最优帧内预测方向(即目标预测方向)；运动补偿单元214和运动估计单元215用于执行所接收的视频重建块相对于一或多个参考帧中的一或多个块的帧间预测编码，以提供时间预测信息；由运动估计单元215执行的运动估计为产生运动向量的过程，所述运动向量可以估计该视频重建块的运动，然后，由运动补偿单元214基于由运动估计单元215所确定的运动向量执行运动补偿；在确定帧内预测方向之后，帧内预测单元213还用于将所选择的帧内预测数据提供到编码单元219，而且，运动估计单元215将所计算确定的运动向量数据也发送到编码单元219；此外，反变换与反量化单元216用于该视频重
建块的重构建，在像素域中重构建残差块，该重构建残差块通过滤波器控制分析单元217和滤波单元218去除方块效应伪影，然后，将该重构残差块添加到解码图像缓存单元210的帧中的一个预测性块，用以产生经重构建的视频重建块；编码单元219是用于编码各种编码参数及量化后的变换系数，在基于cabac的编码算法中，上下文内容可基于相邻重建块，可用于编码指示所确定的帧内预测方向的信息，输出该视频信号的码流；而解码图像缓存单元210用于存放重构建的视频重建块，用于预测参考。随着视频图像编码的进行，会不断生成新的重构建的视频重建块，这些重构建的视频重建块都会被存放在解码图像缓存单元210中。
58.本技术实施例提供一种视频解码系统，图2b为本技术实施例视频解码系统的组成结构示意图，如图2b所示，该视频解码系统22包括：
59.解码单元221、反变换与反量化单元222、帧内预测单元223、运动补偿单元224、滤波单元225和解码图像缓存单元226单元；输入的视频信号经过视频编码系统21进行编码处理之后，输出该视频信号的码流；该码流输入视频解码系统22中，首先经过解码单元221，用于得到解码后的变换系数；针对该变换系数通过反变换与反量化单元222进行处理，以便在像素域中产生残差块；帧内预测单元223可用于基于所确定的帧内预测方向和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据；运动补偿单元224是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息，并使用该预测信息以产生正被解码的视频解码块的预测性块；通过对来自反变换与反量化单元222的残差块与由帧内预测单元223或运动补偿单元224产生的对应预测性块进行求和，而形成解码的视频块；该解码的视频信号通过滤波单元225以便去除方块效应伪影，可以改善视频质量；然后将经解码的视频块存储于解码图像缓存单元226中，解码图像缓存单元226存储用于后续帧内预测或运动补偿的参考图像，同时也用于视频信号的输出，得到所恢复的原始视频信号。
60.本技术实施例主要作用于视频编码系统21的帧内预测单元213和视频解码系统22的帧内预测单元223；也就是说，如果在视频编码系统21能够通过本技术实施例提供的帧内预测方法得到一个较好的预测效果，那么，对应地，在解码端，也能够改善视频解码恢复质量。
61.基于此，下面结合附图和实施例对本技术的技术方案进一步详细阐述。
62.需要说明的是，本技术实施例提供的一种帧内预测装置可以为编码器也可以为解码器，本技术实施例不作限制。
63.本技术实施例提供了一种帧内预测方法，该方法可以包括：
64.配置相对角度编号表示的实际角度模式；其中，相对角度编号依次表征在预设宽高关系对应的预测方向范围内，从起始角度开始，采用预设角度采样点采样后对应的实际角度模式；起始角度是根据处理块的宽高关系和预设宽高关系对应的预测方向范围确定的，实际角度与实际角度模式一一对应。
65.本技术实施例提供的一种帧内预侧方法中，涉及将当前块的预测模式的预侧编号写入码流进行编解码的过程。
66.下面以65种角度帧内预测模式来说明宽角度模式。宽角度模式：如图1所示的65种角度帧内预测模式的预测方向在顺时针方向上定义为45度(模式66)至
‑
135度(模式2)之
间。考虑到在h.266/vvc中加入了qtbt编码块划分结构，会产生一些非方形编码块。针对非方形编码块，将会使用扩充的宽角度模式代替几种传统的角度帧内预测模式。而需要被替代的传统角度模式的数量与当前编码块宽高比有关，该比例越大，需要替换成宽角度模式的传统角度模式越多。
67.在vtm2.0.1中有85个角度方向模式以及dc和planar模式，其中20个角度方向超出
‑
135度和45度之间的范围，即宽角度。在顺时针方向上的
‑
135度(模式2)至45度(模式66)内的角度方向被设计用于方块且包含了所有方形块的对角线方向(模式2，34和66)。但是，对于非方形块，并非总能覆盖其对角线方向。另外，方形块的角度方向是从左下对角线方向开始到右上对角线方向的，而非方形块的角度方向并不是如此。
68.如图3所示，有93个角度方向模式以及dc和planar模式，其中28个角度方向超出45度和
‑
135度之间的范围，即宽角度。
69.在最新的h.266/vvc参考软件vtm3.0中接受了l0279提案提出的一种统一化的宽角度模式，该提案提出了三点改进：
70.·
限制当前编码块的角度模式为从左下对角线方向到右上对角线方向之间；
71.·
限制当前编码块扩展出的宽角度模式始终包含左下和右上对角线方向；
72.·
参考范围统一，对于上参考范围为2*w+1，对于左参考范围为2*h+1。
73.其中，w为块(编码块或解码块)的宽度，h为块(编码块或解码块)的长度。
74.需要说明的是，l0279提案提出的统一方法修改了需要被替换成宽角度模式的传统模式的个数，使得扩展宽角度之后的角度范围刚好在左下对角线方向到右上对角线方向之间(例如2
‑
66之间)，如表1所示。同时该方法还适当修改了扩展出的宽角度模式以及需要被替换的传统角度模式的方向，使其包含了各种宽高比情况下当前编码块的对角线方向。
75.表1
76.编码块宽高关系需要被替换成宽角度模式的传统帧内模式w/h＝＝2模式2,3,4,5,6,7——67,
……
,72w/h＝＝4模式2,3,4,5,6,7,8,9,10,11——67,
……
,76w/h＝＝8模2,3,4,5,6,7,8,9,10,11,12,13——67,
……
,78w/h＝＝16模式2,3,4,5,6,7,
……
,14,15——67,
……
,80w/h＝＝0无h/w＝＝2模式61,62,63,64,65,66——
‑
6,
……
,
‑
1h/w＝＝4模式57,58,59,
……
,64,65,66——
‑
10,
……
,
‑
1h/w＝＝8模式55,56,57,58,59,
……
,65,66——
‑
12,
……
,
‑
1h/w＝＝16模式53,54,55,56,57,58,
……
,66——
‑
14,
……
,
‑177.这里，宽高比(或高宽比，以下同)为2时，有6个模式需要被替换；宽高比为4时，有10个模式需要被替换；宽高比为8时，有12个模式需要被替换；宽高比为16时，有14个模式需要被替换。
78.也就是说，基于图3所示，所有角度模式的编号范围为
‑
14至80范围，但是采用2
‑
66的连续编号通过表1的替换方法进行表示角度模式。
79.在本技术实施例中，帧内预侧装置在进行角度模式配置或者标识的时候，采用相对角度编号表示的实际角度模式；其中，相对角度编号依次表征在预设宽高关系对应的预
测方向范围内，从起始角度开始，采用预设角度采样点采样后对应的实际角度模式；起始角度是根据处理块的宽高关系和预设宽高关系对应的预测方向范围确定的。
80.具体的，帧内预侧装置可以根据处理块宽高关系和预设宽高关系对应的预测方向范围，确定出参考块的角度模式的起始角度；基于预设角度采样点，确定参考块的角度偏移范围；根据起始角度和角度偏移范围，确定出采用相对角度编号表示的处理块对应的实际角度模式。
81.需要说明的是，在本技术实施例中，宽高关系和预测方向范围决定了起始角度。预测方向范围表征从所有角度模式中选取的预设角度采样点个角度模式是什么。其中，预测方向范围是现有技术中已知的。参考表1所示的，例如，宽高比为2时，预测方向范围为8
‑
72范围的这65个角度模式。
82.在本技术的一些实施例中，预设角度采样点采样为65时，相对角度编号为2’至66’范围的连续编号，相对角度编号对应的实际角度模式为
‑
14至80范围内连续的65个实际角度模式，65个实际角度模式的选取由宽高关系决定，其中，相对角度编号和实际角度模式按照顺序一一对应。
83.其中，本技术实施例采用2
’‑
66’表示采用2
‑
66的编号表征相对角度对应的实际角度模式的。也就是说，采用2
’‑
66’范围的连续编号表示的实际角度模式，是[起始值角度+角度偏移范围下限值，起始值角度+角度偏移范围上限值]角度范围内对应的65个实际角度的65个实际角度模式。
[0084]
在本技术实施例中，角度偏移范围为[0
‑
预设角度采样点个数
‑
1]。例如，预设角度采样点为65时，角度偏移范围为[0
‑
64]。
[0085]
示例性的，在本技术实施例中，以预设角度采样点，即角度方向个数65为例，预设宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义如表2所示。
[0086]
表2
[0087][0088]
可以理解的是，在这种表示方式中，参考了l0279提案中的实际角度模式表示方法，将所有角度模式的绝对编号表示在范围[
‑
14,80]，无论当前编码块具有怎样的宽高比，都只包含其中连续的65个角度模式，即65个角度编号，只是这65个角度编号的选取范围(即
预测方向范围)会因宽高比而有所不同。在本技术实施例的表示方法中，无论是否有宽角度模式扩展，都将从左下对角方向到右上对角方向的模式固定为2
’‑
66’(相对角度编号)。但由于不同的宽高比，相对角度编号的起始角度编号表征的实际角度模式的含义会不同，虽然由于预测方向范围的不同，相对角度编号范围落在不同的区间上，但都属于[
‑
14,80]范围内。例如在w/h＝2中，左下对角线方向的相对角度编号为2’，实际表征的为起始角度+角度偏移范围的第一个值：即8+0的实际角度模式(采用图3的角度编号表征实际角度)；相对角度编号3’表征8+1(角度偏移范围的第二个值)的实际角度模式(即表征的图3中的模式9)，
……
，相对角度编号66’表征8+64(角度偏移范围的第65个值)的实际角度模式(即表征的图3中的模式72)。
[0089]
本技术实施例的表示方法可以避免亮度预测过程中，由于使用了相同的角度模式编号来表示，造成mpm列表存储模式的角度方向和实际相邻块的角度方向存在偏差。同时避免了色度预测过程中，当前色度块中心位置处借用的亮度方向和实际亮度方向的偏差。
[0090]
需要说明的是，本技术实施例提供的采用相对角度编号的表示方法，在编码时，以一种语法元素的形式放入码流传输，即将相对角度编号放入码流，在解码时，解码器约定好了不同宽高比的相对角度编号表征的含义，因此，可以通过接收到的相对角度编号解析出该相对角度编号对应的实际角度模式了。
[0091]
在本技术的一些实施例中，预设角度采样点采样为33时，相对角度编号为2’至34’范围内的连续编号，相对角度编号对应的实际角度模式为
‑
7至41范围内连续的33个实际角度模式，33个实际角度模式的选取由宽高关系决定，其中，相对角度编号和实际角度模式按照顺序一一对应。
[0092]
示例性的，在本技术实施例中，以预设角度采样点，即角度方向个数为33例，预设宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义如表3所示。
[0093]
表3
[0094][0095][0096]
在本技术的一些实施例中，预设角度采样点采样为129时，相对角度编号为2
’‑
130’范围内的连续编号，相对角度编号对应的实际角度模式为
‑
28至158范围内连续的129个实际角度模式，129个实际角度模式的选取由宽高关系决定，其中，相对角度编号和实际
角度模式按照顺序一一对应。
[0097]
示例性的，在本技术实施例中，以预设角度采样点，即角度方向个数为129例，预设宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义如表4所示。
[0098]
表4
[0099]
参考块宽高比起始角度角度偏移范围实际角度模式w/h＝2142’～130’14～142w/h＝4222’～130’22～150w/h＝8262’～130’26～154w/h＝16302’～130’30～158w/h＝122’～130’2～130h/w＝2
‑
122’～130
’‑
12～118h/w＝4
‑
202’～130
’‑
20～110h/w＝8
‑
242’～130
’‑
24～106h/w＝16
‑
282’～130
’‑
28～102
[0100]
在本技术实施例中，不限制预设角度采样点的个数。
[0101]
本技术实施例提供了一种帧内预测方法，如图4所示，该方法可以包括：
[0102]
s101、获取当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点。
[0103]
s102、根据宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点，确定出采用相对角度编号表示的参考块对应的实际角度模式，使得实际角度与实际角度模式一一对应。
[0104]
s103、基于参考块对应的实际角度模式，得到参考块对应的角度预测模式。
[0105]
s104、基于角度预测模式，对当前块进行帧内预测。
[0106]
在本技术实施例中，参考块为当前块所在的预设范围内的且已完成帧内预测的数据块，参考块可以是至少一个。
[0107]
需要说明的是，帧内预测装置在进行帧内预测时至少包括以下之一：亮度帧内预测和色度帧内预测。其中，亮度帧内预测是采用相邻块为参考块的，色度帧内预测时则是可以借用前色度块中心位置所在处的亮度块为参考块的。色度预测模式可以包括dm，lm，lm_t，lm_l等模式。
[0108]
在本技术的一些实施例中，预测模式至少包括以下之一：亮度帧内预测方向和色度帧内预测方向。
[0109]
可以理解地，当预测方向是亮度帧内预测方向时，参考块的预测方向为亮度方向，对于s104，在对当前块进行帧内预测时，实际上是对当前块的亮度进行帧内预测；类似地，当预测方向是色度帧内预测方向时，参考块的预测方向为色度方向，对于s104，在对当前块进行帧内预测时，实际上是对当前块的色度进行帧内预测的过程。
[0110]
在s101中，不论帧内预测装置进行的是亮度帧内预测还是色度帧内预测，在当前块的预测模式的获取过程中，帧内预测装置可以获取到当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点。
[0111]
在本技术实施例中，参考块的宽高关系可以为宽高比，也可以为高宽比，本技术实施例不作限制。
[0112]
在本技术实施例中，预设宽高关系对应的预测方向范围：针对一个处理块的不同的宽高关系，得到的包含从左下对角线方向到右上对角线方向之间的连续预设角度采样点个数的实际角度范围。
[0113]
在本技术实施例中，预设角度采样点个数为左下对角线方向到右上对角线方向之间的采样点的个数。
[0114]
需要说明的是，帧内预测装置可以获取到当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围，确定出在每种预测方向范围内的预设角度采样点，选用预测方向与起始角度的相对角度编号。
[0115]
示例性的，以65种角度帧内预测模式为例进行说明。65种角度帧内预测模式的预测方向在顺时针方向上定义为
‑
135度(模式2)至45度(模式66)之间，这里的[2’,66’]为相对角度编号。
[0116]
在本技术实施例中，在预设角度采样点个数一定的情况下，所有角度模式的预测方向范围的长度为是相同的，无论当前块具有怎样的宽高关系，都只包含其中连续的预设角度采样点个数的角度(即相对角度编号)，只是从预测方向范围的长度中选取这预设角度采样点个数的实际角度模式会因宽高关系而有所不同。
[0117]
在s102中，帧内预测装置在获取了当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点之后，帧内预测装置可以根据宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点，确定出采用相对角度编号表示的参考块对应的实际角度模式，使得实际角度与实际角度模式一一对应，具体的实现为：s1021
‑
1023。如下：
[0118]
s1021、根据宽高关系和预设宽高关系对应的预测方向范围，确定出参考块的角度模式的起始角度。
[0119]
s1022、基于预设角度采样点，确定参考块的角度偏移范围。
[0120]
s1023、根据起始角度和角度偏移范围，确定出采用相对角度编号表示的参考块对应的实际角度模式。
[0121]
帧内预测装置在获取了宽高关系和预设宽高关系对应的预测方向范围之后，可以根据宽高关系，从预设宽高关系对应的预测方向范围中，确定出参考块的角度模式的起始角度，并且帧内预测装置是基于预设角度采样点，确定参考块的角度偏移范围；根据起始角度和角度偏移范围，确定出采用相对角度编号表示的参考块对应的实际角度模式，这样帧内预测装置就可以起始角度为起始，选取出采用相对角度编号的角度偏移范围内的实际角度模式了。
[0122]
在本技术的一些实施例中，可以采用相对角度编号来表征角度，这样，帧内预测装置可以根据宽高关系和预设宽高关系对应的预测方向范围，确定出参考块的角度模式的起始角度的相对角度起始编号；基于预设角度采样点，确定参考块的角度偏移范围为[0
‑
预设角度采样点个数
‑
1]；根据起始编码号和角度偏移范围，确定出采用相对角度编号[2
’‑
66’]范围内的连续编号依次表示参考块对应的实际角度模式。
[0123]
示例性的，在本技术实施例中，以预设角度采样点为65，即角度方向个数65为例，预设宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义
如表2所示。
[0124]
表2
[0125][0126]
可以理解的是，在这种表示方式中，参考了l0279提案中的图3的实际角度模式表示方法，将所有角度模式的绝对编号表示在范围[
‑
14,80]，无论当前编码块具有怎样的宽高比，都只包含其中连续的65个角度编号，只是这65个角度编号的选取范围会因宽高比而有所不同。在这种新的表示方法中，无论是否有宽角度模式扩展，都将从左下对角方向到右上对角方向的模式采用相对角度编号2’～66’表示。但由于不同的宽高比，角度模式的起始角度编号会不同，最终使得所有角度的编号范围落在不同的区间上，但都在[
‑
14,80]范围内。例如，在w/h＝2中，左下对角线方向的相对角度编号为2’，实际表征的为起始角度+角度偏移范围的第一个值：即8+0的实际角度模式(采用图3的角度编号表征实际角度)；相对角度编号3’表征8+1(角度偏移范围的第二个值)的实际角度模式(即表征的图3中的模式9)，
……
，相对角度编号66’表征8+64(角度偏移范围的第65个值)的实际角度模式(即表征的图3中的模式72)。本技术实施例的表示方法可以避免亮度预测过程中，由于使用了相同的角度模式编号来表示，造成mpm列表存储模式的角度方向和实际相邻块的角度方向存在偏差。同时避免了色度预测过程中，当前色度块中心位置处借用的亮度方向和实际亮度方向的偏差。
[0127]
需要说明的是，本技术实施例提供的采用相对角度编号的表示方法，在编码时，以一种语法元素的形式放入码流传输，即将相对角度编号放入码流，在解码时，解码器约定好了不同宽高比的相对角度编号表征的含义，因此，可以通过接收到的相对角度编号解析出该相对角度编号对应的实际角度模式了。
[0128]
可以理解的是，将相对角度编号作为码流中角度模式编号的语法元素传输，简化了编解码器在宽角度模式下对真实预测角度的获取，有助于提高编解码效率。
[0129]
在本技术的一些实施例中，预设角度采样点采样为33时，相对角度编号为2’至34’范围内的连续编号，相对角度编号对应的实际角度模式为
‑7‑
41范围内连续的33个实际角度模式，33个实际角度模式的选取由宽高关系决定，其中，相对角度编号和实际角度模式按照顺序一一对应。
[0130]
示例性的，在本技术实施例中，以预设角度采样点，即角度方向个数为33例，预设
宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义如表3所示。
[0131]
表3
[0132][0133]
在本技术的一些实施例中，预设角度采样点采样为129时，相对角度编号为2’至130’范围内的连续编号，相对角度编号对应的实际角度模式为
‑
28至158范围内连续的129个实际角度模式，129个实际角度模式的选取由宽高关系决定，其中，相对角度编号和实际角度模式按照顺序一一对应。
[0134]
示例性的，在本技术实施例中，以预设角度采样点，即角度方向个数为129例，预设宽高关系、2’表征的起始角度模式含义、相对角度编号，以及表征实际角度模式的含义如表4所示。
[0135]
表4
[0136]
参考块宽高比起始角度角度偏移范围实际角度模式w/h＝2142’～130’14～142w/h＝4222’～130’22～150w/h＝8262’～130’26～154w/h＝16302’～130’30～158w/h＝122’～130’2～130h/w＝2
‑
122’～130
’‑
12～118h/w＝4
‑
202’～130
’‑
20～110h/w＝8
‑
242’～130
’‑
24～106h/w＝16
‑
282’～130
’‑
28～102
[0137]
在本技术实施例中，不限制预设角度采样点的个数。
[0138]
在s103中，帧内预测装置在基于参考块对应的实际角度模式，得到参考块对应的角度预测模式。
[0139]
帧内预测装置在得到了参考块对应的实际角度模式之后，就可以采用实际角度模式来表示参考块对应的角度预测模式(例如dira,dirb)了。
[0140]
也就是说，在本技术实施例中，帧内预测装置获取的参考块对应的角度预测模式
表征了实际角度与实际角度模式一一对应。
[0141]
在s104中，帧内预测装置可以基于角度预测模式，对当前块进行帧内预测。这里，帧内预测装置需要基于角度预测模式，构造当前块的预测模式列表；然后再采用预测模式列表，实现对当前块进行帧内预测。
[0142]
在本技术实施例中，对于亮度帧内预测，预测模式列表为mpm列表。
[0143]
对于色度帧内预测，预测模式列表为dm列表或者mdms列表。
[0144]
示例性的，在亮度帧内预测中，如图5所示，从当前块上面的所有相邻块和当前块左侧的所有相邻块中确定参考块，例如，将当前块的相邻块左(l)、上(a)、左下(bl)、右上(ar)和左上(al)作为参考块集合中的参考块。mpm列表的推导过程考虑当前块的5个相邻块的帧内预测模式(也称为帧内预测方向)，即左(l)块、上(a)块、左下(bl)块、右上(ar)块和左上(al)块。
[0145]
mpm列表的候选预测方向被分为三组：相邻预测模式、派生预测模式和默认预测模式。首先，在mpm列表中添加相邻预测模式。mpm列表中每种帧内预测模式只能添入一次，即mpm列表中不能包含重复的预测模式。若完成相邻预测模式的添加后mpm列表中包含的预测模式不满6个，则添加派生的帧内预测模式到mpm列表中。若完成派生预测模式的添加后mpm列表中包含的预测模式仍不满6个，则添加默认预测模式到mpm列表中，直到导出了包含6个最可能帧内预测模式的mpm列表。
[0146]
在对每个亮度块的帧内预测模式进行熵编码时，首先获取该亮度块的mpm列表，判断该亮度块选中的帧内预测模式是否在mpm列表中，若在则使用截断二元码对该预测模式在mpm中的索引号进行二进制化，索引号越小产生的截断二元码越小，之后通过算数编码器对截断二元码进行编码，可以节省比特开销。若该亮度块选中的帧内预测模式是不在mpm列表中的剩余的61种预测模式中的一个，则对这61种预测模式重新从0开始编号，选择编号能被4整除的16个预测模式作为选择模式。若该帧内预测模式在选择模式中，则使用固定4比特长度对其进行旁路编码。若该帧内预测模式在剩余的45个非选择模式中，再次重新标号，使用截断二元码对其进行二进制化，根据编号大小，产生5或6个比特长度的比特串，之后进行旁路编码。
[0147]
因为jem中的6mpm列表较为复杂，后来又有人提出使用简化的3mpm列表的方案。但是3mpm列表包括的预测模式较少，获得的预测效果不够准确，后来，又有人提出使用简化的6mpm列表(也是目前的vtm3.0中使用的方法)。例如，基于图5中的上(a)块对应的预测模式和左(l)块对应的预测模式，构造当前块的新的候选预测模式，mpm列表构造如下：
[0148]
当前块使用的参考行索引为0：
[0149]
当块l和块a的预测模式dirl，dira相等且都不是角度模式，则
[0150]
mpm＝{dirl,planar/dc,hor第18,ver第50,ver
‑
4,ver+4}；planar对应0，dc对应和1，mpm中必须有6个模式。相邻模式加减1。
[0151]
·
当块l和块a的预测模式相等且都为角度模式时，则
[0152]
mpm＝{dirl,planar/dc,dirl
‑
1,dirl+1,dirl
‑
2,dirl+2}；
[0153]
·
当块l和块a的预测模式不等，且都是角度模式时，则
[0154]
mpm＝{dirl,dira,planar/dc,max(dirl,dira)
‑
1,max(dirl,dira)+1,max(dirl,dira)
‑
2}；
[0155]
·
当块l和块a的预测模式不等，且只有一个角度模式时，则
[0156]
mpm＝{dirl,dira,planar/dc,dirl
‑
1,dirl+1,dirl
‑
2}；
[0157]
·
当块l和块a的预测模式不等，且都不是角度模式，则
[0158]
mpm＝{dirl,dira,hor,ver,hor
‑
4,hor+4}；
[0159]
当参考行索引为1或者3时：
[0160]
·
当块l和块a的预测模式dirl，dira都不是角度模式，则
[0161]
mpm＝{ver,hor,2,dia,vdia,26}；
[0162]
·
当块l和块a的预测模式dirl，dira都是角度模式，则
[0163]
mpm＝{dirl,dira,min(dirl,dira)
‑
1，min(dirl,dira)+1，max(dirl,dira)
‑
1,max(dirl,dira)+1,
…
}；
[0164]
·
当块l和块a的预测模式dirl，dira中有一个角度模式(用dir表示)，则mpm＝{dir,dir
‑
1,dir+1,dir
‑
1,dir+2,dir
‑
3}；
[0165]
在本技术实施例中，针对色度帧内预测中的dm，vvc draft 3的色度帧内预测方向构造方法，该方法的相关说明如下，如表5所示：
[0166]
表5
[0167][0168]
示例性的，如图6所示，本技术实施例当前块对应的亮度块和色度的排布示意图，如图6所示，右侧的正方形的左半部分的灰色区域为当前处理色度块71，左侧的正方形的左半部分的灰色区域为当前处理色度块71对应的亮度区域，进行当前色度块71的帧内预测时，利用亮度区域的中心位置记录的预测方向，即为图6的右侧正方形中cr亮度块701的预测方向。
[0169]
结合表5和图6所示的内容，可以确定，若dm得出的预测方向与后四种预测方向中的某一预测方向相同时，会将3
‑
6行的相同模式替换为索引号为66的预测方向。
[0170]
针对色度帧内预测的mdms，mdms是一种更为复杂的色度帧内预测方向构造方法，如表6所示，相比于dm，有0.2％的码率节省量，但因为复杂度过高，尚未应用到vvc中。
[0171]
表6
[0172][0173][0174]
如图7所示，如图7左侧的块801至805所示，表6中的mdms模式为采用的当前色度块中心cr、左上tl、右上tr、左下bl、右下br五个位置的对应亮度块的帧内预测模式，如图7右侧的块806至810所示，表6中的色度邻近块模式为采用的色度块空间邻近左、左上、左下、上和右上块的帧内预测方向，即写入码流的预测方向。
[0175]
也就是说，在本技术实施例中，帧内预测装置既可以进行亮度帧内预测也可以进行色度帧内预测。
[0176]
可以理解的是，本技术提出的将所有矩形块的角度模式采用相对角度编号依次表示起始角度和角度偏移范围依次相加后对应的实际角度模式，并统一在[起始值角度+角度偏移范围下限值，起始值角度+角度偏移范围上限值]内的一段区间。在本技术实施例的表示方式中，根据不同的参考块宽高关系，设定不同的起始角度，采用旧的角度模式编号作为表示新的角度模式的含义，角度模式与角度一一对应，这样便统一了各种宽高关系的矩形块的角度模式编号，并且在亮度mpm列表和色度预测dm中表达的角度方向和实际角度都一致，简化了有关宽角度模式下的角度换算，统一了每个模式代表的角度值含义，消除了偏差，有助于提高帧内预测的准确性。
[0177]
进一步地，将角度偏移编号作为码流中角度模式编号语法元素传输，简化了编解码器在宽角度模式下对真实预测角度的获取，有助于提高编解码效率。
[0178]
基于前述实施例的实现基础上，本技术实施例提供了一种帧内预测装置，包括：
[0179]
配置部分，配置为配置相对角度编号表示的实际角度模式；其中，所述相对角度编号依次表征在预设宽高关系对应的预测方向范围内，从起始角度开始，采用预设角度采样点采样后对应的所述实际角度模式；所述起始角度是根据处理块的宽高关系和所述预设宽高关系对应的预测方向范围确定的，实际角度与所述实际角度模式一一对应。
[0180]
在本技术的一些实施例中，所述预设角度采样点采样为65时，所述相对角度编号为2’至66’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
14至80范围内连续的65个实际角度模式，65个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
[0181]
在本技术的一些实施例中，所述预设角度采样点采样为33时，所述相对角度编号为2’至34’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
7至41范围内连
续的33个实际角度模式，33个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
[0182]
在本技术的一些实施例中，所述预设角度采样点采样为129时，所述相对角度编号为2’至130’范围内的连续编号，所述相对角度编号对应的实际角度模式为
‑
28至158范围内连续的129个实际角度模式，129个实际角度模式的选取由宽高关系决定，其中，所述相对角度编号和实际角度模式按照顺序一一对应。
[0183]
基于前述实施例的实现基础上，如图8所示，本技术实施例还提供了一种帧内预测装置1，包括：
[0184]
获取部分10，配置为获取当前块的参考块的宽高关系、预设宽高关系对应的预测方向范围和预设角度采样点；
[0185]
确定部分11，配置为根据所述宽高关系、所述预设宽高关系对应的预测方向范围和所述预设角度采样点，确定出采用相对角度编号表示的参考块对应的实际角度模式，使得实际角度与实际角度模式一一对应；
[0186]
获取部分10，还配置为基于参考块对应的实际角度模式，得到参考块对应的角度预测模式；
[0187]
帧内预测部分12，配置为基于所述角度预测模式，对所述当前块进行帧内预测。
[0188]
在本技术的一些实施例中，所述确定部分11，具体配置为根据所述宽高关系和所述预设宽高关系对应的预测方向范围，确定出所述参考块的角度模式的起始角度；基于所述预设角度采样点，确定所述参考块的角度偏移范围；根据所述起始角度和所述角度偏移范围，确定出采用相对角度编号表示的所述参考块对应的实际角度模式。
[0189]
在本技术的一些实施例中，所述帧内预测部分12，具体配置为基于所述角度预测模式，构造所述当前块的预测模式列表；采用预测模式列表，实现对所述当前块进行帧内预测。
[0190]
在本技术的一些实施例中，所述帧内预测至少包括以下之一：亮度帧内预测和色度帧内预测。
[0191]
如图9所示，本技术实施例还提供了一种帧内预测装置，包括：
[0192]
处理器13、存储有所述处理器13可执行帧内预测指令的存储器14，和用于连接所述处理器13、所述存储器14的通信总线15，当所述帧内预测指令被执行时，实现上述的帧内预测方法。
[0193]
在本技术的实施例中，上述处理器13可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。帧内预测装置还可以包括存储器14，该存储器14可以与处理器13连接，其中，存储器14用于存储可执行程序代码，该程序代码包括计算机操作指令，上述存储器14可以是易失性存储器(volatile memory)，例如随机存取存储器(random
‑
access memory，ram)；或者非易失性存储器(non
‑
volatile memory)，例如只读存储器
(read
‑
only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid
‑
state drive，ssd)；或者上述种类的存储器的组合，并向处理器13提供指令和数据。
[0194]
在本技术的实施例中，通信总线15用于连接处理器13以及存储器14以及这些器件之间的相互通信。
[0195]
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0196]
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0197]
本技术实施例提供了一种计算机可读存储介质，其上存储有帧内预测指令，其中，所述帧内预测指令被处理器执行时，实现上述的帧内预测方法。
[0198]
具体来讲，本实施例中的一种帧内预测方法对应的帧内预测指令可以被存储在光盘，硬盘，u盘等存储介质上，当存储介质中的与一种帧内预测方法对应的帧内预测指令被一电子设备读取或被执行时，包括如下步骤：获取当前块的参考块的宽高关系、预设宽高关系与相对角度对应关系和预设绝对角度范围；根据宽高关系、预设宽高关系与相对角度对应关系和预测绝对角度范围，确定出参考块对应的实际角度模式，使得实际角度与实际角度模式一一对应；基于参考块对应的实际角度模式，得到参考块对应的角度预测模式；基于角度预测模式，对当前块进行帧内预测。
[0199]
可以理解的是，帧内预测装置在帧内预测的过程中，针对不同宽高关系的参考块，可以采用统一的实际角度模式的方式来处理，以使得实际角度与实际角度模式一一对应，这样无论在亮度预测过程中还是在色度预测过程中，在表示某一角度时，根据长宽比具体确定每种形状的块的角度模式，简化了有关宽角度模式下的角度换算，统一了每个模式代表的角度值含义，消除了偏差，有效地提高帧内预测的准确性，同时提高编解码效率。
[0200]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0201]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器
执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0202]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0203]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0204]
以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。
[0205]
工业实用性
[0206]
本技术实施例提供了一种帧内预测方法和装置、及计算机存储介质，帧内预测装置在帧内预测的过程中，针对不同宽高关系的参考块，可以采用统一的实际角度模式的方式来处理，以使得实际角度与实际角度模式一一对应，这样无论在亮度预测过程中还是在色度预测过程中，在表示某一角度时，根据长宽比具体确定每种形状的块的角度模式，简化了有关宽角度模式下的角度换算，统一了每个模式代表的角度值含义，消除了偏差，有效地提高帧内预测的准确性，同时提高编解码效率。