图片及视频处理中的基于矩阵的帧内预测的方法与装置与流程

图片及视频处理中的基于矩阵的帧内预测的方法与装置
1.交叉引用
2.本发明要求于2019年6月28日提交的序号为62/868,013、名称为“methods for simplification of matrix based intra prediction
–
mpm removal,mip mode mapping,reduction of number of mip modes”的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
3.本发明涉及图片和视频处理中的帧内预测。特别地，本发明涉及通过矩阵乘法生成帧内预测子的基于矩阵的帧内预测。


背景技术：

4.帧内预测已在各种图片和视频编码标准中广泛采用，以处理初始图片或定期插入帧内编码图片(i-picture)或帧内编码块(i-blocks)，以进行随机访问或减轻错误传播。通常将帧内预测设计为利用图片或视频图片中的空间特征，例如平滑区域，垂直线或边缘，水平线或边缘以及对角线或边缘。帧内预测对于运动较大或场景变化的区域也很有用，因为帧内预测比帧间预测在该区域编码的效率更高。帧内预测利用图片内或图片区域内的空间相关性。对于基于块的视频编码标准，当前块的帧内预测依赖于已处理的相邻块中的像素。例如，如果图片中的块或图片区域从上到下以及从左到右逐行顺序地处理，则当前块的顶部的相邻块和左侧的相邻块可以用于形成帧内预测子用于当前块内的像素。
5.高效视频编码(hevc)标准支持35种帧内预测模式，包括33种角度模式，dc模式和planar模式。图1示出了用于hevc标准的33种角度帧内预测模式的预测方向，其中，h表示水平方向模式，v表示垂直方向模式。通过包括帧内平滑滤波，帧内预测和帧内梯度滤波的三个步骤来生成针对已完成或将要通过hevc标准的帧内预测编码的当前块的帧内预测子。图2示出了由帧内平滑滤波器滤波的示例性参考采样，用于导出当前块的帧内预测子。在计算当前块20的帧内预测子之前，将平滑操作应用于当前块20的参考采样22。通过将帧内平滑滤波器应用于在当前块20的左相邻列和上相邻行中的参考采样22，该平滑操作减少了一些帧内预测模式引入的不连续性。根据帧内预测模式和当前块的大小来自适应地应用该平滑操作。
6.帧内预测的第二步骤是根据从hevc标准支持的35种帧内预测模式中选择的一种帧内预测模式，从相邻边界采样中得出帧内预测子。如果选择了角度模式，则通过根据所选择的角度模式的预测方向从相邻的边界采样中外推采样来预测当前块中的每个采样的值。如果选择了“平面”模式，则通过假设一个具有水平和垂直平滑梯度的振幅表面来计算当前块中每个采样的值，该振幅表面是从相邻块的相邻边界采样得出的。如果选择dc模式，则当前块的每个采样的值是相邻边界采样的平均值。
7.如果帧内预测模式是dc模式，水平模式和垂直模式之一，则在帧内预测的第三步骤中将帧内梯度滤波器应用于当前块的左边界和顶边界处的采样。应用帧内梯度滤波器的
概念是利用沿帧内预测方向的梯度信息来提高帧内预测子的质量。当所选择的帧内预测模式是dc模式时，当前帧的第一行和第一列中的采样被帧内梯度滤波器滤波。当选定的帧内预测模式为“水平”模式时，第一行中的采样将由帧内梯度滤波器过滤；如果选定的帧内预测模式为“垂直”模式，则第一列中的采样将由帧内梯度滤波器过滤。
8.所选择的帧内预测模式在视频比特流中被显式地用信号发送，或者从当前块的上方和左侧相邻块的先前解码的模式来推断。两个相邻块的帧内预测模式包括在三个最可能模式(mpm)的集合中。信号通知第一mpm标志以指示所选模式是否与三个mpm之一相同，如果是，则发送mpm索引以指示选择了三个mpm中的哪一个；如果第一个mpm标志为假，则使用5位固定长度的码字显式地发送所选模式的信号。
9.图1所示的33个角度模式可以扩展到具有更多或更少角度模式的一般情况，其中每个角度模式可以由模式h+k或模式v+k表示，其中h代表水平模式的方向，v代表垂直模式的方向，k＝0，+1，+-2，..+-k。用于帧内预测的65个角度模式的示例如图3所示，其中k的范围为-16到16，模式h-16和模式v-16是相同的模式，此模式的预测方向是从左上角到当前块的中心。图3说明了65种角度帧内预测模式，其中具有其他32种角度模式在图1所示的hevc标准支持的原始33种角度模式之间。图3中的65种角度模式包括在该块的左边界处从下到上的模式h+16至h-15，以及在该块的上边界从左到右的v-16到v+16。
10.在即将到来的视频编码标准通用视频编码(vvc)中，提出了一种用于正方形和矩形块的基于矩阵的帧内预测(mip)方法。为了通过mip方法预测宽度等于w且高度等于h的当前块的采样，输入包括一行位于当前块左侧的h个重构的相邻边界采样和一行位于当前块上方的w个重构相邻边界采样。mip方法基于以下六个步骤来生成当前块的预测信号。第一步，准备当前块的参考采样。例如，如果w和h均等于4，通过平均来提取重构的相邻边界采样中的四个采样。否则，通过平均从重构的相邻边界采样中提取八个采样。在第二步中，根据块大小和mip模式索引为当前块选择一个矩阵。在第三步骤中，以准备好的参考采样作为输入，执行矩阵向量乘法，然后加上偏移向量。结果是当前块中采样的子采样集上的缩减的预测信号。在第四步骤中，如果需要，通过转置来修改减少的预测信号。在第五步骤中，通过从子采样集合上的上采样，自缩减的预测信号生成剩余位置处的预测信号，例如在每个方向上通过使用线性插值(例如，单步线性插值)。如果当前块是4x4块，则不需要上采样。在第六步中，将上采样后当前块中的所有预测采样都剪切(clip)到合理范围内。
11.从三组矩阵s0,s1,s2中获取用于生成预测信号的矩阵和偏移向量。第一组s0由18个矩阵组成，每个矩阵有16列4行，还有18个偏移向量偏移向量的大小为16。第一组s0的矩阵和偏移向量用于编码大小等于4x4的块。第二组s1由10个矩阵组成，每个矩阵有16列8行，还有10个偏移向量偏移向量的大小为16。第二组s1的矩阵和偏移向量用于编码大小等于4x8、8x4和8x8的块。最后，第三组s2由6个矩阵组成，每个矩阵有64列8行，还有6个偏移向量每个偏移向量的大小为64。第三组s2的矩阵和偏移向量或这些矩阵和偏移向量的一部分用于对其他大小的所有块进行编码。矩阵计算所需的乘法总数始终小于或等于4x w x h。换句话说，在mip方法中，每个采样最多需要四个乘法。
准备参考采样在mip方法的第一步中，顶部输入边界bdry
top
和左侧输入边界bdry
left
用于生成缩减的顶部边界和缩减的左侧边界在此，在4x4块的情况下，和均由2个采样组成，而在所有其他情况下，均由4个采样组成。在4x4块的情况下，对于0≤i《2，缩减的顶部边界定义为：
[0012][0013]
并且缩减的左边界类似地定义。
[0014]
否则，如果块宽度w的给定为w＝4
·2k
，则对于0≤i《4，缩减的顶部边界定义为：义为：并以相似的方式定义了缩减的左边界
[0015]
将两个缩减的边界和串联在一起，形成缩减的边界向量bdry
red
。对于任何4x4块，缩减的边界向量的大小为4，对于任何其他块大小，减小的边界向量的大小为8。例如，如果模式是参考mip模式，则第一矩阵集s0中有35个mip模式，第二矩阵集s1中有19个mip模式，第三矩阵集s2中有11个mip模式，这时连接缩减的边界向量的定义如下：
[0016][0017]
最后，对于子采样的预测信号的内插，对于大块需要缩减边界的第二版本。即，如果min(w,h)＞8且w≥h，记作w＝8*2
l
，并且对于0≤i《8，缩减边界的第二种形式定义为：
[0018][0019]
如果min(w,h)＞8且h＞w，则类似地定义第二个版本的缩减边界
[0020]
通过矩阵向量乘法产生缩减的预测信号通过缩减的边界向量产生缩减的预测信号pred
red
，并且该缩减的预测信号是在下采样的块上具有宽度w
red
和高度h
red
的信号。下采样块的宽度w
red
和高度h
red
定义为：
[0021][0022][0023]
缩减的预测信号pred
red
是通过计算矩阵向量乘积并加上偏移量来计算的：
[0024]
pred
red
＝a
·
bdry
red
+b
[0025]
在上述等式中，如果w＝h＝4，则a是具有w
red
·hred
列、4行的矩阵，在所有其他情况下为8行，并且b是大小为w
red
·hred
的偏移向量。从矩阵集s0，s1，s2之一获取矩阵a和向量b。索引idx＝idx(w,h)定义如下：
[0026][0027]
并且，m如下:
[0028][0029]
如果索引idx≤1或idx＝2且min(w,h)＞4，则将矩阵a和向量b定义为和在idx＝2且min(w,h)＝4的情况下，让a成为通过忽略的每一行而产生的矩阵，在w＝4的情况下，对应于下采样的块中的奇数x坐标，或者在h＝4的情况下，对应于下采样的块中的奇数y坐标。
[0030]
最后，在以下情况下，缩减的预测信号pred
red
被其转置(transpose)代替：w＝h＝4且mode≥18，max(w,h)＝8且模式≥10，以及max(w,h)＞8，mode≥6。在w＝h＝4的情况下，计算缩减的预测信号所需的乘法数为4，因为在这种情况下，a具有4行和16列。在所有其他情况下，a有8行和w
red
·hred
列，并且需要一个8
·wred
·hred
≤4
·w·
h乘积的立即验证在此情况下。换句话说，每个采样最多需要4个乘法来计算缩减的预测信号pred
red
。
[0031]
单步线性插值对于宽度w及高度h至少一个大于或等于8的当前块，通过线性插值从w
red
×hred
上的缩减预测信号pred
red
产生当前块的预测信号。根据块的形状，可以在垂直，水平或两个方向上执行线性插值。在两个方向都进行线性插值的情况下，如果w《h，则首先应用水平方向，否则，首先应用垂直方向。
[0032]
在不失一般性的情况下，考虑具有至少宽度w和高度h大于或等于8并且宽度w大于或等于高度h的当前块，如下进行一维线性插值。在不失一般性的前提下，描述垂直方向的线性插值。首先，缩减的预测信号被边界信号扩展到顶部。垂直上采样因子定义为：u
ver
＝h/h
red
并且扩展的缩减的预测信号然后由以下定义：
[0033][0034]
基于该扩展的缩减的预测信号，预测信号的垂直线性插值如下产生:
[0035][0036]
其中0≤x《w
red
,0≤y《h
red
并且0≤k《u
ver
.
[0037]
生成用于通过mip方法编码或解码的当前块的预测信号的最后阶段是剪切。在通过线性插值进行上采样之后，对预测信号的上采样值进行剪切处理，以剪切所有值至合理范围内。


技术实现要素：

[0038]
公开了用于在图片或视频编解码系统中处理图片或视频数据的方法和装置。图片或视频编解码系统的实施例接收与当前图片中的当前块相关联的输入数据，将mip块的mip模式索引映射到默认模式，并且通过参考默认模式来编码或解码当前块。根据矩阵和当前图片中的相邻边界采样产生的预测采样，通过mip模式对mip块进行编码或解码。在一个实施例中，通过从mip块的相邻边界采样中导出参考采样，通过将参考采样和矩阵相乘来生成中间预测采样，将中间预测采样剪切到合理范围，以及对剪切的中间预测采样进行上采样以生成mip块的预测采样，来对mip块进行编码或解码。导出参考采样的步骤可以包括对mip块的相邻边界采样进行下采样以生成参考采样。导出参考采样的步骤可以包括通过平均mip块的相邻边界采样来提取参考采样。产生中间预测采样的步骤包括在将参考采样和矩阵相乘之后加上偏移。
[0039]
mip模式映射中的默认模式的示例是平面模式，并且默认模式的另一示例是dc模式。在mip模式映射的一个实施例中，当前块是以直接模式(dm)已编码或将要编码的色度(chroma)块，并且mip块是通过mip模式编码的对应亮度(luma)块。当前块的dm获取会将对应的亮度块的mip模式索引映射到默认模式，以便根据默认模式对当前块进行编码或解码。在mip模式映射的另一个实施例中，当前块通过帧内预测被编码或将被编码，并且通过mip模式编码的mip块是当前块的相邻块。当前块的帧内最可能模式(intra most probable mode,mpm)获取会将相邻块的mip模式索引映射到默认模式。在又一个实施例中，当前块是由mip模式编码的mip块，并且二次变换被应用于当前块中的变换块。通过参考默认模式对当前块进行编码或解码的步骤包括：根据默认模式选择二次变换集；确定所选择的二次变换集的变换矩阵；以及基于变换矩阵将变换块的一次变换系数变换为二次变换系数，或者基于变换矩阵将变换块的二次变换系数变换为一次变换系数。
[0040]
图片或视频编解码系统的一些实施例接收与在当前图片中由mip模式编码或将要被mip模式编码的当前块相关联的输入数据，确定在通过mip模式对当前块进行编解码中是否应用了转置，根据是否应用转置，从当前图片中当前块的相邻边界采样中提取当前块的参考采样，并生成当前块的预测采样。通过从当前块的矩阵集中选择当前块的矩阵，将参考采样和矩阵相乘，并根据是否应用转置来自适应地执行转置处理，来生成预测采样。当应用转置时，转置过程用转置的预测采样来替换当前块的预测采样。当前块的转置标志从视频
比特流中发出信号或从视频位流中解析出，指示在对当前块进行编码时是否应用了转置。图片或视频编解码系统根据当前块的预测采样对当前图片中的当前块进行编码或解码。
[0041]
在一个实施例中，图片或视频编解码系统将预测采样剪切到合理范围，并且对所剪切的预测采样进行上采样。例如，合理范围是[0,1《《bitdepth-1]，其中bitdepth是视频编解码系统的内部位深度。在该实施例中，在上采样之前对当前块的剪切的预测采样自适应地执行转置处理。
[0042]
图片或视频编解码系统用信号发送或解析当前块的矩阵索引，该矩阵索引指示从当前块的矩阵集中选择了哪个矩阵。基于当前块的大小确定矩阵集。在视频编码器的示例中，通过首先用信号发送转置标志，然后用信号发送矩阵索引，来用信号发送当前块的mip模式信息。类似地，在视频解码器中，通过首先解析转置标志，然后解析矩阵索引，来解析当前块的mip模式信息。在一实施例中，用于发信号通知矩阵索引的语法以固定长度的码字编码。使固定长度码字的编码效率最大化的特定实施例，当前块的矩阵集中的矩阵的数目是2的幂。
[0043]
从当前块的相邻边界采样中导出当前块的参考采样的步骤可以进一步包括：获得顶部边界参考采样和左边界参考采样；将顶部边界参考采样和左边界参考采样缩减为缩减的顶部边界采样和缩减的左边界采样，并根据是否应用了转置，将缩减的顶部边界采样和缩减的左边界采样连接起来。
[0044]
本公开的一方面还提供了一种图片或视频编解码系统中的用于压缩图片或视频数据的设备。该装置的实施例将mip块的所有mip模式索引映射到默认模式，用于dm推导、帧内mpm推导或二次变换集选择。该设备的一些其他实施例用信号发送或解析用于每个mip编码块的转置标志，该转置标志指示是否在对mip块进行编解码中应用了转置。
[0045]
在mip模式映射方法中，始终选择默认模式，以消除使用映射表将mip模式索引转换为常规帧内预测模式索引。通过将所有mip模式索引映射到默认模式，可以降低图片或视频编解码系统的计算复杂度。用信号发送每个mip编码块的转置标志的优点是在解码器中删除矩阵索引推导和转置标志推导。通过阅读下面对具体实施例的描述，本发明的其他方面和特征对于本领域具有通常技术者将变得显而易见。
附图说明
[0046]
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中，相同的标号表示相同的元件，并且：
[0047]
图1示出了hevc标准中支持的33种角度帧内预测模式。
[0048]
图2示出了由帧内平滑滤波器滤波的示例性参考采样，用于导出当前块的帧内预测子。
[0049]
图3示出了用于常规帧内预测的65个角度帧内预测模式的示例。
[0050]
图4示出了从顶边界参考采样和左边界参考采样中导出在mip模式下已编码或将要编码的块的参考采样的示例。
[0051]
图5是示出根据mip模式映射的实施方式的用于通过将mip模式索引映射到默认模式来对当前块进行编码或解码的示例性图片或视频处理方法的流程图。
[0052]
图6是示出根据转置标志信令的实施例的用于以mip模式对当前块进行编码的示
例性编码方法的流程图。
[0053]
图7是示出根据转置标志信令的实施例的用于以mip模式对当前块进行解码的示例性解码方法的流程图。
[0054]
图8示出了根据本发明实施例的，结合了帧内预测方法的视频编码系统的示例性系统框图。
[0055]
图9示出了根据本发明实施例的，结合了帧内预测方法的视频解码系统的示例性系统框图。
具体实施方式
[0056]
将容易理解，如本文的附图中一般性描述和示出的，本发明的部件可以以各种不同的配置来布置和设计。因此，如附图所示，以下对本发明的系统和方法的实施例更详细的描述并非旨在限制要求保护的本发明的范围，而仅仅是本发明的选定实施例的代表。
[0057]
在本公开中，本技术描述了各种图片或视频处理方法，用于降低处理以基于矩阵的帧内预测(mip)模式编码的图片或视频块的计算复杂性。分别在图8和图9中示出了实现一种或组合的视频处理方法的示例性视频编码器和解码器。本文所述的系统和方法按以下段落组织。“mip模式映射”部分演示了将mip模式索引映射到默认模式以进行直接模式(dm)导出、帧内最可能模式(mpm)导出或二次变换集选择的示例性方法。“转置标志信令”部分描述了用信号发送或解析由mip模式编码的每个块的转置标志的示例性方法。“在mip中移除mpm方法”一节介绍了不使用mpm进行mip模式信令的示例性mip方法。“二的幂次的数量的mip模式”一节描述了使用二的幂次的数量的mip模式的示例性方法。“视频编码器和解码器的实现”部分与图8和图9一起使用，示出了结合了本发明的所描述的视频处理方法中的一个或组合的视频编码系统和视频解码系统。
[0058]
mip模式映射在常规的基于矩阵的帧内预测(matrix-based intra prediction，mip)方法中，当常规帧内块参考mip编码块时，用映射表将mip模式索引映射到常规帧内模式索引。在示例中，当前块由常规帧内预测模式编码，并且在最可能模式(mpm)推导过程中参考由mip模式编码的相邻块。首先获得相邻块的mip模式索引，并根据表1将相邻块的mip模式索引基于相邻块的大小映射到常规帧内模式索引，以用于当前块的mpm推导。例如，根据表1，由于相邻块是8
×
8块，并且相邻块的mip模式索引是6，所以相邻块的mip大小id是s1，因此，mip模式索引6被映射到常规帧内模式索引18。
[0059]
表1 mip模式索引映射表
[0060][0061]
[0062][0063]
本发明的实施例通过将所有mip模式索引映射到默认模式来消除对mip模式索引映射表的使用。根据一些实施例，默认模式是dc模式，并且根据一些其他实施例，默认模式是平面模式。视频编码或解码的计算复杂度降低了，因为在直接模式(dm)推导，帧内mpm推导或二次变换集选择中不再需要用于将mip模式索引映射到常规帧内模式索引的表。
[0064]
本发明的某些实施例仅在亮度(luma)分量中启用mip方法。mip方法不能用于预测相应的色度(chroma)分量。在一个实施例中，当前色度块是帧内编码块或将在帧内预测中编码，并且当前色度块的相应亮度块通过mip模式编码，相应亮度块的mip模式索引被映射到平面模式以进行当前色度块的dm推导。在另一个实施例中，当前块在帧内预测中被编码或将被编码，如果用于帧内mpm推导的当前块的任何相邻块由mip模式编码，则在帧内mpm推导中该相邻块的mip模式索引被映射到平面模式。
[0065]
根据另一实施例，将所有mip模式索引映射到默认模式的方法也应用于二次变换集选择。精简二次变换(reduced secondary transform，rst)是vvc中提出的一种新的编码工具，也称为低频不可分离变换(low frequency non-separable transform，lfnst)，rst通过映射变换块的原始维向量至在不同空间中的降维向量，来提高帧内编码块的编码效率。根据帧内编码块的帧内预测模式，从变换集索引0、1、2和3的四个变换集中选择用于帧内编码块的二次变换集。如果指示了用于色度分量的三个交叉分量线性模型(cclm)模式之一，则使用针对帧内编码块的亮度分量的帧内预测模式来选择二次变换集。例如，二次变换集选择基于表2中所示的帧内预测模式。表2中的intrapredmode是当前块的帧内预测模式索引，其范围为[-14、83]，包括常规帧内预测模式和广角帧内预测模式。
[0066]
表2变换集选择表
[0067]
intrapredmode变换集索引intrapredmode《010《＝intrapredmode《＝102《＝intrapredmode《＝12113《＝intrapredmode《＝23224《＝intrapredmode《＝44345《＝intrapredmode《＝55256《＝intrapredmode1
[0068]
在该实施例中，当通过mip模式对当前块进行编码并且将二次变换应用于当前块的变换块时，当前块的mip模式索引被映射为平面模式(即，模式0)以用于二次变换集选择。因此，根据表2，为在mip模式下编码的当前块选择了变换集索引为0的二次变换集。每个二次变换集都由两个变换矩阵组成，并且用信号发送索引以指示所使用的变换矩阵。在该实施例中，从变换集索引等于0的二次变换集的两个变换矩阵中，选择一个变换矩阵，以在编
码器侧将变换块的一次变换系数变换为二次变换系数，或者在解码器侧对二次变换系数进行变换为一次变换系数。
[0069]
图5是说明根据mip模式映射的各种实施例的用于处理在图片或视频编码器或解码器中实现的当前图片中的当前块的示例性方法的流程图。在步骤s502中，图片或视频编码器或解码器接收与当前块相关联的输入数据。在步骤s504中，将mip块的基于矩阵的帧内预测(mip)模式索引映射到默认模式。根据由矩阵产生的预测采样，通过mip模式对mip块进行编码，根据一些实施例，mip块是当前块的参考块，或者根据另一实施例，mip块是当前块。在一个实施例中，当当前块是色度块并且mip块是对应的亮度块时，图片或视频编码器或解码器根据默认模式在步骤s506中推导当前块的直接模式(dm)。在另一实施例中，当当前块是帧内编码块且mip块是当前块的相邻块时，图片或视频编码器或解码器通过在步骤s506中并入默认模式来推导当前块的帧内最可能模式(mpm)。在又一个实施例中，当当前块以mip模式被编码并且被二次变换处理或将被处理时，图片或视频编码器或解码器在步骤s506中根据默认模式为当前块中的变换块选择二次变换集。最后，在步骤s508中对当前块进行编码或解码。
[0070]
转置标志信令在本发明的一些实施例中，当当前块由mip模式编码时，通过发信号通知矩阵索引并发信号通知是否为转置模式来发送mip模式信息。在实施例中，矩阵索引是当前块的mip模式索引。在一个实施例中，通过首先用信号发送矩阵索引，然后用信号发送它是否是转置模式，来通知当前块的mip模式信息。在另一个实施例中，则通过首先发信号通知是否为转置模式，然后通过发信号通知矩阵索引，来通知当前块的mip模式信息。
[0071]
图4示出了通过mip模式准备用于对当前块进行编码的参考采样的示例。如图4所示，从当前块42的顶部边界参考采样44和左边界参考采样46获得用于当前块42的mip方法的输入向量。顶部边界参考采样44和左边界参考采样46分别减少为缩减的顶边界采样和缩减的左边界采样。视频编码系统为当前块选择一个矩阵集s0，s1或s2，然后从所选的矩阵集中选择一个矩阵，并确定是否需要应用转置。例如，视频编码系统在当前块的大小为4x4时选择矩阵集s0，或者在当前块的大小为4x8、8x4、8x8、4xn或nx4之一时选择矩阵集s1，否则视频编码系统选择矩阵集s2。在一个示例中，矩阵集s0中有16个矩阵，矩阵集s1中有8个矩阵，矩阵集s2中有6个矩阵。mip方法的输入向量是通过合并缩减的顶部边界采样和缩减的左边界参考采样而获得的缩减的边界向量，其中在未转置时将缩减的顶部边界采样放置在缩减的左边界采样之前，在转置时将缩减的左边界采样放置在缩减的顶部边界采样之前。通过将输入向量与所选矩阵相乘，然后加上偏移量，可以生成当前块的缩减预测信号。如果应用了转置，则将当前块的缩减的预测信号替换为其转置。在视频比特流中用信号发送当前块的转置标志，以指示在通过mip模式对当前块进行编码时是否应用了转置。在视频比特流中还用信号发送当前块的矩阵索引，以指示所选择的矩阵集中的哪个矩阵用于预测当前块。由于在这些实施例中用信号通知矩阵索引以及转置标志，所以每个矩阵集中的矩阵的数量等于矩阵集中的数量，并且矩阵索引等于mip模式的索引。在一个实施例中，对于每个mip编码块，在转置标志之前用信号发送mip模式索引，在另一实施例中，对于每个mip编码块，在mip模式索引之前用信号发送转置标志。根据一个实施例，用于用信号发送mip模式索引的语法被编码为固定长度的码字。视频解码系统为每个mip编码块解析转置标志和mip模式索引。对于通过mip模式编解码的当前块，视频解码系统根据当前块的大小选择矩阵集，
并根据mip模式索引从选择的矩阵集中决定矩阵。视频解码系统根据转置标志为当前块准备参考采样，并通过矩阵向量乘法生成缩减的预测信号。如果转置标志指示应用了转置，则缩减的预测信号被进一步转置。根据缩减的预测信号对当前块进行解码。
[0072]
通过在解码器处去除矩阵索引推导和转置标志推导，用信号发送用于mip编码块的转置标志的实施例简化了常规mip方法。在常规的mip方法中，矩阵集s0中的模式数目是32，其中前16个模式是16个不同矩阵，而后16个模式是前16个矩阵的转置。通过将信号通知的mip模式索引减去16，可以得出矩阵索引。通过检查mip模式索引是否大于或等于16，可以得出转置标志。类似地，矩阵集s1中的模式数为16，而矩阵集s2中的模式数为12。矩阵集s1中的16个模式中的8个和矩阵集s2中的12个模式中的6个涉及应用转置。通过将信号通知的mip模式索引分别减去8和6，可以得出矩阵集s1和s2中的矩阵索引。通过检查mip模式索引是否分别大于或等于8和6来推导集合s1和s2中的转置标志。
[0073]
图6是示出根据本发明的实施例，用于通过mip模式对当前块进行编码的示例性编码方法的流程图。编码方法可以在图片或视频编码器中实现。在步骤s602中，图片或视频编码器接收与要在mip模式下编码的当前块相关联的输入数据，并在步骤s604中确定在对当前块进行编码中是否应用了转置。为了在mip模式下预测当前块，在步骤s606中首先根据是否应用转置来从当前块的相邻边界采样中导出参考采样，在步骤s608中从当前块的矩阵集中选择矩阵，并且在步骤s610中，通过将参考采样和选择的矩阵相乘来生成当前块的预测采样。在应用转置的情况下，在步骤s612中对预测采样执行转置处理，以用预测采样的转置代替预测采样。在步骤s614中，在视频比特流中用信号发送当前块的转置标志，指示是否将转置应用于当前块。在步骤s616中，图片或视频编码器根据当前块的预测采样对当前块进行编码。
[0074]
用于通过mip模式对当前块进行编码的编码方法还可以包括：将预测采样剪切到合理范围，并对所剪切的预测采样进行上采样，并且对当前块的剪切的预测采样进行自适应的转置处理。该编码方法发信号通知在步骤s608中确定的当前块的矩阵索引，该矩阵索引指示从当前块的矩阵集中选择的矩阵。基于当前块的大小来确定当前块的矩阵集。根据本发明的实施例，在发信号通知当前块的矩阵索引之前，发信号通知当前块的转置标志。
[0075]
图7是示出根据本发明的实施例的用于通过mip模式对当前块进行解码的示例性解码方法的流程图。解码方法可以在图片或视频解码器中实现。在步骤s702中，图片或视频解码器接收与由mip模式编码的当前块相关联的输入数据，并且在步骤s704中，解析当前块的转置标志，以确定是否将转置应用于当前块。在步骤s706中，从当前块的相邻边界采样中导出当前块的参考采样。在步骤s708中，图片或视频解码器解析当前块的矩阵索引以从当前块的矩阵集中选择矩阵，并且在步骤s710中将参考采样与所选矩阵相乘以生成当前块的预测采样。在步骤s712中，根据解析的转置标志，对当前块的预测采样自适应地执行转置处理。在步骤s714中，图片或视频解码器根据当前块的预测采样来解码当前块。
[0076]
用于通过mip模式对当前块进行解码的解码方法还可以包括：将预测采样剪切到合理范围，并对所剪切的预测采样进行上采样，并且对当前块的剪切的预测采样进行自适应的转置处理。在步骤s708中，基于当前块的大小确定当前块的矩阵集。根据本发明的实施例，在解析当前块的矩阵索引之前，解析当前块的转置标志。
[0077]
mip方法中的mpm去除(removal)在传统的mip方法中，当通过mip模式对当前块进
行编解码时，确定三个mpm。需要两个表来导出以mip模式编解码的当前块的三个mpm。这两个表将常规帧内模式索引映射到mip模式索引。第一个表将65个角度模式索引映射到33个角度模式索引，第二个表将33个角度模式索引映射到mip模式索引。还有另一个表储存默认的mpm列表。本发明的一些实施例去除了用于mip编码块的mpm，因此，如上所述的用于mpm的表被去除。在本发明的一些实施例中，用于发送每个mip模式索引的语法被改变为固定长度的码字。在根据一个实施例去除mip编码块的mpm之后，使用固定长度码字来用信号通知该mip编码块的mip模式索引，其中用于固定长度码字的位数可以取决于mip模式的数目。例如，在35个mip模式可用于组1中的4x4块的情况下，19个mip模式可用于组2中的8x8、8x4和4x8块，而11个mip模式可用于组3中其他大小的块，6位，5位和4位的固定长度码字分别用于组1，组2和组3。
[0078]
通过结合将所有mip模式索引映射到默认模式的方法和去除mip编码块的mpm的方法，第一表用于将65个常规帧内模式索引映射到33个角度模式索引、第二表用于将33个角度模式索引映射到mip模式索引、默认mpm列表表以及用于将mip模式索引映射到常规帧内模式索引的表都可以删除，以减少所需的内存和计算复杂性。
[0079]
二的幂次的数量的mip模式在一个实施例中，mip模式索引或矩阵索引由固定长度的码字编码。由于对于具有不同大小或形状的块，mip模式的数量或矩阵的数量是不同的，因此，码字的长度取决于块的大小，宽度、高度或宽度和高度。在一实施例中，较小块中使用的码字长度大于或长于较大块中使用的码字长度。在另一个实施例中，用于各种块大小的mip模式或矩阵的数量被选择为二的幂，以便有效地使用固定长度的码字。即，对于由mip模式编码的每个块，可以选择二的幂次的mip模式或矩阵。例如，将组1中4x4块的mip模式或矩阵的数量设置为32，组2中4x8和8x4块的mip模式或矩阵的数量设置为16，将其他块的mip模式或矩阵的数量设置为8。
[0080]
视频编码器和解码器的实现可以在视频编码器或解码器中实现上述提出的图片或视频处理方法。例如，在编码器的帧内预测模组和/或解码器的帧内预测模组中实现了所提出的图片或视频处理方法。或者任何提出的方法都被实现到编码器的帧内预测模组和/或解码器的帧内预测模组的电路，以便提供帧内预测模组所需的信息。
[0081]
图8示出了用于实现本发明的视频处理方法的视频编码器800的示例性系统框图。对于要由帧内预测编码的当前块，帧内预测模组810从mip模式和常规模式之一中选择针对当前块的预测模式。帧内预测模组810基于当前图片的重构视频数据来生成当前块的预测采样，该预测采样也被称为当前块的帧内预测子。如果当前块是通过mip模式预测的，则从当前块的相邻边界采样中获取当前块的参考采样，然后将其乘以矩阵以生成中间预测采样。中间预测采样可以被裁剪到合理范围并被上采样以生成当前块的预测采样。例如，有理范围是[0,1《《bitdepth-1]，并且双线性插值滤波器用于上采样。在mip模式映射的一些实施例中，当前块的mip模式索引被映射到默认模式，因此用于对应色度块的dm推导、用于相邻块的帧内mpm推导或用于当前块的变换块的二次变换集选择都是基于默认模式进行的。在发送转置标志信号的一些实施例中，在编码的视频比特流中用信号发送转置标志，该转置标志指示在对当前块进行编码的过程中是否应用了转置。如果选择常规模式以对当前块进行编码，则帧内预测模组810为当前块选择帧内预测模式，并根据帧内预测模式为当前块生成预测采样。帧间预测模组812执行运动估计(me)和运动补偿(mc)，以基于来自其他图片
的视频数据提供帧间预测子。对于每个块，帧内预测模组810或帧间预测模组812将所选择的预测子提供给加法器816以形成预测误差，也称为预测残差。
[0082]
当前块的预测残差由变换模组(t)818进一步处理，然后由量化模组(q)820处理。经变换和量化的残差信号随后由熵编码器834编码以形成编码的视频比特流。然后，已编码的视频比特流将附带一些辅助信息，例如每个mip编码块的转置标志。逆量化模组(iq)822和逆变换模组(it)824对当前块的经变换和量化的残差信号进行处理以恢复预测残差。如图8所示，通过在重构模组(rec)826处将其加回到所选择的预测子来恢复预测残差，以产生重构的视频数据。重建的视频数据可以储存在参考图片缓冲器(ref.pict.buffer)832中，并且用于其他图片的预测。由于编码处理，来自rec 826的重构视频数据可能遭受各种损害，因此，在将重构视频数据储存到参考图片缓冲器832之前，环路处理的解块滤波器(df)828和样本自适应偏移(sao)830被应用于重构视频数据以进一步提高图片品质。df 828和sao 830是在视频编码器800中应用的环内处理滤波器的示例，可以选择环内处理滤波器的任何其他组合以对重构的视频数据进行滤波。与用于环路处理df 828和sao 830的信息相关联的语法被提供给熵编码器834，以用于合并到编码的视频比特流中。
[0083]
在图9中示出了用于对由图8的视频编码器800编码的数据进行解码的示例性的对应视频解码器900。编码的视频比特流是视频解码器900的输入，并且由熵解码器910解码以解析并恢复经变换和量化的残差信号和其他系统信息。解码器900的解码过程类似于编码器800处的重建循环，除了解码器900仅需要帧间预测模组914中的运动补偿预测。每个块都由帧内预测模组912或帧间预测模组914解码。开关916根据当前块的解码模式信息，选择来自帧内预测模组912的帧内预测子或来自帧间预测模组914的帧间预测子。帧内预测模组912解析语法以确定当前块是在常规帧内预测模式下还是在mip模式下编码，并且如果当前块是通过mip模式进行编码的，则参考采样是从当前图片中的相邻边界采样导出的，并与矩阵相乘以生成中间预测采样。根据从编码的视频比特流中解析出的矩阵索引来选择矩阵。帧内预测模组912剪切中间预测采样，然后对剪切的中间预测采样执行上采样处理，以生成当前块的帧内预测子。在mip映射的一些实施例中，每个mip编码块的mip模式索引被映射到默认模式，用于dm推导、帧内mpm推导或二次变换集选择。在转置标志信令的一些实施例中，为每个mip编码的块解析转置标志，并且根据相应的转置标志来导出每个mip编码的块的参考采样和帧内预测子。如果当前块未被基于矩阵的帧内预测编码，则帧内预测模组912根据帧内预测模式导出当前块的帧内预测子。与每个块相关联的经变换和量化的残差信号由逆量化模组(iq)920和逆变换模组(it)922恢复。通过将rec 918中的帧内或帧间预测子加回去，来重构恢复的经变换和量化的残差信号，以制作重构的视频。df 924和sao 926对重构的视频进行进一步处理，以生成最终的解码视频。如果当前解码的图片是参考图片，则当前解码的图片的重构视频也储存在参考图片缓冲器928中以用于解码顺序在后面的图片。
[0084]
图8和图9中的视频编码器800和视频解码器900的各种组件可以由硬体组件、配置为执行储存在记忆体中的程式指令的一个或多个处理器、或硬体和处理器的组合来实现。例如，处理器执行程式指令以控制在上采样之前剪切中间预测采样。该处理器配备有一个或多个处理核心。在一些示例中，处理器执行程式指令以执行编码器800和解码器900中的某些组件中的功能，并且与处理器电耦合的记忆体用于储存程式指令、与块的重构图片相对应的信息和/或编码或解码过程中的中间数据。在一些实施例中的记忆体包括非暂时性
计算机可读介质，例如半导体或固态记忆体、随机存取记忆体(ram)，唯读记忆体(rom)，硬碟，光碟或其他合适的储存介质。记忆体也可以是上面列出的两个或多个非暂时性计算机可读介质的组合。如图图8和图9所示，编码器800和解码器900可以在同一电子设备中实现，因此，如果在同一电子设备中实现，则编码器800和解码器900的各种功能组件可以共享或重复使用。例如，图8中的重构模组826、逆变换模组824、逆量化模组822、解块滤波器828、采样自适应偏移830和参考图片缓冲器832中的一个或多个也可以用作图9中的重构模组918、逆变换模组922、逆量化模组920、解块滤波器924、采样自适应偏移926和参考图片缓冲器928。
[0085]
用于图片或视频编码系统的基于矩阵的帧内预测方法的实施例可以在集成到视频压缩晶片中的电路或集成到视频压缩软体中的程式代码中执行，以执行上述处理。例如，在mip方法中上采样之前对中间预测采样进行剪切，可以在计算机处理器、数位信号处理器(dsp)、微处理器或现场可程式化逻辑阵列(fpga)上执行的程式码中实现。这些处理器可以被配置为通过执行机器可读软体代码或韧体代码，该代码定义本发明实施的特定方法，来执行根据本发明的特定任务。
[0086]
在整个说明书中对“一个实施例”，“一些实施例”或类似语言的引用意味着结合这些实施例描述的特定特征，结构或特性可以被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一些实施例中”并不一定全都指同一实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个特定细节的情况下，或者在利用其他方法，组件等的情况下实践本发明。在其他情况下，未示出或未示出公知的结构或操作。详细描述以避免混淆本发明的方面。
[0087]
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入申请专利范围等同含义和范围内的所有改变均应包含在其范围之内。