简化的跨分量预测的制作方法

文档序号:20020368发布日期:2020-02-25 11:32阅读:229来源:国知局
简化的跨分量预测的制作方法

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则,本申请是为了及时要求于2019年1月11日提交的国际专利申请no.pct/cn2019/071382和2018年8月17日提交的国际专利申请no.pct/cn2018/100965的优先权和利益。出于根据美国法律的所有目的,国际专利申请no.pct/cn2019/071382和no.pct/cn2018/100965的全部公开通过引用而并入,作为本申请的公开的一部分。

本专利文档涉及视频编码技术、设备和系统。



背景技术:

尽管视频压缩技术有所进步,但数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。



技术实现要素:

描述了与数字视频编码相关的设备、系统和方法,特别是视频编码中的跨分量线性模型(cross-componentlinearmodel,cclm)预测模式的低复杂性实施方式。所描述的方法可以应用于现有视频编码标准(例如,高效视频编码(highefficiencyvideocoding,hevc))和未来视频编码标准(例如,多功能视频编码(versatilevideocoding,vvc))或编解码器。

在一个示例方面,公开了一种视频处理的方法。该方法包括:使用亮度块的训练样本来确定用于预测第一色度块的线性模型;以及使用亮度块的样本集合和线性模型来确定第一色度块的样本;其中训练样本或样本集合在不使用多抽头降采样滤波器的情况下确定。

在另一示例方面,公开了另一种视频处理方法。该方法包括:使用亮度块的训练样本来确定用于预测第一色度块的线性模型;以及使用亮度块的样本集合和线性模型来确定第一色度块的样本;其中训练亮度样本被限制为与亮度块相邻的、在用于帧内预测过程的位置处的亮度样本。

在另一示例方面,公开了另一种视频处理方法。该方法包括:对于当前视频块和当前视频块的比特流表示之间的转换,基于与包括亮度块和第一色度块的当前视频块相关的规则来选择性地确定用于从亮度块的样本集合生成第一色度块的样本的跨分量预测方案;以及根据跨分量预测方案来生成第一色度块的样本,其中跨分量预测方案是以下中的一个:第一跨分量预测方案,其使用根据亮度块的训练样本生成的线性模型,使得训练样本和样本集合在不使用多抽头降采样滤波器的情况下确定;或者第二跨分量预测方案,在该第二跨分量预测方案中训练亮度样本被限制为与当前视频块相邻的、在用于帧内预测过程的位置处的亮度样本;其中规则指定根据当前视频块所属的视频区域来选择跨分量预测方案。

在另一示例方面,公开了另一种视频处理方法。该方法包括:对于视频的视频块和视频块的编码表示之间的转换,从视频块的亮度块确定视频块的第一色度块的样本;其中第一色度块的样本对应于第一中间色度块和n个第二中间色度块的加权组合,其中第一中间色度块是使用第一跨分量线性模型根据亮度块的第一样本集合生成的,其中第一跨分量线性模型是使用亮度样本的第一训练序列生成的;并且其中n个第二中间色度块是使用n个第二跨分量线性模型根据亮度块的n个第二样本集合生成的,其中n个第二跨分量线性模型是使用亮度样本的n个第二训练序列生成的,其中n为整数。

在另一示例方面,公开了另一种视频处理方法。该方法包括:使用降采样过程对亮度块的样本集合进行降采样,其中在降采样过程中使用的降采样滤波器取决于被降采样以生成亮度块的降采样样本集合的亮度样本的位置;使用线性模型从亮度块的降采样样本集合确定第一色度块的样本。

在另一代表性方面,所公开的技术可以用于提供用于简化的跨分量预测的方法。该方法包括:接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示;使用线性模型基于第二样本集合来预测至少一个色度分量的第一样本集合,该第二样本集合是通过对至少一个亮度分量的样本进行子采样而选择的;以及基于第一样本集合和第二样本集合来处理比特流表示,以生成当前块。

在另一代表性方面,所公开的技术可以用于提供用于简化的跨分量预测的方法。该方法包括:接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示;使用线性模型基于第二样本集合来预测至少一个色度分量的第一样本集合,该第二样本集合是相邻样本并且用于至少一个亮度分量的帧内预测模式;以及基于第一样本集合和第二样本集合来处理比特流表示,以生成当前块。

在又一代表性方面,所公开的技术可以用于提供用于简化的跨分量预测的方法。该方法包括:接收包括多个块的图片段的比特流表示,其中多个块包括当前块,并且其中多个块中的每一个包括色度分量和亮度分量;对多个块中的每一个执行预测步骤;以及基于相应的第一样本集合和第二样本集合来处理比特流表示,以生成多个块的相应块。

在又一代表性方面,所公开的技术可以用于提供用于简化的跨分量预测的方法。该方法包括:接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示;对当前块执行预定次数的预测步骤;基于预定数量的第一样本集合中的每一个来生成最终的第一样本集合;以及至少基于最终的第一样本集合来处理比特流表示,以生成当前块。

在又一代表性方面,所公开的技术可以用于提供用于简化的跨分量预测的方法。该方法包括:确定第一视频块的大小;基于对第一视频块的大小的确定来确定关于跨分量线性模型(cclm)预测模式的应用的参数;以及根据参数使用cclm预测模式来执行对第一视频块的进一步处理。

在又一代表性方面,上述方法以处理器可执行代码的形式体现,并且存储在计算机可读程序介质中。

在又一代表性方面,公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程为实施该方法的处理器。

在又一代表性方面,视频解码器装置可以实施如本文描述的方法。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述以及其他方面和特征。

附图说明

图1示出了用于推导用于跨分量预测的线性模型的权重的样本的位置的示例。

图2示出了将相邻样本分类为两组的示例。

图3a示出了色度样本及其对应的亮度样本的示例。

图3b示出了用于联合探索模型(jointexplorationmodel,jem)中的跨分量线性模型(cclm)的降滤波的示例。

图4示出了与单个色度样本相对应的四个亮度样本的示例性排列。

图5a和图5b示出了具有相邻样本的4×4色度块的样本、以及对应的亮度样本的示例。

图6a-图6j示出了没有亮度样本降滤波的cclm的示例。

图7a-图7d示出了仅需要在正常帧内预测中使用的相邻亮度样本的cclm的示例。

图8a和图8b示出了编码树单元(codingtreeunit,ctu)的边界处的编码单元(codingunit,cu)的示例。

图9示出了根据所公开技术的用于跨分量预测的示例方法的流程图。

图10示出了根据所公开技术的用于跨分量预测的另一示例方法的流程图。

图11示出了根据所公开技术的用于跨分量预测的又一示例方法的流程图。

图12示出了根据所公开技术的用于跨分量预测的又一示例方法的流程图。

图13是用于实施本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图14-图18是视频处理的各种方法的流程图。

图19a-图19b描绘了当前块内部和外部的亮度样本的降采样位置。假设当前块尺寸为wxh。图19a展示了当涉及w个上侧相邻样本和h个左侧相邻样本时的情况。图19b展示了当涉及2w个上侧相邻样本和2h个左侧相邻样本时的情况。

图20是可以在其中实施所公开技术的示例视频处理系统的框图。

具体实施方式

由于对更高分辨率视频的日益增长的需求,视频编码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且不断被改进以提供更高的编码效率。视频编解码器将未压缩的视频转换为压缩格式,反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂关系。压缩格式通常符合标准视频压缩规范,例如,高效视频编码(hevc)标准(也已知为h.265或mpeg-h部分2)、要完成的多功能视频编码标准(vvc)、或其他当前和/或未来视频编码标准。

所公开技术的实施例可以应用于现有视频编码标准(例如,hevc、h.265)和未来标准以改进运行时性能。在本文档中使用章节标题以提高描述的可读性,并且不以任何方式将讨论或实施例(和/或实施方式)限制为仅相应的章节。

1.跨分量预测的实施例

跨分量预测是在复杂性和压缩效率改进之间具有良好平衡的权衡的色度到亮度(chroma-to-luma)预测方法的形式。

1.1跨分量线性模型(cclm)的示例

在一些实施例中,为了减少跨分量冗余,在jem中使用跨分量线性模型(cclm)预测模式(也称为lm),针对其通过使用如下线性模型,基于相同cu的重构亮度样本来预测色度样本:

predc(i,j)=α·recl′(i,j)+β(1)

这里,predc(i,j)表示cu中的预测色度样本,对于颜色格式4:2:0或4:2:2,recl′(i,j)表示相同cu的降采样的重构亮度样本,而对于颜色格式4:4:4,recl′(i,j)表示相同cu的重构亮度样本。cclm参数α和β通过最小化当前块周围的相邻重构亮度和色度样本之间的回归误差而推导,如下所示:

以及

这里,l(n)表示降采样(对于颜色格式4:2:0或4:2:2)或原始(对于颜色格式4:4:4)的顶部和左侧相邻重构亮度样本,c(n)表示顶部和左侧相邻重构色度样本,n的值等于当前色度编码块的宽度和高度中的最小一个的两倍。

在一些实施例中,对于正方形的编码块,直接应用上述两个等式。在其他实施例中,对于非正方形编码块,首先对更长边界的相邻样本进行子采样,以具有与更短边界相同数量的样本。图1示出了cclm模式中涉及的当前块的样本以及左侧和上侧重构样本的位置。

在一些实施例中,该回归误差最小化计算是作为解码过程的一部分执行的,而不仅仅是作为编码器搜索操作,所以不使用语法来传达α值和β值。

在一些实施例中,cclm预测模式还包括两个色度分量之间的预测,例如,从cb(蓝差(blue-difference))分量预测cr(红差(red-difference))分量。代替使用重构样本信号,cclmcb到cr(cb-to-cr)预测应用于残差域。这是通过将加权重构cb残差添加到原始cr帧内预测以形成最终cr预测而实施的:

这里,resicb′(i,j)呈现位置(i,j)处的重构cb残差样本。

在一些实施例中,缩放因子α可以以与cclm亮度到色度预测中相似的方式推导。唯一的差异是相对于误差函数中的默认α值添加了回归成本,使得推导的缩放因子如下所示偏向默认值-0.5:

这里,cb(n)表示相邻的重构cb样本,cr(n)表示相邻的重构cr样本,λ等于∑(cb(n)·cb(n))>>9。

在一些实施例中,cclm亮度到色度预测模式被添加作为一个附加色度帧内预测模式。在编码器侧,添加了针对色度分量的再一个rd成本检查,以用于选择色度帧内预测模式。当除了cclm亮度到色度预测模式的帧内预测模式用于cu的色度分量时,cclmcb到cr预测用于cr分量预测。

1.2多模型cclm的示例

在jem中,有两个cclm模式:单模型cclm模式和多模型cclm模式(multiplemodelcclmmode,mmlm)。如名称所指示的,对于整个cu,单模型cclm模式采用用于从亮度样本预测色度样本的一个线性模型,而在mmlm中,可以有两个模型。

在mmlm中,当前块的相邻亮度样本和相邻色度样本被分类为两组,每组被用作训练集以推导线性模型(即,针对特定组推导特定的α和β)。此外,当前亮度块的样本也基于对相邻亮度样本进行分类的相同规则分类。

图2示出了将相邻样本分类为两组的示例。阈值threshold被计算为相邻的重构亮度样本的平均值。rec′l[x,y]<=threshold的相邻样本被分类为组1;而rec′l[x,y]>threshold的相邻样本被分类为组2。

1.3cclm降采样滤波器的示例

在一些实施例中,为了执行跨分量预测,对于其中4个亮度样本与1个色度样本相对应的4:2:0色度格式,重构亮度块需要被降采样以匹配色度信号的尺寸。cclm模式中使用的默认降采样滤波器如下:

rec'l[x,y]={2×recl[2x,2y]+2×recl[2x,2y+1]+

recl[2x-1,2y]+recl[2x+1,2y]+

recl[2x-1,2y+1]+recl[2x+1,2y+1]+4}>>3(7)

这里,对于色度样本相对于亮度样本的位置的位置,降采样假定如图3a所示的“类型0”相位关系,例如,水平并置采样和垂直间隙采样。

(6)中定义的示例性6抽头降采样滤波器被用作单模型cclm模式和多模型cclm模式的默认滤波器。

在一些实施例中,对于mmlm模式,编码器可以可替换地选择四个附加亮度降采样滤波器中的一个来应用于cu中的预测,并且发送滤波器索引以指示这些滤波器中的哪一个被使用。如图3b所示,mmlm模式的四个可选亮度降采样滤波器如下:

rec'l[x,y]=(recl[2x,2y]+recl[2x+1,2y]+1)>>1(8)

rec'l[x,y]=(recl[2x+1,2y]+recl[2x+1,2y+1]+1)>>1(9)

rec'l[x,y]=(recl[2x,2y+1]+recl[2x+1,2y+1]+1)>>1(10)

rec'l[x,y]=(recl[2x,2y]+recl[2x,2y+1]+recl[2x+1,2y]+recl[2x+1,2y+1]+2)>>2(11)

jvet-m0098中的多模型cclm的扩展

在jvet-m0098中,mm-cclm被扩展。命名为cclm-l和cclm-t模式的两个附加模式被添加到原始mm-cclm,命名为cclm-tl。利用cclm-l,两个模型的线性参数仅用左侧相邻样本推导。利用cclm-t,两个模型的线性参数仅用顶部相邻样本推导。

2现有实施方式中的缺点的示例

至少由于以下问题,当前cclm实施方式不容易适合于高效的硬件实施方式:

·需要比正常帧内预测中使用的相邻亮度样本更多的相邻亮度样本。cclm需要两个上侧相邻行的亮度样本和三个左侧相邻列的亮度样本。mm-cclm需要四个上侧相邻行的亮度样本和四个左侧相邻列的亮度样本。

·亮度样本(针对用于参数推导的相邻亮度样本和共位的亮度重构样本)需要用6抽头滤波器来降采样,这增加了计算复杂性。

3用于视频编码中的简化的跨分量预测的示例性方法

目前公开的技术的实施例克服了现有实施方式的缺点,从而提供了编码效率更高但计算复杂性更低的视频编码。基于所公开的技术,简化的跨分量预测可以增强现有视频编码标准和未来视频编码标准,在针对各种实施方式描述的以下示例中被阐述。下面提供的所公开技术的示例解释了一般概念,并且不意味着被解释为限制。在示例中,除非明确相反指示,否则这些示例中描述的各种特征可以被组合。

所建议的简化的cclm方法包括但不限于:

·仅需要在正常帧内预测中使用的相邻亮度样本;以及

·不需要对亮度样本进行降采样,或者降采样通过简单的双样本平均来执行。

下面描述的示例假定颜色格式为4:2:0。如图3a所示,一个色度(cb或cr)样本(由三角形表示)对应于四个亮度(y)样本(由圆圈表示):如图4所示的a、b、c和d。图5a和图5b示出了具有相邻样本的4×4色度块的样本、以及对应的亮度样本的示例。

示例1.在一个示例中,建议在不对亮度样本进行降采样滤波的情况下完成cclm。

(a)在一个示例中,在cclm参数(例如,α和β)推导过程中移除相邻亮度样本的降采样过程。相反,降采样过程由其中利用非连续亮度样本的子采样过程取代。

(b)在一个示例中,在cclm色度预测过程中移除共位的亮度块中的样本的降采样过程。相反,仅共位的亮度块中的部分亮度样本用于推导色度样本的预测块。

(c)图6a-图6j示出了关于对应于4×4色度块的8×8亮度块的示例。

(d)在如图6a所示的一个示例中,图4中的位置“c”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本来推导线性模型。

(e)在如图6b所示的一个示例中,图4中的位置“c”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本和右上方相邻样本来推导线性模型。

(f)在如图6c所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本来推导线性模型。

(g)在如图6d所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本和右上方相邻样本来推导线性模型。

(h)在如图6e所示的一个示例中,图4中的位置“b”处的亮度样本用于与色度样本相对应。在训练过程中使用左侧相邻样本来推导线性模型。

(i)在如图6f所示的一个示例中,图4中的位置“b”处的亮度样本用于与色度样本相对应。在训练过程中使用左侧相邻样本和左下方相邻样本来推导线性模型。

(j)在如图6g所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用左侧相邻样本来推导线性模型。

(k)在如图6h所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用左侧相邻样本和左下方相邻样本来推导线性模型。

(1)在如图6i所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本和左侧相邻样本来推导线性模型。

(m)在如图6j所示的一个示例中,图4中的位置“d”处的亮度样本用于与色度样本相对应。在训练过程中使用上侧相邻样本、左侧相邻样本、右上方相邻样本和左下方相邻样本来推导线性模型。

示例2.在一个示例中,建议cclm仅需要在正常帧内预测过程中使用的相邻亮度样本,也就是说,不允许其他相邻亮度样本用于cclm过程中。在一个示例中,通过对亮度样本进行2抽头滤波来完成cclm。图7a-图7d示出了关于对应于4×4色度块的8×8亮度块的示例。

(a)在如图7a所示的一个示例中,图4中的位置“c”和位置“d”处的亮度样本被滤波为f(c,d),以用于与色度样本相对应。在训练过程中使用上侧相邻样本来推导线性模型。

(b)在如图7b所示的一个示例中,图4中的位置“c”和位置“d”处的亮度样本被滤波为f(c,d),以用于与色度样本相对应。在训练过程中使用上侧相邻样本和右上方相邻样本来推导线性模型。

(c)在如图7c所示的一个示例中,图4中的位置“b”和位置“d”处的亮度样本被滤波为f(b,d),以用于与色度样本相对应。在训练过程中使用左侧相邻样本来推导线性模型。

(d)在如图7d所示的一个示例中,图4中的位置“b”和位置“d”处的亮度样本被滤波为f(b,d),以用于与色度样本相对应。在训练过程中使用左侧相邻样本和左下方相邻样本来推导线性模型。

(e)在一个示例中,f被定义为f(x,y)=(x+y)>>1。可替换地,f(x,y)=(x+y+1)>>1。

示例3.在一个示例中,建议可以以选择性方式应用所建议的简化的cclm方法(例如,示例1和示例2)。也就是说,区域/条带/图片/序列内的不同块可以选择不同种类的简化的cclm方法。

(a)在一个实施例中,编码器从预定义的候选集中选择一个种类的简化的cclm方法并将其信令通知给解码器。

(i)例如,编码器可以在示例1(a)和示例1(e)之间进行选择。可替换地,编码器可以在示例1(b)和示例1(f)之间进行选择。可替换地,编码器可以在示例1(c)和示例1(g)之间进行选择。可替换地,编码器可以在示例1(d)和示例1(h)之间进行选择。可替换地,编码器可以在示例2(a)和示例2(c)之间进行选择。可替换地,编码器可以在示例2(b)和示例2(d)之间进行选择。

(ii)要从其选择的候选集和信令可以取决于块的形状或尺寸。假设w和h表示色度块的宽度和高度,t1和t2为整数。

(1)在一个示例中,如果w<=t1且h<=t2,则没有候选,例如,cclm被禁用。例如,t1=t2=2。

(2)在一个示例中,如果w<=t1或h<=t2,则没有候选,例如,cclm被禁用。例如,t1=t2=2。

(3)在一个示例中,如果w×h<=t1,则没有候选,例如,cclm被禁用。例如,t1=4。

(4)在一个示例中,如果w<=t1且h<=t2,则只有一个候选,诸如示例1(i)。没有信令通知cclm方法选择信息。例如,t1=t2=4。

(5)在一个示例中,如果w<=t1或h<=t2,则只有一个候选,诸如示例1(i)。没有信令通知cclm方法选择信息。例如,t1=t2=4。

(6)在一个示例中,如果w×h<=t1,则只有一个候选,诸如示例1(i)。没有信令通知cclm方法选择信息。例如,t1=16。

(7)在一个示例中,如果w>h,则只有一个候选,诸如示例1(a)。没有信令通知cclm方法选择信息。可替换地,如果w>h(或w>n*h,其中n是正整数),则仅在推导cclm参数时使用上侧或/和右上方相邻重构样本的候选(或一些候选)被包括在候选集中。

(8)在一个示例中,如果w<h,则只有一个候选,诸如示例1(e)。没有信令通知cclm方法选择信息。可替换地,如果w<h(或n*w<h),则仅在推导cclm参数时使用左侧或/和左下方相邻重构样本的候选(或一些候选)被包括在候选集中。

(b)在一个实施例中,编码器和解码器两者都基于相同规则选择简化的cclm方法。编码器不将其信令通知给解码器。例如,选择可以取决于块的形状或尺寸。在一个示例中,如果宽度大于高度,则选择示例1(a),否则,选择示例1(e)。

(c)可以在序列参数集/图片参数集/条带标头/ctu/ctb/ctu组中信令通知一个或多个简化的cclm候选集合。

示例4.在一个示例中,建议将多种cclm方法(例如,示例1和示例2)应用于相同色度块。也就是说,区域/条带/图片/序列内的一个块可以选择不同种类的简化的cclm方法来推导多个中间色度预测块,并且最终色度预测块是从多个中间色度预测块推导的。

(a)可替换地,cclm参数的多个集合(例如,α和β)可以首先根据多个选择的cclm方法推导。cclm参数的一个最终集合可以从多个集合推导并用于色度预测块生成过程。

(b)可以以与示例3描述的方式类似的方式(隐式地或显式地)信令通知对多种cclm方法的选择。

(c)可以在序列参数集/图片参数集/条带标头/ctu组/ctu/编码块中信令通知对所建议的方法的使用的指示。

示例5.在一个示例中,是否以及如何应用所建议的简化的cclm方法可以取决于当前块的位置。

(a)在一个示例中,如图8a所示,对位于当前ctu的上边界处的cu应用所建议的方法中的一种或多种。

(b)在一个示例中,如图8b所示,对位于当前ctu的左边界处的cu应用所建议的方法中的一种或多种。

(c)在一个示例中,在上述两种情况下应用所建议的方法中的一种或多种。

示例6.在一个示例中,当亮度样本在当前块内部或在当前块外部时,亮度样本以不同方式被降采样来与色度样本相对应。此外,当外部亮度样本在当前块左侧或在当前块上侧时,外部亮度样本以不同方式被降采样来与色度样本相对应。

a.在一个示例中,亮度样本如下指定被降采样,如图19a-图19b所示:

i.当前块内部的亮度样本以与jem中的方式相同的方式被降采样。

ii.在当前块外部并且在当前块上侧的亮度样本被降采样到位置c或d。

1.可替换地,用滤波器将亮度样本降采样到位置c。假设在上侧与当前块邻近的亮度样本被表示为a[i],那么d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+2)>>2,其中d[i]表示降采样的亮度样本。

a.如果样本a[2i-1]不可用,则d[i]=(3*a[2i]+a[2i+1]+2)>>2;

b.如果样本a[2i+1]不可用,则d[i]=(a[2i-1]+3*a[2i]+2)>>2;

iii.在当前块外部且在当前块左侧的亮度样本被降采样到位置b或d,

1.可替换地,亮度样本被降采样到b和d之间的一半位置。假设在左侧与当前块邻近的亮度样本被表示为a[j],那么d[j]=(a[2j]+a[2j+1]+1)>>1,其中d[j]表示降采样的亮度样本。

示例7.在一个示例中,所建议的亮度降采样方法可以应用于jem或vtm中的lm模式,并且也可以应用于jem中的mmlm模式。除此之外,它还可以应用于仅使用左侧相邻样本来推导线性模型的左lm(left-lm)模式、或仅使用上侧相邻样本来推导线性模型的上lm(above-lm)模式。

示例8.无论哪个种类的降采样滤波器被应用,边界滤波都可以应用于lm模式、mmlm模式、左lm模式或上lm模式。

a.假设在上侧与当前块邻近的重构色度样本被表示为a[-1][j],在第i行和第j列处的lm预测的样本为a[i][j],则边界滤波后的预测样本被计算为a’[i][j]=(w1*a[i][j]+w2*a[-1][i]+2n-1)>>n,其中w1+w2=2n。

i.在一个示例中,仅当i<=k时才应用边界滤波。k为整数,诸如0或1。例如,k=0,w1=w2=1。在另一示例中,k=0,w1=3,w2=1。

ii.在一个示例中,w1和w2取决于行索引(i)。例如,对于样本a[0][j],k=1,w1=w2=1,但是对于样本a[1][j],w1=3,w2=1。

b.假设在左侧与当前块邻近的重构色度样本被表示为a[i][-1],在第i行和第j列的lm预测的样本为a[i][j],则边界滤波后的预测样本被计算为a’[i][j]=(w1*a[i][j]+w2*a[i][-1]+2n-1)>>n,其中w1+w2=2n。

i.在一个示例中,仅当j<=k时才应用边界滤波。k为整数,诸如0或1。例如,k=0,w1=w2=1。在另一示例中,k=0,w1=3,w2=1。

ii.在一个示例中,w1和w2取决于列索引(i)。例如,对于样本a[0][j],k=1,w1=w2=1,但是对于样本a[1][j],w1=3,w2=1。

图9示出了用于跨分量预测的示例性方法的流程图。方法900包括,在步骤910处,接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示。

方法900包括,在步骤920处,使用线性模型基于第二样本集合来预测至少一个色度分量的第一样本集合,该第二样本集合是通过对至少一个亮度分量的样本进行子采样而选择的。

方法900包括,在步骤930处,基于第一样本集合和第二样本集合来处理比特流表示,以生成当前块。

在一些实施例中,方法900还包括基于训练样本来推导线性模型的参数。例如,在示例1的上下文中,训练样本包括与作为当前块的邻域(neighbor)的色度样本相关联的亮度样本块的一个或多个样本。在一些实施例中,亮度样本块为2×2亮度样本块。在其他实施例中,它的尺寸可以为2n×2n

在一些实施例中,亮度样本中的至少一个与色度样本相对应,并且训练样本可以如示例1(d)至1(m)所述而选择。例如,在一些实施例中,亮度样本块为2×2亮度样本块。在一些实施例中,亮度样本块的左下方样本与色度样本相对应,并且训练样本包括左下方样本的上侧相邻样本。在一些实施例中,亮度样本块的左下方样本与色度样本相对应,并且训练样本包括左下方样本的上侧相邻样本和右上方相邻样本。在一些实施例中,亮度样本块的右下方样本与色度样本相对应,并且训练样本包括右下方样本的上侧相邻样本和右上方相邻样本。在一些实施例中,亮度样本块的右上方样本与色度样本相对应,并且训练样本包括右上方样本的左侧相邻样本。在一些实施例中,亮度样本块的右上方样本与色度样本相对应,并且训练样本包括右上方样本的左侧相邻样本和左下方相邻样本。在一些实施例中,亮度样本块的右下方样本与色度样本相对应,并且训练样本包括右下方样本的左侧相邻样本。在一些实施例中,亮度样本块的右下方样本与色度样本相对应,并且训练样本包括右下方样本的左侧相邻样本和左下方相邻样本。在一些实施例中,亮度样本块的右下方样本与色度样本相对应,并且训练样本包括右下方样本的左侧相邻样本和上侧相邻样本。在一些实施例中,亮度样本块的右下方样本与色度样本相对应,并且训练样本包括右下方样本的上侧相邻样本、左侧相邻样本、右上方相邻样本和左下方相邻样本。

图10示出了用于跨分量预测的另一示例性方法的流程图。该示例包括类似于图9中示出的上述特征和/或步骤的一些特征和/或步骤。在本章节中可能不会单独描述这些特征和/或组件中的至少一些。方法1000包括,在步骤1010处,接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示。

方法1000包括,在步骤1020处,使用线性模型基于第二样本集合来预测至少一个色度分量的第一样本集合,该第二样本集合是相邻样本并且用于至少一个亮度分量的帧内预测模式。

方法1000包括,在步骤1030处,基于第一样本集合和第二样本集合来处理比特流表示,以生成当前块。

在一些实施例中,方法1000还包括基于训练样本来推导线性模型的参数。例如,在示例2的上下文中,训练样本包括与作为当前块的邻域的色度样本相关联的亮度样本块的一个或多个样本。在一些实施例中,亮度样本块为2×2亮度样本块。在其他实施例中,它的尺寸可以为2n×2n

在一些实施例中,基于亮度样本中的两个亮度样本的滤波样本与色度样本相对应,并且训练样本可以如示例2(a)-2(d)所述而选择。例如,在一些实施例中,亮度样本块为2×2亮度样本块。在一些实施例中,使用两抽头滤波器对亮度样本块的左下方样本和右下方样本进行滤波,以生成与色度样本相对应的滤波样本,并且其中训练样本包括左下方样本和右下方样本中的每一个的上侧相邻样本。在一些实施例中,使用两抽头滤波器对亮度样本块的左下方样本和右下方样本进行滤波,以生成与色度样本相对应的滤波样本,并且其中训练样本包括左下方样本和右下方样本中的每一个的上侧相邻样本和右上方相邻样本。在一些实施例中,使用两抽头滤波器对亮度样本块的右上方样本和右下方样本进行滤波,以生成与色度样本相对应的滤波样本,并且其中训练样本包括右上方样本和右下方样本中的每一个的左侧相邻样本。在一些实施例中,使用两抽头滤波器对亮度样本块的右上方样本和右下方样本进行滤波,以生成与色度样本相对应的滤波样本,并且其中训练样本包括右上方样本和右下方样本中的每一个的左侧相邻样本和左下方相邻样本。

图11示出了用于跨分量预测的另一示例性方法的流程图。该示例包括类似于图9和图10中示出的上述特征和/或步骤的一些特征和/或步骤。在本章节中可能不会单独描述这些特征和/或组件中的至少一些。方法1100包括,在步骤1110处,接收包括多个块的图片段的比特流表示,多个块包括当前块,并且多个块中的每一个包括色度分量和亮度分量。

方法1100包括,在步骤1120处,对多个块中的每一个执行预测步骤。

方法1100包括,在步骤1130处,基于相应的第一样本集合和第二样本集合来处理比特流表示,以生成多个块的相应块。

在一些实施例中,并且在示例3的上下文中,预测步骤可以从方法900中描述的预测步骤中选择,而在其他实施例中,预测步骤可以从方法1000中描述的预测步骤中选择。

图12示出了用于跨分量预测的另一示例性方法的流程图。该示例包括类似于图9-图11中示出的上述特征和/或步骤的一些特征和/或步骤。在本章节中可能不会单独描述这些特征和/或组件中的至少一些。方法1200包括,在步骤1210处,接收包括至少一个亮度分量和至少一个色度分量的视频数据的当前块的比特流表示。

方法1200包括,在步骤1220处,对当前块执行预定次数的预测步骤。

方法1200包括,在步骤1230处,基于预定数量的第一样本集合中的每一个来生成最终的第一样本集合。

方法1200包括,在步骤1240处,至少基于最终的第一样本集合来处理比特流表示,以生成当前块。

在一些实施例中,并且在示例4的上下文中,预测步骤可以从方法900中描述的预测步骤中选择,而在其他实施例中,预测步骤可以从方法1000中描述的预测步骤中选择。

在一些实施例中,并且在示例5的上下文中,执行预测步骤是基于当前块在当前ctu中的位置。在一个示例中,当前块的位置在上边界处,而在另一示例中,当前块的位置在当前ctu的左边界处。

在一些实施例中,视频编码的方法包括:确定第一视频块的大小;基于对大小的确定来确定关于cclm预测模式的应用的参数;以及根据参数使用cclm预测模式来执行对第一视频块的进一步处理。在各种实施例中,cclm模式可以包括cclm-tl、cclm-t或cclm-l中的一个或多个。

在一些实施例中,基于大小的宽度小于或等于阈值,cclm预测模式排除cclm-t。

在一些实施例中,基于大小的高度小于或等于阈值,cclm预测模式排除cclm-l。

在一些实施例中,基于大小的高度小于第一阈值并且基于大小的宽度小于第二阈值,cclm预测模式排除cclm-tl。

在一些实施例中,基于大小的宽度乘以大小的高度小于或等于阈值,cclm预测模式排除cclm-tl。

在一些实施例中,基于cclm-t不能被应用,信令通知cclm预测模式为cclm-t的标志不被信令通知并被推断为0。

在一些实施例中,基于cclm-t不能被应用,信令通知cclm预测模式为cclm-l的标志不被信令通知并被推断为0。

在一些实施例中,基于cclm-t不能被应用,信令通知cclm预测模式为cclm-tl的标志不被信令通知并被推断为0。

在一些实施例中,该方法还包括:确定第一视频块的颜色格式,并且其中确定参数是基于对颜色格式的确定。

在一些实施例中,cclm预测模式为cclm-t,并且cclm-t使用上侧参考样本来推导线性模型参数。

在一些实施例中,cclm预测模式为cclm-l,并且cclm-l使用左侧参考样本来推导线性模型参数。

在一些实施例中,cclm预测模式为cclm-t,并且cclm-t用于从上侧参考样本推导多个线性模型。

在一些实施例中,cclm预测模式为cclm-l,并且cclm-l用于从左侧参考样本推导多个线性模型。

在一些实施例中,以下技术解决方案的列表可能是优选的实施方式。

1.一种用于视频处理的方法(例如,图14中示出的方法1400),包括:使用亮度块的训练样本来确定(1402)用于预测第一色度块的线性模型;以及使用亮度块的样本集合和线性模型来确定(1404)第一色度块的样本;其中训练样本或样本集合在不使用多抽头降采样滤波器的情况下确定。

2.根据解决方案1所述的方法,其中,线性模型包括第一参数α和第二参数β,并且其中α和β是通过对训练样本进行子采样而从训练样本推导的。

3.根据解决方案2所述的方法,其中,子采样使用非连续亮度样本。

4.根据解决方案1所述的方法,其中,样本集合对应于与第一色度块的样本共位的亮度样本。

5.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块的上侧相邻样本,并且其中亮度块的样本集合对应于亮度块的左下方像素。

6.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块上侧和右上方的相邻样本,并且其中亮度块的样本集合对应于亮度块的左下方像素。

7.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块的上侧相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

8.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块上侧和右上方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

9.根据解决方案1-4中任一项所述的方法,其中训练样本对应于亮度块的左侧相邻样本,并且其中亮度块的样本集合对应于亮度块的右上方像素。

10.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块左侧和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右上方像素。

11.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块的左侧相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

12.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块左侧和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

13.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块上侧和左侧的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

14.根据解决方案1-4中任一项所述的方法,其中,训练样本对应于亮度块上侧、左侧、右上方和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素。

前一章节提供了上述解决方案的附加特征(例如,第1项)。

15.一种用于视频处理的方法(例如,图15中示出的方法1500),包括:使用亮度块的训练样本来确定(1502)用于预测第一色度块的线性模型;以及使用亮度块的样本集合和线性模型来确定(1504)第一色度块的样本;其中训练亮度样本被限制为与亮度块相邻的、在用于帧内预测过程的位置处的亮度样本。

16.根据解决方案15所述的方法,其中,第一色度块中的色度样本通过将2抽头滤波器应用于亮度块的样本集合中的第一样本和第二样本而确定,该亮度块在与色度块的位置相对应的位置处。

17.根据解决方案16所述的方法,其中,第一样本为左下方样本,第二样本为右下方样本,并且其中训练样本对应于上侧相邻样本。

18.根据解决方案16所述的方法,其中,第一样本为左下方样本,第二样本为右下方样本,并且其中训练样本对应于上侧和右上方相邻样本。

19.根据解决方案16所述的方法,其中,第一样本为右上方样本,第二样本为右下方样本,并且其中训练样本对应于左侧相邻样本。

20.根据解决方案16所述的方法,其中,第一样本为右上方样本,第二样本为右下方样本,并且其中训练样本对应于左侧和左下方相邻样本。

21.根据解决方案16至20中任一项所述的方法,其中,两抽头滤波器为平均滤波器。

22.根据解决方案16至21中任一项所述的方法,其中,两抽头滤波器对一加第一样本加第二样本的和进行平均。

前一章节提供了上述解决方案的附加特征(例如,第1项)。

23.一种视频处理的方法(例如,图16中描绘的方法1600),包括:对于当前视频块和当前视频块的比特流表示之间的转换,基于与包括亮度块和第一色度块的当前视频块相关的规则来选择性地确定(1602)用于从亮度块的样本集合生成第一色度块的样本的跨分量预测方案;以及根据跨分量预测方案来生成(1604)第一色度块的样本,其中跨分量预测方案是以下中的一个:第一跨分量预测方案,其使用根据亮度块的训练样本生成的线性模型,使得训练样本和样本集合在不使用多抽头降采样滤波器的情况下确定;或者第二跨分量预测方案,在该第二跨分量预测方案中训练亮度样本被限制为与当前视频块相邻的、在用于帧内预测过程的位置处的亮度样本;其中规则指定根据当前视频块所属的视频区域来选择跨分量预测方案。

24.根据解决方案23所述的方法,其中,针对当前视频块选择的跨分量预测方案不同于针对视频区域中的另一视频块选择的另一跨分量预测方案。

25.根据解决方案24所述的方法,其中,视频区域包括视频条带。

26.根据解决方案24所述的方法,其中,视频区域包括视频图片。

27.根据解决方案24所述的方法,其中,视频区域包括视频图片序列。

28.根据解决方案23所述的方法,其中,编码条件在当前视频块的编码表示中信令通知。

29.根据解决方案23所述的方法,其中,编码条件没有在当前视频块的编码表示中显式地信令通知。

30.根据解决方案28或29所述的方法,其中,规则指定基于当前视频块的形状或尺寸来选择跨分量预测方案。

31.根据解决方案28或29中任一项所述的方法,其中:训练样本从以下中选择:

亮度块的上侧相邻样本,并且其中亮度块的样本集合对应于亮度块的左下方像素;

亮度块上侧和右上方的相邻样本,并且其中亮度块的样本集合对应于亮度块的左下方像素;

亮度块的上侧相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素;

亮度块上侧和右上方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素;

亮度块的左侧相邻样本,并且其中亮度块的样本集合对应于亮度块的右上方像素;

亮度块左侧和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右上方像素;

亮度块左侧和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素;

亮度块上侧和左侧的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素;或者

亮度块上侧、左侧、右上方和左下方的相邻样本,并且其中亮度块的样本集合对应于亮度块的右下方像素;和/或

其中第一色度块通过将2抽头滤波器应用于亮度块的样本集合中的第一样本和第二样本而确定,该亮度块在与第一色度块的位置相对应的位置处;其中第一样本为左下方样本,第二样本为右下方样本,并且其中训练样本对应于上侧相邻样本;其中第一样本为左下方样本,第二样本为右下方样本,并且其中训练样本对应于上侧和右上方相邻样本;其中第一样本为右上方样本,第二样本为右下方样本,并且其中训练样本对应于左侧相邻样本;或者其中第一样本为右上方样本,第二样本为右下方样本,并且其中训练样本对应于左侧和左下方相邻样本。

32.根据解决方案30所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w<=t1且h<=t2而禁用跨分量预测方案,其中t1和t2为整数。

33.根据解决方案30所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w*h<=t1而禁用跨分量预测方案。

34.根据解决方案30所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w<=t1且h<=t2而选择特定的跨分量预测方案,其中t1和t2为整数,并且其中特定的跨分量预测方案在编码表示中信令通知。

35.根据解决方案30所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w<=t1且h<=t2而选择特定的跨分量预测方案,其中t1和t2为整数,并且其中特定的跨分量预测方案没有在编码表示中信令通知。

36.根据解决方案32所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w*h<=t1而选择特定的跨分量预测方案,并且其中特定的跨分量预测方案在编码表示中信令通知。

37.根据解决方案32所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w>n*h而选择特定的跨分量预测方案,并且其中特定的跨分量预测方案没有在编码表示中信令通知,其中n为整数。

38.根据解决方案32所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w>n*h而选择特定的跨分量预测方案,并且其中特定的跨分量预测方案仅使用来自上侧或右上方相邻样本的像素,并且其中特定的跨分量预测方案在编码表示中信令通知。

39.根据解决方案32所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于n*w<h而选择特定的跨分量预测方案,并且其中特定的跨分量预测方案在编码表示中信令通知,其中n为整数。

40.根据解决方案32所述的方法,其中,当前视频块的宽度为w个像素并且高度为h个像素,并且其中规则指定由于w>n*h而选择特定的跨分量预测方案,并且其中特定的跨分量预测方案仅使用来自左侧或左下方相邻样本的像素。

41.根据解决方案34至40中任一项所述的方法,其中,t1=2。

42.根据解决方案10至17中任一项所述的方法,其中,t2=2。

43.根据解决方案10至17中任一项所述的方法,其中,t1=4。

44.根据解决方案10至17中任一项所述的方法,其中,t2=4。

45.根据解决方案10至17中任一项所述的方法,其中,t2=16。

前一章节提供了上述解决方案的附加特征(例如,第3项)。

46.一种视频处理的方法(例如,图17中描绘的方法1700),包括:对于视频的视频块和视频块的编码表示之间的转换,从视频块的亮度块确定(1702)视频块的第一色度块的样本;其中第一色度块的样本对应于第一中间色度块和n个第二中间色度块的加权组合,其中第一中间色度块是使用第一跨分量线性模型根据亮度块的第一样本集合生成的,其中第一跨分量线性模型是使用亮度样本的第一训练序列生成的;并且其中n个第二中间色度块是使用n个第二跨分量线性模型根据亮度块的n个第二样本集合生成的,其中n个第二跨分量线性模型是使用亮度样本的n个第二训练序列生成的,其中n为整数。

47.根据解决方案46所述的方法,其中,第一跨分量线性模型和n个第二跨分量线性模型中的至少一些在视频的区域内彼此不同,其中视频的区域对应于条带、或图片、或视频序列。

48.根据解决方案46-47中任一项所述的方法,其中,编码表示包括第一跨分量线性模型和n个第二跨分量线性模型的标识。

49.根据解决方案47所述的方法,其中,该标识被包括在序列参数集级别,或图片参数集级别,或条带标头,或编码树单元组、或编码树单元、或编码单元级别中。

50.根据解决方案46-49中任一项所述的方法,其中,编码表示包括对基于取决于视频块的宽度w或视频块的高度h的规则的第一跨分量线性模型和/或n个第二跨分量线性模型的指示。

51.根据解决方案50所述的方法,其中,该指示被包括在序列参数集级别、或图片参数集级别、或条带标头级别、或编码树单元组级别、或编码树单元级别、或编码块级别中。

前一章节提供了上述解决方案的附加特征(例如,第4项)。

52.根据解决方案1-51中任一项所述的方法,其中,该方法基于应用性规则而选择性地应用于当前视频块,该应用性规则与当前视频块在当前图片内满足位置条件相关。

53.根据解决方案52所述的方法,其中,由于视频块位于编码树单元的上边界,应用性规则指定应用上述解决方案的方法。

54.根据解决方案52或53所述的方法,其中,由于当前视频块位于编码树单元的左边界,应用性规则指定应用上述解决方案的方法。

前一章节提供了上述解决方案的附加特征(例如,第5项)。

55.根据解决方案1-54中任一项所述的方法,其中,亮度块的样本集合是使用降采样过程生成的,其中第一降采样滤波器用于对视频块内部的亮度样本进行降采样,第二降采样滤波器应用于视频块外部的亮度样本以生成亮度块的样本集合。

56.根据解决方案55所述的方法,其中,第一降采样滤波器对应于联合探索模型(jem)使用的传统滤波器。

57.根据解决方案55-56中任一项所述的方法,其中,第二降采样滤波器将视频块上侧的亮度样本降采样到左下方和右下方位置。

58.根据解决方案55所述的方法,其中,在上侧与视频块邻近的亮度样本被表示为a[i],然后d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+2)>>2,其中d[i]表示降采样的亮度样本,其中i为表示水平样本偏移的变量。

59.根据解决方案58所述的方法,其中,如果样本a[2i-1]不可用,则d[i]被确定为d[i]=(3*a[2i]+a[2i+1]+2)>>2。

60.根据解决方案58所述的方法,其中,如果样本a[2i+1]不可用,则d[i]=(a[2i-1]+3*a[2i]+2)>>2。

61.根据解决方案55-56中任一项所述的方法,其中,第二降采样滤波器将外部左侧的亮度样本降采样到右上方和右下方位置。

62.根据解决方案55-56中任一项所述的方法,其中,第二降采样滤波器将外部左侧的亮度样本降采样到右上方和右下方位置之间的中间,使得如果当前块的左侧邻近样本被表示为a[j],则d[j]=(a[2j]+a[2j+1]+1)>>1,其中d[j]表示降采样的亮度样本。

前一章节提供了上述解决方案的附加特征(例如,第5项)。

63.一种视频处理的方法(例如,图18中描绘的方法1800),包括:使用降采样过程对亮度块的样本集合进行降采样(1802),其中在降采样过程中使用的降采样滤波器取决于被降采样以生成亮度块的降采样样本集合的亮度样本的位置;以及使用线性模型从亮度块的降采样样本集合确定(1804)第一色度块的样本。

64.根据解决方案63所述的方法,其中,线性模型由第一参数α和第二参数β定义,并且其中从亮度样本recl(i,j)将位置(i,j)处的色度样本predc(i,j)确定为:

predc(i,j)=α*recl(i,j)+β。

前一章节提供了上述解决方案的附加特征(例如,第7项)。

65.根据解决方案63-64中任一项所述的方法,还包括将边界滤波器应用于作为当前视频块的区域的第一色度块的样本。

66.根据解决方案65所述的方法,其中,在上侧与视频块邻近的样本被表示为a[-1][j],第一色度块的第i行和第j列中的样本为a[i][j],然后基于值i选择性地执行应用边界滤波器,并且应用边界滤波器包括计算a’[i][j]=(w1*a[i][j]+w2*a[-1][i]+2n-1)>>n,其中w1+w2=2n表示权重。

67.根据解决方案66所述的方法,其中,应用边界滤波仅针对i<=k执行。

68.根据解决方案66所述的方法,其中,w1和w2为行索引i的函数。

69.根据解决方案65所述的方法,其中,视频块的左侧邻近样本被表示为a[i[[-1],第一色度块的第i行和第j列中的样本为a[i][j],然后基于值j选择性地执行应用边界滤波器,并且应用边界滤波器包括计算a’[i][j]=(w1*a[i][j]+w2*a[i][-1]+2n-1)>>n,其中w1+w2=2n

70.根据解决方案69所述的方法,其中,应用边界滤波仅针对j<=k执行。

71.根据解决方案70所述的方法,其中,w1和w2为列索引j的函数。

72.根据解决方案67或70所述的方法,其中,k=0,w1=w2=1。

73.根据解决方案67或70所述的方法,其中,k=0,w1=3,w2=1。

前一章节提供了上述解决方案的附加特征(例如,第8项)。

74.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中该指令在由处理器运行时使得处理器实施根据解决方案1至73中任一项所述的方法。

75.一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行根据解决方案1至73中任一项所述的方法的程序代码。

76.一种包括处理器的视频解码装置,该处理器被配置为实施根据解决方案1至73中一项或多项所述的方法。

77.一种包括处理器的视频编码装置,该处理器被配置为实施根据解决方案1至73中一项或多项所述的方法。

78.一种本文档中描述的方法、装置或系统。

4.所公开技术的示例实施方式

图13是视频处理装置1300的框图。装置1300可以用于实施本文描述的方法中的一种或多种。装置1300可以体现在智能手机、平板电脑、计算机、物联网(internetofthings,iot)接收器等中。装置1300可以包括一个或多个处理器1302、一个或多个存储器1304、以及视频处理硬件1306。(多个)处理器1302可以被配置为实施本文档中描述的一种或多种方法(包括但不限于方法900、1000、……至1800)。存储器(多个存储器)1304可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1306可以用于在硬件电路中实施本文档中描述的一些技术。

在一些实施例中,视频编码方法可以使用如参考图13描述的在硬件平台上实施的装置而实施。

图20是示出可以在其中实施本文公开的各种技术的示例视频处理系统2000的框图。各种实施方式可以包括系统2000的一些或所有组件。系统2000可以包括用于接收视频内容的输入端2002。视频内容可以以原始或未压缩格式(例如,8或10比特多分量像素值)而接收,或者可以是压缩或编码格式。输入端2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passiveopticalnetwork,pon)等的有线接口和诸如wi-fi或蜂窝接口的无线接口。

系统2000可以包括可以实施本文档中描述的各种编码或编码方法的编码组件2004。编码组件2004可以将来自输入端2002的视频的平均比特率减小到编码组件2004的输出,以产生视频的编码表示。编码技术因此有时被称为视频压缩或视频转码技术。编码组件2004的输出可以存储,或者经由如由组件2006表示的连接的通信而发送。在输入端2002处接收的视频的存储或通信传送的比特流(或编码)表示可以由组件2008用于生成像素值或被发送到显示接口2010的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然特定视频处理操作被称为“编码”操作或工具,但是应当理解,编码工具或操作在编码器处被使用,并且反转编码结果的对应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(universalserialbus,usb)、或高清多媒体接口(highdefinitionmultimediainterface,hdmi)、或显示端口(displayport)等。存储接口的示例包括sata(serialadvancedtechnologyattachment,串行高级技术附件)、pci、ide接口等。本文档中描述的技术可以体现在诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备的各种电子设备中。

模拟结果的示例

在vtm-2.0.1上实施各种cclm方法。为了测试所建议的方法的有效性,测试了两种解决方案。

这两种解决方案的不同在于使用不同的相邻亮度样本集合。假设一个块的宽度和高度分别表示为w和h。在解决方案#1中,训练过程涉及w个上侧相邻样本和h个左侧相邻样本,以用于推导α和β参数。在解决方案#2中,2w个上侧相邻样本和2h个左侧相邻样本用于训练。

测试#1和测试#2分别针对解决方案#1和解决方案#2而进行。在表1和表2中分别概述了测试1和测试2的所有帧内(allintra,ai)和随机接入(randomaccess,ra)配置的仿真结果。

表1:测试1的结果

表2:测试2的结果

根据前述内容,可以理解本文已经出于说明的目的描述了本公开技术的具体实施方案,但是在不脱离本发明范围的情况下可以进行各种修改。因此,本公开技术不受除了所附权利要求之外的限制。

本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路或计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物、或者它们中的一个或多个的组合)中实施。本说明书中描述的主题的实施方式可以实施为一个或多个计算机程序产品,即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。

计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以实施为专用逻辑电路,例如,fpga(fieldprogrammablegatearray,现场可编程门阵列)或asic(applicationspecificintegratedcircuit,专用集成电路)。

适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如eprom、eeprom和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

说明书与附图一起旨在被视为是示例性的,其中示例性意味着示例。如本文所使用的,除非上下文另有清楚说明,否则单数形式“一”、“一个”和“该”旨在也包括复数形式。另外,除非上下文另有清楚说明,否则使用“或”旨在包括“和/或”。

虽然本专利文档包含许多细节,但这些细节不应被解释为对任何发明或可能要求保护的范围的限制,而是作为特定于特定发明的特定实施例的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。

类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为要求以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1