用于预测译码的局部亮度补偿的方法和装置与流程

文档序号:26013177发布日期:2021-07-23 21:34阅读:66来源:国知局
相关申请的交叉引用本申请要求于2019年1月18日提交的申请号为no.62/794,498的美国临时专利申请以及于2019年3月27日提交的申请号为no.62/825,013的美国临时专利申请的优先权。前述专利申请的相应公开内容通过引用整体并入本文。本申请(公开)的实施例一般涉及图像处理领域,尤其涉及用于帧间预测译码的亮度补偿技术。
背景技术
::视频译码(视频编码和解码)用于广泛的数字视频应用,例如广播数字tv、通过互联网和移动网络的视频传输、诸如视频聊天和视频会议的实时对话应用、dvd和蓝光盘、视频内容获取和编辑系统、以及安全应用的便携式摄像机。即便是描述相对较短的视频,所需的视频数据量也可能很大,这在带宽容量有限的通信网络上流式传输或以其他方式传递数据时可能会带来困难。因此,在通过现代电信网络传输之前,视频数据通常被压缩。因为内存资源有限,当视频存储在存储设备上时,视频的大小也可能是个问题。视频压缩设备通常在源处使用软件和/或硬件在传输或存储之前对视频数据进行编码,从而减少了表示数字视频图像所需的数据量。然后,视频解压缩设备在目的地接收压缩的数据,该视频解压缩设备对视频数据进行解码。随着有限的网络资源和对更高视频质量的不断增长的需求,需要一种改进的压缩和解压缩技术,以在几乎不牺牲图像质量的情况下提高压缩率。技术实现要素:本申请的实施例提供了根据独立权利要求的用于图像的帧间预测译码(编码和/或解码)的亮度补偿的装置和方法。本申请的实施例有助于有效亮度补偿。前述目的和其他目的通过独立权利要求的主题实现。根据从属权利要求、说明书、以及附图,其他实施方式显而易见。本公开提供了:一种用于图像的帧间预测译码的亮度补偿方法,包括:使用运动补偿获得图像的当前块的帧间预测的样本值;从参考块的相邻样本的集合l获得相邻样本的第一目标值(xa)和第二目标值(xb),上述参考块是上述当前块的参考块,其中,集合l包括当前块的至少一个参考块的所有或部分相邻样本,并且获得具有第一目标值的样本相对于参考块的位置的对应位置a和具有第二目标值的样本相对于参考块的位置的对应位置b;获得相对于当前块的位置的所获得位置a和b处的当前块的相邻样本的相应值(ya,yb);使用计算的值获得更新参数的值;以及基于更新参数更新帧间预测的样本值。应理解,参考样本可以是相邻样本,或者可以是基于或根据相邻样本的计算值,本公开不限于此。例如,两个参考块可以对应于两个参考图像。在根据前一方面的方法的可能实施方式中,其中,第一目标值(xa)和第二目标值(xb)可以分别对应于至少一个参考块的相邻样本的最小值(xa)和最大值(xb)。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,位置a可以对应于至少一个参考块的相邻样本的最小亮度值,位置b可以对应于至少一个参考块的相邻样本的最大亮度值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,相邻样本的相应值(ya,yb)可以从当前块的相邻样本的集合c获得,其中,集合c可以包括所有或部分相邻样本。在根据前一方面的方法的可能实施方式中,集合l和集合c相对于其相应块l和c的相对位置可以包含相同的相邻样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,相邻样本可以是相邻重建样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,上述方法还可以包括:确定与预测块的左侧和上方相邻的块的预测模式;基于确定的与预测块的左侧和上方相邻的块的预测模式确定采样模板(t);确定重建样本的集合(s),重建样本与预测块的左侧或上方相邻,并且具有被采样模板t允许的相对于预测块的位置;确定参考样本的集合(r),参考样本与参考区域的左侧或上方相邻,并且具有被采样模板t允许的相对于参考区域的位置;使用参考样本的集合r中的样本作为参考值,并使用重建样本的集合s中的重建样本作为目标值,导出线性模型的参数;以及对预测块的样本应用线性变换,其中,线性变换的参数是线性模型的导出的参数。在根据前一方面的方法的可能实施方式中,其中,导出线性模型的参数可以包括以下步骤:获得至少一个参考块的参考样本的第一目标值(xa)和第二目标值(xb),参考样本例如是相邻样本,并获得具有第一目标值的参考样本相对于参考块的位置的对应位置a和具有第二目标值的参考样本相对于参考块的位置的对应位置b;获得当前块的相对于当前块的位置的对应位置a和b处的参考样本的相应值(ya,yb),参考样本例如是相邻样本;基于参考样本的值获得或导出更新参数的值,其中,参考样本的值包括以下中的一个或多个:参考块的参考样本的第一目标值(xa)和第二目标值(xb),以及在对应位置a和b处的当前块的参考样本的值(ya,yb);以及基于更新参数的值更新帧间预测的样本值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,更新参数可以为α和β,并且其中,更新参数α和β的值可以是使用根据以下方程计算的值获得的:在根据前一方面的方法的可能实施方式中,可以如下更新帧间预测的样本值:pred'(x,y)=α·pred(x,y)+β在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,位置a和位置b可以从参考块的相邻样本的集合l的子集中选择。在根据前一方面的方法的可能实施方式中,l可以包括在整数像素位置处的所有相邻样本。在根据前两个方面的任何前述实施方式或先前方面的方法的可能实施方式中,参考块的相邻样本的第二小值(xa’)和第二大值(xb’)可以额外地用于计算更新参数。在根据前一方面的方法的可能实施方式中,其中,参考块的相邻样本的第二小值(xa’)可以对应于位置a’处的亮度值,并且参考块的相邻样本的第二大值(xb’)可以对应于位置b’处的亮度值。在根据前六个方面的任何前述实施方式、或前五个方面(当从属于先前第六方面)、或前一方面的方法的可能实施方式中,其中,查找表(lookuptable,lut)可以用于导出参数α,其中,查找表可以包括根据方程(e1)为α指定的除法求导的结果。在根据前一方面的方法的可能实施方式中,查找表可以线性映射到差xb-xa。在根据前一方面的方法的可能实施方式中,查找表可以非线性映射到差xb-xa。在根据前三个方面的任何前述实施方式或前一方面的方法的可能实施方式中,查找表可以包括有效数的值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,参考块的相邻样本的集合和当前块的相邻样本的集合可以不包括所有相邻样本,而是可以包括与参考块和当前块的角落和中部相邻的样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,参考块的相邻样本的集合l和当前块的相邻样本的集合c可以不包括所有相邻样本,而是可以仅包括与参考块和当前块的角落和中部相邻的样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,参考块的相邻样本的集合和当前块的相邻样本的集合可以不包括所有相邻样本,而是可以包括到左上角的距离超过给定阈值的样本。在根据前一方面的方法的可能实施方式中,上述阈值可以定义为当前块的边长的1/4。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,参考块的相邻样本的集合l与当前块的相邻样本的集合c可以不包括所有相邻样本,而是可以仅包括到左上角的距离超过给定阈值的样本。在根据前六方面的任何前述实施方式或前一方面的方法的可能实施方式中,集合l和集合c可以不包括在整数像素位置处的所有相邻样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,两个或两个以上的参考块可以用于运动补偿和获得更新参数。在根据前一方面的方法的可能实施方式中,上述运动补偿可以是局部亮度补偿(localilluminationcompensation,lic)。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,在不对当前块和参考块的模板进行降采样的情况下,使用当前块和参考块的模板。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,在线性模型参数导出或线性模型系数导出之前,对当前块和参考块的上模板样本和左模板样本进行滤波。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,对于跨分量预测(cross-componentprediction,cclm)和局部亮度补偿(lic),线性模型参数导出或线性模型系数导出可以是统一的。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,参考块的参考样本的第一目标值和第二目标值可以分别是参考块的相邻样本的第二集合中的最小值(xa)和最大值(xb);以及具有第一目标值的参考样本的位置a与具有第二目标值的参考样本的位置b可以是具有最小值的相邻样本相对于参考块的位置的对应位置a和具有最大值的相邻样本相对于参考块的位置的对应位置b。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,第一目标值可以是参考块的相邻样本的第二集合中的最小样本值a和第二小样本值a’的第一平均值;第二目标值可以是参考块的相邻样本的第二集合中的最大样本值b和第二大样本值b’的第二平均值;以及具有第一目标值的参考样本的位置a和具有第二目标值的参考样本的位置b可以是具有第一平均值的相邻样本相对于参考块的位置的对应位置和具有第二平均值的相邻样本相对于参考块的位置的对应位置。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,参考样本值还可以包括当前块的上模板样本和左模板样本的均值以及参考块的上模板样本和左模板样本的均值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,当在参考块的相邻样本的第二集合中具有最小值的参考样本的数量是q时,参考样本的对应位置a可以是具有最小值并具有到参考块的左上角的最大距离的参考样本,和/或参考样本的对应位置b是具有最大值并具有到参考块的左上角的最大距离的参考样本。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以通过使用均值计算,从当前块的参考样本的第一集合的值和参考块的参考样本的第二集合的值中导出更新参数,例如α和/或β。本公开还提供了一种用于帧间预测译码的亮度补偿方法,包括:使用运动补偿获得当前块的帧间预测的样本值;基于当前块的参考样本(例如相邻样本)的第一集合的值和参考块的参考样本(例如相邻样本)的第二集合的值,获得或导出第一更新参数和第二更新参数(例如α和β)的值,其中,通过使用minmax方法获得(或导出或计算)第一更新参数(例如α)的值,并通过均值计算获得第二更新参数(例如β)的值;以及基于第一更新参数和第二更新参数(例如α和β)的值更新帧间预测的样本值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以基于参考块的参考样本的第二集合中的最小值(xa)和最大值(xb)以及当前块的参考样本的第一集合中在最小值(xa)和最大值(xb)的对应位置a和b处的参考样本的相应值(ya,yb),获得第一更新参数(例如α)的值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以基于参考块的参考样本的第二集合中的最小值(xa)和最大值(xb)以及当前块的参考样本的第一集合中在相对于当前块的位置的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得第一更新参数如α的值;其中,相对于参考块的位置的参考样本的对应位置a可以具有最小值,相对于参考块的位置的参考样本的对应位置b可以具有最大值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以基于参考块的参考样本的第二集合中的最小样本值(a)和第二小样本值(a’)的第一平均值、参考块的相邻样本的第二集合中的最大样本值(b)和第二大样本值(b’)的第二平均值、以及当前块的参考样本的第一集合中在第一平均值和第二平均值的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得第一更新参数如α的值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以基于参考块的参考样本的第二集合中的最小样本值(a)和第二小样本值(a’)的第一平均值、参考块的相邻样本的第二集合中的最大样本值(b)和第二大样本值(b’)的第二平均值、以及当前块的参考样本的第一集合中在相对于当前块的位置的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得第一更新参数如α的值;其中,相对于参考块的位置的参考样本的对应位置a可以具有第一平均值,相对于参考块的位置的参考样本的对应位置b可以具有第二平均值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以基于当前块的参考样本(例如相邻重建样本)的第一集合的均值和参考块的参考样本(例如相邻重建样本)的第二集合的均值,获得第二参数如β的值。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,在第一模板样本范围(例如w)大于第二模板样本范围(例如h)的情况下,可以使用以下方程获得参考块的参考样本(例如相邻重建样本)的第二集合的均值:在第二模板样本范围(例如h)大于第一模板样本范围(例如w)的情况下,可以使用以下方程获得参考块的参考样本(例如相邻重建样本)的第二集合的均值:在第二模板样本范围(例如h)等于第一模板样本范围(例如w)的情况下,可以使用以下方程获得参考块的参考样本(例如相邻重建样本)的第二集合的均值:在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,在第一模板样本范围(例如w)大于第二模板样本范围(例如h)的情况下,可以使用以下方程获得当前块的参考样本(例如相邻重建样本)的第一集合的均值:在第二模板样本范围(例如h)大于第一模板样本范围(例如w)的情况下,可以使用以下方程获得当前块的参考样本(例如相邻重建样本)的第一集合的均值:在第二模板样本范围(例如h)等于第一模板样本范围(例如w)时,可以使用以下方程获得当前块的参考样本(例如相邻重建样本)的第一集合的均值:在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,当前块的参考样本(例如相邻重建样本)的第一集合可以包括当前块的上模板样本和左模板样本的一部分或全部;参考块的参考样本(例如相邻重建样本)的第二集合可以包括参考块的上模板样本和左模板样本的一部分或全部。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,可以在更新参数导出或线性模型参数导出之前,对当前块和参考块的上模板样本和左模板样本进行滤波;可以在更新参数导出或线性模型参数导出之前,对当前块的参考样本的第一集合进行滤波;或者可以在更新参数导出或线性模型参数导出之前,对参考块的参考样本的第二集合进行滤波。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,所述的方法由编码设备执行。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,所述的方法由解码设备执行。本公开还提供了一种编码器(20),包括用于执行根据任一前述方法方面的方法的处理电路。本公开还提供了一种解码器(30),包括用于执行根据任一前述方法方面的方法的处理电路。本公开还提供了一种计算机程序产品,包括用于执行根据任一前述方法方面的方法的程序代码。本公开还提供了一种解码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置解码器执行根据任何前述方法方面的方法。本公开还提供了一种编码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置编码器执行根据任何前述方法方面的方法。本公开还提供了一种用于帧间预测译码的亮度补偿装置,包括:第一获得单元,用于使用运动补偿获得当前块的帧间预测的样本值;第二获得单元,用于获得至少一个参考块的参考样本(例如相邻样本)的第一目标值(xa)和第二目标值(xb),以及具有第一目标值的参考样本相对于参考块的位置的对应位置a和具有第二目标值的参考样本相对于参考块的位置的对应位置b;第三获得单元,用于获得在相对于当前块的位置的对应位置a和对应位置b处的当前块的参考样本(例如相邻样本)的相应值(ya,yb);第四获得单元,用于基于参考样本的值获得或导出更新参数(例如α和β)的值,其中,参考样本的值包括以下中的一个或多个:参考块的参考样本的第一目标值(xa)和第二目标值(xb),以及当前块的在对应位置a和b处的参考样本的值(ya,yb);以及更新单元,用于基于更新参数(例如α和β)的值更新帧间预测的样本值。本公开还提供了一种用于帧间预测译码的亮度补偿装置,包括:第一获得单元,用于使用运动补偿获得当前块的帧间预测的样本值;第二获得单元,用于基于当前块的参考样本(例如相邻样本)的第一集合的值和参考块的参考样本(例如相邻样本)的第二集合的值获得第一更新参数和第二更新参数(例如α和β)的值,其中,第一更新参数参数(例如α)的值通过使用第一方法获得,第二更新参数(例如β)的值通过使用第二方法获得;以及更新单元,用于基于第一更新参数和第二更新参数(例如α和β)的值更新帧间预测的样本值。本公开还提供了一种用于帧间预测译码的预测块的亮度补偿方法,包括:导出当前块的相邻块的预测模式,其中,相邻块在当前块的左侧或上方;基于预测模式确定相邻块中的一个或多个样本的可用性,其中,一个或多个样本与当前块的上边界或左边界相邻;导出第一样本集,其中,第一样本集包括确定为可用的第一样本;导出第二样本集,其中,第二样本集包括第二样本,其中每个第二样本对应于每个第一样本,其中,每个第二样本和参考块之间的位置关系与对应的第一样本与当前块之间的位置关系相同,并且其中,参考块对应于当前块;基于第一样本集和第二样本集计算一个或多个参数;以及使用一个或多个参数将线性变换应用于当前块中的样本。在根据前一方面的方法的可能实施方式中,其中,基于预测模式确定相邻块中的一个或多个样本的可用性可以包括:如果相邻块之一的预测模式为帧间模式,则该相邻块之一中的一个或多个样本是可用的。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,基于预测模式确定相邻块中的一个或多个样本的可用性包括:如果相邻块之一的预测模式不是帧间模式,则该相邻块之一中的一个或多个样本可以是不可用的。在根据前一方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,相邻块的预测模式不是帧间模式,该方法可以包括:相邻块的预测模式是帧内模式、组合帧内-帧间预测模式(combinedintra-interpredictionmode,ciip)、帧内块复制模式(intrablockcopymode,ibc)、或基于当前图像参考(currentpicturereferencing,cpr)机制的模式。在根据前四个方面的任何前述实施方式或前一方面的方法的可能实施方式中,其中,如果满足一个或多个预定义条件,则可以禁用该方法,并且其中,上述预定义条件可以包括:当前块包含少于64个样本;或当前块是使用子块模式或双向预测来预测的;或当前块的宽度或高度是128个样本;或在左上角并且与当前块的上边界或左边界相邻的相邻重建块的预测模式是非帧间模式;或与当前块的上边界或左边界相邻的相邻重建块的所有预测模式都是非帧间模式;或在预设位置上并且与当前块的上边界或左边界相邻的相邻重建块的预测模式是非帧间模式。在根据前一方面的方法的可能实施方式中,子块模式可以包括三角模式或bdof模式。在根据前一方面之前的方面的方法的可能实施方式中,其中,对于尺寸为wxh的块,预设位置可以包括位置a、b1、b2、c、d、e、f1、f2、g中的一个或多个,其中,a、b1、b2、c、d、e、f1、f2、g的定义如图21所示。在附图和以下描述中阐述了一个或多个实施例的细节。根据说明书、附图、以及权利要求书,其他特征、目的、和优点将是显而易见的。附图说明在下文中,参考附图更详细地描述了本公开实施例,其中:图1a是示出用于实现本发明实施例的视频译码系统的示例的框图;图1b是示出用于实现本发明实施例的视频译码系统的另一示例的框图;图2是示出用于实现本发明实施例的视频编码器的示例的框图;图3是示出用于实现本发明实施例的视频解码器的示例结构的框图;图4是示出编码装置或解码装置的示例的框图;图5是示出编码装置或解码装置的另一示例的框图;图6是根据本发明实施例的用作亮度补偿方法的输入数据的参考样本的图示;图7是根据本发明实施例的基于相邻样本导出参数α和β的图示;图8是根据本发明实施例的基于相邻样本导出参数α和β的图示,其使用参考块的相邻样本的最大的两个值和最小的两个值;图9是根据本发明实施例的块的上方和左侧的三个相邻样本的图示,这些相邻样本用于填充两个集合l和c;图10是根据本发明实施例的限制填充两个集合l和c的距离的图示;图11是根据本发明实施例的在进行降采样后具有用作模板的上方和左侧相邻样本的矩形块的图示;图12是根据本发明实施例的不进行降采样的具有用作模板的上方和左侧相邻样本的矩形块的图示;图13是根据本发明实施例的水平定向的矩形块的图示,其中,上方相邻样本用于计算均值;图14是根据本发明实施例的垂直定向的矩形块的图示,其中,左侧相邻样本用于计算均值;图15是根据本发明实施例的正方形块的图示,其中,上方相邻样本和左侧相邻样本均用于计算均值;图16是根据本公开示例性实施例的方法的图;图17是根据本发明实施例的参考块或当前块的上模板和左模板的图示;图18示出了所提局部亮度补偿方法的步骤,该方法在导出亮度补偿的参数时考虑了相邻块的预测模式;图19示出了选择相邻重建样本以导出线性模型参数的示例,其考虑了相邻块的预测模式;图20示出了用于标志信令过程的相邻块预测模式检查的示例;图21示出了被检查以确定是否启用lic的相邻基本单元位置的示例。在下文中,如果没有另外明确指定,则相同的附图标记指代相同或至少功能上等同的特征。具体实施方式在以下描述中,参考了附图,这些附图形成了本公开的一部分,并且通过说明的方式示出了本发明的实施例的特定方面或其中可以使用本发明的实施例的特定方面。应该理解,本发明的实施例可以用在其他方面,并且包括在附图中未示出的结构或逻辑变化。因此,以下具体实施方式不应被视为限制性的,并且本发明的范围由所附权利要求限定。例如,应当理解,与所描述的方法有关的公开对于配置为执行该方法的相应设备或系统也可以成立,反之亦然。例如,如果描述了一个或多个特定的方法步骤,则对应的设备可以包括一个或多个单元(例如,功能单元)以执行所述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或多个单元各自执行多个步骤中的一个或多个),即使这样的一个或多个单元未在附图中明确描述或示出。另一方面,例如,如果基于一个或多个单元(例如,功能单元)描述了特定装置,则相应的方法可以包括执行一个或多个单元的功能的一个步骤(例如,执行一个或多个单元的功能的一个步骤,或分别执行一个或多个单元的功能的多个步骤),即使在附图中没有明确地描述或示出这样的一个或多个步骤。此外,应理解,除非另外特别指出,否则本文描述的各种示例性实施例和/或方面的特征可以彼此组合。视频译码通常指对图像序列的处理,图像序列形成视频或视频序列。代替术语“图像(picture)”,术语“帧(frame)”或“图片(image)”在视频译码领域可以用作同义词。视频译码(或一般而言,译码)包括两个部分:视频编码和视频解码。视频编码在源侧执行,通常包括处理(例如,通过压缩)原始视频图像以减少表示该视频图像所需的数据量(以便更有效地存储和/或传输)。视频解码在目的地侧执行,通常包括相对于编码器的逆处理,以重建视频图像。涉及视频图像(或一般而言,图像)的“译码”的实施例应被理解为涉及视频图像或相应视频序列的“编码”或“解码”。编码部分和解码部分的组合也称为codec(codinganddecoding,编解码)。在无损视频译码的情况下,可以重建原始视频图像,即,重建的视频图像具有与原始视频图像相同的质量(假设在存储或传输期间没有传输损失或其他数据损失)。在有损视频译码的情况下,执行进一步的压缩(例如通过量化),以减少表示视频图像的数据量,这些视频图像无法在解码器处完全重建,即,相比于原始视频图像的质量,重建的视频图像的质量较低或较差。若干视频译码标准属于“有损混合视频译码”组(即,组合样本域中的空间和时间预测和变换域中用于应用量化的2d变换编码)。视频序列的每个图像通常被分为一组非重叠的块,并且译码通常在块水平上执行。换句话说,在编码器处,视频通常在块(视频块)水平上处理(即编码),例如,通过使用空间(图像内)预测和/或时间(图像间)预测以生成预测块,从当前块(当前处理的/待处理的块)减去预测块以获得残差块,在变换域中对残差块进行变换并对残差块进行量化以减少待发送的数据量(压缩),而在解码器处,相对于编码器的逆处理应用于编码块或压缩块以重建当前块以进行呈现。此外,编码器复制解码器处理回路,使得二者将生成相同的预测(例如,帧内预测和帧间预测)和/或重建,以处理(即,译码)后续块。在以下实施例中,基于图1至图3描述了视频译码系统10、视频编码器20、和视频解码器30。图1a是示出可以利用本申请的技术的示例译码系统10的示意性框图,例如视频译码系统10(或简称译码系统10)。视频译码系统10的视频编码器20(或简称编码器20)和视频解码器30(或简称解码器30)表示可用于执行根据本申请描述的各种示例的技术的示例设备。如图1a所示,译码系统10包括源设备12,该源设备12用于例如向目的地设备14提供编码图像数据21以对该编码图像数据13进行解码。源设备12包括编码器20,并且可以额外地(即可选地)包括图像源16、预处理器(或预处理单元)18(例如图像预处理器18)、以及通信接口或通信单元22。图像源16可以包括或可以是任何类型的图像捕获设备(例如用于捕获真实世界图像的相机)和/或任何类型的图像生成设备(例如用于生成计算机动画图像的计算机图形处理器)或任何类型的用于获得和/或提供真实世界图像、计算机生成的图像(例如屏幕内容、虚拟现实(virtualreality,vr)图像)和/或以上的组合(例如增强现实(augmentedreality,ar)图像)的其他设备。图像源可以是存储任意上述图像的任何类型的存储器或存储设备。区别于预处理器18和由预处理单元18执行的处理,图像或图像数据17还可以称为原始图像(rawpicture)或原始图像数据17。预处理器18用于接收(原始)图像数据17,并用于对该图像数据17执行预处理,以获得预处理图像19或预处理图像数据19。由预处理器18执行的预处理例如可以包括裁剪、颜色格式转换(例如从rgb到ycbcr)、颜色纠正、或去噪。可以理解,预处理单元18可以是可选的组件。视频编码器20用于接收预处理图像数据19并提供编码图像数据21(以下将例如基于图2描述进一步的细节)。源设备12的通信接口22可以用于接收编码图像数据21并用于将编码图像数据21(或任何进一步处理的版本)通过通信信道13发送至另一设备(例如目的地设备14或任何其他设备)以进行存储或直接重建。目的地设备14包括解码器30(例如视频解码器30),并且可以额外地(即可选地)包括通信接口或通信单元28、后处理器32(或后处理单元32)、以及显示设备34。目的地设备14的通信接口28用于例如直接从源设备12或从任何其他源(例如存储设备,例如编码图像数据存储设备)接收编码图像数据21(或编码图像数据的任何其他处理版本),并向解码器30提供编码图像数据21。通信接口22和通信接口28可以用于经由源设备12和目的地设备14之间的直接通信链路(例如直接有线连接或无线连接)或任何类型的网络(例如有线网络或无线网络或以上任意组合、或任何类型的专用网络和公共网络、或以上任何类型的组合)发送或接收编码图像数据21或编码数据13。通信接口22例如可以用于将编码图像数据21打包为适当的格式(例如包)和/或使用任何类型的传输编码或处理来处理编码图像数据,以通过通信链路或通信网络进行传输。通信接口28形成通信接口22的对应部分,例如可以用于接收发送的数据并使用任何类型的相应传输解码或处理和/或解包(de-packaging)来处理传输数据,以获得编码图像数据21。通信接口22和通信接口28都可以被配置为如图1a中从源设备12指向目的地设备14的通信信道13的箭头所示的单向通信接口,或被配置为双向通信接口,并且例如可以用于例如发送和接收消息,例如以建立连接、应答或交换与通信链路和/或数据传输(例如编码图像数据传输)有关的任何其他信息。解码器30用于接收编码图像数据21,并提供解码图像数据31或解码图像32(以下将例如基于图3或图5描述进一步的细节)。目的地设备14的后处理器32用于对解码图像数据31(也称为重建图像数据)(例如解码图像31)进行后处理,以获得后处理图像数据33,例如后处理图像33。由后处理单元32执行的后处理例如可以包括颜色格式转换(例如从ycbcr到rgb)、颜色纠正、裁剪、或重采样、或任何其他处理,以准备解码图像数据31用于例如由显示设备34进行显示。目的地设备14的显示设备34用于接收后处理图像数据33,以将图像显示给例如用户或观看者。显示设备34可以是或可以包括用于展现重建图像的任何类型的显示器,例如集成或外部显示器或显示屏。显示器例如可以包括液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclightemittingdiode,oled)显示器、等离子显示器、投影仪、微型led显示器、硅基液晶(liquidcrystalonsilicon,lcos)、数字光处理器(digitallightprocessor,dlp)或任何类型的其他显示器。尽管图1a将源设备12和目的地设备14描绘为单独的设备,但是设备的实施例还可以包括这两种设备或这两种设备的功能,即,源设备12或相应的功能以及目的地设备14或相应的功能。在此类实施例中,可以使用相同的硬件和/或软件或通过单独的硬件和/或软件或其任何组合来实现源设备12或相应的功能以及目的地设备14或相应的功能。基于描述,对于本领域技术人员显而易见的是,如图1a所示的源设备12和/或目的地设备14内的不同单元或功能的存在和(精确)划分可以根据实际设备和应用而改变。编码器20(例如视频编码器20)和/或解码器30(例如视频解码器30)可以经由如图1b所示的处理电路实现,处理电路可以是一个或多个微处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(application-specificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)、离散逻辑、硬件、专用视频编码或其任意组合。编码器20可以经由处理电路46实现,以实施参照图2的编码器20讨论的各种模块和/或本文描述的任何其他编码器系统或子系统。解码器30可以经由处理电路46实现,以实施参照图3的解码器30讨论的各种模块和/或本文描述的任何其他解码器系统或子系统。处理电路可以用于执行如后文所讨论的各种操作。如图5所示,如果技术部分地以软件实现,则设备可以将软件的指令存储在合适的非暂时性计算机可读存储介质中,并且可以使用一个或多个处理器以硬件方式执行指令以执行本公开的技术。例如,视频编码器20和视频解码器30可以集成为如图1b所示的单个设备中的组合编码器/解码器(codec)的一部分。源设备12和目的地设备14可以包括多种设备中的任何一种,包括任何种类的手持式或固定式设备,例如笔记本或手提电脑、移动电话、智能电话、平板或平板电脑、照相机、台式计算机、机顶盒、电视、显示设备、数字媒体播放器、视频游戏机、视频流设备(例如内容服务服务器或内容传送服务器)、广播接收器设备、广播发射器设备等,并且可以不使用操作系统或使用任何类型的操作系统。在一些情况下,源设备12和目的地设备14可以被装备用于无线通信。因此,源设备12和目的地设备14可以是无线通信设备。在一些情况下,图1a所示的视频译码系统10仅是示例,本申请的技术可以应用于不一定包括编码设备和解码设备之间的任何数据通信的视频译码设置(例如视频编码或视频解码)。在其他示例中,从本地存储器中提取数据,通过网络流传输数据等。视频编码设备可将数据编码并存储到存储器,和/或视频解码设备可从存储器读取和解码数据。在一些示例中,编码和解码由不彼此通信而是仅将数据编码到存储器和/或从存储器读取和解码数据的设备执行。为便于描述,在此例如通过参考高效视频编码(high-efficiencyvideocoding,hevc)或多功能视频编码(versatilevideocoding,vvc)的参考软件、由itu-t视频编码专家组(videocodingexpertsgroup,vceg)和iso/iec运动图像专家组(motionpictureexpertsgroup,mpeg)的视频编码联合工作组(jointcollaborationteamonvideocoding,jct-vc)开发的下一代视频译码标准来描述本发明的实施例。本领域普通技术人员将理解,本发明的实施例不限于hevc或vvc。编码器和编码方法图2示出了用于实现本申请的技术的示例视频编码器20的示例框图。在图2的示例中,视频编码器20包括输入201(或输入接口201)、残差计算单元204、变换处理单元206、量化单元208、反量化单元210、以及反变换处理单元212、重建单元214、环路滤波器单元220、解码图像缓冲区(decodedpicturebuffer,dpb)230、模式选择单元260、熵编码单元270、以及输出272(或输出接口272)。模式选择单元260可以包括帧间预测单元244、帧内预测单元254、以及划分单元262。帧间预测单元244可以包括运动估计单元和运动补偿单元(未示出)。如图2所示的视频编码器20还可以称为混合视频编码器或根据混合视频译码器的视频编码器。残差计算单元204、变换处理单元206、量化单元208、模式选择单元260可以称为形成编码器20的前向信号路径,而反量化单元210、反变换处理单元212、重建单元214、缓冲区216、环路滤波器220、解码图像缓冲区(dbp)230、帧间预测单元244和帧内预测单元254可以称为形成视频编码器20的反向信号路径,其中,视频编码器20的反向信号路径对应于解码器(参见图3的解码器30)的信号路径。反量化单元210、反变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲区(dpb)230、帧间预测单元244、和帧内预测单元254也被称为形成视频编码器20的“内置解码器”。图像和图像划分(图像和块)编码器20可以用于例如经由输入201接收图像17(或图像数据17),例如形成视频或视频序列的图像序列中的图像。接收的图像或图像数据还可以是预处理图像19(或预处理图像数据19)。为了简单起见,以下描述指图像17。图像17还可以称为当前图像和待编码图像(尤其在视频译码中,以将当前图像与其他图像区分开,例如,其他图像是同一视频序列中的先前编码的和/或解码的图像,该视频序列即包括当前图像的视频序列)。(数字)图像是或可以认为是具有强度值的样本的二维阵列或矩阵。阵列中的样本也可以称为像素(图像元素的简写形式)或pel。阵列或图像的水平方向和垂直方向(或轴)上的样本数量定义了图像的尺寸和/或分辨率。为了表示颜色,通常采用三种颜色分量,即,图像可以用三个样本阵列表示或包括三个样本阵列。在rgb格式或颜色空间中,图像包括相应的红、绿、蓝样本阵列。然而,在视频译码中,每个像素通常由亮度和色度格式或颜色空间表示,例如ycbcr,其包括由y(有时也使用l替代)指示的亮度分量和由cb和cr指示的两个色度分量。亮度(或简称luma)分量y表示亮度或灰度强度(例如,如在灰度图像中),而两个色度(或简称chroma)分量cb和cr表示色度或颜色信息分量。相应地,ycbcr格式的图像包括亮度样本值(y)的亮度样本阵列以及色度值(cb和cr)的两个色度样本阵列。rgb格式的图像可以转换或变换到ycbcr格式,反之亦然。该过程也称为颜色变换或转换。如果图像是单色的,则该图像可以仅包括亮度样本值。相应地,例如,图像可以是以单色格式的亮度样本阵列或以4:2:0、4:2:2、和4:4:4颜色格式的一个亮度样本阵列和两个相应色度样本阵列。视频编码器20的实施例可以包括图像划分单元(图2中未示出),该图像划分单元用于将图像17分为多个(通常非重叠的)图像块203。这些块还可以称为根块(rootblock)、宏块(h.264/avc)、或编码树块(codingtreeblock,ctb)或编码树单元(codingtreeunit,ctu)(h.265/hevc和vvc)。图像划分单元可以用于对视频序列中的所有图像使用相同的块尺寸和定义块尺寸的相应网格,或者用于改变图像或图像组或图像子集之间的块尺寸,并将每个图像划分为相应的块。在其他实施例中,视频编码器可以用于直接接收图像17的块203,例如,形成图像17的一个、若干个、或所有块。图像块203还可以称为当前图像块或待译码的图像块。与图像17一样,图像块203是或可以被视为具有强度值(样本值)的样本的二维阵列或矩阵,不过比图像17的维度小。换句话说,块203例如可以包括一个样本阵列(例如在单色图像17情况下的亮度阵列,或在彩色图像情况下的亮度或色度阵列)或三个样本阵列(例如,在彩色图像17情况下的一个亮度阵列和两个色度阵列)或任何其他数量和/或种类的阵列,这取决于所应用的颜色格式。块203的水平方向和垂直方向(或轴)上的样本数量定义了块203的尺寸。相应地,块例如可以是mxn(m列乘n行)的样本阵列或mxn的变换系数阵列。如图2所示的视频编码器20的实施例可以用于逐个块地对图像17进行编码,例如,按块203执行编码和预测。如图2所示的视频编码器20的实施例还可以用于通过使用条带(slice)(也称为视频条带)对图像进行划分和编码,其中,图像可以被划分为一个或多个条带(通常是非重叠的),或使用一个或多个条带进行编码,并且每个条带可以包括一个或多个块(例如ctu)。如图2所示的视频编码器20的实施例还可以用于通过使用分块组(tilegroup)(也称为视频分块组)和/或分块(tile)(也称为视频分块)对图像进行划分和/或编码,其中,图像可以被划分为一个或多个分块组(通常是非重叠的)或使用一个或多个分块组进行编码,并且每个分块组例如可以包括一个或多个块(例如ctu)或一个或多个分块,其中每个分块例如可以是长方形,并且可以包括一个或多个块(例如ctu),例如完整的或部分的块。残差计算残差计算单元204可以用于例如通过逐个样本(逐个像素)地从图像块203的样本值减去预测块265的样本值以获得样本域中的残差块205,基于图像块203和预测块265(关于预测块265的其他细节在后文提供)计算残差块205(也称为残差205)。变换变换处理单元206可以用于对残差块205的样本值应用变换(例如离散余弦变换(discretecosinetransform,dct)或离散正弦变换(discretesinetransform,dst))以获得变换域中的变换系数207。变换系数207也可以称为变换残差系数并表示变换域中的残差块205。变换处理单元206可以用于应用dct/dst的整数近似,例如h.265/hevc指定的变换。与正交dct变换相比,这种整数近似通常按特定因子缩放。为了保留由正向和逆向变换处理的残差块的范数,将附加缩放因子用作变换过程的一部分。缩放因子通常基于某些约束条件来选择,例如缩放因子是用于移位操作的2的幂、变换系数的位深、准确度与实现成本之间的权衡等。例如,可以为由反变换处理单元212执行的反变换(以及例如由视频解码器20处的反变换处理单元312执行的相应反变换)指定特定缩放因子,并且可以相应地指定例如由编码器20处的变换处理单元206执行的前向变换的相应缩放因子。视频编码器20(分别是变换处理单元206)的实施例可以用于直接或经由熵编码单元270编码或压缩后输出变换参数,例如变换的类型,从而例如视频解码器30可以接收并使用该变换参数进行解码。量化量化单元208可以用于例如通过应用标量量化或向量量化来对变换系数207进行量化以获得量化系数209。量化系数209还可以称为量化变换系数209或量化残差系数209。量化过程可以降低与一些或全部变换系数207关联的位深。例如,在量化期间,n位的变换系数可以向下取整到m位的变换系数,其中n大于m。通过调节量化参数(quantizationparameter,qp)可以修改量化程度。例如,对于标量量化,可以应用不同的缩放比例以实现更精细的或更粗略的量化。较小的量化步长对应于较精细的量化,而较大的量化步长对应于较粗略的量化。量化参数(qp)可以指示适用的量化步长。例如,量化参数可以是适用量化步长的预定义集合的索引。例如,小量化参数可以对应于精细量化(小量化步长),而大量化参数可以对应于粗略量化(大量化步长),或反之亦然。量化可以包括除以量化步长,相应的和/或逆去量化(例如,通过反量化单元210执行)可以包括乘以量化步长。根据一些标准(例如hevc)的实施例可以用于使用量化参数以确定量化步长。一般地,可以使用包括除法的等式的定点近似(fixedpointapproximation)基于量化参数来计算量化步长。可以为量化和去量化引入附加缩放因子,以恢复残差块的范数,由于在用于量化步长和量化参数的方程的定点近似中使用了缩放,因此该范数可能会经过了修改。在一个示例实施方式中,可以组合反变换的缩放和去量化。或者,可以使用自定义的量化表,并例如在比特流中将该表从编码器发送到解码器。量化是有损操作,其中损失随着量化步长的增加而增加。视频编码器20(分别为量化单元208)的实施例可以用于直接地或经由熵编码单元270进行编码后输出量化参数(qp),从而例如视频解码器30可以接收并应用量化参数进行解码。反量化反量化单元210用于,通过基于或使用与量化单元208相同的量化步长来应用量化单元208所应用的量化方案的逆方案,对量化系数应用量化单元208的反量化以获得去量化系数211。去量化系数211还可以称为去量化残差系数211,并对应于变换系数207(虽然由于量化的损失而通常不等于变换系数)。反变换反变换处理单元212用于应用变换处理单元206所应用的变换的反变换(例如,逆离散余弦变换或逆离散正弦变换或其他反变换)以获得样本域中的重建残差块213(或对应的去量化系数213)。重建残差块213也可以称为变换块213。重建重建单元214(例如加法器或求和器214)用于例如通过将重建残差块213的样本值与预测块265的样本值(逐个样本地)相加,将变换块213(即重建残差块213)与预测块265相加,以获得样本域中的重建块215。滤波环路滤波器单元220(或简称“环路滤波器”220)用于对重建块215进行滤波以获得滤波块221,或一般地,用于对重建样本进行滤波以获得滤波样本。环路滤波器单元例如用于平滑像素过渡,或以其他方式提高视频质量。环路滤波器单元220可以包括一个或多个环路滤波器,例如去块滤波器(de-blockingfilter)、样本自适应偏移(sample-adaptiveoffset,sao)滤波器或一个或多个其他滤波器,例如双边滤波器、自适应环路滤波器(adaptiveloopfilter,alf)、锐化、平滑滤波器或协同滤波器、或以上的任何组合。虽然图2所示的环路滤波器单元220是环内滤波器(inloopfilter),但在其他配置中,环路滤波器单元220可以实现为后环路滤波器(postloopfilter)。滤波块221也可以称为滤波重建块221。视频编码器20(分别为环路滤波器单元220)的实施例可以用于例如直接地或经由熵编码单元270进行编码后输出环路滤波器参数(例如样本自适应偏移信息),从而例如解码器30可以接收并应用相同的环路滤波器参数或相应的环路滤波器进行解码。解码图像缓冲区解码图像缓冲区(dpb)230可以是存储参考图像(或一般而言,参考图像数据)的存储器,用于视频编码器20对视频数据进行编码。dpb230可以由多种存储设备中的任何一种形成,例如动态随机存取存储器(dynamicrandomaccessmemory,dram),包括同步dram(synchronousdram,sdram)、磁阻ram(magnetoresistiveram,mram)、电阻ram(resistiveram,rram)或其他类型的存储设备。解码图像缓冲区(dpb)230可以用于存储一个或多个滤波块221。解码图像缓冲区230还可以用于存储同一当前图像或不同图像(例如先前重建的图像)的其他先前的滤波块,例如,先前的重建和滤波块221,并且可以提供完整的先前重建的(即解码的)图像(和对应的参考块和样本)和/或部分重建的当前图像(和对应的参考块和样本),例如以用于帧间预测。解码图像缓冲区(dpb)230还可以用于例如在重建块215没有经环路滤波器单元220滤波时,存储一个或多个非滤波的重建块215(或一般而言,非滤波的重建样本)或重建块或样本的任何其他进一步处理的版本。模式选择(划分和预测)模式选择单元260包括划分单元262、帧间预测单元244、和帧内预测单元254,并用于例如从解码图像缓冲区230或其他缓冲区(例如行缓冲区,未示出)接收或获得原始图像数据和重建图像数据,原始图像数据例如是原始块203(当前图像17的当前块203),重建图像数据例如是同一(当前)图像和/或来自一个或多个先前解码图像的滤波和/或非滤波重建样本或块。重建图像数据用作用于预测(例如帧间预测或帧内预测)的参考图像数据,以获得预测块265或预测值265。模式选择单元260可以用于为当前块预测模式(包括不划分)确定或选择分区和预测模式(例如帧内预测模式或帧间预测模式),并生成相应预测块265,该预测块265用于计算参考块205和用于重建重建块215。模式选择单元260的实施例可以用于选择划分和预测模式(例如,从模式选择单元260所支持的或可用于模式选择单元260的模式中选择),该划分和预测模式提供最佳匹配,或者换句话说,提供最小残差(最小残差意味着更好的压缩以进行传输或存储),或最小的信令开销(最小的信令开销意味着更好的压缩以进行传输或存储),或者同时考虑或平衡两者。模式选择单元260可以用于基于率失真优化(ratedistortionoptimization,rdo)确定划分和预测模式,即,选择提供最小率失真的预测模式。在本文中,术语“最佳”、“最小”、“最优”等不一定指整体上的“最佳”、“最小”、“最优”,而是可以指实现了终止或选择标准,如值超过或低于阈值,或得到“次优选择”但降低了复杂度和处理时间的其他约束。换句话说,划分单元262可以用于例如迭代地使用四叉树划分(quad-tree-partitioning,qt)、二叉树划分(binarypartitioning,bt)、或三叉树划分(triple-tree-partitioning,tt)或以上任意组合将块203分为较小的块分区或子块(其形成块),并用于例如为每个块分区或子块执行预测,其中,模式选择包括选择划分的块203的树结构,并且预测模式应用至每个块分区或子块。在下文中,将更详细地解释由示例视频编码器20执行的划分(例如由划分单元260执行)和预测处理(由帧间预测单元244和帧内预测单元254执行)。划分划分单元262可以将当前块203划分(或划分)成较小的分区,例如正方形或矩形的较小块。这些较小块(也可以称为子块)可以被进一步划分成更小的分区。这也称为树划分(tree-partitioning)或分层树划分(hierarchicaltree-partitioning),其中,例如位于根树层级0(分层层级0、深度0)的根块可以被递归地划分,例如被划分成下一较低树层级的两个或更多个块,例如位于树层级1(分层层级1、深度1)的节点,其中,这些块可以再次划分成下一较低层级的两个或更多个块,例如树层级2(分层层级2、深度2)等,直到例如由于满足终止标准而划分终止,终止标准例如是达到最大树深度或最小块尺寸。没有被进一步划分的块也称为树的叶块(leaf-block)或叶节点。使用划分成两个分区的树称为二叉树(binary-tree,bt),使用划分成三个分区的树称为三叉树(ternary-tree,tt),使用划分成四个分区的树称为四叉树(quad-tree,qt)。如上所述,本文使用的术语“块”可以是图像的一部分,特别是正方形或矩形部分。例如,参考hevc和vvc,块可以是或对应于编码树单元(codingtreeunit,ctu)、译码单元(codingunit,cu)、预测单元(predictionunit,pu)、或变换单元(transformunit,tu)和/或对应于相应的块,例如编码树块(codingtreeblock,ctb)、编码块(codingblock,cb)、变换块(transformblock,tb)、或预测块(predictionblock,pb)。例如,编码树单元(ctu)可以是或包括具有三个样本阵列的图像的亮度样本的ctb和色度样本的两个相应的ctb,或单色图像或使用三个独立的颜色平面和用于编码样本的语法结构(syntaxstructure)进行编码的图像的样本的ctb。相应地,编码树块(ctb)可以是对于某个n值的nxn样本块,使得将组成部分划分为ctb是一次划分。译码单元(cu)可以是或包括具有三个样本阵列的图像的亮度样本的编码块和色度样本的两个相应的编码块,或单色图像或使用三个独立的颜色平面和用于编码样本的语法结构进行编码的图像的样本的编码块。相应地,编码块(cb)可以是对于某些m和n值的mxn样本块,使得将ctb划分为编码块是一次划分。在一些实施例中,例如根据hevc,通过使用表示为编码树的四叉树结构可以将编码树单元(ctu)划分为cu。在cu水平上决定是使用图像间(时间)预测还是图像内(空间)预测对图像区域进行编码。根据pu划分类型,每个cu可以被进一步划分为一个、两个、或四个pu。在一个pu内,应用相同的预测过程,并且基于pu将相关信息发送到解码器。在通过基于pu划分类型应用预测过程获得残差块后,根据与用于cu的编码树相似的另一四叉树结构,cu可以被划分成变换单元(tu)。在实施例中,例如根据当前发展中的最新视频编码标准(称为通用视频编码(versatilevideocoding,vvc)),使用组合的四叉树和二叉树(quad-treeandbinarytree,qtbt)划分以划分编码块。在qtbt块结构中,cu要么是正方形,要么是矩形。例如,首先通过四叉树结构划分编码树单元(ctu)。通过二叉树或三叉树结构进一步划分四叉树的叶节点。划分树的叶节点称为译码单元(cu),这种划分用于预测和变换处理,不再进行任何进一步的划分。这意味着在qtbt编码块结构中,cu、pu、和tu具有相同的块尺寸。同时,多个分区(例如三叉树分区)可以与qtbt块结构一起使用。在一个示例中,视频编码器20的模式选择单元260可以用于执行本文所述的划分技术的任何组合。如上所述,视频编码器20用于从(例如预定义的)预测模式集合中确定或选择最优或最佳预测模式。该预测模式集合可以包括帧内预测模式和/或帧间预测模式。帧内预测帧内预测模式集合可以包括例如hevc中所定义的35个不同的帧内预测模式,例如非方向性模式(如dc(或平均)模式和平面模式)或方向性模式,或者可以包括例如vvc中所定义的67个不同的帧内预测模式,例如非方向性模式(如dc(或平均)模式和平面模式)或方向性模式。帧内预测单元254用于使用同一当前图像的相邻块的重建样本,根据帧内预测模式集合中的帧内预测模式生成帧内预测块265。帧内预测单元254(或一般而言,模式选择单元260)还用于将帧内预测参数(或一般而言,指示所选择的用于块的帧内预测模式的信息)输出到熵编码单元270,该帧内预测参数以语法元素266的形式包括在编码图像数据21中,从而例如视频解码器30可以接收并使用该预测参数进行解码。帧间预测帧间预测模式的集合(或可能的帧间预测模式)取决于可用参考图像(即,例如存储在dbp230中的先前至少部分解码的图像)和其他帧间预测参数,例如,是使用整个参考图像还是仅使用参考图像的一部分(例如,当前块的区域周围的搜索窗口区域)来搜索最佳匹配参考块,和/或例如是否应用像素插值,例如半像素和/或四分之一像素插值。除了以上预测模式之外,还可以应用跳过模式(skipmode)和/或直接模式(directmode)。帧间预测单元244可以包括运动估计(motionestimation,me)单元和运动补偿(motioncompensation,mc)单元(图2中均未示出)。运动估计单元可以用于接收或获得图像块203(当前图像17的当前图像块203)和解码图像231或至少一个或多个先前重建块(例如一个或多个其他/不同的先前解码图像231的重建块)以进行运动估计。例如,视频序列可以包括当前图像和先前解码图像231,或换句话说,当前图像和先前解码图像231可以是(或形成)形成视频序列的图像序列的一部分。编码器20可以用于从多个其他图像中的相同或不同图像中的多个参考块中选择参考块,并将参考图像(或参考图像索引)和/或参考块的位置(x、y坐标)和当前块的位置之间的偏移(空间偏移)作为帧间预测参数提供给运动估计单元。该偏移也称为运动矢量(motionvector,mv)。运动补偿单元用于获得(例如接收)帧间预测参数,并用于基于或使用帧间预测参数执行帧间预测以获得帧间预测块265。由运动补偿单元执行的运动补偿可以涉及基于由运动估计确定的运动/块矢量取得或生成预测块,可能执行子像素精度的插值。插值滤波可以从已知像素样本生成额外的像素样本,因此潜在地增加了可以用于对图像块进行编码的候选预测块的数量。在接收到当前图像块的pu的运动矢量后,运动补偿单元可以将运动矢量所指向的预测块放置于参考图像列表之一中。运动补偿单元还可以生成与块和视频条带关联的语法元素,由视频解码器30用于解码视频条带的图像块。作为条带和相应语法元素的额外选择或替代方案,可以生成或使用分块组和/或分块和相应语法元素。熵编码熵编码单元270用于对量化系数209、帧间预测参数、帧内预测参数、环路滤波器参数、和/或其他语法元素应用熵编码算法或方法(例如,变长编码(variablelengthcoding,vlc)、上下文自适应vlc方案(contextadaptivevlcscheme,cavlc)、算术编码方案、二值化、上下文自适应二进制算术编码(contextadaptivebinaryarithmeticcoding,cabac)、基于语法的上下文自适应二进制算术编码(syntax-basedcontext-adaptivebinaryarithmeticcoding,sbac)、概率间隔划分熵(probabilityintervalpartitioningentropy,pipe)编码或另一熵编码方法或技术)或绕过(不压缩)这些参数,以获得编码图像数据21,编码图像数据21可以以编码比特流21的形式经由输出272输出,从而例如视频解码器30可以接收并使用这些参数进行解码。编码比特流21可以发送到视频解码器30,或存储在存储器中以供后续传输或由视频解码器30提取。视频解码器20的其他结构变形形式可以用于对视频流进行编码。例如,对于某些块或帧,基于非变换的编码器20可以直接量化残差信号,无需变换处理单元206。在另一实施方式中,编码器20可以使量化单元208和反量化单元210组合为单个单元。解码器和解码方法图3示出了用于实现本申请的技术的视频解码器30的示例。视频解码器30用于接收例如由编码器20进行编码的编码图像数据21(例如编码比特流21)以获得解码图像331。编码图像数据或比特流包括用于解码编码图像数据的信息,编码图像数据例如是表示编码视频条带的图像块(和/或分块组或分块)以及相关联的语法元素的数据。在图3的示例中,解码器30包括熵解码单元304、反量化单元310、反变换处理单元312、重建单元314(例如求和器314)、环路滤波器320、解码图像缓冲区(dbp)330、模式应用单元360、帧间预测单元344和帧内预测单元354。帧间预测单元344可以是或包括运动补偿单元。在一些示例中,视频解码器30可以执行与相对图2的视频编码器100所述的编码通道互易的解码通道。如相对编码器20所述,反量化单元210、反变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲区(dpb)230、帧间预测单元344、和帧内预测单元354也被称为形成视频编码器20的“内置解码器”。相应地,反量化单元310可以在功能上等同于反量化单元110,反变换处理单元312可以在功能上等同于反变换处理单元212,重建单元314可以在功能上等同于重建单元214,环路滤波器320可以在功能上等同于环路滤波器220,解码图像缓冲区330可以在功能上等同于解码图像缓冲区230。因此,为视频编码器20的各个单元和功能提供的说明相应地适用于视频解码器30的各个单元和功能。熵解码熵解码单元304用于解析比特流21(或一般而言,编码图像数据21)并例如对编码图像数据执行熵解码以获得例如量化系数309和/或解码译码参数(图3中未示出),例如,帧间预测参数(例如参考图像索引和运动矢量)、帧内预测参数(例如帧内预测模式或索引)、变换参数、量化参数、环路滤波器参数、和/或其他语法元素中的任何或全部。熵解码单元304可以用于应用与针对编码器20的熵编码单元270所述的编码方案对应的解码算法或方案。熵解码单元304还可以用于向模式应用单元360提供帧间预测参数、帧内预测参数、和/或其他语法元素,并向解码器30的其他单元提供其他参数,视频解码器30可以接收视频条带级和/或视频块级的语法元素。除了条带和相应的语法元素以外(或作为其替代方案),还可以接收和/或使用分块组和/或分块和相应的语法元素。反量化反量化单元310可以用于接收来自编码图像数据21的量化参数(qp)(或一般而言,与反量化有关的信息)和量化系数(例如,通过熵解码单元304解析和/或解码),并用于基于量化参数对解码的量化系数309应用反量化,以获得去量化系数311,去量化系数311也可以称为变换系数311。反量化过程可以包括使用由视频编码器20为视频条带(或分块或分块组)中的每个视频块确定的量化参数,以确定量化程度,以及同样地确定应该应用的反量化程度。反变换反变换处理单元312可以用于接收去量化系数311(也称为变换系数311),并用于对去量化系数311应用变换,以获得样本域中的重建残差块213。重建残差块213也可以称为变换块313。该变换可以是反变换,例如逆dct、逆dst、逆整数变换、或概念上相似的反变换过程。反变换处理单元312还可以用于接收来自编码图像数据21的变换参数或相应的信息(例如,由熵解码单元304解析和/或解码)以确定待应用至去量化系数311的变换。重建重建单元314(例如加法器或求和器314)可以用于例如通过将重建残差块313的样本值与预测块365的样本值相加,将重建的残差块313与预测块365相加,以获得样本域中的重建块。滤波环路滤波器单元320(在编码环路中或在编码环路后)用于对重建块315进行滤波以获得滤波器块321,例如以平滑像素过渡或提高视频质量。环路滤波器单元320可以包括一个或多个环路滤波器,例如去块滤波器、样本自适应偏移(sao)滤波器或一个或多个其他滤波器,例如双边滤波器、自适应环路滤波器(alf)、锐化、平滑滤波器或协同滤波器、或以上的任何组合。虽然图3所示的环路滤波器单元320是环内滤波器,但在其他配置中,环路滤波器320可以实现为后环路滤波器。解码图像缓冲区图像的解码视频块321随后存储在解码图像缓冲区330中,解码图像缓冲区330存储解码图像331作为参考图像,以用于其他图像的后续运动补偿和/或输出或进行显示。解码器30用于经由输出312输出解码图像311以向用户呈现或供用户观看。预测帧间预测单元344可以在功能上等同于帧间预测单元244(尤其等同于运动补偿单元),并且帧内预测单元354可以在功能上等同于帧内预测单元254,并基于从编码图像数据21接收到(例如,通过熵解码单元304进行解析和/或解码)的相应信息和划分和/或预测参数执行划分或划分决策和预测。模式应用单元360可以用于基于重建图像、块、或相应样本(滤波的或未滤波器的)按块执行预测(帧内预测或帧间预测),以获得预测块365。当视频条带被译码为帧内译码(i)条带时,模式应用单元360的帧内预测单元354用于基于指示的帧内预测模式和来自当前图像的先前解码块的数据为当前视频条带的图像块生成预测块365。当视频图像被译码为帧间译码(即b或p)条带时,模式应用单元360的帧间预测单元344(例如运动补偿单元)用于基于运动矢量和从熵解码单元304接收的其他语义元素为当前视频条带的视频块生成预测块365。对于帧间预测,可以从参考图像列表之一内的参考图像之一产生预测块。视频解码器30可以基于存储在dpb330中的参考图像使用默认构建技术来构建参考帧列表,列表0和列表1。除了条带(例如视频条带)之外或作为条带的替代方案,可以对使用分块组(例如视频分块组)和/或分块(例如视频分块)的实施例应用相同或相似方法,例如,可以使用i、p、或b分块组和/或分块对视频进行译码。模式应用单元360用于通过解析运动矢量或相关信息以及其他语义元素来确定当前视频条带的视频块的预测信息,并使用该预测信息为正被解码的当前视频块生成预测块。例如,模式应用单元360使用一些接收到的语义元素来确定用于对视频条带的视频块进行译码的预测模式(例如帧内预测或帧间预测)、帧间预测条带类型(例如b条带、p条带、或gpb条带)、条带的一个或多个参考图像列表的构造信息、条带的每个帧间编码视频块的运动矢量、条带的每个帧间编码视频块的帧间预测状态、以及其他信息,以解码当前视频条带中的视频块。除了条带(例如视频条带)之外或作为条带的替代方案,可以对使用分块组(例如视频分块组)和/或分块(例如视频分块)的实施例应用相同或相似方法,例如,可以使用i、p、或b分块组和/或分块对视频进行译码。如图3所示的视频解码器30的实施例可以用于通过使用条带(也称为视频条带)对图像进行划分和/或解码,其中,图像可以被分为一个或多个条带(通常是非重叠的)或使用一个或多个条带来解码,并且每个条带可以包括一个或多个块(例如ctu)。如图3所示的视频解码器30的实施例可以用于通过使用分块组(也称为视频分块组)和/或分块(也称为视频分块)对图像进行划分和/或解码,其中,图像可以被划分为一个或多个分块组(通常是非重叠的)或使用一个或多个分块组进行解码,并且每个分块组可以包括一个或多个块(例如ctu)或一个或多个分块,其中每个分块例如可以是长方形,并且可以包括一个或多个块(例如ctu),例如完整的或部分的块。视频解码器30的其他变形形式可以用于对编码图像数据21进行解码。例如,解码器30可以在不使用环路滤波单元320的情况下产生输出视频流。例如,基于非变换的解码器30可以直接对某些块或帧反量化残差信号,而不使用反变换处理单元321。在另一实施方式中,视频解码器30可以使反量化单元310和反变换处理单元312组合成单个单元。应理解,在编码器20和解码器30中,当前步骤的处理结果可以被进一步处理,然后输出至下一步骤。例如,在插值滤波、运动矢量导出、或环路滤波之后,可以对插值滤波、运动矢量导出、或环路滤波的处理结果执行进一步的操作,例如裁剪或移位。应注意,可以对当前块导出的运动矢量(包括但不限于仿射模式的控制点运动矢量,仿射、平面、atmvp模式中的子块运动矢量,时间运动矢量等等)应用进一步的操作。例如,运动矢量的值被约束到根据其代表比特的预定义范围。如果运动矢量的代表比特是位深(bitdepth),则该范围是-2^(bitdepth-1)~2^(bitdepth-1)-1,其中“^”表示求幂。例如,如果bitdepth设为等于16,则范围为-32768~32767;如果bitdepth设为等于18,则范围为-131072~131071。例如,导出的运动矢量(例如,在一个8x8块内的四个4x4子块的mv)的值被约束为使得四个4x4子块mv的整数部分之间的最大差值不多于n个像素,例如不多于一个像素。这里提供了用于根据bitdepth约束运动矢量的两种方法。方法1:通过以下操作移除溢出msb(mostsignificantbit,最高有效位)ux=(mvx+2bitdepth)%2bitdepth(1)mvx=(ux>=2bitdepth-1)?(ux-2bitdepth):ux(2)uy=(mvy+2bitdepth)%2bitdepth(3)mvy=(uy>=2bitdepth-1)?(uy-2bitdepth):uy(4)其中,mvx是图像块或子块的运动矢量的水平分量,mvy是图像块或子块的运动矢量的垂直分量,ux和uy指示中间值;例如,如果mvx的值为-32769,则在应用公式(1)和(2)后,得到的值为32767。在计算机系统中,十进制数字存储为二进制补码。-32769的二进制补码是1,0111,1111,1111,1111(17位)。然后丢弃msb,所以得到的二进制补码是0111,1111,1111,1111(十进制数为32767),该值与应用公式(1)和(2)的输出相同。ux=(mvpx+mvdx+2bitdepth)%2bitdepth(5)mvx=(ux>=2bitdepth-1)?(ux-2bitdepth):ux(6)uy=(mvpy+mvdy+2bitdepth)%2bitdepth(7)mvy=(uy>=2bitdepth-1)?(uy-2bitdepth):uy(8)如公式(5)至(8)所示,可以在mvp和mvd的求和期间应用上述运算。方法2:通过削减以下值移除溢出msb:vx=clip3(-2bitdepth-1,2bitdepth-1-1,vx)vy=clip3(-2bitdepth-1,2bitdepth-1-1,vy)其中,vx是图像块或子块的运动矢量的水平分量,vy是图像块或子块的运动矢量的垂直分量;x、y、z分别对应于mv削减过程的三个输入值,函数clip3的定义如下:图4是根据本公开实施例的视频译码设备400的示意图。视频译码设备400适于实现本文描述的公开实施例。在实施例中,视频译码设备400可以是诸如图1a的视频解码器30的解码器,或是诸如图1a的视频编码器20的编码器。视频译码设备400包括用于接收数据的入口端口410(或输入端口410)和接收器单元(rx)420;用于处理数据的处理器、逻辑单元、或中央处理单元(centralprocessingunit,cpu)430;用于发送数据的发射器单元(tx)和出口端口450(输出端口450);以及用于存储数据的存储器460。视频译码设备400还可以包括耦合到入口端口、接收器单元420、发射器单元440、以及出口端口450的光电(optical-to-electrical,oe)部件和电光(electrical-to-optical,eo)部件,用于光信号或电信号的输入和输出。处理器430通过硬件和软件来实现。处理器430可以实现为一个或多个cpu芯片、核(例如多核处理器)、fpgas、asic、和dsp。处理器430与入口端口410、接收器单元420、发射器单元440、出口端口450、以及存储器460通信。处理器430包括译码模块470。译码模块470实现上下文所述的公开实施例。例如,译码模块470实现、处理、准备、或提供各种译码操作。因此,将译码模块470包括在内为视频译码设备400的功能提供了实质性的改进,并且实现了视频译码设备400到不同状态的转换。或者,译码模块470被实现为存储在存储器460中并由处理器430执行的指令。存储器460可以包括一个或多个磁盘、磁带驱动器、和固态驱动器,并且可以用作溢出数据存储设备,以在选择要执行的程序时存储程序,并存储在程序执行期间读取的指令和数据。存储器460可以是例如易失性和/或非易失性的,并且可以是只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、三态内容可寻址存储器(ternarycontent-addressablememory,tcam)、和/或静态随机存储器(staticrandom-accessmemory,sram)。图5是根据示例性实施例的装置500的简化框图,装置500可以用作图1中的源设备12和/或目的地设备14。装置500中的处理器502可以是中央处理单元。或者,处理器502可以是任何其他类型的设备或多个设备,能够操作或处理现有信息或以后开发的信息。尽管所公开的实施方式可以利用如图所示的单个处理器(例如,处理器502)来实践,但是使用一个以上的处理器可以实现速度和效率上的优势。在实施方式中,装置500中的存储器504可以是只读存储器(rom)设备或随机存取存储器(ram)设备。任何其他合适类型的存储设备可以用作存储器504。存储器504可以包括由处理器502使用总线512访问的代码和数据506。存储器504还可以包括操作系统508和应用程序510。应用程序510包括至少一个程序,该程序允许处理器502执行本文描述的方法。例如,应用程序510可以包括应用程序1至n,应用程序1至n还包括执行本文描述的方法的视频译码应用。装置500还可以包括一个或多个输出设备,例如显示器518。在一个示例中,显示器518可以是将显示器与可操作以感测触摸输入的触敏元件组合的触敏显示器。显示器518可以经由总线512连接到处理器502。尽管在这里被描述为单个总线,但是装置500的总线512可以由多个总线组成。此外,辅助存储器514可以直接耦合到装置500的其他组件,或者可以经由网络访问,并且可以包括单个集成单元(例如存储卡)或多个单元(例如多个存储卡)。装置500因此可以以多种配置来实现。局部亮度补偿(localilluminationcompensation,lic)是用于改进运动补偿的技术之一。lic被应用于运动补偿的结果,或者通常被应用于帧间预测的结果(例如,由图2所示的编码器20的帧间预测单元244和/或如图3所示的解码器30的帧间预测单元344执行的帧间预测)。lic包括通过将预测样本(样本的值)与第一参数α(第一参数α的值)相乘并加上第二参数β(第二参数β的值)来调整预测样本。使用最小均方方法从当前块和参考块的相邻样本中导出参数α和β。例如,如图6所示,可以利用参考样本的一个或多个子集来导出参数α和β。图6在左侧示出了当前块601(例如,当前cu)和示出为填充的黑色圈的参考样本(例如,相邻样本)。参考样本(例如相邻样本)是例如与当前块的左边界(或边缘)和上边界相邻的样本,并且可以属于例如当前块的先前重建的相邻块。图6在右手侧示出了参考块,例如,用于当前块的帧间预测的参考块,以及示出为填充的灰色圈的该参考块的参考样本(例如相邻样本)。参考块的参考样本(例如相邻样本)例如可以是与参考块602的左边界和上边界相邻的样本。在优选实施方式中,参考块602的相邻样本相对于参考块具有与当前块的相邻样本相同的相对位置,换句话说,参考块和当前块的相邻样本的(相对)位置匹配。参考块602的相邻样本例如是在与参考块的左边界和上边界相邻的位置处的解码样本(例如,来自dpb230、330中存储的解码图像231、331,例如在环路滤波和去块之后)。当前块601的相邻样本例如是在与当前块601的左边界和上边界相邻的位置处的重建样本(例如,在环路滤波和去块之前的重建相邻块215、315的样本)。当使用融合模式对块进行译码时,以与融合模式中的运动信息复制类似的方式从当前块的相邻块复制lic标志;否则,为该块发信令通知lic标志以指示是否要应用lic。在编码器侧,当对块启用lic时,去均值绝对差之和(mean-removedsumofabsolutediffierence,mr-sad)和/或去均值绝对哈达玛变换差之和(mean-removedsumofabsolutehadamard-transformeddifierence,mr-satd)可以用于估计失真,而不是sad用于整数像素运动搜索且satd用于分数像素运动搜索(例如,mr-sad用于整数像素运动搜索且mr-satd用于分数像素运动搜索)。最小均方(leastmeansquared,lms)差计算可能会增加时延值。具体地,以下公式:其中,n是样本数量,c(n)是当前块的相邻重建样本(例如图6所示的上和/或左相邻样本),l(n)是参考块的相邻重建样本(例如图6所示的上和/或左相邻样本)。在示例性实施方式中,c是当前块的相邻样本的集合,l是参考块(即,用作运动补偿的输入并且由运动矢量参考的块)的相邻样本(例如图6所示的上和/或左相邻样本)的集合。当导出参数α时,可以从两个集合(集合c和集合l)中移除均值。在这种情况下,通过考虑l和c的均值之间的差来进一步计算参数β。类似的方法用于跨分量线性模型(cross-componentlinearmodel,cclm)预测,但线性参数不是用于更新帧间预测块的值(例如当前块的帧间预测样本的值),而是用于从亮度预测样本的值导出色度预测样本的值。方程(1)和(2)需要大量运算,这会使硬件复杂度增加。此外,可以并行执行的求和的数量是有限的,n个被加数只能使用最少个顺序运算步骤来计算。由于lic直接在运动补偿之后执行,所以用于参数导出的顺序步骤的数量是关键的,这是因为其他帧内译码块的译码可能取决于当前帧间译码块(例如,对于组合帧内帧间预测、自适应环路滤波器等),换句话说,在可以处理(例如解码)帧内译码块之前,必须首先重建当前帧间译码块,其中,当前块只能在完成参数导出之后从预测样本中重建。本发明实施例可以用于使用参考块的相邻样本的集合(称为集合l)内的最小值和最大值以及该集合l内的这些最大值和最小值的位置来导出参数α和β。当前块的相邻样本的集合称为集合c。在本发明实施例中,两个相邻样本集合c和l中的相邻样本的位置可以是匹配的,即,可以是相同的。在这种情况下,相比于lms方法,可以大幅减少运算次数。因此,本发明实施例提供了参数α和β的简化导出方法,因此提供了简化的lic。例如,实施例可以包括以下步骤:-使用运动补偿获得帧间预测样本值(例如图像的当前块(例如当前cu)的帧间预测样本值)(这些帧间预测样本值还可以称为原始、中间、或未补偿的预测值或预测块样本值,参见图2和图3的附图标记265、365);-获得从至少一个参考块(例如,在单向预测情况下为仅一个参考块,或者在双向预测的情况下为两个参考块,或者甚至更多参考块)的相邻样本中导出的集合l的值中的最小值xa(例如最小亮度值或最小参考或相邻值)和最大值xb(例如,最大亮度值或最大参考或相邻值),以及对应位置a和b,其中,a表示具有最小值xa的相邻样本的位置,b表示具有最大值xb的相邻样本的位置(位置a和b也可以称为相对位置,因为其表示相邻样本相对于相应块(例如当前块和参考块)的位置的位置);-获得在获得的位置a和b处的当前块的相邻样本的值,分为称为ya和yb;-使用计算的值获得参数α和β的值,例如通过以下方程获得:β=ya-αxa;以及-应用参数α和β的计算值获得帧间预测样本的更新值,例如通过以下方程获得:pred′(x,y)=α·pred(x,y)+β,其中,pred(x,y)表示通过帧间预测(运动补偿)获得的原始预测值或预测块样本,pred’(x,y)表示更新的预测值或预测块样本(这些更新的帧间预测样本值也可以称为最终或补偿后的预测值或预测块样本值,参见图2和图3中的附图标记265、365,并且可以直接用于或进一步处理后用于重建以获得图像的重建的当前块215、315;在本文中“更新”也可以称为补偿、适应、或修改)。参数α和β可以称为更新(或补偿或适应)参数。其他实施例可以使用不同的更新参数和不同的处理以更新预测值或预测块样本值。在单向预测的情况下,集合l的值由用于帧间预测的一个参考块的相邻样本组成。图7示出了(x,y)坐标系(二维图),其中,集合l的参考块的相邻样本的样本值与x轴关联(1024个值的范围),集合c的当前块的相邻样本的样本值与y轴关联(1024个值的范围),在位置(xa,ya)处示出了a,在位置(xb,yb)处示出了b,xa是集合l的样本值中的最小样本值,xb是集合l的样本值中的最大样本值。在下文中,描述了本发明的不同实施例。实施例的一个方面是计算或确定位置a和b的方式。在实施例中,位置a和b对应于集合l内的最小样本值和最大样本值的位置。当集合l具有参考块的若干参考样本的子集时,其中,这些样本中的每一个都彼此相等并小于属于l的其他参考样本(例如小于所有其他参考样本),对于属于该子集并具有到该参考块的左上角的最大距离的参考样本,选择位置a。类似地,当集合l具有若干参考样本的子集时,其中,这些样本中的每一个都彼此相等并大于属于l的其他参考样本(例如大于所有其他参考样本),对于属于该子集并具有到该参考块的最上角的最大距离的参考样本,选择位置b。在另一实施例中,如图8所示,不仅搜索(或确定)最小亮度值或样本值a和最大亮度值或样本值b,还搜索(或确定)第二小亮度值或样本值a’和第二大亮度值或样本值b’。使用由图8的虚线所示的平均线(即线性模型)导出参数α和β。在该实施例中,位置a和b还可以由以变形之一替代:-变形1:■(xa+xa′+1)>>1,使用最小样本值a和第二小样本值a’的平均值(即第一平均值)代替xa;(xb+xb′+1)>>1,使用最大样本值b和第二大样本值b’的平均值(即第二平均值)代替xb;■(ya+ya′+1)>>1,使用当前块的在具有第一平均值的对应位置处的样本值代替ya;(yb+yb′+1)>>1,使用当前块的在具有第二平均值的对应位置处的样本值代替yb。-变形2:■(xa+xa′)>>1,使用最小样本值a和第二小样本值a’的平均值(即第一平均值)代替xa;(xb+xb′)>>1,使用最大样本值b和第二大样本值b’的平均值(即第二平均值)代替xb;■(ya+ya′)>>1,使用当前块的在具有第一平均值的对应位置处的样本值代替ya;(yb+yb′)>>1,使用当前块的在具有第二平均值的对应位置处的样本值代替yb。在另一实施例中,使用乘法和从查找表(look-uptable,lut)获得的内容实现除法运算这种替代是可能的,例如通过使用以下方法实现:其中,s是指定精度的移位参数。因此,可以如下指定64条目的查找表(例如k=0...63)以上方程中的除法运算可以是例如在c编程语言中使用的整数除法。可以使用乘法和获得的内容如下计算参数α=((yb-ya)·m+(1<<(s-1)))>>s其中,s是取决于查找表的精度的移位,并且m=lut[(yb-ya)>>ns],其中ns是差子采样因子(difierencesubsamplingfactor)。在该特定实施例中,s=15并且ns=10-6=4(由于lut具有26个条目并且输入差xb-xa是10比特的值)。在这样的实施例中,lut条目线性地映射到亮度差值(yb-ya)。在另一实施例中,可以使用非线性lut映射。表1中给出了示例性64条目的lut。表1具有非线性映射的示例性lut在该实施例中,从lut获取的值中恢复乘数的值,如下所示:m=lut[idx]<<ms其中,ms=6-(lutshift+1)+δ。对于小于或等于4的“idx”值,δ的值分别设为等于3、2、1、1。索引值“idx”是表1中的栅格索引(rasterindex)并且可以计算为max(lut_shift,0)·8+col。“lut_shift”的值是输出差xb-xa中的最高有效位的位置,并且“col”的值是最高有效位之后的后三位。在另一实施例中,lut将有效数(significands)的值制成表格。具体地,divsigtable[]={0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}。4位的有效数始终大于或等于8,因为其表示四个最高有效位。因此,该表省略了msb位,每个元素仅需要3位。该表的总大小为3*16=48位。执行以下步骤以获得α的值:-如下计算差值:δx=xb-xa;-如下执行归一化:δnorm=[(δx<<4)>>δ]&15;-如果δnorm≠0,将δ递增1。-δy=yb-ya-如下获得参数α:α=(δy(divsigtabed[δnorm]+8)+2γ-1)>>γ取决于差的值,参数α的值可以具有不同的精度。因此,可以采用参数β的计算以考虑这一事实。具体地,β=ya-((αxa)>>k)其中,k=max(1,3+δ-γ)。在另一实施例中,集合l和c包括与参考块和当前块的角落或中部相邻的相邻样本(图9)。跳过并且不考虑其余的相邻样本。给定边长s,沿着该边的相邻样本的允许位置(即,将被包括到l和c中的相邻样本的位置)被定义为0、s>>1、以及s-1,其中,s>>1表示s右移1。在另一实施例中(图10),仅到左上角的距离超过阈值t的那些样本被包括到集合l和c内。阈值t例如可以定义为等于以下之一:-块边长s的一半;-块边长s的四分之一;-固定值,包括以下之一:2、4、6、8个样本;其中,块边长例如是块的宽度或高度。在图9和图10中,虚线矩形包围了相邻样本的允许位置。对于若干个参考块的情况,可以获得预测值pred(x,y),作为运动补偿应用于这些参考块的结果。特别地,对于双向预测的情况,pred(x,y)可以是两个参考块的线性组合。在这种情况下,使用参考块的参考样本的线性组合获得参考或相邻样本的集合l,其中,获得集合l中的值作为两个或多个相邻样本的加权和,这些相邻样本与不同的参考块相邻(例如,在双向预测的情况下与两个参考块相邻)但相对于这些参考块具有相同的位置。为了计算更高精度的β,可以计算当前块和参考块的lic模板的均值。lic模板是块的左边和上方的l形区域。如图11和图12所示,在应用计算α和β的上述过程以及计算模板样本(例如左模板样本或上模板样本)的均值之前,可以对模板样本进行降采样(图11)或不进行降采样(图12)。另外,为了移除或减少异常值的影响,可以使用不同的(线性或非线性)平滑滤波器对模板样本进行滤波。特别地,为此可以使用系数为[1,2,1]/4和[1,0,2,0,1]/4的fir(finiteimpulserespons,有限脉冲响应)滤波器。这些滤波器可以互换地(一个或另一个)应用于模板样本。特别地,如果块中的样本数量等于或小于256,即,宽*高<=256,则应用系数为[1,2,1]/4的滤波器。否则(如果块中的样本数量大于256,即,宽*高>256)使用[1,0,2,0,1]/4。其他fir滤波器也可以应用于模板样本。为了在不使用除法运算的情况下计算模板样本的均值,可以使用以下公式:如果w>h(参考图13),则如果h>w(参考图14),则如果h=w(参考图15),则其中,w表示上模板样本范围,h表示左模板样本范围,w和h均为正整数。pi指示当前块或参考块的模板样本值。分别为当前块(待预测)和参考块计算的均值meancur和meanref应代入以下公式中计算β:β=meancur-α·meanref值得注意的是,cclm的线性模型参数导出的实施方式与lic的更新参数导出的实施方式应相互统一,即cclm和lic都使用相同的过程。如图16所示,根据本公开实施例的用于图像的帧间预测译码(编码和/或解码)的亮度补偿的方法的描述如下:-在框1601,使用运动补偿获得当前块的帧间预测的样本值;-在框1602,获得至少一个参考块的参考样本(例如相邻样本)的第一目标值(xa)和第二目标值(xb),以及具有第一目标值的参考样本相对于参考块的位置的对应位置a和具有第二目标值的参考样本相对于参考块的位置的对应位置b;特别地,获得至少一个参考块的相邻样本的最小值(xa)和最大值(xb),以及具有最小值的相邻样本相对于参考块的位置(例如,参考块的左上角)的对应位置a和具有最大值的相邻样本相对于参考块的位置的对应位置b;-在框1603,获得当前块的在相对于当前块的位置的对应位置a和b处的相邻样本的相应值(ya,yb);-在框1604,基于参考样本的值获得或导出更新参数(例如α和β)的值,其中,参考样本的值包括以下中的一个或多个:参考块的参考样本的第一目标值(xa)和第二目标值(xb),以及当前块的在对应位置a和b处的参考样本的值(ya,yb);特别地,使用参考样本的值获得线性模型参数(例如,更新参数α和β的值),其中,参考样本的值包括参考块的相邻样本的最小值(xa)和最大值(xb),以及当前块的在对应位置a和b处的相邻样本的值(ya,yb);以及-在框1605,基于更新参数(例如α和β)的值更新帧间预测的样本值。总之,本公开提出了使用cclmminmax方法来导出lic的线性模型参数。还提出了通过引入平均值计算来改进lic和cclm的性能。所提的方法减少了顺序计算的数量,简化了vvc规范草案,并降低了硬件复杂度。本公开建议在lic和cclm中使用cclm参数导出的统一机制。具体地,提出了使用与cclm所使用的相同的导出过程来导出lic的参数a和b,并且增加参数b的精确度。本公开中测试了若干方面:1.模板降采样:由于minmax方法不需要所处理的模板样本的数量是2的幂,所以在两种情况下(即,对于当前块和参考块)可以跳过该过程。2.模板滤波:可以对模板进行滤波以移除异常值(测试了2个fir平滑滤波器:[1,2,1]/4以及[1,0,2,0,1]/4,以及其组合,根据块大小切换这些滤波器)。3.均值:均值ymean和xmean可以根据若干种方法计算:a.如dc帧内预测模式所做的一样,即,块的长边(当块具有矩形形状时)或两边(当块是正方形时)用于计算dc值。b.对每条边独立地执行平均计算,并且对结果进行相互平均。表2.所提测试或方法的总结亮度补偿是应用于预测块的样本的线性变换。在以上描述中,基于在预测样本的上方或左侧的重建样本的可用性来执行参数导出。图17示出了具有对应左模板和对应上模板的块。本公开的一个实施例包括以下步骤(如图18所示):-确定与预测块的左侧和上方相邻的块的预测模式;-基于确定的与预测块的左侧和上方相邻的块的预测模式来确定采样模板(t);-确定与预测块的左侧或上方相邻并且其相对于预测块的位置被采样模板t允许的重建样本的集合(s);-确定与参考区域的左侧或上方相邻的并且其相对于参考区域的位置被采样模板t允许的参考样本的集合(r);-使用参考样本的集合r中的样本作为参考值,重建样本的集合s中的重建样本作为目标值,导出线性模型的参数;以及-对预测块的样本应用线性变换,其中,线性变换的参数为线性模型的导出参数。图19中示出了基于确定的与预测块的左侧和上方相邻的块的预测模式确定采样模板(t)。根据译码顺序,当前帧的预测块1901具有相邻可用重建样本1902。重建样本1902是作为针对相邻块1903和1904执行的重建过程的结果获得的(图2中的215和图3中的315)。重建样本从预测块(图2的265和图3中的365)获得,预测块可以使用不同的预测模式获得,即,预测块为帧间预测(244、344)、帧内预测(254、354)、或其他预测过程的结果。由于相邻重构块比帧内预测模式的相邻块更早可用于当前块的预测,因此对计算复杂性的考虑使得相邻重构块的帧间预测模式更加理想。基于预测模式,相邻重构块被分类成可用相邻块1904和不可用相邻块1903。示例性分类器可以如下:-如果块的预测模式是帧间预测,则该块可用,-否则,该块不可用。帧间预测模式包括不需要当前帧的相邻块的预测模式。因此,使用组合的帧内-帧间预测(combinedintra-interprediction,ciip)、帧内块复制(intrablockcopy,ibc)、或当前图像参考(currentpicturereferencing,cpr)机制来预测的块不被认为是使用帧间预测模式的块。例外地,如果局部亮度补偿(lic)应用于相邻块,则其被认为是帧间预测的,尽管其使用了相邻参考样本。采样模板t定义相对于预测块的一组空间位置,使得这些位置上的样本在参数导出的进一步步骤中被考虑。因此,如果相邻样本的位置位于可用相邻重建块1904内,则其被包括在模板t内。否则,如果相邻样本属于不可用重建块,则该样本的位置不被包括在采样模板t内。通过在集合中包括所有具有被包括在采样模板t内的位置的相邻样本1902,基于采样模板t确定相邻重建样本的集合s。类似地,通过在集合中包括参考帧中所有具有包括在采样模板t内的相对位置的样本,基于相对于参考区域1905的采样模板t确定参考样本的集合r。在图19的左边部分,集合r中的示例性参考样本1906被示出为带阴影线的方框。样本集合s和r用于例如使用min/max方法导出如上所述的线性模型的参数α和β。相较于mse最小化方法,min-max方法不硬性要求输入样本的数量等于2的幂。因此,上述用于导出线性模型参数α和β的min-max方法比基于均方误差最小化的方法更加理想。最后一个步骤是将线性变换应用于预测样本,以获得根据局部亮度进行补偿后的预测样本的更新值。本质上,具有线性模型参数α和β的线性变换是以下运算:predsamples’[x][y]=αpredsamples[x][y]+β参数α和β可以表示为具有n位精度的定点整数值a和b,在这种情况下,该运算将会不同地表示为:predsamples’[x][y]=(a*predsamples[x][y]+b+(n>>1))>>log2(n)一般地,在cu级别上,在位流中发信令通知一个标志,该标志指示预测样本应该使用局部亮度补偿方法进行更新。当满足约束时,该标志的值被推断为0,并且不在位流中发信令通知该标志。示例性约束可以包括以下中的一个或若干个:-预测块包含少于64个样本;-块是使用子块模式进行预测的,子块模式例如包括三角模式和bdof;-预测块的边长等于128个块;-预测块的预测样本是使用双向预测获得的;-位于两个左上位置的基本单元属于具有非帧间预测模式的重建块(参见图20)。具体地,其具有相对于待预测的块的左上角的坐标(-1,0)和(0;-1);-与预测块的左侧和上方相邻的所有基本单元都属于具有非帧间预测模式的重建块;-使用加权平均的双向预测(bi-predictionwithweightedaverage,bpwa)被用于获得预测样本。图21中示出了检查尺寸为wxh的块的相邻基本单元。位置“b”对应于标记为“b1”或“b2”的基本单元位置。位置“f”对应于标记为“f1”或“f2”的基本单元位置。图21中所示的一个或多个位置可以用于推导lic标志是否在位流中发信令通知。换句话说,鉴于图21,对于尺寸为wxh的块,预设位置可以包括位置a、b1、b2、c、d、e、f1、f2、g中的一个或多个,其中,a、b1、b2、c、d、e、f1、f2、g的定义如图21所示。数学运算符本申请中使用的数学运算符类似于c编程语言中使用的数学运算符。但是,更精确地定义了整数除法和算术移位运算的结果,并定义其他运算,例如取幂和实值除法。编号和计数约定通常从0开始,即“第一”等效于第0个,“第二”等效于第一个,依此类推。算术运算符定义如下算术运算符:+加法-减法(作为双目运算符)或取负(作为一元前缀运算符)*乘法,包括矩阵乘法xy取幂。指定x的y次幂。在其他背景下,这种标注用于上标,而不是解释为取幂。/整数除法,结果向零截断。例如,7/4和-7/-4被截断为1,-7/4和7/-4被截断为-1。÷用于在数学等式中表示除法,其中不进行任何截断或取整。用于在数学等式中表示除法,其中不进行任何截断或取整。对f(i)求和,i取从x到包括y的所有整数值。x%y取模。x除以y的余数,仅对整数x和y定义,其中x>=0且y>0。逻辑运算符定义如下逻辑运算符:x&&yx和y的布尔逻辑"与"x||yx和y的布尔逻辑"或"!布尔逻辑"非"x?y:z如果x为true或不等于0,则计算值为y;否则,计算值为z。关系运算符定义如下关系运算符:>大于>=大于或等于<小于<=小于或等于==等于!=不等于当关系运算符应用于被赋值为“na”(不适用)的语法元素或变量时,值“na”被看作该语法元素或变量的不同值。值“na”被认为不等于任何其他值。位运算符定义如下位运算符:&按位“与”。当对整数参数进行运算时,对整数值的二进制补码进行运算。当对所包含的位少于另一个参数的二进制参数进行运算时,通过添加更多等于0的有效位来扩展较短的参数。|按位“或”。当对整数参数进行运算时,对整数值的二进制补码进行运算。当对所包含的位少于另一个参数的二进制参数进行运算时,通过添加更多等于0的有效位来扩展较短的参数。^按位“异或”。当对整数参数进行运算时,对整数值的二进制补码进行运算。当对所包含的位少于另一个参数的二进制参数进行运算时,通过添加更多等于0的有效位来扩展较短的参数。x>>yx的二进制补码整数表示算术右移y个二进制数字。仅针对非负整数值y定义此函数。由于右移而移位到最高有效位(mostsignificantbit,msb)的位的值等于移位运算之前的x的msb。x<<yx的二进制补码整数表示算术左移y个二进制数字。仅针对非负整数值y定义此函数。由于左移而移位到最低有效位(leastsignificantbit,lsb)的位的值等于0。赋值运算符定义如下赋值运算符:=赋值运算符++递增,即,x++等效于x=x+1;当在数组索引中使用时,取递增运算之前的变量的值。--递减,即,x--等效于x=x-1;当在数组索引中使用时,取递减运算之前的变量的值。+=递增指定量,即,x+=3等效于x=x+3,x+=(-3)等效于x=x+(-3)。-=递减指定量,即,x-=3等效于x=x-3,x-=(-3)等效于x=x-(-3)。范围符号以下符号用于指定值的范围:x=y..zx取从y到z的整数值,其中x、y、z是整数且z大于y。数学函数定义以下数学函数:asin(x)三角反正弦函数,对在-1.0到1.0(含)范围内的自变量x进行运算,输出值在-π÷2到π÷2(含)范围内,以弧度为单位。atan(x)三角反正切函数,对自变量x进行运算,输出值在-π÷2到π÷2(含)范围内,以弧度为单位。ceil(x)大于或等于x的最小整数。clip1y(x)=clip3(0,(1<<bitdepthy)-1,x)clip1c(x)=clip3(0,(1<<bitdepthc)-1,x)cos(x)对自变量x进行运算的三角余弦函数,以弧度为单位。floor(x)小于或等于x的最大整数。ln(x)x的自然对数(以e为底的对数,其中e是自然对数底常数2.718281828...)。log2(x)x的以2为底的对数。log10(x)x的以10为底的对数。round(x)=sign(x)*floor(abs(x)+0.5)sin(x)对自变量x进行运算的三角正弦函数,以弧度为单位。swap(x,y)=(y,x)tan(x)对自变量x进行运算的三角正切函数,以弧度为单位。运算优先顺序如果未通过使用括号显式指示表达式中的优先顺序,则适用以下规则:-高优先级的运算在较低优先级的运算之前计算。-相同优先级的运算从左到右顺序计算。下表指定了从最高到最低的运算优先级;表中的较高位置指示较高优先级。对于同样在c编程语言中使用的那些运算符,在本说明书中使用的优先顺序与在c编程语言中使用的相同。表:从最高(表的顶部)到最低(表的底部)的运算优先级逻辑运算的文本描述在文本中,将以下列形式用数学方式描述的逻辑运算的语句:if(condition0)statement0elseif(condition1)statement1...else/*informativeremarkonremainingcondition*/statementn可以按以下方式描述:...asfollows/...thefollowingapplies:–ifcondition0,statement0–otherwise,ifcondition1,statement1–...–otherwise(informativeremarkonremainingcondition),statementn文本中的每个“if...otherwise,if...otherwise,...”语句均以“...asfollows”或“...thefollowingapplies”开头,后面紧跟“if...”。“if...otherwise,if...otherwise,...”的最后一个条件可能始终是“otherwise,...”。交错的“if...otherwise,if...otherwise,...”语句可以通过将“...asfollows”或“...thefollowingapplies”与末尾“otherwise,...”进行匹配来标识。在文本中,将以下列形式用数学方式描述的逻辑运算的语句:if(condition0a&&condition0b)statement0elseif(condition1a||condition1b)statement1...elsestatementn可以按以下方式描述:在文本中,将以下列形式用数学方式描述的逻辑运算的语句:if(condition0)statement0if(condition1)statement1可以按以下方式描述:whencondition0,statement0whencondition1,statement1实施例(例如编码器20和解码器30的实施例)以及本文中描述的功能(例如,关于编码器20和解码器30描述的功能)可以以硬件、软件、固件、或其任何组合来实现。如果以软件实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过通信介质传输,并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质,该计算机可读存储介质对应于诸如数据存储介质之类的有形介质,或者包括例如根据通信协议促进计算机程序从一个地方到另一地方的转移的任何介质的通信介质。以这种方式,计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质,或者(2)诸如信号或载波的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以检索指令、代码、和/或数据结构以实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。作为示例而非限制,这种计算机可读存储介质可包括ram、rom、eeprom、cd-rom、或其他光盘存储,磁盘存储或其他磁性存储设备,闪存,或任何其他可以用来以指令或数据结构的形式存储所需的程序代码并且可以由计算机访问的可存储介质。同样,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(digitalsubscriberline,dsl)或无线技术(例如红外,无线电和微波)从网站、服务器、或其他远程源发送指令,则介质的定义包括同轴电缆、光纤电缆、双绞线、dsl或诸如红外、无线电、和微波之类的无线技术。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号、或其他瞬时介质,而是针对非瞬时的有形存储介质。本文使用的磁盘和光盘包括光盘(compactdisc,cd)、激光光盘、光盘、数字多功能光盘(digitalversatiledisc,dvd)、软盘和蓝光光盘,其中磁盘通常以磁性方式复制数据,而光盘则通过激光光学方式复制数据。上述的组合也应包括在计算机可读介质的范围内。指令可以由一个或多个处理器执行,例如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)、或其他等效的集成或离散逻辑电路。因此,如本文所使用的,术语“处理器”可以指任何前述结构或适合于实现本文所描述的技术的任何其他结构。另外,在一些方面,本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供,或结合在组合译码器中。同样,该技术可以在一个或多个电路或逻辑元件中完全实现。本公开的技术可以在多种设备或装置中实现,包括无线手持机、集成电路(integratedcircuit,ic)、或一组ic(例如,芯片组)。在本发明中描述各种组件、模块、或单元以强调经配置以执行所揭示技术的装置的功能方面,但不一定需要由不同硬件单元来实现。而是,如上所述,各种单元可以组合在译码器硬件单元中,或者由互操作的硬件单元的集合来提供,包括与合适的软件和/或固件结合的如上所述的一个或多个处理器。本公开提供了以下另外十九方面。第一方面是一种用于图像的帧间预测译码(编码和/或解码)的亮度补偿方法,包括:使用运动补偿获得(例如,图像的当前块(例如当前cu)的)帧间预测的样本值;获得(例如,从参考块的相邻样本的集合l获得,集合l可以包括所有或部分相邻样本;相邻样本可以是相邻解码样本)参考块(或两个或更多个参考块)的相邻样本的最小值(xa)和最大值(xb),以及(具有最小值的样本)相对于参考块的位置的对应位置a和(具有最大值的样本)相对于参考块的位置的对应位置b;获得相对于当前块的位置的所获得位置a和b处的当前块的相邻样本的相应值(ya,yb)(例如,从当前块的相邻样本的集合c获得,集合c可以包括所有或部分相邻样本,集合l和集合c相对于其相应块l和c的相对位置均包含相同的相邻样本;相邻样本可以是相邻重建样本);使用计算的值获得更新参数(例如α和β)的值;基于更新参数(例如α和β)更新帧间预测的样本值。第二方面是第一方面的方法,其中,更新参数是α和β,并且其中,更新参数α和β的值是使用根据以下方程计算的值获得的:β=ya-αxa第三方面是根据第二方面的方法,其中,如下更新帧间预测的样本值:pred′(x,y)=α·pred(x,y)+β第四方面是根据任一前述方面的方法,其中,位置a和位置b从参考块的相邻样本的集合(例如集合l)的子集中选择(l可以包括在整数像素位置处的所有相邻样本)。第五方面是根据前一方面的方法,其中,参考块的相邻样本的第二小值(xa’)(例如,在位置a'处的亮度值)和第二大值(xb’)(例如,在位置b’处的亮度值)额外地用于计算更新参数(例如α和β)。第六方面是根据任一前述方面的方法,其中,查找表(lookuptable,lut)用于导出参数α(例如,查找表包括在第二方面中为α指定的除法求导的结果)。第七方面是根据第六方面的方法,其中,查找表线性映射到差xb-xa。第八方面是根据第七方面的方法,其中,查找表非线性映射到差xb-xa。第九方面是根据第八方面的方法,其中,查找表将有效数的值的值制成表格,或者包括有效数的值。第十方面是根据任一前述方面的方法,其中,参考块的相邻样本的集合(例如集合l)和当前块的相邻样本的集合(例如集合c)不包括所有相邻样本(例如,不包括在整数像素位置处的所有相邻样本),而是包括与参考块和当前块的角落和中部相邻的样本。第十一方面是根据第一至第十方面中任一方面的方法,其中,参考块的相邻样本的集合(例如集合l)和当前块的相邻样本的集合(例如集合c)不包括所有相邻样本(例如,不包括在整数像素位置处的所有相邻样本),而是包括到左上角的距离超过给定阈值的样本。第十二方面是根据任一前述方面的方法,其中,若干参考块(例如两个或更多个)用于运动补偿并用于获得更新参数。第十三方面是根据第一至第十二方面中任一方面的方法,该方法由编码设备执行。第十四方面是根据第一至第十二方面中任一方面的方法,该方法由解码设备执行。第十五方面是一种编码器(20),包括用于执行根据第一至第十二方面中任一方面的方法的处理电路。第十六方面是一种解码器(30),包括用于执行根据第一至第十二方面中任一方面的方法的处理电路。第十七方面是一种计算机程序产品,包括用于执行根据第一至第十二方面中任一方面的方法的程序代码。第十八方面是一种解码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置解码器执行根据第一至第十二方面中任一方面的方法。第十九方面是一种编码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置编码器执行根据第一至第十二方面中任一方面的方法。此外,本公开还提供了以下其他方面。第一方面是一种用于帧间预测译码的预测块的亮度补偿方法,包括:-确定与预测块的左侧和上方相邻的块的预测模式;-基于确定的与预测块的左侧和上方相邻的块的预测模式确定采样模板(t);-确定重建样本的集合(s),重建样本与预测块的左侧或上方相邻,并且具有被采样模板t允许的相对于预测块的位置;-确定参考样本的集合(r),参考样本与参考区域的左侧或上方相邻,并且具有被采样模板t允许的相对于参考区域的位置;-使用参考样本的集合r中的样本作为参考值,并使用重建样本的集合s中的重建样本作为目标值,导出线性模型的参数;以及-对预测块的样本应用线性变换,其中,线性变换的参数是线性模型的导出的参数。第二方面是根据第一方面的方法,其中,导出线性模型的参数包括以下步骤:-获得至少一个参考块的参考样本(例如相邻样本)的第一目标值(xa)和第二目标值(xb),并获得具有第一目标值的参考样本相对于参考块的位置的对应位置a和具有第二目标值的参考样本相对于参考块的位置的对应位置b;-获得当前块的相对于当前块的位置的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb);-基于参考样本的值获得或导出更新参数(例如α和β)的值,其中,参考样本的值包括以下中的一个或多个:参考块的参考样本的第一目标值(xa)和第二目标值(xb),以及当前块的在对应位置a和b处的参考样本的值(ya,yb);以及-基于更新参数(例如α和β)的值更新帧间预测的样本值。第三方面是根据任一前述方面的方法,其中,更新参数为α和β,并且其中,更新参数α和β的值是使用如下计算的值获得的:β=ya-αxa第四方面是根据前述方面的方法,其中,如下更新帧间预测的样本值:pred′(x,y)=α·pred(x,y)+β第五方面是根据任一前述方面的方法,其中,位置a和位置b从参考块的相邻样本的集合(例如集合l)的子集中选择(l可以包括在整数像素位置处的所有相邻样本)。第六方面是根据前述方面的方法,其中,参考块的相邻样本的第二小值(xa’)(例如,在位置a′处的样本值)和第二大值(xb’)(例如,在位置b′处的样本值)额外地用于计算更新参数(例如α和β)。第七方面是根据任一前述方面的方法,其中,查找表(lookuptable,lut)用于导出参数α(例如,查找表包括权利要求2中为α指定的除法求导的结果)。第八方面是根据前述方面的方法,其中,查找表线性映射到差xb-xa。第九方面是根据前述方面的方法,其中,查找表非线性映射到差xb-xa。第十方面是根据前述方面的方法,其中,查找表包括有效数的值。第十一方面是根据任一前述方面的方法,其中,参考块的相邻样本的集合(例如集合l)和当前块的相邻样本的集合(例如集合c)不包括所有相邻样本(例如,不包括在整数像素位置处的所有相邻样本),而是包括与参考块和当前块的角落和中部相邻的样本。第十二方面是根据第一至第十方面中任一方面的方法,其中,参考块的相邻样本的集合(例如集合l)和当前块的相邻样本的集合(例如集合c)不包括所有相邻样本(例如,不包括在整数像素位置处的所有相邻样本),而是包括到左上角的距离超过给定阈值的样本(例如,该阈值可以定义为边长的1/4)。第十三方面是根据任一前述方面的方法,其中,若干参考块(例如两个或更多个)用于运动补偿(例如局部亮度补偿)并用于获得线性模型系数(例如更新参数(例如α和β))。第十四方面是根据任一前述方面的方法,其中,当前块和参考块的上模板样本和左模板样本的均值用于计算用于运动补偿(例如局部亮度补偿lic)的一个或多个线性模型参数。第十五方面是根据任一前述方面的方法,其中,在不对当前块和参考块的模板进行降采样的情况下,使用当前块和参考块的模板。第十六方面是根据任一前述方面的方法,其中,在线性模型参数导出或线性模型系数导出之前,对当前块和参考块的上模板样本和左模板样本进行滤波。第十七方面是根据任一前述方面的方法,其中,对于跨分量预测(cclm)和局部亮度补偿(lic),线性模型参数导出或线性模型系数导出是统一的。第十八方面是根据任一前述方面的方法,其中,参考块的参考(相邻)样本的第一目标值和第二目标值分别是参考块的相邻样本的第二集合中的最小值(xa)和最大值(xb);以及具有第一目标值的参考样本的位置a与具有第二目标值的参考样本的位置b是具有最小值的相邻样本相对于参考块的位置的对应位置a和具有最大值的相邻样本相对于参考块的位置的对应位置b。第十九方面是根据任一前述方面的方法,其中,第一目标值是参考块的相邻样本的第二集合中的最小样本值a和第二小样本值a’的第一平均值;第二目标值是参考块的相邻样本的第二集合中的最大样本值b和第二大样本值b’的第二平均值;以及具有第一目标值的参考样本的位置a和具有第二目标值的参考样本的位置b是具有第一平均值的相邻样本相对于参考块的位置的对应位置和具有第二平均值的相邻样本相对于参考块的位置的对应位置。第二十方面是根据任一前述方面的方法,其中,参考样本值还包括当前块的上模板样本和左模板样本的均值以及参考块的上模板样本和左模板样本的均值。第二十一方面是根据任一前述方面的方法,其中,当在参考块的相邻样本的第二集合中具有最小值的参考样本的数量是q时,参考样本的对应位置a是具有最小值并具有到参考块的左上角的最大距离的参考样本,和/或参考样本的对应位置b是具有最大值并具有到参考块的左上角的最大距离的参考样本。第二十二方面是根据任一前述方面的方法,通过使用均值计算,从当前块的参考样本的第一集合的值和参考块的参考样本的第二集合的值中导出更新参数,例如α和/或β。第二十三方面是一种用于帧间预测译码的亮度补偿方法,包括:-使用运动补偿获得当前块的帧间预测的样本值;-基于当前块的参考样本(例如相邻样本)的第一集合的值和参考块的参考样本(例如相邻样本)的第二集合的值,获得或导出第一更新参数和第二更新参数(例如α和β)的值,其中,通过使用第一方法获得(或导出或计算)第一更新参数(例如α)的值,并通过使用第二方法获得(或导出或计算)第二更新参数(例如β)的值;以及-基于第一更新参数和第二更新参数(例如α和β)的值更新帧间预测的样本值。第二十四方面是根据任一前述方面的方法,其中,第一更新参数(例如α)的值通过使用minmax方法获得(或导出或计算),第二更新参数(例如β)的值通过使用均值计算获得(或导出或计算)。第二十五方面是根据任一前述方面的方法,其中,基于参考块的参考样本的第二集合中的最小值(xa)和最大值(xb)以及当前块的参考样本的第一集合中在最小值(xa)和最大值(xb)的对应位置a和b处的参考样本的相应值(ya,yb),获得(或导出或计算)第一更新参数(例如α)的值。第二十六方面是根据任一前述方面的方法,其中,基于参考块的参考样本的第二集合中的最小值(xa)和最大值(xb)以及当前块的参考样本的第一集合中在相对于当前块的位置的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得(或导出或计算)第一更新参数如α的值;其中,相对于参考块的位置的参考样本的对应位置a具有最小值,相对于参考块的位置的参考样本的对应位置b具有最大值。第二十七方面是根据任一前述方面的方法,其中,基于参考块的参考样本的第二集合中的最小样本值(a)和第二小样本值(a’)的第一平均值、参考块的相邻样本的第二集合中的最大样本值(b)和第二大样本值(b’)的第二平均值、以及当前块的参考样本的第一集合中在第一平均值和第二平均值的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得(或导出或计算)第一更新参数如α的值。第二十八方面是根据任一前述方面的方法,其中,基于参考块的参考样本的第二集合中的最小样本值(a)和第二小样本值(a’)的第一平均值、参考块的参考样本(例如相邻样本)的第二集合中的最大样本值(b)和第二大样本值(b’)的第二平均值、以及当前块的参考样本的第一集合中在相对于当前块的位置的对应位置a和b处的参考样本(例如相邻样本)的相应值(ya,yb),获得(或导出或计算)第一更新参数如α的值;其中,相对于参考块的位置的参考样本的对应位置a具有第一平均值,相对于参考块的位置的参考样本的对应位置b具有第二平均值。第二十九方面是根据任一前述方面的方法,其中,基于当前块的参考样本(例如相邻重建样本)的第一集合的均值和参考块的参考样本(例如相邻重建样本)的第二集合的均值,获得第二参数如β的值。第三十方面是根据任一前述方面的方法,其中,当满足第一条件(例如,第一模板样本范围(例如w)大于第二模板样本范围(例如h))时,使用第一公式获得(或导出或计算)参考块的参考样本(例如相邻重建样本)的第二集合的均值;当满足第二条件(例如,第二模板样本范围(例如h)大于第一模板样本范围(例如w))时,使用第二公式获得(或导出或计算)参考块的参考样本(例如相邻重建样本)的第二集合的均值;当满足第三条件(例如,第二模板样本范围(例如h)等于第一模板样本范围(例如w))时,使用第三公式获得(或导出或计算)参考块的参考样本(例如相邻重建样本)的第二集合的均值。第三十一方面是根据任一前述方面的方法,其中,当满足第一条件(例如,第一模板样本范围(例如w)大于第二模板样本范围(例如h))时,使用第一公式获得(或导出或计算)当前块的参考样本(例如相邻重建样本)的第一集合的均值;当满足第二条件(例如,第二模板样本范围(例如h)大于第一模板样本范围(例如w))时,使用第二公式获得(或导出或计算)当前块的参考样本(例如相邻重建样本)的第一集合的均值;当满足第三条件(例如,第二模板样本范围(例如h)等于第一模板样本范围(例如w))时,使用第三公式获得(或导出或计算)当前块的参考样本(例如相邻重建样本)的第一集合的均值。第三十二方面是根据任一前述方面的方法,其中,当前块的参考样本(例如相邻重建样本)的第一集合包括当前块的上模板样本和左模板样本的一部分或全部;参考块的参考样本(例如相邻重建样本)的第二集合包括参考块的上模板样本和左模板样本的一部分或全部。第三十三方面是根据任一前述方面的方法,其中,在更新参数导出(或线性模型参数导出)之前,对当前块和参考块的上模板样本和左模板样本进行滤波;在更新参数导出(或线性模型参数导出)之前,对当前块的参考样本的第一集合进行滤波;或者在更新参数导出(或线性模型参数导出)之前,对参考块的参考样本的第二集合进行滤波。第三十四方面是根据任一前述1-33方面的方法,该方法由编码设备实现。第三十五方面是根据任一前述1-33方面的方法,该方法由解码设备实现。第三十六方面是一种编码器(20),包括用于执行根据任一前述1-33方面的方法的处理电路。第三十七方面是一种解码器(30),包括用于执行根据任一前述1-33方面的方法的处理电路。第三十八方面是一种计算机程序产品,包括用于执行根据任一前述1-33方面的方法的程序代码。第三十九方面是一种解码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置解码器执行根据任何前述1-33方面的方法。第四十方面是一种编码器,包括:一个或多个处理器;以及非暂时性计算机可读存储介质,耦合到处理器并存储由处理器执行的程序,其中,当由处理器执行时,该程序配置编码器执行根据任何前述1-33方面的方法。第四十一方面是一种非暂时性计算机可读介质,承载有程序代码,当由计算机设备执行时,使计算机设备执行根据任一前述1-33方面的方法。第四十二方面是一种用于帧间预测译码的亮度补偿装置,包括:-第一获得单元,用于使用运动补偿获得当前块的帧间预测的样本值;-第二获得单元,用于获得至少一个参考块的参考样本(例如相邻样本)的第一目标值(xa)和第二目标值(xb),以及具有第一目标值的参考样本相对于参考块的位置的对应位置a和具有第二目标值的参考样本相对于参考块的位置的对应位置b;-第三获得单元,用于获得在相对于当前块的位置的对应位置a和对应位置b处的当前块的参考样本(例如相邻样本)的相应值(ya,yb);-第四获得单元,用于基于参考样本的值获得或导出更新参数(例如α和β)的值,其中,参考样本的值包括以下中的一个或多个:参考块的参考样本的第一目标值(xa)和第二目标值(xb),以及在对应位置a和b处的当前块的参考样本的值(ya,yb);以及-更新单元,用于基于更新参数(例如α和β)的值更新帧间预测的样本值。第四十三方面是一种用于帧间预测译码的亮度补偿装置,包括:-第一获得单元,用于使用运动补偿获得当前块的帧间预测的样本值;-第二获得单元,用于基于当前块的参考样本(例如相邻样本)的第一集合的值和参考块的参考样本(例如相邻样本)的第二集合的值获得第一更新参数和第二更新参数(例如α和β)的值,其中,第一更新参数(例如α)的值通过使用第一方法获得,第二更新参数(例如β)的值通过使用第二方法获得;以及-更新单元,用于基于第一更新参数和第二更新参数(例如α和β)的值更新帧间预测的样本值。第四十四方面是一种用于帧间预测译码的预测块的亮度补偿方法,包括:导出当前块的相邻块的预测模式,其中,相邻块在当前块的上方或左侧;基于预测模式确定相邻块中的一个或多个样本的可用性,其中,一个或多个样本与当前块的上边界或左边界相邻;导出第一样本集,其中,第一样本集包括确定为可用的第一样本;导出第二样本集,其中,第二样本集包括第二样本,其中,每个第二样本对应于每个第一样本,其中,每个第二样本和参考块之间的位置关系与对应的第一样本与当前块之间的位置关系相同,并且其中,参考块对应于当前块;基于第一样本集和第二样本集计算一个或多个参数;以及使用一个或多个参数将线性变换应用于当前块中的样本。第四十五方面是根据第四十四方面的方法,其中,基于预测模式确定相邻块中的一个或多个样本的可用性包括:如果相邻块之一的预测模式为帧间模式,则该相邻块之一中的一个或多个样本是可用的。第四十六方面是根据第四十四方面的方法,其中,基于预测模式确定相邻块中的一个或多个样本的可用性包括:如果相邻块之一的预测模式是非帧间模式,则该相邻块之一中的一个或多个样本是不可用的。第四十七方面是根据前一方面的方法,其中,相邻块的预测模式是非帧间模式包括:相邻块的预测模式是帧内模式、组合帧内-帧间预测模式(ciip)、帧内块复制模式(ibc)、或基于当前图像参考(cpr)机制的模式。第四十八方面是根据第四十四至四十七方面中任一方面的方法,其中,如果满足一个或多个预定义条件,则禁用该方法,并且其中,上述预定义条件包括:当前块包含少于64个样本;或当前块是使用子块模式或双向预测模式预测的;或当前块的宽度或高度是128个样本;或在左上角并且与当前块的上边界或左边界相邻的相邻重建块的预测模式是非帧间模式;或与当前块的上边界或左边界相邻的相邻重建块的所有预测模式都是非帧间模式;或在预设位置上并且与当前块的上边界或左边界相邻的相邻重建块的预测模式是非帧间模式。第四十九方面是根据前一方面的方法,其中,子块模式包括三角模式或bdof模式。第五十方面是根据第四十八方面的方法,其中,预设位置包括a、b1、b2、c、d、e、f1、f2、或g。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1