视频编码的色度分量的增强帧内预测的方法与装置与流程

文档序号:16995938发布日期:2019-03-02 01:22阅读:159来源:国知局
本申请主张在2016年2月18日提出申请的申请号为pct/cn2016/073998的pct专利申请的优先权,且上述pct专利申请以引用方式并入本文中。本发明是关于视频编码。具体来说,本发明是关于色度帧内预测,色度帧内预测使用组合的帧内预测模型(intrapredictionmodes)、扩展的相邻色度采样以及对应的亮度采样来获得线性模型预测参数、或者扩展的线性模型预测模式。
背景技术
::高效视频编码(highefficiencyvideocoding,hevc)标准是在itu-t视频编码专家组(videocodingexpertsgroup,vceg)标准与iso/iec运动图像专家组(movingpictureexpertsgroup,mpeg)标准组合共同视频项目开发的,并且参与视频编码联合工作组(jointcollaborativeteamonvideocoding,jct-vc)。在hevc中,一个切片(slice)被分区为多个编码树单元(ctu)。ctu进一步被分割为多个编码单元(cu),来适应多种局部特征。hevc支持多种帧内预测模式(intrapredictionmode),并且对于帧内编码的cu,选择的帧内预测与模式是信号化的(signalled)。除了考虑到编码单元,预测单元(predictionunit,pu)的内容也被引进至hevc。一旦cu垂直树的分割完成,每一个叶cu进一步依据预测类型以及预测单元分割被分割为一个或者多个预测单元。在预测之后,与cu相关的冗余进一步分割为转换区块、命名为转换区块(transformunits,tu)来进行转换流程。hevc相比较之前的视频编码标准,例如avc/h.264,使用更复杂的帧内预测。依据hevc,针对亮度分量使用35种帧内预测模式,其中该35种这内预测模式包含dc、平面与各种角度预测模式。对于色度分量,通过利用亮度(y)分量与色度分量之间的关联,线性模型预测模式(linearmodelpredictionmode,lmmode)被开发来增进色度分量(例如u/v分量或者cb/cr分量)的编码性能。在lm模式中,在亮度采样与色度采样之间假设存在一个线性模型,如公式(1)所示:c=a*y+b,(1)其中c代表色度采样的预测值,y代表亮度采样的预测值,并且a与b是两个参数。对于一些彩色采样格式,例如4:2:0或者4:2:2,色度分量的采样与亮度分量的采样并非是一一映射。图1是针对4:2:0色彩格式的色度分量(如三角形所示)以及对应的亮度分量(如圆形所示)的示意图。在lm模式中,获得一个内插的亮度值,并且该亮度内插值是用来获得一个对应的色度采样值的预测值。在图1中,内插亮度值y是依据y=(y0+y1)/2获得。该内插亮度值y是用来获得对应的亮度采样c的的预测。参数a与b是依据来自顶部与左侧相邻区域的先前解码的亮度与色度采样而获得。图2是针对4:2:0色彩格式的4x4色度区块的相邻采样的举例说明,其中色度分量是用三角形来表示的。对于4:2:0色彩格式,该4x4色度是在一个对应的8x8亮度区块中收集,其中该亮度采样是使用圆形来表示。lm模式有一些扩展。在一个扩展中,参数a与b是仅仅用顶部相邻的已解碼的亮度与色度采样获得。图3是基于4x4色度区块310的顶部相邻采样获得参数a与b的示意图。该扩展的lm模式被称为lm_顶部模式。在另一个扩展中,参数a与b是仅仅依据左侧相邻的已解碼的亮度与色度分量而获得。图4是基于4x4色度区块410的左侧相邻采样获得参数a与b的示意图。该扩展的lm模式被称为lm_左侧模式。在另一个扩展中,在第一色度分量(例如cb)的一个采样值与第二色度分量(例如cr)的一个采样值之间的一个线性模型如等式(2)所示:c1=a*c2+b,(2)其中c1代表第一色度分量(例如cr)的一个采样值的预测值;c2代表第二色度分量(例如cb)的对应采样值;a与b是两个参数,是从第一色度分量的顶部与左侧相邻采样与第二色度分量的对应采样而获得。该扩展的lm模式被称为lm_cbcr。尽管lm及其扩展能够显著地增进编码效率,还需要进一步增强色度帧内预测的编码效率。技术实现要素:本发明提供一种由视频编码系统所执行的针对色度分量的内插预测方法与装置。依据该方法,通过组合依据第一色度帧内预测模式产生的第一帧内预测与依据第二色度帧内预测模式产生的第二帧内预测产生组合的帧内预测,来编码或者解码该当前色度区块。该第一色度帧内预测模式对应线性模型预测模式(lm模式)或者扩展的lm模式。该第二色度帧内预测模式属于一个帧内预测模式组合,其中该帧内预测模式组合排除了任意的lm模式,该任意的lm模式是使用线性模型基于重建亮度值来产生色度预测值。该组合的帧内预测是使用该第一帧内预测以及该第二帧内预测的加权和产生。该组合的帧内预测可使用包含乘法、加法以及算术位移的整数计算来计算,以避免需要进行除法计算。举例来说,该组合的帧内预测可使用该第一帧内预测与该第二帧内预测之和之后一次右侧位移操作来计算。在一个实施例中,该加权和的权重系数是位置相关的。在一个实施例中,该第一色度帧内预测模式对应扩展lm模式。举例来说,来扩展lm模式属于包含lm_顶部模式、lm_左侧模式、lm_顶部_右侧模式、lm_右侧模式、lm_左侧_底部模式、lm_底部模式、lm_左侧_顶部模式以及lm_cbcr模式的模式组合。另一方面,该第二色度帧内预测模式属于包含角度模式、dc模式、平面模式、平面_ver模式、平面_hor模式、当前亮度区块所使用模式、当前亮度区块的子区块所使用的模式、以及当前色度区块的先前处理的色度分量所使用的模式的模式组合。在另一个实施例中,融合模式包含在帧内预测候选列表中,其中该融合模式指示该第一色度帧内预测模式以及该第二色度帧内预测模式被使用,并且指示该组合的帧内预测模式被使用来编码或者解码该当前色度区块。该融合模式是插入至该帧内预测候选列表中在所有的lm模式之后,并且其中该融合模式的码字不短于任意lm模式的码字。更进一步,具有融合模式的色度帧内预测能够与多相位lm模式组合。在多相位lm模式中,第一lm模式与第二lm模式的多个色度采样与对应的多个亮度采样之间的映射是不同的。该第一lm模式插入至该帧内预测候选列表来代替一常规lm模式,该第二lm模式插入至该帧内预测候选列表中在该常规lm模式以及该融合模式之后的位置。本发明另提供一种由视频编码系统所执行的针对非-444色彩视频数据的色度分量的帧内预测的方法与装置。包含至少两种线性模型预测模式(lm模式)的模式组合被用于多相位帧内预测,其中针对来自该模式组合中的两种lm模式,其多个色度采样与对应的多个亮度采样之间的映射不同。对于4:2:0色彩视频资料,每一色度采样具有四个收集的亮度采样y0、y1、y2与y3,并且其中y0位于每一当前色度采样的顶部,y1位于每一当前色度采样的底部,y2位于每一当前色度采样的顶部-右侧,并且y3位于每一当前色度采样的底部-右侧。该每一色度采样对应的亮度采样对应于y0、y1、y2、y3、(y0+y1)/2、(y0+y2)/2、(y0+y3)/2、(y1+y2)/2、(y1+y3)/2、(y2+y3)/2或(y0+y1+y2+y3)/4。举例来说,该模式组合包含第一lm模式以及第二lm模式,并且在该第一lm模式与该第二lm模式下,与每一当前色度采样对应的亮度采样分别对应于y0与y1。本发明又提供一种由一视频编码系统所执行的色度分量的帧内预测的方法与装置。依据该方法,依据该当前色度区块的一或者多个扩展的相邻区域中多个相邻已解碼色度采样以及对应的多个相邻已解碼亮度采样,决定一线性模型,该线性模型包含一乘法参数以及一偏移参数,其中该当前色度区块的该一或者多个扩展的相邻区域包含超出该当前色度区块的上部相邻区域或者超出该当前色度区块的左侧相邻区域的一或者多个相邻采样。举例来说,其中该当前色度区块的多个扩展的相邻区块对应于顶部右侧、右侧、左侧底部、底部、或者左侧顶部多个相邻色度采样以及对应的多个亮度采样。附图说明图1为针对4:2:0色彩格式的色度分量(如三角形所示)以及亮度分量(如圆形所示)的举例说明,其中该对应亮度采样是依据y=(y0+y1)/2而获得。图2为针对4:2:0色彩格式的4x4色度区块的相邻采样值举例说明。图3为基于4x4色度区块的扩展顶部相邻采样获得参数a与b的举例说明。图4为基于4x4色度区块的扩展左侧相邻采样获得参数a与b的举例说明。图5为针对4x4色度区块的lm_顶部_右侧模式的示意图。图6为针对4x4色度区块的lm_顶部_右侧模式的示意图。图7为针对4x4色度区块的lm_左侧_底部模式的示意图。图8为针对4x4色度区块的lm_底部模式的示意图。图9是针对4x4色度区块的lm_左侧_顶部模式的示意图。图10是融合模式预测程序的举例说明,其中该融合模式预测是通过线性组合分别具有加权因子w1与w2的模式l预测与模式k而产生的。图11是当前区块的子区块的举例说明,其中该亮度分量的子区块的帧内预测被用作模式k帧内预测,来获得融合模式预测。图12是针对4:2:0色彩格式的当前色度采样(c)与四个相关亮度采样(y0、y1、y2与y3)的举例说明。图13是色彩表顺序的举例说明,其中该“对应u模式(仅针对v)”模式被插入至编码表的起始位置,并且“以预置顺序的其他模式”插入至该编码表的结尾。图14是编码表顺序的另一举例说明,其中以lm_相位1模式替代了lm模式,并且以lm_相位2模式插入在lm融合模式之后。图15是依据本发明的实施例的融合模式帧内预测的示例流程图。图16是依据本发明的实施例的多相位帧内预测的示例流程图。图17是依据本发明的实施例的使用扩展的相邻区域的帧内预测的示例流程图。具体实施方式后续的说明是实施本发明的最佳实施例。该说明仅仅用来解释说明本发明的精神而并非是本发明的限制。本发明的范围以附属的权利要求范围而决定。在后续的说明中,y分量等于亮度分量,u分量等于cb分量并且v分量等于cr分量。在本发明中,提供了多种增强的lm预测模式。在一些实施例中,参数a与b是从当前色度区块的扩展的相邻区域以及/或者对应的亮度区块的扩展相邻区域获得。举例来说,顶部以及右侧相邻色度采样以及相对应的亮度采样可用来获得参数a与b。这种扩展模式被称为lm_顶部_右侧模式。图5是针对4x4色度区块510的lm_顶部_右侧模式的举例说明。如图5所示,在本发明中,“顶部与右侧”相邻色度采样(如三角形所示)以及对应的亮度采样(如圆形所示)参考在当前色度区块510的顶部的顶部区域以及扩展到顶部区域的右侧的区域。使用扩展的相邻区域能够获得较佳的参数a与b,来获得较佳的帧内预测。据此,使用扩展的相邻区域来进行色度帧内预测的编码性能得到提高。在另一个实施例中,参数a与b是从右侧相邻色度采样以及相对应的亮度采样获得。这种扩展被称为lm_右侧模式。图6是针对4x4色度区块610的lm_顶部_右侧模式的示意图。如图6所示,在本发明中,“右侧”相邻色度采样(如三角形所示)以及对应的亮度采样(如圆形所示)参考扩展到顶部区域的右侧的区域。在另一个实施例中,参数a与b是从左侧以及底部相邻色度采样以及相对应的亮度采样获得。这种扩展被称为lm_左侧_底部模式。图7是针对4x4色度区块710的lm_左侧_底部模式的示意图。如图7所示,在本发明中,“左侧与底部”相邻色度采样(如三角形所示)以及对应的亮度采样(如圆形所示)参考在当前色度区块710的左侧的左侧区域以及从扩展到左侧区域的底部的区域。在另一个实施例中,参数a与b是从底部相邻色度采样以及相对应的亮度采样获得。这种扩展被称为lm_底部模式。图8是针对4x4色度区块810的lm_底部模式的示意图。如图8所示,在本发明中,“底部”相邻色度采样(如三角形所示)以及对应的亮度采样(如圆形所示)参考从左侧区域的底部扩展的区域。在另一个实施例中,参数a与b是从左侧顶部相邻色度采样以及相对应的亮度采样获得。这种扩展被称为lm_左侧_顶部模式。图9是针对4x4色度区块910的lm_左侧_顶部模式的示意图。如图9所示,在本发明中,“左侧顶部”相邻色度采样(如三角形所示)以及对应的亮度采样(如圆形所示)参考从顶部区域扩展至左侧的区域。本发明也提供一种组合两种不同的帧内预测模式的色度帧内预测方法。依据该方法,色度区域是使用lm模式或者一同具有一个或者多个其他模式的其扩展模式来预测的。在这个例子中,色度区域是使用‘融合模式(fusionmode)’来编码。融合模式的使用使得一种新型的色度帧内预测通过组合两种不同的色度帧内预测而产生。对于某些视频数据,组合的色度帧内预测可具有比两种各自的色度帧内预测分别执行更好的效果。由于一个编码器通常使用一定的优化程序(例如率-失真优化,rate-distortionoptimization,rdo)来选择针对当前区块的最优的编码模式,如果组合的色度帧内预测能够获得一个较低的r-d成本,则在两种分别的色度帧内预测的基础上将选择组合的色度帧内预测。在融合模式的一个实施例中,一个色度区域是通过模式l来预测。对于在这个区块中的一个样本(i,j),其在模式l下的预测值是pl(i,j)。色度区块也通过其他模式来预测,命名为与lm模式不同的模式k。对于在这个区块中的采样(i,j),在模式k下的预测值是pk(i,j)。这个区块中的采样(i,j)的最终预测值,表示为p(i,j)是如等式(3)所示的计算:p(i,j)=w1*pl(i,j)+w2*pk(i,j),(3)其中w1与w2是加权因子,对应于实数并且w1+w2=1。在等式(3)中,w1与w2是实数。最终的预测值p(i,j)需要使用浮点计算(floatingpointoperations)来计算。为了简化p(i,j)的计算,优先选择整数计算(integeroperations)。据此,在另一个实施例中,最终预测p(i,j)是通过如等式(4)所示来计算:p(i,j)=(w1*pl(i,j)+w2*pk(i,j)+d)>>s,(4)其中w1、w2、d与s是整数,s>=1,并且w1+w2=1<<s。在一个例子中,d是0。在另一个例子中,d是1<<(s-1)。依据等式(4),最终预测值p(i,j)可使用整数乘法、加法以及算术右移来计算。在另一个实施例中,最终预测值p(i,j)是通过等式(5)来计算:p(i,j)=(pl(i,j)+pk(i,j)+1)>>1.(5)在另一个实施例中,最终预测值p(i,j)是通过等式(6)来计算,其中最终预测值p(i,j)是计算作为pl(i,j)与pk(i,j)的和右移一次,如等式(6)所示:p(i,j)=(pl(i,j)+pk(i,j))>>1.(6)图10是融合模式预测操作的举例说明,其中融合模式预测1030是通过线性组合分别具有加权因子(也称为加权系数)w1(1015)与w2(1025)的模式l预测1010以及模式k预测1020来产生。在一个实施例中,加权系数w1(1015)与w2(1025)是位置相关(positiondependent)。举例来说,模式l可对应lm模式、lm_顶部模式、lm_左侧模式、lm_顶部_右侧模式、lm_右侧模式、lm_左侧_底部模式、lm_底部模式、lm_左侧_顶部模式、或者lm_cbcr模式。另一方面,模式k可以是具有预测方向的任何角度模式、dc模式、平面模式(planarmode)、平面_ver模式(planar_vermode)或者平面_hor模式(planar_hormode)、当前区块的亮度分量所使用的模式、当前区块的cb分量所使用的模式、或者当前区块的cr分量所使用的模式。在另一个实施例中,模式k对应在当前区块的任意子区块的亮度分量所使用的模式。图11绘示了当前区块1120中的一个示例性子区块1110,其中针对亮度分量的子区块1110的帧内预测模式作为模式k帧内预测,来获得融合模式预测。如果一个色度区块是通过lm模式或者一个扩展模式来预测,并且色彩格式是非-444,则具有多于一个的选择来映射一个色度采样值(c)至在线性模式c=a*y+b中其对应的亮度值(y)。在一个实施例中,lm模式或者具有不同从c至其对应的y的映像的其扩展模式被视作不同的lm模式,表示为lm_相位_x,x从1至n,其中n是从c至其对应的y的映射方法的数量。针对色彩格式4:2:0的一些示例性映射在图12绘示,如下所示:y=y0y=y1y=y2y=y3y=(y0+y1)/2y=(y0+y2)/2y=(y0+y3)/2y=(y1+y2)/2y=(y1+y3)/2y=(y2+y3)/2y=(y0+y1+y2+y3)/4举例来说,可使用两种映射方法。对于第一种映像方法,模式lm_相位_1,依据y=y0决定对应亮度值(y)。对于第二种映像方法,模式lm_相位_2,对应亮度值(y)是依据y=y1来决定。对于色度帧内预测,多相位模式(multi_phasemode)的使用允许从一个色度采样至不同的亮度采样的替代映射。针对某一色彩视频资料,多相位色度帧内预测的性能优于单一固定的映像的性能。由于编码器通常使用一定的优化程序(例如率-失真优化,rdo)来选择针对当前区块的一个最优的编码模式,多相位色度帧内预测相比较于传统的单一的固定的映像,能够提供更多的模式选择,来增进编码性能。依据本发明的一实施例,针对一个色度区块,为了编码色度帧内预测模式,lm融合模式插入至编码表(codetable)lm模式之后。因此,lm融合模式的码字(codeword)通常长于或者等于lm以及其扩展模式的码字。图13绘示了一个示例性的编码表顺序,其中“对应u模式(仅针对v)”模式插入编码表的起始位置,并且“以预置顺序的其他模式”插入至编码表的结束。如图13所示,四种lm融合模式1320(以点添注区域表示)位于lm模式1310之后。依据本发明的另一实施例,如图14所示,为了编码色度帧内预测模式,lm_相位_1模式1410插入至编码表,来替代原始的lm模式。lm_相位_2模式1420插入编码表,在lm模式1430与lm融合模式1440之后。因此,lm_相位_2模式的码字长于或者等于lm以及其扩展模式的码字。并且,lm_相位_2模式码字长于或者等于lm融合以及其扩展模式的码字。扩展相邻区域来获得lm模式参数的方法、通过组合两种预测模式(也即融合模式)以及对于非-444色彩格式的多相位lm模式来帧内预测的方法可以组合。举例来说,一个或者多个多相位lm模式可用于融合模式。图15是依据本发明的实施例的融合模式帧内预测的示例流程图。在步骤1510,与当前色度区块相关的输入数据被接收。在步骤1520,决定来自模式组合的第一色度帧内预测模式以及第二色度帧内预测模式。在一实施例中,该第一色度帧内预测模式对应一线性模型预测模式(lm模式)或者扩展lm模式。在步骤1530中,通过组合依据该第一色度帧内预测模式产生的第一帧内预测与依据该第二色度帧内预测模式产生的第二帧内预测产生编码或者解码当前色度区块的组合帧内预测。如上所述,组合的色度帧内预测的使用能够提供相较于两种单独的色度帧内预测的独自的更佳的性能。图16是依据本发明的实施例的多相位帧内预测的示例流程图。在步骤1610,与当前色度区块相关的输入数据被接收。在步骤1620,决定包含至少两个线性模型预测模式(lm模式)的模式组合,其中该模式组合中两种lm模式的从色度采样至对应的亮度采样的映射是不同的。在步骤1630中,决定当前色度区块的来自该模式组合的当前模式。在步骤1640,如果对应lm模式的当前模式被选择,当前色度区块是使用多个色度预测值编码或者解码,该多个色度预测值是依据该lm模式自多个对应亮度采样产生。如上所述,多相位模式的使用使得色度帧内预测允许从色度采样至不同的亮度采样的替代映像,以及增进编码性能。图17是依据本发明的实施例使用扩展相邻区域的帧内预测的示例性流程图。在步骤1710,接收与当前色度区块相关的输入数据。在步骤1720,依据来自当前色度区块的一个或者多个扩展相邻区域的相邻已解码色度采样以及对应的相邻已解碼亮度采样来决定线性模型。当前色度区块的上述一或多个扩展相邻区域包含超出该当前色度区块的上部相邻区域或者超出该当前色度区块的左侧相邻区域的一或多个相邻采样。在步骤1730,依据该线性模型,从对应亮度采样产生色度预测值,以编码或者解码当前色度区块。如上所述,使用扩展相邻区域能够获得更好的参数a与b,从而获得较佳的帧内预测。据此,使用扩展相邻区域的色度帧内预测的编码性能得到提升。上述流程仅仅为提供依据本发明进行视频编码的举例说明。本领域具有通常知识者可修正每一步骤、重新安排该些步骤、拆分一步骤、或者组合步骤来实现本发明,但不背离本发明的精神。在上述说明中,具体语法以及语义仅仅用来解释说明本发明的示例。本领域具有通常知识者可使用等同的语法及语义来替换该些语法及语义,而不背离本发明的精神。提供上述说明以使得本领据具有通常知识者能够实现在具体应用及其要求的上下文中提供的本发明。本领据具有通常知识者可了解所描述的实施例的多种变型,上述通常原则也适用于其他实施例。因此,本发明的范围并不局限于如上所述的举例实施例,而应包含具有本发明精神以及创新性特点的最广范围。在上述具体说明中,多种具体细节仅仅提供来方便理解本发明。然而,本领域具有通常知识者可了解本发明可具体实施。本发明可使用多种硬件、软件、或者两者的组合来实现。举例来说,本发明的实施例可以是整合至视频压缩芯片的一或多电路,或者是整合至视频压缩软件的程序化代码来实现本文中所述的处理。本发明的实施例也可以是程序化代码,在数字信号处理器(digitalsignalprocessor,dsp)上执行,来执行上文中所述的处理。本发明也涉及通过计算器处理器、数字信号处理器、微处理器、现场可编程门数组(fieldprogrammablegatearray,fpga)所执行的多种功能。这些处理器通过执行依据本发明的实施例所定义的机器可读软件代码或者韧体代码能够设置为依据本发明执行多种任务。软件代码或者韧体代码能够以不同的编码语言或者不同的格式或者规格所开发。软件代码也适应不同的目标平台。然而,依据本发明执行本发明的任务的软件代码以及其他设置代码的不同代码格式、规格以及语言皆不背离本发明的主旨精神。本发明能够以其他具体的形式实现而不背离本发明的精神与特点。所描述的实施例仅仅用来举例说明,而并非是本发明的限制。因此,本发明的范围,由请求保护的范围所指示,而并非仅限于上述实施例。与请求保护的范围等同含义的变形皆包含在其范围之内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1