适应性跨分量残差预测的制作方法

本申请案主张2015年1月27日申请的美国临时专利申请案第62/108,491号的权利，所述申请案的全部内容以引用的方式并入本文中。

本发明涉及视频译码。

背景技术：

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式传输装置和其类似者。数字视频装置实施视频译码技术，例如由mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4，第10部分，先进视频译码(avc)、itu-th.265高效率视频译码(hevc)所定义的标准和这些标准的扩展(例如，可调式视频译码(svc)、多视图视频译码(mvc)、可调式hevc(shvc)、多视图hevc(mv-hevc)、3d-hevc和hevc范围扩展)中描述的视频译码技术。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树型块、译码树单元(ctu)、译码单元(cu)和/或译码节点。视频块可包括明度块和色度块。在图片的经帧内译码(i)切片中，使用相对于同一图片中的相邻块中的参考样本的空间预测来编码块。图片的帧间译码(p或b)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生待译码的块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码帧内译码块。为进行进一步压缩，可将残差数据从像素域变换到变换域，从而产生可接着进行量化的残差变换系数。经量化变换系数可经熵译码以达成甚至更多压缩。

技术实现要素：

本发明涉及视频译码的技术领域，且更明确来说，涉及适应性跨分量残差预测。本发明的特定技术可减小、消除或以其它方式控制分量间冗余。其可用于先进视频编码解码器的情形中，例如，hevc的扩展或下一代视频译码标准。

在一个方面中，本发明描述一种编码视频数据的方法，所述方法包括：在编码器内依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号；在编码器内基于目标色彩分量的残差信号和目标色彩分量的经预测残差信号确定目标色彩分量的剩余残差信号；编码目标色彩分量的剩余残差信号的值；和在视频位流中输出经编码剩余残差信号值。

在另一方面中，本发明描述用于编码视频数据的装置，所述装置包括：存储器，其经配置以存储视频数据；和一或多个处理器，其经配置以：依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号；基于目标色彩分量的残差信号和目标色彩分量的经预测残差信号确定目标色彩分量的剩余残差信号；编码目标色彩分量的剩余残差信号的值；和在视频位流中输出经编码剩余残差信号值。

在另一方面中，本发明描述用于编码视频数据的装置，所述装置包括：用于在编码器内依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号的装置；用于在编码器内基于目标色彩分量的残差信号和目标色彩分量的经预测残差信号确定目标色彩分量的剩余残差信号的装置；用于编码目标色彩分量的剩余残差信号的值的装置；和用于在视频位流中输出经编码剩余残差信号值的装置。

在另一方面中，本发明描述在其上存储有指令的计算机可读存储媒体，所述指令当经执行时使用于编码视频数据的装置的一或多个处理器执行以下操作：依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号；基于目标色彩分量的残差信号和目标色彩分量的经预测残差信号确定目标色彩分量的剩余残差信号；编码目标色彩分量的剩余残差信号的值；和在视频位流中输出经编码剩余残差信号值。

在另一方面中，本发明描述一种解码视频数据的方法，其包括：依据线性模型的一或多个线性参数和源色彩分量的残差信号而确定目标色彩分量的经预测残差信号；和依据目标色彩分量的经解码剩余残差信号和目标色彩分量的经预测残差信号而确定目标色彩分量的残差信号。

在另一方面中，本发明描述用于解码视频数据的装置，所述装置包括：存储器，其经配置以存储视频数据；和一或多个处理器，其经配置以：依据线性模型的一或多个线性参数和源色彩分量的残差信号而确定目标色彩分量的经预测残差信号；和依据目标色彩分量的经解码剩余残差信号和目标色彩分量的经预测残差信号而确定目标色彩分量的残差信号。

在另一方面中，本发明描述用于解码视频数据的装置，所述装置包括：用于依据线性模型的一或多个线性参数和源色彩分量的残差信号而确定目标色彩分量的经预测残差信号的装置；和用于依据目标色彩分量的经解码剩余残差信号和目标色彩分量的经预测残差信号而确定目标色彩分量的残差信号的装置。

在另一方面中，本发明描述在其上存储有指令的计算机可读存储媒体，所述指令当经执行时使用于解码视频数据的装置的一或多个处理器执行以下操作：依据线性模型的一或多个线性参数和源色彩分量的残差信号而确定目标色彩分量的经预测残差信号；和依据目标色彩分量的经解码剩余残差信号和目标色彩分量的经预测残差信号而确定目标色彩分量的残差信号。

在附图和以下描述中阐明本发明的一或多个实例的细节。其它特征、目标和优势将从描述、图式和权利要求书显而易见。

附图说明

图1为说明实例视频编码和解码系统的框图，所述系统可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。

图2为说明视频编码器的实例的框图，所述视频编码器可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。

图3为说明视频解码器的实例的框图，所述视频解码器可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。

图4为说明根据本发明的一个方面的视频数据的编码的实例的流程图。

图5为说明根据本发明的一个方面的视频数据的编码的更详细实例的流程图。

图6为说明根据本发明的一个方面的从第二色彩分量的残差信号预测第一色彩分量的残差信号的流程图。

图7为说明根据本发明的一个方面的从cr色彩分量的残差信号预测cb色彩分量的残差信号的流程图。

图8为说明根据本发明的一个方面的导出基于帧间预测的线性模型的参数的流程图。

图9为说明根据本发明的一个方面的导出基于帧内预测的线性模型的参数的流程图。

具体实施方式

本发明描述用于视频译码和/或压缩的各种技术。在特定实例中，本发明与跨分量预测有关，其用以减小分量间冗余。其可用于先进视频编码解码器的情形中，例如，hevc的扩展或下一代视频译码标准。

彩色视频在多媒体系统中发挥主要作用，其中各种色彩空间用以高效地表示色彩。色彩空间使用多个分量利用数字值指定色彩。常用色彩空间为rgb色彩空间，其中色彩表示为三原色分量值(即，红色、绿色和蓝色)的组合。对于色彩视频压缩，已广泛使用ycbcr色彩空间。例如，参见a.福特和a.罗伯茨的1998年8月在伦敦威斯敏斯特大学(universityofwestminster,london)的技术报告“色彩空间转换(colourspaceconversions)”。

视频译码标准包含itu-th.261、iso/iecmpeg-1visual、itu-th.262或iso/iecmpeg-2visual、itu-th.263、iso/iecmpeg-4visual和itu-th.264(也称为iso/iecmpeg-4avc)，包含其可调式视频译码(svc)和多视图视频译码(mvc)扩展。

命名为高效率视频译码(hevc)的视频译码的新国际标准是由视频译码联合合作小组(jct-vc)(来自itu-t视频译码专家群(vceg)和来自iso/iec运动图片专家群(mpeg)的一群视频译码专家)开发并完成。hevc标准的第一版本是在2013年4月完成。包含rext、shvc和mv-hevc扩展的hevc的第二版本是在2014年10月完成。包含3d-hevc扩展的hevc的第三版本是在2015年2月完成，目前生效并可在http://www.itu.int/rec/t-rec-h.265处获得。hevc标准的此第三版下文中被称作hevc标准。hevc标准的第二和第三版包含格式范围扩展(rext)，其扩展除ycbcr4:2:0以外的色彩空间(例如，ycbcr4:2:2、ycbcr4:4:4和rgb4:4:4)的视频译码。

ycbcr和rgb为用以表示数字视频的两种原色空间。rgb将色彩表示为红色、绿色和蓝色的组合，而ycbcr将数字视频表示为亮度(y或明度)、蓝色减明度(cb、色度蓝色或彩度蓝色)和红色减明度(cr、色度红色或彩度红色)。可易于经由线性变换从rgb色彩空间转换成ycbcr。不同分量之间的冗余(即，跨分量冗余)在ycbcr色彩空间中显著减少。另外，ycbcr的一个优点为与黑白tv有回溯兼容性，因为y信号传达明度信息。另外，可通过按4:2:0色度采样格式二次采样cb和cr分量而减少彩度频宽，此与rgb中的二次采样相比，主观影响显著较小。由于这些优点，ycbcr已成为视频压缩中的主要色彩空间。

也存在可用于视频压缩的其它色彩空间，例如，ycocg。ycocg将数字视频表示为亮度(y或明度)、橙色减明度(co、色度橙色或彩度橙色)和绿色减明度(cr、色度绿色或彩度绿色)。可易于经由线性变换从rgb色彩空间转换成ycbcr。在本文件中，不管所使用的实际色彩空间为何，将术语y、cb和cr用以表示每一视频压缩方案中的三个色彩分量。应理解所述技术也可应用于其它三色空间。

图1为说明实例视频编码和解码系统的框图，所述系统可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。如图1中所展示，系统10包含源装置12，其产生稍后将由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手机(例如，所谓的“智能型”电话)、所谓的“智能型”平板计算机、电视机、摄影机、显示装置、数字媒体播放器、视频游戏主机、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(rf)频谱或一或多个物理发射线。通信媒体可形成基于封包的网络(例如，局域网、广域网或全球网络，例如，因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可适用于促进从源装置12到目的地装置14的通信的装备。

替代地，经编码数据可从输出接口22输出到存储装置31。类似地，可通过输入接口从存储装置31存取经编码数据。存储装置31可包含各种分散式或本地存取的数据存储媒体(例如，硬盘机、蓝光光盘、dvd、cd-rom、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体)中的任一个。在另一实例中，存储装置31可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将那经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、ftp服务器、网络附接存储(nas)装置和本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，dsl、缆线调制解调器，等等)，或两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术并不限于无线应用或环境。所述技术可适用于支持多种多媒体应用(例如，(例如)经由因特网的空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射)中的任一个的视频译码、存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持应用(例如，视频流式传输、视频播放、视频广播和/或视频电话)。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如，摄像机)、含有先前所捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口和/或用于将计算机图形数据产生为源视频的计算机图形系统，或这些源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的摄影机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。

经捕获、预先捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置31上用于稍后由目的地装置14或其它装置存取，用于解码和/或播放。

目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置31上所提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，其供例如视频解码器30的视频解码器在解码所述视频数据时使用。这些语法元素可与在通信媒体上发射、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成式显示装置且也经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一个，例如，液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如，上文所提及的高效率视频译码(hevc)标准)而操作，且可符合hevc测试模型(hm)。替代地，视频编码器20和视频解码器30可根据其它专有或工业标准(例如，itu-th.264标准，替代地被称作mpeg-4，第10部分，先进视频译码(avc))或此类标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含mpeg-2和itu-th.263。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当mux-demux单元或其它硬件和软件以处置共通数据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，mux-demux单元可符合ituh.223多路复用器协议或其它协议(例如，用户数据报协议(udp))。

视频编码器20和视频解码器30各自可被实施为多种合适编码器电路中的任一个，例如，具有一或多个处理器、微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、软件、硬件、固件或其任何组合的电路。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。

一般来说，hm的工作模型描述视频帧或图片可划分成包含明度样本和色度样本两者的树型块或最大译码单元(lcu)的序列。树型块具有与h.264标准的宏块类似的用途。切片包含按译码次序的许多连续树型块。视频帧或图片可分割成一或多个切片。每一树型块可根据四分树而分裂成若干译码单元(cu)。举例来说，作为四分树的根节点的树型块可分裂成四个子节点，且每一子节点又可为父节点并分裂成另四个子节点。作为四分树的叶节点的最后未分裂子节点包括译码节点(即，经译码视频块)。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数，且也可定义译码节点的最小大小。

在一个实例方法中，cu可包含明度译码块和两个色度译码块。在另一实例方法中，cu可包含在ycocg色彩空间中的明度译码块、co译码块和cg译码块。在另一实例方法中，cu可包含在rgb色彩空间中的红色译码块、绿色译码块和蓝色译码块。

在一个实例方法中，cu可具有相关联预测单元(pu)和变换单元(tu)。pu中的每一者可包含一个明度预测块和两个色度预测块，且tu中的每一者可包含一个明度变换块和两个色度变换块。译码块中的每一者可分割成一或多个预测块，其包括被应用相同预测的样本的块。译码块中的每一者也可分割成一或多个变换块，其包括被应用相同变换的样本的块。

cu的大小大体上对应于译码节点的大小，且通常为正方形形状。cu的大小可在从8×8像素到高达具有最大64×64像素或大于64×64像素的树型块的大小的范围内。每一cu可定义一或多个pu和一或多个tu。包含于cu中的语法数据可描述(例如)译码块到一或多个预测块的分割。分割模式可在cu经跳过或直接模式编码、帧内预测模式编码或是帧间预测模式编码之间不同。预测块可分割成正方形或非正方形形状。包含于cu中的语法数据也可描述例如根据四分树将译码块分割成一或多个变换块。可将变换块分割成正方形或非正方形。

hevc标准允许根据tu进行变换，所述tu对于不同cu可不同。通常基于针对经分割lcu所定义的给定cu内的pu的大小来对tu设定大小，但可并非总是此状况。tu的大小通常与pu相同或比pu小。在一些实例中，可使用被称为“残差四分树”(rqt)的四分树结构而将对应于cu的残差样本再分为较小单元。rqt的叶节点可表示tu。与tu相关联的像素差值可经变换以产生可加以量化的变换系数。

一般来说，pu包含与预测过程相关的数据。举例来说，当pu经帧内模式编码时，pu可包含描述用于pu的帧内预测模式的数据。作为另一实例，当pu经帧间模式编码时，pu可包含定义pu的运动向量的数据。定义pu的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精确度或八分之一像素精确度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表c)。

大体来说，tu用于变换和量化过程。具有一或多个pu的给定cu也可包含一或多个tu。在预测之后，视频编码器20可根据pu，自由译码节点所识别的视频块计算残差值。随后，更新译码节点以参考残差值而非原始视频块。残差值包括像素差值，可使用tu中所指定的变换和其它变换信息将所述像素差值变换成变换系数，将其量化并扫描，以产生经串列化变换系数以供熵译码。可再次更新译码节点，以参考这些经串列化的变换系数。本发明通常使用术语“视频块”来指cu的译码节点。在一些特定状况下，本发明也可使用术语“视频块”来指树型块(即，lcu)或cu，其包含译码节点和若干pu和tu。

视频序列通常包含视频帧或图片系列。图片群组(gop)大体上包括一系列的一或多个视频图片。gop可包含在gop的标头、图片中的一或多个的标头或别处中的语法数据，所述语法数据描述包含于gop中的若干图片。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于cu内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为实例，hm支持以各种pu大小的预测。假定特定cu的大小为2n×2n，那么hm支持以2n×2n或n×n的pu大小的帧内预测，和以2n×2n、2n×n、n×2n或n×n的对称pu大小的帧间预测。hm也支持以2n×nu、2n×nd、nl×2n和nr×2n的pu大小的用于帧间预测的不对称分割。在不对称分割中，cu的一个方向未分割，而另一方向分割成25％和75％。cu的对应于25％分割的部分由“n”继之以“上(up)”、“下(down)”、“左(left)”或“右(right)”的指示来指示。因此，举例来说，“2n×nu”指2n×2ncu被水平分割而具有顶部的2n×0.5npu和底部的2n×1.5npu。

在本发明中，“n×n”与“n乘n”可互换地使用以指视频块在垂直维度与水平维度方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，n×n块通常在垂直方向上具有n个像素且在水平方向上具有n个像素，其中n表示非负整数值。可按列和行来布置块中的像素。此外，块未必需要在水平方向与垂直方向上具有同一数目个像素。举例来说，块可包括n×m像素，其中m未必等于n。

在使用cu的pu进行帧内预测性或帧间预测性译码之后，视频编码器20可计算残差数据，由cu的tu所指定的变换被应用于所述残差数据。残差数据可对应于未经编码图片的像素与对应于cu的预测值之间的像素差。视频编码器20可形成cu的残差数据，且接着变换残差数据以产生变换系数。

在进行用以产生变换系数的任何变换之后，视频编码器20可对变换系数执行量化。量化通常指对变换系数进行量化以可能减少用以表示系数的数据的量，从而提供进一步压缩的过程。量化过程可减少与一些或所有系数相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可经熵编码的串列化向量。在其它实例中，视频编码器20可执行适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据内容适应性可变长度译码(cavlc)、内容适应性二进制算术译码(cabac)、基于语法的内容适应性二进制算术译码(sbac)、概率区间分割熵(pipe)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20也可熵编码与经编码的视频数据相关联的语法元素以供视频解码器30用于解码视频数据。

为了执行cabac，视频编码器20可将内容模型内的内容指派给待发射的符号。所述内容可能涉及(例如)符号的相邻值是否为非零。为了执行cavlc，视频编码器20可选择用于待发射的符号的可变长度码。可构建vlc中的码字使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，相对于(例如)针对待发射的每一符号使用相等长度码字，使用vlc可达成位节省。概率确定可基于指派给符号的内容而进行。

图2为说明视频编码器的实例的框图，所述视频编码器可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减小或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(i模式)可指若干基于空间的译码模式中的任一个。帧间模式(例如，单向预测(p模式)或双向预测(b模式))可指若干基于时间的译码模式中的任一个。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含视频数据存储器38、预测处理单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元40又包含运动补偿单元44、运动估计单元42、和帧内预测单元46和分割单元48。为了视频块重构建，视频编码器20也包含反量化单元58、反变换单元60和求和器62。也可包含解块滤波器(图2中未展示)以滤波块边界以从经重构建视频去除方块效应伪影。如果需要，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外，也可使用额外滤波器(回路中或回路后)。为简洁起见未展示此类滤波器，但如果需要，那么此类滤波器可对求和器62的输出进行滤波(作为回路中滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片并将其存储到视频数据存储器38。帧或切片可由预测处理单元40分成多个视频块。运动估计单元42和运动补偿单元44执行接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地执行接收的视频块相对于与待译码块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。

此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可初始地将一帧或切片分割成多个lcu，且基于位率-失真分析(例如，位率-失真优化)来将所述lcu中的每一者分割成子cu。预测处理单元40可进一步产生四分树数据结构，其指示将lcu分割为子cu。四分树的叶节点cu可包含一或多个pu和一或多个tu。

预测处理单元40可(例如)基于误差结果选择译码模式(帧内或帧间)中的一个，且将所得帧内译码块或帧间译码块提供到求和器50以产生残差块数据和提供到求和器62来重构建经编码的块以用作参考帧。预测处理单元40也提供语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)到熵编码单元56。预测处理单元40可使用位率失真分析来选择一或多个帧间模式。

运动估计单元42和运动补偿单元44可高度集成，但为概念目的而分开来说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示在当前视频帧或图片内的视频块的pu相对于在参考帧(或其它经译码单元)内的关于在所述当前帧(或其它经译码单元)内正经译码的当前块的预测性块的位移。预测性块为被发现在像素差方面紧密地匹配于待译码块的块，所述像素差可通过绝对差和(sad)、平方差和(ssd)或其它差度量确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置和分数像素位置的运动搜索，且输出具有分数像素精确度的运动向量。

运动估计单元42通过比较pu的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的pu的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，列表的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的pu的运动向量之后，运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块，从而形成像素差值，如下文所论述。大体来说，运动估计单元42执行关于明度译码块的运动估计，且运动补偿单元44将基于所述明度译码块所计算的运动向量用于色度译码块与明度译码块两者。预测处理单元40也可产生与视频块和视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。

如上文所描述，作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代，帧内预测单元46可对当前块进行帧内预测。明确地说，帧内预测单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，预测处理单元40)可从所测试的模式选择待使用的适当帧内预测模式。

举例来说，帧内预测单元46可使用对于各种所测试的帧内预测模式的位率-失真分析来计算位率-失真值，且在所测试的模式的中选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位的数目)。帧内预测单元46可根据各种经编码块的失真和位率来计算比率以确定哪一帧内预测模式展现所述块的最佳位率-失真值。

在针对块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所述所选定的帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称作码字映射表)；各种块的编码内容的定义；和待用于所述内容中的每一者的最有可能的帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(dct)或概念上类似的变换)应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于dct的其它变换。也可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残差块，从而产生残差变换系数块。所述变换可将残差信息从像素值域变换到变换域，例如，频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位率。量化过程可减少与一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代性地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行内容适应性可变长度译码(cavlc)、内容适应性二进制算术译码(cabac)、基于语法的内容适应性二进制算术译码(sbac)、概率区间分割熵(pipe)译码或另一熵译码技术。在基于内容的熵译码的状况下，内容可基于相邻块。在由熵译码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换以在像素域中重构建残差块(例如)以供稍后用作参考块。运动补偿单元44可通过将残差块添加到参考图片存储器64的帧中的一个的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用到经重构建的残差块以计算用于在运动估计中使用的次整数像素值。求和器62将经重构建的残差块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重构建的视频块以用于存储于参考图片存储器64中。经重构建的视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

图3为说明视频解码器的实例的框图，所述视频解码器可经配置或以其它方式可操作以实施或以其它方式利用本发明中所描述的一或多个技术。在图3的实例中，视频解码器30包含视频数据存储器68、熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、求和器80和参考图片存储器82。在图3的实例中，视频解码器30包含预测单元71，其又包含运动补偿单元72和帧内预测单元74。在一些实例中，视频解码器30可执行大体上互逆于关于视频编码器20(图2)所描述的编码遍次的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30的视频数据存储器68接收经编码视频位流并存储所述经编码视频位流到视频数据存储器68。经编码视频位流表示从视频编码器20发射的经编码视频切片的视频块和相关联语法元素。熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符，和其它语法元素。熵解码单元70将运动向量和其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。

当视频切片经译码为帧内译码(i)切片时，帧内预测单元74可基于所发信的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，b、p或gpb帧)切片时，运动补偿单元72基于运动向量和从熵解码单元70接收的其它语法元素产生用于当前视频切片的视频块的预测性块。经预测切片(p切片)和一般化的p和b切片(gpb切片)可使用来自先前帧的数据来定义切片，而双向经预测切片(b切片)可使用先前和未来的帧来定义切片。在一些实例方法中，可从参考图片列表中的一个内的参考图片中的一个产生预测性块。视频解码器30可基于存储于参考图片存储器82中的参考图片使用默认构建技术来构建参考帧列表：列表0和列表1。

运动补偿单元72通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息，并使用所述预测信息以产生正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些所接收的语法元素以确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，b切片、p切片或gpb切片)、切片的参考图片列表中的一或多个的构建信息、切片的每一帧间编码视频块的运动向量、切片的每一帧间译码视频块的帧间预测状态，和用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72也可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76反量化(即，解量化)位流中所提供并由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数qpy以确定量化程度和(同样地)应所述应用的反量化程度。

反变换单元78将反变换(例如，反dct、反整数变换或概念地类似的反变换过程)应用于变换系数，以便在像素域中产生残差块。

在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块后，视频解码器30通过对来自反变换单元78的残差块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的组件或若干组件。如果需要，也可应用解块滤波器来对经解码块滤波以便去除方块效应伪影。也可使用其它回路滤波器(在译码回路中抑或在译码回路之后)以使像素转变平滑，或以其它方式改善视频质量。接着将给定帧或图片中的经解码的视频块存储于参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82也存储经解码的视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。

接下来将论述适应性跨分量残差预测。

尽管跨分量冗余在ycbcr色彩空间中显著减少，但三个色彩分量之间的相关性可仍然存在。已研究各种方法以通过进一步减少相关性来改善视频译码性能，尤其对于4:4:4色度格式视频译码。在一种方法中，将缩放因子和偏移用于每一块以从重构建的明度信号预测色度信号。(参见b.c.宋、y.g.李和n.h.金的“针对4:4:4视频译码的块适应性色彩间补偿算法(blockadaptiveinter-colorcompensationalgorithmforrgb4:4:4videocoding)”，ieee汇刊电路系统视频技术，第18卷，第10号，第1447到1451页，2008年10月。lmproposal。)

在另一方法中，在残差域中执行称为跨分量预测(ccp)的技术。(参见w.朴、w.-s.金、j.陈、j.索尔、m.卡兹威茨的“rce1：实验1、2、3和4的描述与结果(rce1:descriptionsandresultsforexperiments1,2,3,and4)”，itu-tsg16wp3和iso/iecjtc1/sc29/wg11的视频译码联合合作小组(jct-vc)，jctvc-o0202，日内瓦，2013年11月。)在ccp中，在编码器侧处使用重构建的明度残差信号将色度残差信号预测为

δrc(x,y)＝rc(x,y)-(α×r′l(x,y))＞＞3(1)

且在解码器侧处其经补偿为

r′c(x,y)＝δr′c(x,y)+(α×r′l(x,y))＞＞3(2)

其中rc(x,y)和r'c(x,y)表示在位置(x,y)处的原始和经重构建色度残差样本。在ccp中，δrc(x,y)和δr'c(x,y)表示跨分量预测之后的最终色度残差样本，而r'l(x,y)表示经重构建明度残差样本值。在一些实例中，加权因子α经明确地发信到位流中以用于hevc中的每一色度变换单元。此跨分量残差预测方法被采用于hevc标准的格式和范围扩展中，用于4:4:4色度采样格式视频译码，针对帧内预测残差和帧间预测残差两者执行。对于4:2:0视频格式译码，ccp方法也经提议但尚未被采用。

除使用明度来预测色度分量以外，也可能使用色度分量中的一个来预测另一色度分量。即，在一些实例方法中，重构建的较早译码cb残差可用于预测cr残差。(参见a.海拉特、t.阮、m.西克曼、d.马普的“非rce1：扩展适应性分量间预测(non-rce1:extendedadaptiveinter-componentprediction)”，itu-tsg16wp3和iso/iecjtc1/sc29/wg11的视频译码联合合作小组(jct-vc)，jctvc-o0150，日内瓦，2013年11月。)

在4:2:0色度视频译码中，一种名为线性模型(lm)预测模式的方法在hevc标准的开发期间得到很好地研究。(参见j.陈、v.塞瑞吉、w.-j.韩、j.-s.金、b.-m.约恩的“ce6.a.4：通过重构建的明度样本进行的色度帧内预测(ce6.a.4:chromaintrapredictionbyreconstructedlumasamples)”，itu-tsg16wp3和iso/iecjtc1/sc29/wg11的视频译码联合合作小组(jct-vc)，jctvc-e266，日内瓦，2011年3月16到23日。)利用lm预测模式，通过使用如下线性模型基于相同块的重构建的明度样本预测色度样本：

predc(i,j)＝α·recl(i,j)+β(3)

其中predc(i,j)表示块中的色度样本的预测且recl(i,j)表示相同块的经减少采样的重构建的明度样本。参数α和β是通过最小化当前块周围的相邻重构建的明度与色度样本之间的回归误差而导出。

参数α和β求解如下：

β＝(∑yi-α·∑xi)/n(6)

其中xi为经减少采样的重构建的明度参考样本，yi为重构建的色度参考样本，且n为参考样本的数目。

lm预测模式的问题为在lm预测模式中，将重构建的明度样本用以预测色度分量。此将额外编码/解码延迟引入到色度译码中。此延迟可显著增加实施成本，尤其对于硬件实施方案。lm模式的另一缺点为其不容易用于帧间预测模式中。

跨分量预测(ccp)方法的问题为译码增益归因于加权因子(或线性模型的任何其它参数)的块层级发信成本而受到限制。

在跨分量残差预测中，加权因子是在编码器20和解码器30两者中基于空间或时间相邻的重构建的样本而导出。残差可为(而不限于)帧内和帧间预测残差，且可为任何种预测方法的残差。不需要如ccp中一般传送线性块参数。

接下来论述定义加权因子的方法。其可经个别地或以任何组合形式应用。

通常，线性模型可经设计以最小化两组信号x与y之间的预测误差，其中x表示为预测信号且y表示为优化期间的目标信号：

min(e(α,β))，其中

一或多个加权因子α和/或β被应用于一个色彩分量的帧间或帧内预测残差以预测另一色彩分量。在一个实例方法中，源自上文线性模型的线性模型参数(例如，加权因子α或偏移β)中的一或多个应用于一个色彩分量(例如，明度分量)的帧间或帧内预测残差以预测另一色彩分量(例如，cb和/或cr分量)。此模型也可按解码次序(例如，cb到cr)应用于其它分量。另外，可在中间切换分量的解码次序且跨分量预测技术仍然适用。

图4为说明根据本发明的一个方面的视频数据的编码的实例的流程图。在图4的实例方法中，视频编码器20确定目标色彩分量的经预测残差信号(100)。在一个此类实例方法中，编码器20依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号。视频编码器20确定目标色彩分量的剩余残差信号(102)。在一个此类方法中，编码器20通过从目标色彩分量的残差信号中减去目标色彩分量的经预测残差信号而确定目标色彩分量的剩余残差信号。编码器20在于视频位流中输出经编码信号(106)之前编码目标色彩分量的剩余残差信号和源色彩分量的残差信号(104)。

在一个实例方法中，线性模型基于线性模型的参数从源色彩分量的残差信号预测目标色彩分量的经预测残差信号。编码器20和解码器30两者将线性模型的线性模型参数维持在存储器中并如下文所论述加以应用。在一个实例方法中，编码器20和解码器30依据参考块计算线性模型参数。在一个此类实例方法中，默认参数值被维持在存储器中以当计算参数值不适当时使用。

图5为说明根据本发明的一个方面的视频数据的编码的更详细实例的流程图。在图5的实例方法中，视频编码器20确定色度色彩分量的经预测残差信号(120)。在一个此类实例方法中，编码器20依据线性模型的一或多个参数和当前块的源色彩分量的残差信号而确定当前块的目标色彩分量的经预测残差信号。在一个实例方法中，线性模型参数包含加权因子α和偏移β。编码器20使用线性模型依据明度色彩分量的残差信号来预测色度色彩分量cr的经预测残差信号。编码器20确定色度色彩分量cr的剩余残差信号(122)，编码剩余残差信号与明度色彩分量的残差信号(124)并在视频位流中输出色度色彩分量cr的经编码剩余残差信号与明度分量的经编码残差信号。

接下来将论述色彩分量预测信号的经编码残差的解码。图6为说明根据本发明的一个方面的从第二色彩分量的残差信号预测第一色彩分量的残差信号的流程图。在一个实例方法中，视频解码器30接收源色彩分量的经编码残差信号和目标色彩分量的经编码剩余残差信号，在视频解码器30的存储器中存储经编码残差信号并解码经编码残差值。视频解码器30基于当前块的源色彩分量的经解码残差信号预测当前块的目标色彩分量的经预测残差信号(140)。解码器30接着依据目标色彩分量的经预测残差信号和目标色彩分量的经解码剩余残差信号而确定目标色彩分量的残差信号(142)。

图7为说明根据本发明的一个方面的从cr色彩分量的残差信号预测cb色彩分量的残差信号的流程图。在一个实例方法中，视频解码器30接收cr色彩分量的经编码残差信号和cb色彩分量的剩余残差信号，在视频解码器30的存储器中存储经编码残差信号并解码经编码残差信号。视频解码器30基于cr色彩分量的经解码残差信号和线性模型的参数(例如，加权因子α和偏移β)确定当前块的cb色彩分量的经预测残差信号(160)。解码器30接着依据cb色彩分量的经预测残差信号和cb色彩分量的经解码剩余残差信号而确定cb色彩分量的残差信号(162)。

在一个实例方法中，当预测目标色彩分量的残差信号时使用线性模型的参数的默认值。在另一实例方法中，所述参数中的一或多个的值是从样本信号导出，如将在下文详述。在一个此类实例方法中，线性模型参数的导出值存储于视频编码器20和视频解码器30的存储器中，并被用作默认值直到改变为止。

下文针对帧间预测和帧内预测论述导出线性模型的参数的方法。

图8为说明根据本发明的一个方面的导出基于帧间预测的线性模型的参数的流程图。在图8的实例方法中，视频编码器20选择参考帧间预测源色彩分量x(200)和对应参考帧间预测目标色彩分量y(202)。视频编码器20依据源色彩分量x和目标色彩分量y计算线性模型中的一或多个加权因子(204)，其中如上述等式(7)中所示，加权因子经计算以最小化预测误差。在一个此类实例方法中，视频编码器20依据所计算加权因子和源色彩分量x的值而预测目标色彩分量y的值。

在一个实例中，通过将β设定为等于0或设定为任何默认值而简化线性模型。在另一实例中，可通过将α设定为等于1或设定为任何默认值而简化线性模型。

在一个实例方法中，时间相邻样本(例如，运动补偿的预测样本)用作参考样本以导出线性模型参数α和/或β。在一个此类实例中，预测信号x为属于一个分量(例如，运动补偿的明度分量，也称为参考块的明度分量)的运动补偿的信号，且目标信号y为属于另一分量(例如，也称为参考块的cb分量的运动补偿的cb分量)的运动补偿的信号。

在一个实例方法中，预测信号x为一个分量(例如，明度分量)的参考块的残差信号且目标信号y为另一分量(例如，cb和/或cr分量)的参考块的残差信号。在一个此类状况中，基于例如参考的运动或基于当前块的运动向量的经缩放运动向量实时地(onthefly)计算参考块的残差。

在一个实例方法中，编码器20存储参考图片的残差图片并从参考图片的所存储残差图片导出参考块的残差。在一个此类实例中，基于当前块的运动向量而定位残差块。在另一个此类实例中，残差块经另外设定成与参考块接近地(例如，在4×4栅格中)重叠的残差块。

在一个实例方法中，编码器20在基于当前块的运动向量产生残差块时应用内插。在一个此类实例中，内插是经由双线性滤波器。

在一个实例方法中，编码器20使用重构建的空间(例如顶部和/或左)相邻样本(如在帧内lm中)作为参考样本来导出线性模型参数α和/或β。在一个此类实例中，预测信号x包含相邻样本的一个分量(例如，明度分量)的重构建值，且目标信号y包含相邻样本的另一分量(例如，cb和/或cr，或co和/或cg)的重构建值。

在一个实例方法中，编码器20使用空间和时间相邻样本两者导出α和/或β。即，预测信号x为从时间参考块导出的x信号(如上文所描述)与来自空间相邻样本的x信号(如上文所描述)的选择性组成。同时目标信号y为从时间参考块导出的y信号(如上文所描述)与来自空间相邻样本的y信号(如上文所描述)的(对应)选择性合成物。

在一些实例方法中，编码器20在选择用以导出线性模型参数的参考样本时在空间相邻样本与时间相邻样本之间选择。在一个此类实例中，编码器20依据当前块大小或基于对应于当前块或相邻块中的一或多个的其它统计数据而在使用空间相邻样本或使用时间相邻样本之间选择。代表性统计数据包含像素值、单一种色彩分量样本的从相关性和两种色彩分量样本之间的互相关性。

在一些实例方法中，源装置12经由链路16或经由存储装置31发信旁侧信息。旁侧信息(可为旗标)可例如在序列参数集(sps)、图片参数集(pps)、切片标头、lcu、lcu层级的群组或任何其它块层级或高层级语法本体处发信以指示待用于导出加权因子的样本x和y。

在一些实例方法中，如同在lm预测模式中一样，通过最小化参考明度与色度样本之间的回归误差而导出线性模型参数α和/或β。

在帧内预测残差实例的某一跨分量预测中，空间(例如顶部和/或左)相邻的重构建的样本可用作参考样本以导出线性模型参数。

图9为说明根据本发明的一个方面的帧内预测残差的实例跨分量预测的流程图。在图9的实例方法中，将一或多个加权因子α和/或β应用于一个色彩分量的帧内预测残差信号以预测另一色彩分量。在一个实例方法中，编码器20将从等式(7)的线性模型导出的加权因子α和β中的一或多个应用于一个色彩分量(例如，明度分量)的帧内预测残差信号以确定另一色彩分量(例如，cb和/或cr分量)的经预测残差信号。如上文的帧间预测模式论述中所述，此模型也可按解码次序(例如，cb到cr)应用于其它分量。另外，可在中间切换分量的解码次序，且跨分量预测技术仍然适用。色彩分量的经预测残差信号可接着与相同色彩分量的剩余残差信号组合以获得所述色彩分量的残差信号。

在图9的方法中，视频编码器20选择帧内预测色彩分量x(300)。在一个实例方法中，视频编码器20使用来自左相邻者的重构建样本作为源色彩分量x。在另一实例方法中，视频编码器20使用来自顶部相邻者的重构建样本作为源色彩分量x。在又一实例方法中，视频编码器20依据来自顶部和左相邻者中的每一者的重构建样本而计算源色彩分量x。

视频编码器20选择对应的帧内预测目标色彩分量y(302)。视频编码器20依据参考源色彩分量x和参考目标色彩分量y而计算一或多个加权因子(304)，其中如上述等式(7)中所示，加权因子经计算以最小化预测误差。视频编码器20接着依据所计算线性模型参数和源色彩分量x的值而预测目标色彩分量y的值。

在一个实例中，可通过将β设定为等于0或设定为任何默认值而简化线性模型。在另一实例中，通过将α设定为等于1或设定为任何默认值而简化线性模型。

考虑噪声或经量化误差

在跨分量残差预测中，当线性模型是基于空间或时间相邻的重构建的样本而求解时，线性模型参数值可归因于参考样本的噪声/经量化误差或归因于当前块样本与参考样本之间的不同而次最佳。为改善跨分量残差预测的性能，在一些实例中，包含约束条件以使得优化问题受到以下约束：预期α接近于默认值。类似地，可包含约束条件以使得优化问题受到以下约束：预期α接近于某一其它默认值。在一些实例方法中，通过根据一或多个约束来偏置α的计算，视频编码器20可改善跨分量残差预测的性能。

在一些实例方法中，视频编码器20在确定α时使用预定义加权因子α作为约束条件。在一个此类实例方法中，预定义加权因子α随残差预测中所涉及的色彩分量变化。在一些实例方法中，举例来说，视频编码器20当使用cr残差预测cr残差时使用-0.5的预定义默认加权因子。在一些实例方法中，视频编码器20当使用明度残差预测色度残差时使用为0的预定义默认加权因子。在一些此类实例方法中，α的预定义默认加权因子随着色彩分量和色彩空间而改变。

在一个实例方法中，视频编码器20根据需要适应性地修改α的默认值。举例来说，视频编码器20可在基于以实验方式针对ycbcr空间确定的α值使用cr残差预测cr残差时发信为-0.5的α的默认值，但接着基于视频位流的内容修改默认值。在一个实例方法中，这些变化可在高层级处出现并被发信，使得视频编码器20和视频解码器30可根据视频流式传输的变化进行调适。

在一些实例方法中，源装置12在位流中发信默认加权因子α值和/或β偏移值。在各种实例方法中，加权因子的默认值是在sps、pps、切片标头或任何其它位置中作为高层级语法而发信。在一些实例中，默认加权因子值是在cu、lcu、luc的群组或其它块层级处发信。

在一些实例方法中，当默认值未被发信时，使用预定义值。在一些此类实例方法中，不同默认值可用于不同色彩空间。在一些实例方法中，默认参数值仅用于某些色彩空间。

在一些实例方法中，针对大于预定义阈值的块大小，使用预先实时导出的α值和/或β偏移值来更新默认加权因子α值和/或β偏移值，所述块大体上更能耐受噪声/量化误差。在一些此类实例中，使用16×16、32×32或更大的块大小阈值。

在一些实例方法中，包含对加权α值和/或β偏移值的变化的约束条件，以使得目前导出的α值和/或β偏移值与相邻的导出的α值和/或β偏移值之间的差小于预定义阈值或比。

在一些实例中，编码器20包含选择机构，其确定加权因子的导出是否考虑专用默认值。在一些此类实例中，选择取决于当前块的内容。举例来说，当在两个色度分量之间应用跨分量预测时，可在导出加权因子时考虑默认加权因子α值，而当从明度分量预测色度分量时，可不考虑所述默认加权因子α值。在一些实例中，当块大小高于或低于阈值大小时，或基于当前块的其它特征，可在导出加权因子的导出时考虑默认加权因子α值。

在一个实例方法中，可在导出加权因子时考虑专用默认值，且专用默认值可取决于当前块的内容。在一个实例方法中，关于默认α值的回归成本被如下添加到误差函数：

且最佳α经求解为：

基于等式(9)，导出的α值应保持接近于默认值。

λ的值确定默认值αdefault对最后导出的α值的影响有多大。当使用较大λ值时，默认值αdefault具有更多影响。可对于编码器和解码器两者预定义λ的值，或者可在位流中发信λ的值。在实例方法中，λ的值可经设定为等于(∑xi·xi)＞＞k，其中k为预定义固定值(例如7、8或9)。在另一实例方法中，λ的值可基于内容而改变。举例来说，λ的值可基于当前块的特征(例如，块大小、是使用空间参考样本还是时间参考样本，等)而改变。

也可在上文所描述的lm预测模式(其中一个分量(例如，明度或cb)的重构建样本被用以利用线性模型预测另一分量(例如cb或cr)的样本)中导出α值和/或β偏移值时使用此过程。

在一些实例方法中，编码器20通过先减少采样或二次采样参考样本(例如，空间或时间相邻重构建的样本)，之后才使用经减少采样或二次采样参考样本导出参数α和β来减少跨分量残差预测中的参数导出过程的复杂性。在一些实例中，编码器20确定减少采样或二次采样何时应用于参考样本和是否应用于参考样本。在一些此类实例中，减少采样抑或二次采样的决策取决于当前块和/或参考样本的内容(例如，当前块的大小)，参考样本是来自时间相邻者还是来自空间相邻者，或取决于当前块或参考样本的其它特征。

在一些此类实例方法中，编码器20依据当前块的大小而改变减少采样或二次采样比。在一些实例方法中，当处理较大块时应用较高的减少采样/二次采样比。

在一些实例方法中，减少采样/二次采样比根据参考样本是空间相邻样本还是时间相邻样本而不同。在一个此类实例方法中，相对较高的减少采样/二次采样比可应用于时间参考样本，且相对较小的减少采样/二次采样比(或无减少采样/二次采样比)可应用于空间参考样本。

此减少采样/二次采样方法也可应用于lm预测模式，在所述lm预测模式中使用线性模型将一个分量(例如，明度或cb)的重构建样本用以预测另一分量(例如，cb或cr)的样本。

将认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践皆是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执移动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体，或包含促进(例如，根据通信协议)将计算机程序从一个地点传送到另一地点的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。如本文所使用，术语‘发信’可包含存储或以其它方式包含具有经编码位流的数据。换句话说，在根据本发明的各种实例中，术语‘发信’可与数据的实时通信或(替代性地)并非实时执行的通信相关联。

通过实例而非限制，这些计算机可读存储媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。又，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(dsl)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、dsl或无线技术(例如，红外线、无线电和微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文所使用的磁盘和光盘包含紧密光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软碟和blu-ray光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上的组合也应包含于计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其它等效集成式或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码和解码的专用硬件和/或软件模块内，或并入组合式编码解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可以各种装置或设备实施，所述装置或设备包含无线手机、集成电路(ic)或ic集合(例如，芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件和/或固件来提供所述单元。

已描述各种实例。这些和其它实例在以下权利要求书的范围内。