跨通道残余预测的制作方法

跨通道残余预测的制作方法
【专利摘要】描述了系统、设备和方法，包括：确定视频数据的通道的预测残余；以及，使用所述第一通道的预测残余，确定所述视频数据的第二通道的预测残余。进一步地，可以使用第二通道的预测残余来确定视频数据的第三通道的预测残余。
【专利说明】跨通道残余预测
[0001]直量
[0002]高效率视频编码(HEVC)是当前由通过IS0/IEC运动图像专家组(MPEG)和ITU-T视频编码专家小组(VCEG)形成的关于视频编码的联合协作团队(Joint CollaborativeTeam on Video Coding:JCT_VC)开发的视频压缩标准。在本HEVC规范中，图像是以最大编码单元(LCU)编码的。LCU可以是128x128块、64x64块、32x32块或16x16块。LCU可以被直接编码或可以被分成四个编码单元(CU)，供下一级别的编码。CU可以被直接编码或可以进一步被分成下一级别供编码。最小的CU是8x8块。
[0003]一般而言，在每一个级别，大小2Nx2N的⑶可以被分成预测单元(PU)，用于预测目的。对于帧内编码，2Nx2N⑶可以以一个2Nx2N I3U来编码，或编码为四个NxN PU。对于帧间编码，2Nx2N CU 可以以一个 2Nx2N PU、两个 2NxN PU、两个 Nx2N PU、0.5Nx2N PU 加 1.5Νχ2ΝPU、1.5Nx2N PU 加 0.5Nx2N PU、2Nx0.5N PU 加 2Νχ1.5N PU、2Nxl.5N PU 加 2ΝχΟ.5Ν PU，或四个NxN 来编码。在其中图像数据可以跨三个通道(包括亮度(luma:亮度)通道Y和两个色度(chroma:色度)通道U和V)分布的彩色视频中，F1U可以包括一个亮度块Y和两个色度块U和V。
[0004]在HEVC编码器中，在执行帧内预测(帧内预测模块)或帧间预测(运动估计&运动补偿模块)之后，变换和量化对应于输入PU和预测的PU之间的差异的预测残余，用于熵编码。当PU在帧内编码模式下编码时，可以应用不同的帧内预测模式，包括DC预测、平面预测、水平预测、垂直预测等等。
[0005]附图简沭
[0006]此处所描述的材料是作为示例说明的，而不仅限于各个附图的图形。为说明简单和清楚起见，图形中所示出的元件不一定是按比例绘制的。例如，为了清楚起见，某些元件的尺寸可以相对于其他元件而放大。此外，在合适的情况下，在不同的图形中参考标签重复使用，以表示对应的或类似的元件。在图形中:
[0007]图1是示例视频编码器系统的说明图；
[0008]图2示出了示例跨通道残余预测方案；
[0009]图3示出了另一示例跨通道残余预测方案；
[0010]图4示出了另一示例跨通道残余预测方案；
[0011]图5是示例视频解码器系统的说明图；
[0012]图6是示例跨通道残余预测过程的流程图；
[0013]图7是示例跨通道残余预测过程的流程图；
[0014]图8是不例系统的说明图；以及
[0015]图9是示例系统的说明图，所有都是根据本发明的至少某些实现配置的。
[0016]详细描沭
[0017]现在将参考所附的图形来描述一个或多个实施例或实现。尽管讨论了特定配置和布局，但是，应该理解，这只是为了说明。那些精通相关技术的人员将认识到，在不偏离描述的精神和范围的情况下，可以使用其他配置和布局。对于那些精通相关技术的人来说显而易见的是，此处所描述的技术和/或布局也可以用于除此处所描述的以外的各种其他系统和应用中。
[0018]尽管下列描述阐述了可以在诸如，例如，片上系统(SoC)体系结构之类的体系结构中表现的各种实现，但是，此处所描述的技术和/或布局的实现不局限于特定体系结构和/或计算系统，并可以对于类似的目的通过任何体系结构和/或计算系统来实现。例如，使用，例如，多个集成电路(IC)芯片和/或封装，和/或各种计算设备和/或消费者电子(CE)设备(诸如机顶盒、智能电话等等)的各种体系结构都可以实现此处所描述的技术和/或布局。进一步地，尽管下列描述可以阐述诸如逻辑实现、系统组件的类型和相互关系、逻辑划分/集成选择等等之类的很多具体细节，但是，所要求保护的主题可以在没有这些具体细节的情况下实施。在其他情况下，没有详细示出诸如，例如，控制结构和完全软件指令序列之类的某些材料，以便不至于使此处所公开的材料变得模糊。
[0019]此处所公开的材料可以以硬件、固件、软件，或其任何组合来实现。此处所公开的材料还可实现为存储在机器可读取的介质中的可以由一个或多个处理器读取和执行的指令。机器可读的介质可以包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读的介质可以包括，只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质；光存储介质；闪存设备；电的、光学的、声音或其他形式的传播信号(例如，载波、红外信号、数字信号等等)；及其他。
[0020]说明书中对"一个实现"、"实现"、"示例实现"等等的引用指示所描述的实现可包括特定特征、结构或特性，但是，每一个实现可以不一定包括该特定特征、结构或特征。此外，这样的短语不一定是指同一个实现。此外，当结合一个实现描述特定特征、结构或特性时，认为在本领域技术人员学识范围内，可以与其他实现一起实施这样的特征、结构或特性，无论是否对此明确描述。
[0021]图1示出了根据本发明的示例视频编码器系统100。在各实现中，系统100可以被配置成根据一个或多个高级视频编解码器标准进行视频编码和/或实现视频编解码器，这些标准诸如例如H.264标准(IS0/IEC JTCl和ITU-T，" H.264/AVC-用于一般视听服务的高级视频编码"，ITU-T 建议 H.264 和 IS0/IEC14496-10(MPEG-4 部分 10)，版本 3,2005)以及其扩展。进一步地，视频编码器系统100可以被配置成根据由通过IS0/IEC运动图像专家组(MPEG)和ITU-T视频编码专家小组(VCEG)形成的关于视频编码的联合协作团队(JCT-VC)开发的高效率视频编码(HEVC)H.265视频压缩标准，进行视频编码和/或实现视频编解码器。进一步地，在各种实施例中，视频编码器系统100可以实现为图像处理器、视频处理器，和/或媒体处理器的一部分，并可以进行根据本发明的帧间预测、帧内预测、预测编码，和/或残余预测，包括跨通道残余预测。
[0022]在系统100中，当前视频信息可以以视频数据的帧的形式提供到内部比特深度增大模块102。当前视频帧可以在模块104处拆分成最大编码单元(LCU)，然后，传递到残余预测模块106。可以由变换和量化模块108对残余预测模块106的输出进行已知视频变换和量化处理。变换和量化模块108的输出可以提供到熵编码模块109以及去量化和逆变换模块110。去量化和逆变换模块110可以实现由变换和量化模块106进行的操作的逆，以将残余预测模块106的输出提供到残余重构模块112。所属领域的技术人员可以认识到，如此处所描述的变换和量化模块和去量化和逆变换模块可以使用缩放技术。[0023]残余重构模块112的输出可以被反馈到残余预测模块106，并且也可以被提供到包括去成块化(de-blocking)滤波器114、样本自适应偏移滤波器116、自适应循环滤波器、缓冲器120、运动估计模块122、运动补偿模块124和帧内预测模块126。如图1所示，运动补偿模块124或者帧内预测模块126中任何一个的输出与作为到去成块化滤波器114的输入的残余预测模块106的输出相结合，并与LCU拆分模块104的输出有区别，以充当到残余预测模块106的输入。
[0024]如下面将更详细地说明的，残余预测模块106可以与残余重构模块112 —起操作，以根据本发明来提供跨通道残余预测。在各实现中，残余预测模块106可以被用来生成视频数据的一个通道的预测残余，而残余重构模块112可以重构该通道的预测残余，供残余预测模块106在生成视频数据的另一个通道的预测残余时使用。例如，残余预测模块106可以被用来生成预测单元(PU)的亮度通道的预测残余，而残余重构模块112可以重构亮度通道的预测残余，供残余预测模块106在生成PU的色度通道的预测残余时使用。一般而言，如果三个通道中的任何两个都使用相同预测类型和/或相同预测模式，从而导致两个通道的预测残余之间的可能的关联，则使用如此处所描述的跨通道残余预测技术可以促进冗余信息的去除，并可以允许较高的视频编码效率。
[0025]在各实现中，可以对预测残余执行残余预测，可以变换和量化初始预测残余和预测的残余之间的所产生的二阶预测残余。在根据本发明的跨通道残余预测技术中，如果将从第二通道⑶的残余预测第一通道㈧的残余，则由残余预测模块106所生成的通道B的残余可以由变换和量化模块108编码(例如，变换&量化)，然后，首先由去量化和逆变换模块110和残余重构模块112重构，并接着通道B的重构的残余可以被残余预测模块106用来随后预测通道A的残余。
[0026]图2示出了根据本发明的示例跨通道残余预测方案200。在各实现中，图1的系统100可以实现方案200。在方案200中，第一通道(B)的重构的预测的残余被用来预测第二通道(A)的残余，然后，通道B的经编码的残余和通道A的所产生的跨通道预测的残余(在编码之后)与第三通道(C)的经编码的残余一起经历熵编码。在各实现中，通道A、B或C可以是亮度通道(Y)或色度通道(U和V)中的任何一个，且通道A、B或C中的每一个都可以不同(即，不同于其他通道)。在各实现中，通道A可以是亮度通道，而通道B和C可以是色度通道。在其他实现中，通道A可以是色度通道，而通道B和C中的一个可以是亮度通道，而通道B和C的其他通道可以是其他色度通道。
[0027]如在方案200中所描绘的，作为通道B的重构的残余提供到跨通道预测块206之前，在框202，可以变换和量化通道B的预测的残余，然后，在框204去量化和逆变换。在框206，通道B的重构的残余可以被用来预测通道A的残余。然后，在框210处连同从框202中获取的变换的和量化的通道B以及通道C的经变换的和量化的(框212)预测的残余一起被熵编码之前，可以在框208变换和量化通道A的预测的残余。
[0028]根据本发明，根据本发明的跨通道残余预测(例如，如在框206进行的)可以使用线性的或非线性模型，并可以使用固定的或自适应确定的模型参数。例如，对于像素位置k，可以使用下列表达式，从位置k的重构的通道B残余值B' (k)预测通道A残余值A(k):
[0029]Ap(k) = f(B/ (k)) (I)
[0030]其中，Ap (k)是预测的残余值，而f(.)可以是线性的或非线性的函数或变换。在各实现中，f(.)的参数可以具有预先定义的固定值，或可以使用至少某些相邻像素位置的生成的或重构的残余值，来自适应地确定。例如，在各实现中，相邻像素位置的残余值可以被用来针对f(.)构建线性或非线性方程组。在这样的实现中，f(.)的参数可以使用已知的技术，诸如例如线性最小平方、非线性最小平方、加权最小平方或其他已知的最优化方法，来从相邻像素位置的残余值中自适应地获取。
[0031]一般而言，使用f (.)的线性形式的根据本发明的线性的残余预测可以提供残余值A(k)的下列表达式:
[0032]Ap (k) = a*B1 (k) +b (2)
[0033]其中，a和b是模型参数。在各实现中，模型参数a和b可以具有固定值，可以由解码器确定，或可以由编码器确定来传输到解码器。
[0034]一般而言，使用f (.)的非线性形式的根据本发明的非线性残余预测可以提供残余值A(k)的下列表达式:
[0035]Ap (k) = a (k) *B1 (k) +b (k) (3)
[0036]其中，a(k)和b(k)是非线性方程参数。在各实现中，参数a(k)和b (k)可以响应于B' (k)的值，自适应地确定。例如，B' (k)的可能值的范围可以被分成M个较小的残余值子集S(k)。然后，可以给每一个子集S(k)指定要用于方程(3)中的a(k)和b(k)的不同的值，以便当特定残余位置的B' (k)的值在给定子集S(k)内时，可以应用a(k)和b(k)的对应的值，来预测该位置的残余值Ap (k)。
[0037]—般而言，在各实现中，线性或非线性模型参数可以由视频编码器和/或解码器基于当前图像中的和/或以前解码的图像中的已经解码的像素自适应地生成。进一步地，在各实现中，线性或非线性模型参数可以由视频编码器和/或编码器基于当前图像的输入像素和当前图像中的已经编码的像素和/或以前编码的图像中的已经编码的像素自适应地生成。视频编码器可以确定模型参数，然后，编码所生成的模型参数并将它们传输到解码器，供解码器在执行根据本发明的跨通道残余预测方案时使用。
[0038]在各实现中，编码单元(CU)或可以根据各种编码模式和/或预测模式来处理。例如，可以在帧内模式或帧间模式下编码CU，并且对于帧内模式，可以使用各种预测模式，诸如DC预测、平面预测、垂直预测、水平预测及其他方向性预测，来处理PU。根据本发明，取决于所使用的编码模式和/或预测模式，可以应用不同的跨通道残余预测方案。例如，在各实现中，线性跨通道残余预测可以应用于帧内模式编码，而跨通道残余预测可能不应用于帧间模式编码。进一步地，在各实现中，固定参数线性的跨通道残余预测可以应用于帧内垂直&水平预测模式，而自适应线性的跨通道残余预测可以应用于DC，平面及其他方向性预测模式。
[0039]在各实现中，不同的模型参数生成方案可以应用于不同的编码模式下。例如，在帧内编码模式下与在帧间编码模式下可以应用不同的模型参数生成方案。另外，可以对不同的块大小应用不同的模型参数生成方案。进一步地，不同的帧内预测模式可以使用不同的模型参数生成方案。
[0040]在各实现中，标记、指示器或信号可以指示是否对于特定编码模式或预测模式应用自适应残余预测。例如，编码器(例如，系统100)可以使用一个或多个标记来指示(例如，每个CU和/或每个PU地)是否对于特定编码模式或预测模式应用残余预测。在各实现中，这样的标记的值(例如，是与否)可以基于率失真成本来决定。进一步地，在各实现中，对于特定编码模式或预测模式应用残余预测可以是强制性的。
[0041]那些精通本技术的普通人员将认识到，当输入视频数据是YUV420或YUV422格式时，U和V通道的残余块大小小于Y通道的残余块大小。在这些情况下，可以对Y通道残余块应用下采样——如果它将用于预测U和/或V通道残余块的话，或者也可以对U和/或V残余块应用上采样一如果它们将用于预测Y通道残余块的话。进一步地，尽管各种实现此处是在YUV颜色空间的上下文中描述的，但是，本发明不仅限于特定视频数据格式或颜色空间。
[0042]图3示出了根据本发明的另一示例跨通道残余预测方案300。在各实现中，图1的系统100可以实现方案300。在方案300中，两个通道(B和C)的重构的预测的残余被用来预测第三通道㈧的残余，然后，通道B和C的编码的残余和通道A的跨通道预测的残余(在被编码之后)经历熵编码。在各实现中，通道A、B或C可以是亮度通道(Y)或色度通道(U和V)中的任何一个，并且通道A、B或C中的每一个都可以不同(即，不同于其他通道)。在各实现中，通道A可以是亮度通道，而通道B和C可以是色度通道。在其他实现中，通道A可以是色度通道，而通道B和C中的一个可以是亮度通道，而通道B和C的其他通道可以是其他色度通道。
[0043]如在方案300中所描绘的，作为重构的残余提供到跨通道预测块306之前，在框302，可以变换和量化通道B的预测的残余，然后，在框304去量化和逆变换。类似地，在也作为重构的残余提供到跨通道预测块306之前，在框308，可以变换和量化通道C的预测的残余，然后，在框310去量化和逆变换。在框306，通道B和C两者的重构的残余可以被用来预测通道A的残余，如此处所描述的。然后，在框314处连同通道B和C的编码的残余一起被熵编码之前，可以在框312变换和量化通道A的所产生的预测的残余。
[0044]图4示出了根据本发明的另一示例跨通道残余预测方案400。在各实现中，图1的系统100可以实现方案400。在方案400中，第一通道(C)的重构的预测的残余被用来预测第二通道(B)的残余，然后，通道B的重构的跨通道预测的残余被用来预测第三通道(A)的残余。然后，全部三个通道A、B和C的编码的残余经历熵编码。在各实现中，通道A、B或C可以是亮度通道(Y)或色度通道(U和V)中的任何一个，且通道A、B或C中的每一个都可以不同(即，不同于其他通道)。在各实现中，通道A可以是亮度通道，而通道B和C可以是色度通道。在其他实现中，通道A可以是色度通道，而通道B和C中的一个可以是亮度通道，而通道B和C的其他通道可以是其他色度通道。
[0045]如在方案400中所描绘的，在作为重构的残余提供到第一跨通道预测块406之前，通道C的预测的残余可以在框402处被变换和量化，然后，在框404处被去量化和逆变换。在框406，通道C的重构的残余可以被用来预测通道B的残余。然后，作为重构的残余提供到第二跨通道预测块412之前，通道B的跨通道预测的残余可以在框408处被变换和量化，然后，在框410处被去量化和逆变换。在框412，通道B的重构的残余可以被用来预测通道A的残余。然后，在框416处熵编码全部三个通道的编码的残余之前，可以在框414，变换和量化通道A的所产生的跨通道预测的残余。
[0046]图5示出了根据本发明的示例视频解码器系统500。在各实现中，系统500可以被配置成根据一个或多个高级视频编解码器标准，诸如例如，H.264标准和其扩展，进行视频解码和/或实现视频编解码器。进一步地，视频解码器系统500可以被配置成根据HEVCH.265视频压缩标准，进行视频编码和/或实现视频编解码器。进一步地，在各种实施例中，视频解码器系统500可以实现为图像处理器、视频处理器，和/或媒体处理器的一部分，并可以进行根据本发明的帧间预测、帧内预测、预测编码，和/或残余预测，包括跨通道残余预测。
[0047]在系统500中，可以给解码器模块502提供编码的比特流，该解码器模块502包括可以根据本发明实现跨通道残余预测的残余预测模块504和残余重构模块506。在各实现中，残余预测模块504和残余重构模块506可以分别类似于系统100的残余预测模块106和残余重构模块112，并可以提供类似的功能。如那些精通相关技术的人可以认识到的，系统500的解码器502可以包括各种额外的项目(为清楚起见，在图5中未描绘)，诸如去量化和逆变换模块、熵解码模块、运动补偿模块等等。
[0048]在各实现中，根据本发明的编码器(例如，系统100)可以向解码器502提供编码的比特流。当这样做时，编码器可以在比特流中包括诸如一个或多个模式标记之类的信息，该信息可以指示解码器502是否应该对于给定进行如此处所描述的跨通道残余预测。例如，由解码器502接收到的比特流可以包括诸如报头信息之类的信息，该信息指出解码器502是否将对于特定编码模式或预测模式应用自适应跨通道残余预测。例如，编码器(例如，系统100)可以使用一个或多个标记来指示(例如，每个⑶和/或每个I3U地)解码器502是否将对于特定编码模式或预测模式应用跨通道残余预测。
[0049]图6示出了根据本发明的各种实现的用于视频编码的示例过程600的流程图。过程600可以包括如图6的框602、604、606、608和610中的一个或多个所示出的一个或多个操作、功能或动作。作为非限制性示例，此处将参考图1的示例视频编码器系统100和图2-4的示例方案来描述过程600。
[0050]过程600可以从框602开始，为视频数据的第一通道确定第一预测残余。例如，残余预测模块106可以对于视频数据的通道(亮度或色度)执行框602。在框604，可以使用在框602所生成的第一预测残余，来确定视频数据的第二通道的第二预测残余。例如，残余预测模块106可以使用由残余重构模块112所提供的第一预测残余，对于视频数据的不同的通道，执行框604。在各实现中，如果对于亮度通道执行框602，那么，可以对于色度通道执行框604。相反，如果对于色度通道执行框602，那么，可以对于色度通道或亮度通道执行框604。在各实现中，框602和604可以对应于图2的方案200的框202-206的实现。
[0051]过程600可以在框606继续，在那里，可以使用第二预测残余，来确定视频数据的第三通道的第三预测残余。例如，残余预测模块106可以使用由残余重构模块112在框604所提供的第二预测残余，来对于视频数据的第三通道，执行框606。在各实现中，如果对于亮度通道执行框602，那么，可以对于色度通道执行框604，而对于其他色度通道，可以执行框606。如果对于亮度通道执行框602而对于其他色度通道执行框604，那么，对于亮度通道，可以执行框606。在各实现中，框602、604和606可以对应于图3的方案300的框302-306和308-310的实现。
[0052]过程600也可以包括框608，在那里，可以对于视频数据的第三通道，确定第三预测残余。例如，残余预测模块106可以对于视频数据的第三通道执行框608。在框610，可以使用来自框602的第一预测残余，以及来自框608的第三预测值，来确定视频数据的第二通道的第二预测残余。例如，残余预测模块106可以分别使用由残余重构模块112在框602和608所提供的第一预测残余和第三预测残余，来对于视频数据的第二通道，执行框610。在各实现中，如果对于亮度通道执行框602，那么，可以对于色度通道执行框608，对于其他色度通道，可以执行框610。如果对于亮度通道执行框602，对于其他色度通道，执行框606，那么，对于亮度通道，可以执行框610。在各实现中，框602、608和610可以对应于图4的方案400的框402-412的实现。
[0053]图7示出了根据本发明的各种实现的用于视频解码的示例过程700的流程图。过程700可以包括如图7的框702、704、706、708和710中的一个或多个所示出的一个或多个操作、功能或动作。作为非限制性示例，此处将参考图5的示例视频解码器系统500来描述过程700。
[0054]过程700可以从框702开始，在那里，可以接收视频数据的第一通道的第一预测残余。例如，框702可以涉及解码器502解码接收到的比特流和使用残余重构模块506来提供视频数据的一个通道的重构的预测残余。在框704，可以使用在框702所接收到的第一预测残余，来确定视频数据的第二通道的第二预测残余。例如，解码器502的残余预测模块504可以使用由残余重构模块112所提供的第一预测残余，对于视频数据的不同的通道，执行框704。在各实现中，如果框702涉及接收亮度通道的预测残余，那么，可以对于色度通道执行框704。相反，如果框702涉及接收亮度通道的预测残余，那么，可以对于亮度通道或亮度通道执行框704。
[0055]过程700可以在框706继续，在那里，可以使用第二预测残余，来确定视频数据的第三通道的第三预测残余。例如，残余预测模块504可以使用由残余重构模块506在框704所提供的第二预测残余，来对于视频数据的第三通道，执行框706。在各实现中，如果框702涉及接收亮度通道的预测残余，那么，可以对于色度通道执行框704，而可以对于其他色度通道执行框706。如果框702涉及接收色度通道的预测残余，并且，对于其他色度通道执行框704，那么，可以对于亮度通道执行框706。
[0056]过程700也可以包括框708，在那里，可以接收第三预测残余，其中，第三预测残余对应于视频数据的第三通道。例如，框708可以涉及解码器502解码接收到的比特流和使用残余重构模块506来提供视频数据的第三通道的重构的预测残余。在框710，可以使用在框702接收到的第一预测残余以及在框708的接收到的第三预测值，来确定视频数据的第二通道的第二预测残余。例如，残余预测模块504可以分别使用由残余重构模块506在框702和708所提供的第一预测残余和第三预测残余，对于视频数据的第二通道，执行框710。在各实现中，如果对于亮度通道执行框702，那么，可以对于色度通道执行框708，而对于其他色度通道，可以执行框710。如果对于亮度通道执行框702，对于其他色度通道，执行框706，那么，对于亮度通道，可以执行框710。
[0057]尽管如图6和7所示的示例过程600和700的实现可以包括按所示出的顺序执行所示出的全部框，但是，过程600和700的实现可以包括只执行所示出的框的子集和/或以与所示出的不同的顺序来执行。
[0058]另外，图6和7的框中的任何一个或多个可以响应于由一个或多个计算机程序产品所提供的指令来执行。这样的程序产品可以包括提供指令的信号承载介质，所述指令当由例如，处理器执行时，可以提供此处所描述的功能。计算机程序产品可以以任何形式的计算机可读介质来提供。如此，例如，包括一个或多个处理器核的处理器可以响应于通过计算机可读介质传输到处理器的指令来执行图6和7所示出的框中的一个或多个。
[0059]如此处所描述的任何实现中所使用的，术语“模块”是指被配置成提供此处所描述的功能的软件、固件和/或硬件的任何组合。软件可以作为软件程序包、代码和/或指令集或指令来实现，而此处所描述的任何实现中所使用的“硬件”可以包括，例如，单独地或以任何组合的硬连线的电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可以共同地或分别地被实现为构成较大的系统的一部分的电路，例如，集成电路(1C)、芯片上系统(SoC)等等。
[0060]图8示出了根据本公开的示例系统800。在各实现中，系统800可以是媒体系统，但是系统800不仅限于此上下文。例如，系统800可以集成到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备(MID)、消息接发设备、数据通信设备等等。
[0061]在各实现中，系统800包括耦合到显示器820的平台802。平台802可以从诸如内容服务设备830、或内容分发设备840之类的内容设备或其他类似的内容源接收内容。包括一个或多个导航特征的导航控制器850可以被用来与例如平台802和/或显示器820进行交互。下面将更详细地描述这些组件中的每一个。
[0062]在各实现中，平台802可以包括芯片组805、处理器810、存储器812、存储814、图形子系统815、应用程序816、和/或无线电818的任何组合。芯片组805可以在处理器810、存储器812、存储814、图形子系统815、应用程序816和/或无线电818之间提供相互通信。例如，芯片组805可以包括能够与存储814进行相互通信的存储器适配器(未描绘)。
[0063]处理器810可以实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核，或任何其他微处理器或中央处理单元(CPU)。在各实现中，处理器810可以是双核处理器、双核移动处理器等等。
[0064]存储器812可以实现为易失性存储器设备，诸如，但不仅限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)，或静态RAM(SRAM)。
[0065]存储器814可以实现为非易失性存储器设备，诸如，但不仅限于，磁盘驱动、光盘驱动、磁带驱动、内部存储设备、附连存储设备、闪存、电池供电的SDRAM (同步DRAM)，和/或网络可访问的存储设备。在各实现中，存储器814可以包括当，例如，包括多个硬盘驱动器时，提高存储器性能或对有价值的数字媒体的增强的保护的技术。
[0066]图形子系统815可以对诸如静止图像或视频之类的图像执行处理，供显示。图形子系统815可以是，例如，图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以被用来可通信地耦合图形子系统815和显示器820。例如，接口可以是高清晰度多媒体接口、显示端口(DisplayPort)、无线HDMI，和/或遵循无线HD的技术中的任何一个。图形子系统815可以被集成到处理器810或芯片组805中。在一些实现中，图形子系统815可以是可通信地耦合到芯片组805的独立卡。
[0067]此处所描述的图形和/或视频处理技术可以以各种硬件体系结构来实现。例如，图形和/或视频功能可以集成在芯片组内。替代地，可以使用单独的图形和/或视频处理器。作为再一个实现，图形和/或视频功能可以通过通用处理器(包括多核处理器)来提供。在进一步的实施例中，功能可以在消费电子广品中实现。
[0068]无线电818可以包括能够使用各种合适的无线通信技术传输和接收信号的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不仅限于)无线局域网(WLAN)、无线人域网(WPAN)、无线城域网(WMAN)、蜂窝网络，以及卫星网络。在跨这样的网络的通信中，无线电818可以根据任何版本的一个或多个适用的标准来操作。
[0069]在各实现中，显示器820可以包括任何电视机类型监视器或显示器。显示器820可以包括，例如，计算机显示器屏幕、触摸屏显示器、视频监视器、类似于电视机的设备，和/或电视机。显示器820可以是数字和/或模拟的。在各实现中，显示器820可以是全息显示器。同样，显示器820还可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像，和/或对象。例如，这样的投影可以是对于移动增强的现实(MAR)应用程序的视觉覆盖。在一个或多个软件应用程序816的控制下，平台802可以在显示器822上显示用户界面820。
[0070]在各实现中，内容服务设备830可以由任何国家的，国际的和/或独立的服务托管(host)，并由此可以被平台802例如通过因特网来访问。内容服务设备830可以耦合到平台802和/或显示器820。平台802和/或内容服务设备830可以耦合到网络860以往返于网络860进行通信(例如，发送和/或接收)媒体信息。内容分发设备840还可以耦合到平台802和/或显示器820。
[0071]在各实现中，内容服务设备830可以包括有线电视盒、个人计算机、网络、电话、启用因特网的设备或能够分发数字信息和/或内容的电器，以及能够通过网络860或直接在内容提供商和平台802和/或显示器820之间单方向地或双向地传递内容的任何其他类似的设备。可以理解，内容可以通过网络860往返于系统800中的组件中的任何一个和内容提供商单向地和/或双向地传递。内容的示例可以包括任何媒体信息，包括，例如，视频、音乐、医学和游戏信息等等。
[0072]内容服务设备830可以接收内容，诸如有线电视节目，包括媒体信息、数字信息和/或其他内容。内容提供商的示例可以包括任何有线或卫星电视或电台或因特网内容提供商。所提供的示例不以任何方式限制根据本发明的各实现。
[0073]在各实现中，平台802可以从具有一个或多个导航特征的导航控制器850接收控制信号。控制器850的导航特征可以被用来，例如，与用户界面822进行交互。在各实施例中，导航控制器850可以是指示设备，该指示设备可以是计算机硬件组件(具体地，人机接口设备)，可使用户向计算机中输入空间(例如，连续的和多维)数据。诸如图形用户界面(GUI)、电视机和监视器之类的许多系统可使用户使用物理手势控制并向计算机或电视机提供数据。
[0074]控制器850的导航特征的移动可以通过指针、光标、焦点环，或显示在显示器上的其他可视指示器，在显示器(例如，显示器820)上复制。例如，在软件应用816的控制下，位于导航控制器850上的导航特征可以被例如映射到用户界面822上显示的虚拟导航特征。在各实施例中，控制器850可以不是单独的组件，而是可以集成到平台802和/或显示器820中。然而，本发明不仅限于在所示出的或此处所描述的上下文中的元件。
[0075]在各实现中，驱动程序(未示出)可以包括允许用户立即打开和关闭平台802的技术，类似于电视机，例如，当启用时，在初始引导之后，按下按钮。程序逻辑可以允许平台802甚至在平台被“关闭”时向媒体适配器或其他内容服务设备830或内容分发设备840流式播放内容。另外，芯片组805还可以包括，例如，对于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动程序可以包括集成的图形平台的图形驱动程序。在各实施例中，图形驱动程序可以包括外围组件互连(PCI)快速(Express)图形卡。
[0076]在各实现中，可以集成系统800所示出的组件的任何一个或更多。例如，可以集成平台802和内容服务设备830，或者也可以集成平台802和内容分发设备840，或者，例如，也可以集成平台802、内容服务设备830，以及内容分发设备840。在各种实施例中，平台802和显示器820可以是集成单元。例如，可以集成显示器820和内容服务设备830，或者也可以集成显示器820和内容分发设备840。这些示例不限制本发明。
[0077]在各种实施例中，系统800可以实现为无线系统、有线系统，或两者的组合。当实现为无线系统时，系统800可以包括适用于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括诸如RF频谱之类的无线范围的某些部分等等。当实现为有线系统时，系统800可以包括适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可包括，线路、电缆、金属导线、印刷电路板(PCB)、后面板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等等。
[0078]平台802可以建立一个或多个逻辑或物理信道以传递信息。信息可以包括媒体信息和控制信息。媒体信息可以是指表示给用户的内容的任何数据。内容的示例可以包括，例如，来自语音谈话、视频会议、流式视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音谈话的数据可以是，例如，语音信息、静默时间长度、背景噪声、舒适噪声、音调等等。控制信息可以是指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用来通过系统路由媒体信息，或指示节点以预先确定的方式处理媒体信息。然而，各实施例不仅限于图8中所示出的或所描述的上下文中的元件。
[0079]如上文所描述的，系统800可以以不同的物理样式或形状因子来体现。图9示出了其中可以实现系统800的小形状因子设备900的各实施例。在各实施例中，例如，设备900可以实现为具有无线能力的移动计算设备。移动计算设备可以是指具有处理系统和移动电源(诸如，例如，一个或多个电池)的任何设备。
[0080]如上文所描述的，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备(MID)、消息传送设备、数据通信设备等等。
[0081]移动计算设备的示例还可以包括被配置为由人佩带的计算机，诸如腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带计算机、臂带计算机、鞋计算机、衣服计算机，及其他可佩带的计算机。例如，在各实施例中，移动计算设备可以实现为能够执行计算机应用程序以及语音通信和/或数据通信的智能电话。虽然可以利用作为示例实现为智能电话的移动计算设备描述一些实施例，但是，可以理解，其他实施例也可以使用其他无线移动计算设备来实现。在此上下文中，实施例不受限制。
[0082]如图9所示，设备900可以包括外壳902、显示器904、输入/输出(I/O)设备906，以及天线909。设备900还可以包括导航特征912。显示器904可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元。I/O设备906可以包括用于向移动计算设备中输入信息的任何合适的I/O设备。I/O设备906的示例可以包括字母数字键盘、数字键区、触摸板、输入键、按钮、开关、往复式开关、麦克风、扬声器、语音识别设备以及软件等等。信息还可以通过麦克风(未示出)输入到设备900中。这样的信息可以通过语音识别设备(未示出)来数字化。在此上下文中，实施例不受限制。
[0083]各实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、感应器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可包括软件组件、程序、应用程序、计算机程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号，或其任何组合。判断一个实施例是否使用硬件元件或软件元件来实现可以根据任意数量的因素而不同，如所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度，及其他设计或性能约束。
[0084]至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的代表性的指令来实现，指令表示处理器内的各种逻辑，指令在由机器读取时使机器制造执行此处所描述的技术的逻辑。被称为“IP核”的这样的表示可以存储在有形的机器可读介质中，并提供给各种客户或生产设施，以加载到实际制造逻辑或处理器的制造机器中。
[0085]尽管参考各种实现描述了此处所阐述的某些特征，但是，此描述不旨在以限制性方式来解释。因此，对本发明涉及的所属【技术领域】的专业人员显而易见的对此处所描述的实现的各种修改，以及其他实现被认为在本发明的精神和范围内。
【权利要求】
1.一种计算机实现的方法，包括: 在视频编码器处: 确定视频数据的第一通道的第一预测残余；以及 使用所述第一预测残余，确定所述视频数据的第二通道的第二预测残余。
2.如权利要求1所述的方法，其特征在于，当所述第一通道包括亮度通道时，所述第二通道包括色度通道；并且，其中当所述第一通道包括色度通道时，所述第二通道包括亮度通道或另一色度通道中的一个。
3.如权利要求1所述的方法，其特征在于，还包括: 使用所述第二预测残余，确定所述视频数据的第三通道的第三预测残余。
4.如权利要求1所述的方法，其特征在于，还包括: 确定所述视频数据的第三通道的第三预测残余；以及 其中确定所述第二预测残余包括使用所述第一预测残余和所述第三预测残余两者来确定所述第二预测残余。
5.如权利要求4所述的方法，其特征在于，所述第一通道包括亮度通道，所述第二通道包括色度通道，而所述第三通道包括另一色度通道。
6.如权利要求1所述的方法，其特征在于，确定所述第二预测残余包括应用线性关系模型或非线性关系模型中的一个。
7.如权利要求6所述的方法，其特征在于，应用所述线性关系模型或所述非线性关系模型中的一个包括响应于编码模式，应用所述线性关系模型或所述非线性关系模型中的一个。
8.如权利要求6所述的方法，其特征在于，当所述编码模式包括帧内模式编码时，应用所述线性关系模型，并且其中当所述编码模式包括帧间模式编码时，不应用所述线性关系模型或所述非线性关系模型中的任何一个。
9.如权利要求6所述的方法，其特征在于，确定所述第二预测残余包括应用一个或多个固定关系模型参数。
10.如权利要求9所述的方法，其特征在于，当预测模式包括垂直预测模式或水平预测模式中的至少一个时，应用所述一个或多个固定关系模型参数。
11.如权利要求6所述的方法，其特征在于，确定所述第二预测残余包括自适应地确定一个或多个关系模型参数。
12.如权利要求11所述的方法，其特征在于，自适应地确定所述一个或多个关系模型参数包括响应于编码模式，自适应地确定所述一个或多个关系模型参数。
13.如权利要求12所述的方法，其特征在于，当所述编码模式包括DC预测模式或平面预测模式中的至少一个时，自适应地确定所述一个或多个关系模型参数。
14.如权利要求11所述的方法，其特征在于，自适应地确定所述一个或多个关系模型参数包括响应于当前图像的编码的像素或者一个或多个以前编码的图像的编码的像素中的至少一个，自适应地生成所述一个或多个关系模型参数。
15.—种计算机实现的方法，包括: 在视频解码器处: 接收视频数据的第一通道的 第一预测残余；以及使用所述第一预测残余，确定所述视频数据的第二通道的第二预测残余。
16.如权利要求15所述的方法，其特征在于，当所述第一通道包括亮度通道时，所述第二通道包括色度通道；并且，其中当所述第一通道包括色度通道时，所述第二通道包括亮度通道或另一色度通道中的一个。
17.如权利要求15所述的方法，其特征在于，还包括: 使用所述第二预测残余，确定所述视频数据的第三通道的第三预测残余。
18.如权利要求15所述的方法，其特征在于，还包括: 接收所述视频数据的第三通道的第三预测残余；以及 其中确定所述第二预测残余包括使用所述第一预测残余和所述第三预测残余两者来确定所述第二预测残余。
19.如权利要求18所述的方法，其特征在于，所述第一通道包括亮度通道，所述第二通道包括色度通道，而所述第三通道包括另一色度通道。
20.如权利要求15所述的方法，其特征在于，确定所述第二预测残余包括应用线性关系模型或非线性关系模型中的一个。
21.如权利要求15所述的方法，其特征在于，确定所述第二预测残余包括响应于标记信号，来确定所述第二预测残余。
22.—种设备,包括: 处理器，其被配置成: 确定视频数据的第一通道的第一预测残余；以及 使用所述第一预测残余，确定所述视频数据的第二通道的第二预测残余。
23.如权利要求22所述的设备，其特征在于，当所述第一通道包括亮度通道时，所述第二通道包括色度通道；并且，其中当所述第一通道包括色度通道时，所述第二通道包括亮度通道或另一色度通道中的一个。
24.如权利要求22所述的设备，其特征在于，所述处理器被配置成: 使用所述第二预测残余，确定所述视频数据的第三通道的第三预测残余。
25.如权利要求22所述的设备，其特征在于，所述处理器被配置成: 确定所述视频数据的第三通道的第三预测残余；以及 其中为确定所述第二预测残余，所述处理器被配置成使用所述第一预测残余和所述第三预测残余两者来确定所述第二预测残余。
26.如权利要求22所述的设备，其特征在于，为确定所述第二预测残余，所述处理器被配置成应用线性关系模型或非线性关系模型中的一个。
27.如权利要求26所述的设备，其特征在于，为确定所述第二预测残余，所述处理器被配置成应用一个或多个预定的关系模型参数或应用一个或多个自适应地确定的关系模型参数。
28.—种系统,包括: 接收视频数据的编码的比特流的天线；以及， 视频解码器，其中所述视频解码器可通信地耦合到所述天线，并且其中所述视频解码器将通过至少部分地使用从所述编码的比特流中获取的所述视频数据的第一通道的第一预测残余确定所述视频数据的第二通道的第二预测残余，来解码所述编码的比特流。
29.如权利要求28所述的系统，其特征在于，当所述第一通道包括亮度通道时，所述第二通道包括色度通道；并且，其中当所述第一通道包括色度通道时，所述第二通道包括亮度通道或另一色度通道中的一个。
30.如权利要求28所述的系统，其特征在于，所述视频解码器将通过至少部分地使用所述第二预测残余确定所述视频数据的第三通道的第三预测残余，来解码所述编码的比特流。
31.如权利要求28所述的系统，其特征在于，所述视频解码器将通过至少部分地确定所述视频数据的第三通道的第三预测残余，来解码所述编码的比特流；其中为确定所述第二预测残余，所述视频解码器使用所述第一预测残余和所述第三预测残余两者来确定所述第二预测残余。
32.如权利要求28所述的系统，其特征在于，为确定所述第二预测残余，所述视频解码器将应用线性关系模型或非线性关系模型中的一个。
33.如权利要求28所述的系统，其特征在于，所述视频解码器响应于标记信号，来确定所述第二预测残 余。
【文档编号】H04N19/105GK103918265SQ201180074683
【公开日】2014年7月9日 申请日期:2011年11月7日 优先权日:2011年11月7日
【发明者】徐理东, 邱怡仁, 韩钰, 张文豪 申请人:英特尔公司