用于动态范围调整的灵活色度处理的制作方法

文档序号:32348346发布日期:2022-11-26 12:05阅读:45来源:国知局
1.本公开总体上涉及图像和视频译码,包括图像和/或视频的编码(或压缩)和解码(解压缩)。在一些示例中,本技术的各方面涉及应用于视频数据的信令和操作,以改进设备和系统操作,包括一些类型的视频数据(例如,高动态范围(hdr)和/或广色域(wcg)视频数据)的压缩。
背景技术
::2.许多设备和系统都允许处理和输出视频数据以供消耗。数字视频数据包括大量数据,以满足消耗者和视频提供商的需求。例如,视频数据的消耗者期望高质量的视频,包括高保真度、分辨率、帧速率等。因此,用于满足这些需求的大量视频数据给通信网络和处理及存储视频数据的设备带来了负担。3.视频译码技术可以用于压缩视频数据。视频译码根据一个或多个视频译码标准执行。例如,视频译码标准包括多功能视频译码(vvc)、高效视频译码(hevc)、先进视频译码(avc)、移动图片专家组(mpeg)译码、vp9、开放媒体联盟(aomedia)视频1(av1)以及其他。视频译码通常运用利用存在于视频图像或序列中的冗余的预测方法(例如,帧间预测、帧内预测等)。视频译码技术的目标是将视频数据压缩成使用较低比特率的形式,同时避免或最小化视频质量的下降。随着不断发展的视频服务变得可用,需要具有更好译码效率的编码技术。技术实现要素:4.描述了用于译码(例如,编码和/或解码)图像和/或视频内容的系统和技术。动态范围是数据集中最大值与最小值之间的比率。在视频处理中,具有宽动态范围的数据可以被处理到可以更容易地作为动态范围调整(dra)的一部分被存储和重现的较窄或替代动态范围。用于视频处理的一些标准包括用于管理动态范围的刚性结构(rigidstructure)。给定格式下的此类结构可以处理视频数据的亮度和色度分量的动态范围特性。如果编码和解码系统被链接到此类结构,则该系统可以被限制于处理某些格式。本文描述的方面使用具有有限处理的此类刚性格式的现有信令和语义,并且在在支持的信令范围内使用现有格式和语义的同时扩展系统的可用格式处理选项。此类方面可以通过在不明显影响处理速度或计算开销的情况下使能附加功能性来改进编码和解码系统和设备的性能。5.在一个说明性示例中,某些视频标准(例如,基本视频译码(evc)5.0标准)利用具有定义的色度分量处理的dra。然而,在单色格式视频数据的情况下,没有定义色度dra参数的使用,从而导致处理结果不明确和/或在该标准下未定义数据的信令通知(signaling)。此外,一些实现方式(例如,根据evc或其他标准)指定亮度缩放(lumascale)与色度缩放之间的固定关系。虽然译码操作中的此类固定关系允许从信令通知的参数中有效导出某些缩放,但固定关系可能限制处理某些视频格式(例如,红绿蓝(rgb)格式数据)时的灵活性。6.本文描述的方面改进了系统和设备操作,以通过重用可用信令结构(例如,evc信令结构或诸如vvc等的其他视频译码标准的信令结构)中具有未使用值空间的dra语法元素(例如,作为一个说明性示例,下文被表示为dra_table_idx)来添加灵活的功能性。dra语法元素可以包括对表列参数集(tabulatedparameterset)的存取点的指示,以及多个dra模式的指示。例如,未使用值空间(例如,先前使用值0至57的0到58空间表中的第58个空间)可以用于存储与用于视频数据的多个dra模式相关联的指示。dra语法元素(例如,具有从0至58的分配值)既可以指示多个dra模式中的dra模式(例如,在一个示例中,联合模式用于某些分配值,诸如0-57,以及独立模式用于分配值58),也可以指示表列参数集(例如,dra语法元素的分配值指示将在dra处理时使用的表列参数集)。此类方面可以用于信令通知dra色度处理模式作为联合的(例如,在亮度缩放与色度缩放之间具有定义的(defined)固定关系的现有模式)或独立的。基于此技术,独立模式可以包括在视频数据流中信令通知的色度dra参数,而不是从用于联合模式的亮度参数中导出的色度dra参数。本文描述的一些示例可以使用基于dra语法元素值的标志或信令(例如,下文描述的dra_table_idx语法元素的值)来信令通知提供色度dra参数导出灵活性的多个可用模式中的模式。在一些示例中,本文描述的方面可以包括约束与色度dra参数相关的视频比特流,因为添加了灵活性。此类示例可以避免译码不明确或与灵活功能性相关联的未定义数据的信令通知。7.根据一个说明性示例,提供了一种用于处理视频数据的装置。该装置包括:至少一个存储器,以及耦合到该至少一个存储器的至少一个处理器(例如,在电路中实现的)。该至少一个处理器被配置为:获取视频数据的至少一个块;预测该至少一个块的一个或多个视频样本;从视频数据中获取动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及基于dra语法元素的指示使用dra模式来处理该至少一个块的一个或多个视频样本。8.根据另一说明性示例,提供了一种处理视频数据的方法。该方法包括:获取视频数据的至少一个块;预测该至少一个块的一个或多个视频样本;从视频数据中获取动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及使用基于dra语法元素的指示的dra模式来处理该至少一个块的一个或多个视频样本。9.根据另一说明性示例,提供了一种其上存储有指令的非暂时性计算机可读介质,指令在由一个或多个处理器执行时使该一个或多个处理器:获取视频数据的至少一个块;预测该至少一个块的一个或多个视频样本;从视频数据中获取动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及基于dra语法元素的指示使用dra模式来处理该至少一个块的一个或多个视频样本。10.根据另一说明性示例,提供了一种用于处理视频数据的装置。该装置包括:用于获取视频数据的至少一个块的部件;用于预测该至少一个块的一个或多个视频样本的部件;用于从视频数据中获取动态范围调整(dra)语法元素的部件,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及用于基于dra语法元素的指示使用dra模式来处理该至少一个块的一个或多个视频样本的部件。11.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:对一个或多个视频样本应用与dra模式相关联的dra函数,其中,不使用亮度缩放信息来导出用于dra函数的色度缩放参数。12.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:从视频数据中获取一个或多个亮度变量,该一个或多个亮度变量表示一个或多个视频样本的一个或多个亮度缩放。13.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:从用于多个dra模式中的dra模式的一个或多个亮度变量中导出色度缩放值。14.在一些方面中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。15.在一些方面中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且多个dra模式中的一个或多个其他模式与dra语法元素的指示的值1至57相关联。16.在一些方面中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。17.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:基于与多个dra模式相关联的指示来确定联合dra缩放标志的值。18.在一些方面中,与dra模式相关联的dra缩放值以值1被固定。19.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:基于dra语法元素的指示,使用dra模式来处理一个或多个视频样本,以使用dra模式来解码视频数据。20.根据另一说明性示例,提供了一种用于处理视频数据的装置。该装置包括:至少一个存储器,以及耦合到至少一个存储器的至少一个处理器(例如,在电路中实现的)。该至少一个处理器被配置为:获取视频数据;生成用于视频数据的动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及生成包括dra语法元素的经编码的视频比特流。21.根据另一说明性示例,提供了一种处理视频数据的方法。该方法包括:获取视频数据;生成用于视频数据的动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及生成包括dra语法元素的经编码的视频比特流。22.根据另一说明性示例,提供了一种其上存储有指令的非暂时性计算机可读介质,指令在由一个或多个处理器执行时使该一个或多个处理器:获取视频数据;生成用于视频数据的动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及生成包括dra语法元素的经编码的视频比特流。23.根据另一说明性示例,提供了一种用于处理视频数据的装置。该装置包括:用于获取视频数据的部件;用于生成用于视频数据的动态范围调整(dra)语法元素的部件,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及用于生成包括dra语法元素的经编码的视频比特流的部件。24.在一些方面中,不使用亮度缩放信息来导出用于与来自多个dra模式中的dra模式相关联的dra函数的色度缩放参数。25.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:将一个或多个亮度变量包括在经编码的视频比特流中,该一个或多个亮度变量表示使用来自多个dra模式中的dra模式的视频数据的一个或多个亮度缩放。26.在一些方面中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。27.在一些方面中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且多个dra模式中的一个或多个其他dra模式与dra语法元素的指示的值1至57相关联。28.在一些方面中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。29.在一些方面中,该方法、装置和非暂时性计算机可读介质可以包括:基于与多个dra模式相关联的指示来设置联合dra缩放标志。30.在一些方面中,与来自多个dra模式中的dra模式相关联的dra缩放值以值1被固定。31.在一些方面中,该装置是或者是其一部分:移动设备(例如,移动电话或所谓的“智能手机”、平板计算机或其他类型的移动设备)、可穿戴设备、扩展现实设备(例如,虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、个人计算机、膝上型计算机、视频服务器、电视、车辆(或车辆的计算设备)或其他设备。在一些方面中,该装置包括用于捕捉一个或多个图像或视频帧的至少一个相机。例如,该装置可以包括用于捕捉一个或多个图像和/或一个或多个包括视频帧的视频的一个相机(例如,rgb相机)或多个相机。在一些方面中,该装置包括用于显示一个或多个图像、视频、通知或其他可显示数据的显示器。在一些方面中,该装置包括被配置为通过传输介质向至少一个设备发送一个或多个视频帧和/或语法数据的发送器。在一些方面中,处理器包括神经处理单元(npu)、中央处理单元(cpu)、图形处理单元(gpu)或其他处理设备或组件。32.该概要不旨在标识所要求保护的主题的关键或必要特征,也不旨在被孤立地用于确定所要求保护的主题的范围。主题应该通过参考该专利的整个说明书的适当部分、任一或所有附图以及每一项权利要求来理解。33.在参考以下说明书、权利要求和附图时,前述、连同其他特征和实施例将变得更加显而易见。附图说明34.下文将参考以下各图来详细描述本技术的说明性示例:35.图1是示出根据一些示例的包括编码设备和解码设备的视频译码系统的示例的框图;36.图2是示出根据一些示例的人类视觉和各种显示类型的各种动态范围的图;37.图3是示出根据一些示例的覆盖有表示sdr色域的三角形和表示高动态范围(hdr)色域的三角形的色度图的示例的图;38.图4是示出根据一些示例的用于执行hdr/广色域(wcg)表示转换的过程的示例的图;39.图5是示出根据一些示例的用于执行逆hdr/wcg转换的过程的示例的图;40.图6是示出根据一些示例的亮度驱动式色度缩放(lcs)函数的示例的图形;41.图7示出了根据一些示例的用于指示dra模式的dra语法元素的各方面;42.图8是示出根据一些示例的hdr缓冲区模型的示例的流程图;43.图9是示出根据一些示例的处理视频数据的过程的示例的流程图;44.图10是示出根据一些示例的处理视频数据的过程的示例的流程图;45.图11是示出根据一些示例的处理视频数据的过程的示例的流程图;46.图12是示出根据一些示例的示例视频编码设备的框图;以及47.图13是示出根据一些示例的示例视频解码设备的框图。具体实施方式48.下文提供了本公开的某些方面和实施例。可以独立地应用这些方面和实施例中的一些并且可以组合地应用它们中的一些,如对本领域的技术人员将显而易见的。在以下描述中,出于解释的目的,阐述了具体细节,以便提供对本技术的实施例的透彻理解。然而,将显而易见的是,各种实施例可以在没有这些具体细节的情况下被实践。附图和描述并不旨在为约束性的。49.随后的描述仅提供各方面,而不旨在限制本公开的范围、适用性或配置。相反,各个方面的随后的描述将给本领域技术人员提供用于实现方面的使能描述。应该理解,在不脱离如所附权利要求所阐述的本技术的精神和范围的情况下,可以在要素的功能和布置方面做出各种改变。50.视频译码设备实现视频压缩技术,以有效地编码和解码视频数据。视频压缩技术包括可以应用于具有不同格式的不同数据流的各种各样的不同压缩和数据处理选项。例如,动态范围调整(dra)和各种预测操作可以在有效地对视频数据进行译码时使用。51.dra可以用于处理具有宽动态范围的数据,以生成可以更容易被处理(例如,压缩、发送、解码等)的数据。dra可以导致更窄的或替代动态范围,其可以更容易地被存储和重现。视频编码和解码系统或设备(它们可以被称为视频译码系统或设备或者视频编解码器)使用特定系统来处理视频数据。例如,一些视频译码系统使用包括用于管理动态范围的刚性结构(rigidstructure)的标准化操作。视频译码系统可以使用给定格式下的此刚性结构来处理视频数据的亮度和色度分量的动态范围特性。如果视频译码系统被链接到此类刚性结构,则该系统可以被限制于处理某些格式。例如,一些灰度视频格式(例如,evc4:0:0格式视频数据)由于数据的格式在亮度值与色度值之间不具有关系(该关系可以一些视频译码系统中假设),不能用dra有效地发挥作用。本文描述的方面使用此刚性系统(例如,其可以生成结果,或用诸如4:0:0灰度格式视频数据的格式来低效译码)的现有信令和语义来扩展系统的可用格式处理选项,同时在支持的信令范围内保持现有格式和语义。此类方面可以通过在不明显影响处理速度、压缩和计算开销的情况下使能附加功能性来改进视频译码系统和设备的性能。52.例如,如上所述,某些视频译码标准(例如,基本视频译码(evc)5.0)利用具有定义的色度分量处理的dra。然而,在单色格式视频数据的情况下,一些标准中(例如,evc5.0标准中)没有定义色度dra参数的使用,从而导致处理结果不明确或未定义数据在此类标准下的信令通知。此外,一些标准实现方式(例如,evc)指定了亮度缩放与色度缩放之间的固定关系。对于一些数据格式,诸如4:0:0灰度格式,则不存在此固定关系。在一些情况下,即使当定义了亮度缩放与色度缩放之间的固定关系,在不依赖亮度缩放与色度缩放之间的此固定关系的情况下也可以实现改进的译码性能。例如,当处理来自一格式(例如,evc标准的4:0:0灰度格式和/或evc或其他视频译码标准的其他格式)的数据时,禁用(disable)色度dra处理可以改进性能。在一个示例中,禁用包括具有红绿蓝(rgb)格式的帧的视频数据的色度dra处理在一些方面中可以改进译码性能。53.本文描述了例如通过在使用dra处理来处理视频数据时添加灵活功能性来改进系统和设备操作的各方面。在一些方面中,通过在可用信令结构中重用具有未使用值空间的dra语法元素(例如,在未分配或未使用的数据结构中的空间)来改进系统和设备性能。此类方面可以用于通过将与多个dra模式相关联的指示放在可用值空间中来将dra色度处理模式信令通知作为联合dra模式(例如,具有亮度缩放与色度缩放之间的定义的固定关系)或独立dra模式。独立模式可以包括在视频数据流中信令通知的色度dra参数,而不是从用于联合模式的亮度参数中导出的色度dra参数。在此类情况下,独立dra模式可以发挥功能以禁用与联合dra模式操作一起使用的色度dra处理。联合dra模式在本文中也可以被称为联合模式或第一模式,并且独立dra模式在本文中也可以被称为独立模式或第二模式。54.例如,在一些系统中,dra表(例如,量化参数(qp)表)结构可以用于联合模式dra操作(这些操作假设亮度值与色度值之间的固定关系)。在一些此类系统中(例如,利用evc标准和/或其他视频译码标准的系统),dra表使用一定数量的元素值,但具有可用于一个或多个元素值的结构。在一个示例中,dra语法元素可以使用元素值0-57,但具有可用于第58个元素值的结构。根据本文描述的方面,译码设备(例如,编码设备、解码设备或组合式编码解码设备或编解码器)可以利用附加元素值(例如,在使用元素值0-57的dra语法元素中的第58个元素值)来信令通知特定dra模式的选择。例如,第一模式可以包括联合dra模式,并且第二模式可以包括独立dra模式。视频译码设备可以使用dra语法元素中的附加元素值(例如,dra语法元素中的第58个元素)来信令通知第二模式(例如,独立dra模式)。在一个说明性示例中,视频译码设备可以使用dra语法元素的初始元素值(例如,0-57元素值)来信令通知联合dra模式。在一些情况下,诸如当使用了联合dra模式时,信令通知的亮度缩放值是使用色度dra处理来传播的,以导出色度缩放值,附加处理被执行以补偿色度移位。继续上述说明性示例,视频译码设备可以使用dra语法元素中的附加元素值(例如,第58个元素值)来信令通知与附加dra模式(例如,独立dra模式)或多个dra模式相关联的指示,而不是仅信令通知上述单个联合dra模式。在一些方面中,在独立模式(例如,除了上述联合dra模式之外的第二dra模式)中,禁用色度dra处理,并且色度移位值可以在数据流中与亮度值分离地被信令通知。55.在一些示例中,实现如上所述多个dra模式(例如,联合dra模式和独立dra模式)的译码设备可以通过标识数据格式来操作,并且可以对于所标识的数据格式使用适当的模式。在一个说明性示例中,当视频数据被标识为具有亮度色度蓝-色度红(ycbcr)颜色空间时,译码设备可以使用使能联合处理和色度dra处理的第一模式(联合模式)。在另一说明性示例中,如果标识了具有rgb格式的视频数据,则译码设备可以使用禁用色度dra处理的第二模式(独立模式)。通过在现有结构内提供来自色度dra处理的此模式信令(例如,使用现有dra语法元素),译码设备可以以增强的功能性和有限的附加开销来操作,同时防止潜在的译码不明确(例如,增强性能可靠性)或视频数据中未定义数据的信令通知。56.此类方面可以在更广泛的译码系统的上下文内实现,该译码系统可以实现附加操作,诸如预测性译码,以便连同dra模式和其他此类视频译码系统一起有效管理视频数据。57.图1是示出包括编码设备104和解码设备112的系统100的示例的框图。作为完整视频译码系统的一部分,系统100可以用于实现针对多个色度dra处理模式的dra信令和语义。编码设备104可以是源设备的一部分,并且解码设备112可以是接收设备(也被称为客户端设备)的一部分。源设备和/或接收设备可以包括电子设备,诸如移动或固定电话手机(例如,智能手机、蜂窝电话等)、桌上型计算机、膝上型或笔记型计算机、平板计算机、机顶盒、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备、因特网协议(ip)相机、包括一个或多个服务器设备的服务器系统中的服务器设备(例如,视频流式传输服务器系统或其他合适的服务器系统)、头戴式显示器(hmd)、平视显示器(hud)、智能眼镜(例如,虚拟现实(vr)眼镜、增强现实(ar)眼镜或其他智能眼镜)或任何其他合适的电子设备。58.例如,系统100的组件可以包括电子电路或其他电子硬件和/或可以使用它们来实现,这些电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如,微处理器、图形处理单元(gpu)、数字信号处理器(dsp)、中央处理单元(cpu)和/或其他合适的电子电路),和/或可以包括计算机软件、固件或它们的任何组合和/或使用它们来实现,以执行本文描述的各种操作。59.系统100的组件可以用于实现如上所述的译码操作(诸如dra操作和预测操作)、不同的预测模式,包括空间预测(例如,帧内预测(intra-frameprediction或intra-prediction))、时间预测(例如,帧间预测(inter-frameprediction或inter-prediction))、层间预测(跨视频数据的不同层)和/或其他预测技术,以减少或去除视频序列中固有的冗余。视频编码设备104可以将原始视频序列的每个图片划分成被称为视频块或译码单元的矩形区域(下文将更详细地描述)。这些视频块可以使用特定预测模式来编码。60.视频块可以以一个或多个方式划分成较小块的一个或多个组。块可以包括译码树块、预测块、变换块和/或其他合适的块。除非另有说明,通常对“块”的引用可以指此类视频块(例如,译码树块、译码块、预测块、变换块或其他适当的块或子块,如普通技术人员将理解的)。此外,这些块中的每一个在本文中也可以互换地被称为“单元”(例如,译码树单元(ctu)、译码单元、预测单元(pu)、变换单元(tu)等)。在一些情况下,单元可以指示在比特流中编码的译码逻辑单元,而块可以指示过程的目标所向的视频帧缓冲区的一部分。61.对于帧间预测模式,视频编码设备104可以搜索与在位于另一时间位置的帧(或图片)(被称为参考帧或参考图片)中编码的块类似的块。视频编码设备104可以将搜索制约到距要编码的块一定空间位移的位置。最佳匹配可以使用包括水平位移分量和垂直位移分量的二维(2d)运动向量来定位。对于帧内预测模式,视频编码设备104可以基于来自同一图片内先前经编码的相邻块的数据,使用空间预测技术来形成预测块。62.视频编码设备104可以确定预测误差。例如,预测误差可以被确定作为被编码的块与所预测的块中的像素值之间的差。预测误差也可以被称为残差。视频编码设备104还可以使用变换译码(例如,使用离散余弦变换(dct)的形式、离散正弦变换(dst)或其他合适的变换的形式)来对预测误差应用变换,以生成变换系数。在变换之后,视频编码设备104可以对变换系数进行量化。经量化的变换系数和运动向量可以使用语法元素来表示,并且连同控制信息一起形成视频序列的经译码表示。在一些实例中,视频编码设备104可以对语法元素进行熵译码,从而进一步减少其表示所需的比特数。63.视频解码设备112可以使用上面讨论的语法元素和控制信息来构建用于解码当前帧的预测数据(例如,预测块)。例如,视频解码设备112可以添加所预测的块和经压缩的预测误差。视频解码设备112可以通过使用经量化的系数对变换基函数进行加权来确定经压缩的预测误差。重构的帧与原始帧之间的差被称为重构误差。64.本文描述的技术可以应用于现有的视频编解码器或未来的视频译码标准(例如,高效率视频译码(hevc)、先进视频译码(avc)、mpeg5高效视频译码(evc)(例如,在etm5.0中实现的)、多功能视频译码(vvc)、联合探索模型(jem)、vp9、av1和/或开发中的其他视频编解码器、译码标准或将开发的译码标准或编解码器)中的任一个。65.虽然系统100被示出为包括某些组件,但是本领域普通技术人员将理解,系统100可以包括比图1所示的组件更多或更少的组件。例如,在一些实例中,系统100还可以包括除存储108和存储118之外的一个或多个存储器设备(例如,一个或多个随机存取存储器(ram)组件、只读存储器(rom)组件、高速缓存存储器组件、缓冲区组件、数据库组件和/或其他存储器设备)、与一个或多个存储器设备通信和/或电连接的一个或多个处理设备(例如,一个或多个cpu、gpu和/或其他处理设备)、用于执行无线通信的一个或多个无线接口(例如,包括一个或多个收发器和用于每个无线接口的基带处理器)、用于通过一个或多个硬接线连接执行通信的一个或多个有线接口(例如,串行接口,诸如通用串行总线(usb)输入、闪电(lightening)连接器和/或其他有线接口)和/或图1中未示出的其他组件。66.本文描述的译码技术适用于各种多媒体应用中的视频译码,包括流式传输视频传输(例如,通过因特网)、电视广播或传输、用于数据存储介质上的存储的数字视频的编码、存储在数据存储介质上的数字视频的解码或其他应用。在一些示例中,系统100可以支持单向或双向视频传输,以支持诸如视频会议、视频流式传输、视频回放、视频广播、游戏和/或视频电话的应用。67.编码设备104(或编码器)可以用于使用视频译码标准或协议来编码视频数据以生成经编码的视频比特流。视频译码标准的示例包括itu-th.261、iso/iecmpeg-1视觉、itu-th.262或iso/iecmpeg-2visual、itu-th.263、iso/iecmpeg-4视觉、itu-th.264(也被称作iso/iecmpeg-4avc)(包括其可缩放视频编译码(svc)和多视图视频译码(mvc)扩展)以及高效视频译码(hevc)或itu-th.265。存在对处理多层视频译码的hevc的各种扩展,包括范围和屏幕内容译码扩展、3d视频译码(3d-hevc)以及多视图扩展(mv-hevc)和可缩放扩展(shvc)。hevc及其扩展已由视频译码联合协作小组(jct-vc)以及itu-t视频译码专家组(vceg)和iso/iec运动图像专家组(mpeg)的3d视频译码扩展开发联合协作小组(jct-3v)来开发。68.mpeg和itu-tvceg也已成立联合探索视频小组(jvet)来为名为多功能视频译码(vvc)的下一代视频编解码标准探索和开发新的视频译码工具。参考软件被叫做vvc测试模型(vtm)。vvc的目标是在压缩性能上提供优于现有hevc标准的明显改进,帮助开发更高质量的视频服务和新兴应用(例如,诸如360°全方位沉浸式多媒体、高动态范围(hdr)视频以及其他)。vp9和开放媒体联盟(aomedia)视频1(av1)是其他视频译码标准,本文描述的技术可以应用于这些标准。69.本文描述的许多实施例可以使用视频编解码器(诸如mpeg5evc、vvc、hevc、avc和/或其扩展)来执行。然而,本文描述的技术和系统也可以适用于其他译码标准,诸如mpeg4或其他mpeg标准、联合摄影专家组(jpeg)(或其他用于静止图像的译码标准)、vp9、av1、其扩展或其他已经可用或尚未可用或开发的合适的译码标准。因此,虽然本文描述的技术和系统可以参考特定视频译码标准来描述,但本领域普通技术人员将理解,该描述不应被解释为仅应用于该特定标准。此外,如上所述,各方面可以用于此类视频编解码器,以在给定视频编解码器的上下文中处理多个格式时添加灵活性。此灵活性可以与多个色度dra处理模式的信令和语义相关联,并且管理视频数据格式的数据中的约束以防止未定义数据的信令通知和译码不明确(例如,不可靠的译码结果或产出)。70.参考图1,视频源102可以向编码设备104提供视频数据。视频源102可以是源设备的一部分,也可以是除源设备之外的设备的一部分。视频源102可以包括视频捕捉设备(例如,摄像机、照相电话、视频电话等)、包含存储的视频的视频存档、提供视频数据的视频服务器或内容提供商、从视频服务器或内容提供商接收视频的视频馈送接口、用于生成计算机图形视频数据的计算机图形系统、此类源的组合或任何其他合适的视频源。71.来自视频源102的视频数据可以包括一个或多个输入图片。图片也可以被称为“帧”。图片或帧是静止图像,在一些情况下,静止图像是视频的一部分。在一些示例中,来自视频源102的数据可以是并非视频的一部分的静止图像。在hevc、vvc和其他视频译码规范中,视频序列可以包括一系列图片。图片可以包括三个样本阵列,被表示为sl、so)和scr。sl是二维亮度样本阵列,so)是二维cb色度样本阵列,并且scr是二维cr色度样本阵列。色度样本在本文中也可以被称为“色度”样本。在其他实例中,图片可以是单色的,并且可以仅包括亮度样本阵列。像素可以指包括亮度和色度样本的、图片中的点。例如,给定像素可以包括来自sl阵列的亮度样本、来自scb阵列的cb色度样本值以及来自scr阵列的cr色度样本值。72.编码设备104的编码器引擎106(或编码器)编码视频数据以生成经编码的视频比特流。在一些示例中,经编码的视频比特流(或“视频比特流”或“比特流”)是一系列的一个或多个经译码的视频序列。经译码的视频序列(cvs)包括一系列的存取单元(accessunit,au),该一系列的au从在底层(baselayer)中具有随机存取点图片并具有某些属性的au开始,直到并且不包括在底层具有随机存取点图片并具有某些属性的下一个au。例如,开始cvs的随机存取点图片的某些属性可以包括等于1的随机存取跳过前导(randomaccessskippedleading,rasl)图片标志(例如norasloutputflag)。否则,随机存取点图片(rasl标志等于0)不开始cvs。存取单元(au)包括一个或多个经译码的图片和与共享相同输出时间的经译码的图片相对应的控制信息。经译码的图片切片以比特流级被封装成数据单元,被称为网络抽象层(nal)单元。例如,hevc视频比特流可以包括一个或多个包括nal单元的cvs。nal单元中的每一个都具有nal单元标头(nalunitheader)。在一个示例中,标头对于h.264/avc(多层扩展除外)为一字节,并且对于hevc为两字节。nal单元标头中的语法元素取指定的比特,并且因此对所有种类的系统和传输层(诸如传输流、实时传输(rtp)协议、文件格式等)都是可见的。73.hevc标准中存在两类nal单元,包括视频译码层(vcl)nal单元和非vclnal单元。vclnal单元包括形成经译码的视频比特流的经译码的图片数据。例如,形成经译码的视频比特流的比特序列存在于vclnal单元中。vclnal单元可以包括经译码的图片数据的一个切片(slice)或切片段(下文描述),并且非vclnal单元包括与一个或多个经译码的图片相关的控制信息。在一些情况下,nal单元可以被称为分组。hevcau包括:包含经译码的图片数据的vclnal单元和与经译码的图片数据相对应的非vclnal单元(如果有的话)。除其他信息外,非vclnal单元可以包含参数集,该参数集具有与经编码的视频比特流相关的高级信息。例如,参数集可以包括视频参数集(vps)、序列参数集(sps)以及图片参数集(pps)。在一些情况下,比特流的每个切片或其他部分可以参考单个活动的pps、sps和/或vps,以允许解码设备112存取可以用于解码比特流的切片或其他部分的信息。74.nal单元可以包含形成视频数据的经译码的表示(诸如视频中经译码的图片表示)的比特序列(例如,经编码的视频比特流、比特流的cvs等)。编码器引擎106通过将每个图片划分成多个切片来生成图片的经译码的表示。切片是独立于其他切片的,使得切片中的信息在不具有对来自同一图片内的其他切片的数据的依赖性的情况下被译码。切片包括一个或多个切片段,包括独立切片段,并且如果存在的话,还包括一个或多个依赖于先前的切片段的依赖切片段。75.在hevc中,切片然后被划分成亮度样本与色度样本的译码树块(ctb)。亮度样本的ctb和色度样本的一个或多个ctb、连同样本的语法被称为译码树单元(ctu)。ctu也可以被称为“树块”或“最大译码单元(lcu)”。ctu是用于hevc编码的基本处理单元。ctu可以被分割成不同大小的多个译码单元(cu)。cu包含被称为译码块(cb)的亮度和色度样本阵列。如上所述,在一些示例中,与亮度样本相关联的动态范围可以直接地同与色度样本相关联的动态范围相关联,并且在其他格式中,亮度和色度动态范围是独立的。本文描述的方面(诸如evc方面)可以使用在dra语法元素中信令通知的不同模式来管理存在于给定格式的视频流中的样本的dra处理。如本文所述,dra与用于视频处理的表列参数集相关联。根据本文描述的方面,dra语法元素可以包括对表列参数集的存取点的指示。根据一些方面,dra语法元素可以附加地包括与多个dra模式相关联的指示(例如,指示可用dra模式中的当前模式,诸如当联合模式和独立模式可用时,指示联合模式是当前模式)。dra语法元素(例如,在一个示例中,具有从0至58的分配值)既可以指示多个dra模式中的dra模式(例如,在一个示例中,联合模式用于某些分配值,诸如0-57,以及独立模式用于分配值58),同时也可以指示表列参数集(例如,dra语法元素的分配值指示将在dra处理中使用的表列参数集)。76.亮度和色度cb可以被进一步分割成预测块(pb)。pb是亮度分量或色度分量的样本块,其使用相同的运动参数用于帧间预测或帧内块复制预测(当可用或被使能以供使用时)。亮度pb和一个或多个色度pb、以及相关联的语法形成预测单元(pu)。对于帧间预测,运动参数集(例如,一个或多个运动向量、参考索引等)在针对每个pu的比特流中被信令通知,并且被用于亮度pb和一个或多个色度pb的帧间预测。运动参数也可以被称为运动信息。cb也可以被划分成一个或多个变换块(tb)。tb表示颜色分量的正方形样本块,在该样本块上,应用残差变换(例如,在一些情况下是相同的二维变换)以用于译码预测残差信号。变换单元(tu)表示亮度和色度样本的tb、以及对应的语法元素。下文将更详细地描述变换译码。77.cu的大小对应于译码模式的大小,并且在形状上可以是方形。例如,cu的大小可以是8×8个样本、16×16个样本、32×32个样本、64×64个样本或任何其他适当的大小,直到对应的ctu的大小。在本文中使用的短语“n×n”是指视频块在垂直和水平维度方面的像素维度(例如,8个像素×8个像素)。块中的像素可以以行和列布置。在一些实施例中,块在水平方向上的像素数量可以与在垂直方向上的像素数量不一样。与cu相关联的语法数据可以描述例如将cu划分成一个或多个pu。划分模式在cu是帧内预测模式编码还是帧间预测模式编码之间可以不同。pu在形状上可以被划分为非正方形。与cu相关联的语法数据也可以描述例如根据ctu将cu划分成一个或多个tu。tu在形状上可以是正方形或非正方形。78.根据hevc标准,变换可以使用变换单元(tu)来执行。对于不同的cu,tu可以不同。tu的大小设计可以基于给定cu内的pu的大小。tu的大小可以与pu的大小相同或更小。在一些示例中,与cu相对应的残差样本可以使用被称作残差四叉树(rqt)的四叉树结构被细分成更小的单元。rqt的叶节点对应于tu。与tu相关联的像素差值可以被变换以产生变换系数。然后,变换系数可以由编码器引擎106来量化。79.一旦视频数据的图片被划分成cu,编码器引擎106便使用预测模式来预测每个pu。然后,预测单元或预测块从原始视频数据中被减去,以得到残差(下文描述)。对于每个cu,预测模式可以在比特流内部使用语法数据来信令通知。预测模式可以包括帧内预测(或图片内预测)或帧间预测(或图片间预测)。帧内预测利用图片内在空间上相邻样本之间的相关性。例如,使用帧内预测,每个pu是从同一图片中的相邻图像数据中使用例如dc预测以找到pu的平均值、使用平面预测以将平面表面适配到pu上、使用方向预测以从相邻数据中外推或任何其他合适类型的预测来预测的。帧间预测使用图片之间的时间相关性,以便导出图像样本块的经运动补偿的预测。例如,使用帧间预测,每个pu是从一个或多个参考图片(按输出次序在当前图片之前或之后)中的图像数据中使用运动补偿预测来预测的。是否使用图片间预测或图片内预测来译码图片区域的决定可以例如在cu级上做出。80.编码器引擎106和解码器引擎116(下文更详细描述)可以被配置为根据vvc操作。根据vvc,视频译码器(诸如编码器引擎106和/或解码器引擎116)将图片划分成多个译码树单元(ctu)(其中,亮度样本的ctb和色度样本的一个或多个ctb、连同样本的语法被称为ctu)。视频译码器可以根据树结构,诸如四叉树-二叉树(qtbt)结构或多类型树(mtt)结构来划分ctu。qtbt结构去除了多个划分类型的概念,诸如hevc的cu、pu和tu之间的分离。qtbt结构包括两级,包括根据四叉树划分来划分的第一级和根据二叉树划分来划分的第二级。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。81.在mtt划分结构中,块可以使用四叉树(qt)划分、二叉树(bt)划分和一个或多个类型的三叉树(tt)划分来划分。三叉树划分是将块分割成三个子块的划分。在一些示例中,三叉树划分将块分成三个子块,而不通过中心来分原始块。mtt(例如,四叉树、二叉树和三叉树)中的划分类型可以是对称的或者不对称的。82.在一些示例中,视频译码器可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一个,而在其他示例中,视频译码器可以使用两个或更多个qtbt或mtt结构,诸如一个qtbt或mtt结构用于亮度分量,并且另一qtbt或mtt结构用于两个色度分量(或者两个qtbt和/或mtt结构用于各自的色度分量)。83.视频译码器可以被配置为使用按照hevc的四叉树划分、qtbt划分、mtt划分或其他划分结构。出于说明的目的,本文的描述可以指qtbt划分。然而,应当理解的是,本公开的技术也可以应用于被配置为使用四叉树划分或其他类型的划分的视频译码器。84.pu可以包括与预测过程相关的数据(例如,运动参数或其他合适的数据)。例如,当pu是使用帧内预测来编码的时,pu可以包括描述用于pu的帧内预测模式的数据。作为另一示例,当pu是使用帧间预测来编码的时,pu可以包括定义pu的运动向量的数据。定义pu的运动向量的数据可以描述,例如,运动向量的水平分量(δx)、运动向量的垂直分量(δy)、运动向量的分辨率(例如,整数精度、四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片、参考索引、运动向量的参考图片列表(例如,列表0、列表1或列表c)或它们的任何组合。85.在使用帧内预测和/或帧间预测执行预测之后,编码设备104可以执行变换和量化。例如,在预测之后,编码器引擎106可以计算与pu相对应的残差值。残差值可以包括被编码的当前像素块(pu)与用于预测当前块的预测块(例如,当前块的预测版本)之间的像素差值。例如,在生成预测块(例如,使用帧间预测或帧内预测)之后,编码器引擎106可以通过从当前块中减去由预测单元产生的预测块来生成残差块。残差块包括像素差值集,该像素差值集对当前块的像素值与预测块的像素值之间的差进行量化。在一些示例中,残差块可以以二维块格式表示(例如,像素值的二维矩阵或阵列)。在此类示例中,残差块是像素值的二维表示。86.在预测被执行之后,可能剩余的任何残差数据使用块变换被变换,该块变换可以基于离散余弦变换(dct)、离散正弦变换(dst)、整数变换、小波变换、其他合适的变换函数或它们的任何组合。在一些情况下,一个或多个块变换(例如,大小为32×32、16×16、8×8、4×4或其他合适大小的内核)可以应用于每个cu中的残差数据。在一些示例中,tu可以用于由编码器引擎106实现的变换和量化过程。具有一个或多个pu的给定cu也可以包括一个或多个tu。如下文进一步详细描述的,残差值可以使用块变换被变换成变换系数,并且然后可以使用tu被量化和扫描,以产生用于熵译码的串行化的变换系数。87.在一些实施例中,在使用cu的pu的帧内预测或帧间预测译码后,编码器引擎106可以计算cu的tu的残差数据。pu可以包括空间域(或像素域)中的像素数据。如先前所指出的,残差数据可以对应于未经编码的图片的像素与对应于pu的预测值之间的像素差值。编码器引擎106可以形成包括cu(其包括pu)的残差数据的一个或多个tu,并且然后可以变换tu以产生cu的变换系数。tu可以包括应用块变换后的变换域中的系数。88.编码器引擎106可以执行变换系数的量化。量化通过对变换系数进行量化以减少用于表示系数的数据量来提供进一步的压缩。例如,量化可以减少与系数中的一些或全部相关联的比特深度。在一个示例中,具有n比特值的系数可以在量化期间被四舍五入为m比特值,其中,n大于m。89.一旦量化被执行,经译码的视频比特流包括经量化的变换系数、预测信息(例如,预测模式、运动向量、块向量等)、划分信息和任何其他合适的数据,诸如其他语法数据。经译码的视频比特流的不同元素然后可以由编码器引擎106来熵编码。在一些示例中,编码器引擎106可以利用预定义扫描次序来扫描经量化的变换系数,以产生可以被熵编码的串行化向量。在一些示例中,编码器引擎106可以执行自适应扫描。在扫描经量化的变换系数以形成向量(例如,一维向量)之后,编码器引擎106可以对该向量进行熵编码。例如,编码器引擎106可以使用上下文自适应变长译码、上下文自适应二进制算术译码、基于语法的上下文自适应二进制算术译码、概率区间划分熵译码或另一合适的熵编码技术。90.编码设备104的输出110可以通过通信链路120将构成经编码的视频比特流数据的nal单元发送到接收设备的解码设备112。解码设备112的输入114可以接收nal单元。通信链路120可以包括由无线网络、有线网络或有线和无线网络的组合提供的信道。无线网络可以包括任何无线接口或无线接口的组合,并且可以包括任何合适的无线网络(例如,因特网或其他广域网、基于分组的网络、wifitm、射频(rf)、超宽带(uwb)、wifi-direct、蜂窝、长期演进(lte)、wimaxtm等)。有线网络可以包括任何有线接口(例如,光纤、以太网、电力线以太网、同轴电缆以太网、数字信号线(dsl)等)。有线和/或无线网络可以使用各种装备来实现,诸如基站、路由器、接入点、网桥、网关、交换机等。经编码的视频比特流数据可以根据通信标准(诸如无线通信协议)来调制,并且被发送到接收设备。91.在一些示例中,编码设备104可以将经编码的视频比特流数据存储在存储108中。输出110可以从编码器引擎106或从存储108中检索经编码的视频比特流数据。存储108可以包括各种各样的分布式或本地存取的数据存储介质中的任一个。例如,存储108可以包括硬盘驱动器、存储光盘、闪速存储器、易失性或非易失性存储器或用于存储经编码的视频数据的任何其他合适的数字存储介质。存储108还可以包括用于存储供帧间预测使用的参考图片的解码图片缓冲区(dpb)。在进一步的示例中,存储108可以对应于文件服务器或可以存储由源设备生成的经编码的视频的另一中间存储设备。在此类情况下,包括解码设备112的接收设备可以经由流式传输或下载从存储设备存取所存储的视频数据。文件服务器可以是能存储经编码的视频数据并向接收设备发送该经编码的视频数据的任何类型的服务器。示例文件服务器包括网页服务器(例如,用于网站的)、ftp服务器、网络附加存储(nas)设备或本地磁盘驱动器。接收设备可以通过包括因特网连接的任何标准数据连接来存取经编码的视频数据。存取可以经由适于存取被存储在文件服务器上的经编码的视频数据的无线信道(例如,wi-fi连接)、有线连接(例如,dsl、电缆调制解调器等)或两者的组合发生。来自存储108的经编码的视频数据的传输可以是流式传输、下载传输或它们的组合。92.解码设备112的输入114接收经编码的视频比特流数据,并且可以将视频比特流数据提供给解码器引擎116,或提供给存储118以供解码器引擎116以后使用。例如,存储118可以包括用于储存参考图片以供帧间预测使用的dpb。包括解码设备112的接收设备可以经由存储108接收要解码的经编码的视频数据。经编码的视频数据可以根据通信标准(诸如无线通信协议)来调制,并且被发送到接收设备。用于发送经编码的视频数据的通信介质可以包括任何无线或有线通信介质,诸如射频(rf)频谱或一个或多个物理传输线。通信介质可以形成基于分组的网络(诸如局域网、广域网或全球网(诸如因特网))的一部分。通信介质可以包括路由器、交换机、基站或可以有助于促进从源设备到接收设备的通信的任何其他装置。93.解码器引擎116可以通过熵解码(例如,使用熵解码器)并提取构成经编码的视频数据的一个或多个经译码的视频序列的元素来对经编码的视频比特流数据进行解码。然后,解码器引擎116可以重新缩放经编码的视频比特流数据并对其执行逆变换。残差数据然后被传递到解码器引擎116的预测阶段。解码器引擎116然后预测像素块(例如,pu)。在一些示例中,预测被添加到逆变换的输出(残差数据)中。94.视频解码设备112可以将经解码的视频输出到视频目的设备122,该目的设备122可以包括用于向内容的消耗者显示经解码的视频数据的显示器或其他输出设备。在一些方面中,视频目的设备122可以是包括解码设备112的接收设备的一部分。在一些方面中,视频目的设备122可以是除了接收设备之外的单独设备的一部分。95.在一些实施例中,视频编码设备104和/或视频解码设备112可以分别与音频编码设备和音频解码设备集成。视频编码设备104和/或视频解码设备112还可以包括实现上述译码技术所必须的其他硬件或软件,诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑器件、软件、硬件、固件或它们的任何组合。视频编码设备104和视频解码设备112可以作为组合式编码器/解码器(编解码器)的一部分集成在相应的设备中。96.图1所示的示例系统是可以在本文中使用的一个说明性示例。用于使用本文描述的技术来处理视频数据的技术可以由任何数字视频编码和/或解码设备来执行。尽管本公开的技术通常是由视频编码设备或视频解码设备来执行,但这些技术也可以由组合式视频编码器解码器(典型地被称为“编解码器(codec)”)来执行。此外,本公开的技术也可以由视频预处理器来执行。源设备和接收设备仅仅是此类译码设备的示例,其中源设备生成经译码的视频数据用于向接收设备传输。在一些示例中,源设备和接收设备可以以基本对称的方式操作,使得每个设备都包括视频编码和解码组件。因此,示例系统可以支持视频设备之间的单向或双向视频传输,例如用于视频流式传输、视频回放、视频广播或视频电话。97.一般来说,层包括vclnal单元的集合和对应的非vclnal单元的集合。nal单元可以被分配特定层id值。从层可以依赖于较低层的意义上来说,层可以是分层次的。层集是指在比特流内表示的层的集合,这些层是自含式的,这意味着层集内的层在解码过程中可以依赖层集中的其他层,但不依赖任何其他层用于解码。因此,层集中的层可以形成可以表示视频内容的独立比特流。层集中的层的集合可以通过子比特流提取过程的操作从另一比特流中获取。层集可以对应于当解码器想要根据某些参数操作时要解码的层的集合。98.如先前所描述的,hevc比特流包括一组nal单元,包括vclnal单元和非vclnal单元。vclnal单元包括形成经译码的视频比特流的经译码的图片数据。例如,形成经译码的视频比特流的比特序列存在于vclnal单元中。除其他信息外,非vclnal单元可以包含参数集,该参数集具有与经编码的视频比特流相关的高级信息。例如,参数集可以包括视频参数集(vps)、序列参数集(sps)以及图片参数集(pps)。参数集的目标的示例包括比特率效率、错误弹性和提供系统层接口。每个切片都参考单个活动的pps、sps和vps来存取解码设备112可以用于解码该切片的信息。标识符(id)可以针对每个参数集被译码,包括vpsid、spsid和ppsid。sps包括spsid和vpsid。pps包括ppsid和spsid。每个切片标头都包括ppsid。使用这些id,可以为给定切片标识活动参数集。99.pps包括应用于给定图片中所有切片的信息,从而致使图片中的所有切片都参考相同的pps。不同图片中的切片也可以参考同一个pps。sps包括应用于相同的经译码的视频序列(cvs)或比特流中的所有图片的信息。如先前所描述的,经译码的视频序列是一系列的存取单元(au),该系列au从在底层中并具有某些属性(上文描述)的随机存取点图片(例如,瞬时解码参考(idr)图片或断链存取(bla)图片或其他适当的随机存取点图片)开始,直到并且不包括在底层中具有随机存取点图片并具有某些属性的下一个au(或比特流的结束)。sps中的信息可以不随着经译码的视频序列内的图片发生改变。经译码的视频序列中的图片可以使用相同的sps。vps包括应用于经译码的视频序列或比特流内的所有层的信息。vps包括具有应用于整个经译码的视频序列的语法元素的语法结构。在一些实施例中,vps、sps或pps可以与经编码的比特流一起被带内发送。在一些实施例中,vps、sps或pps可以在与包含经译码的视频数据的nal单元不同的单独传输中被带外发送。100.各种色度格式可以用于视频。色度格式语法元素可以用于指定色度采样。例如,如条款6.2(例如,vvc标准的条款,诸如jvet-q2001-vd)所指定的,语法元素chroma_format_idc相对于亮度采样指定色度采样。取决于chroma_format_idc的值,变量subwidthc和subheightc的值如条款6.2所指定的来分配,并且变量chromaarraytype的值被分配。例如,变量subwidthc和subheightc的值可以在下表1中被分配如下:[0101][0102]表1[0103]取决于通过chroma_format_idc指定的色度格式采样结构,变量subwidthc和subheightc在下表2中被指定。chroma_format_idc、subwidthc和subheightc的其他值可以在将来由iso/iec指定。[0104]chroma_format_idc色度格式subwidthcsubheightc0单色1114:2:02224:2:22134:4:411[0105]表2[0106]在单色采样中,只有一个样本阵列,其名义上被认为是亮度阵列。在4:2:0采样中,两个色度阵列中的每一个都具有亮度阵列的一半高度和一半宽度。在4:2:2采样中,两个色度阵列中的每一个都具有亮度阵列的相同高度和一半宽度。在4:4:4采样中,两个色度阵列中的每一个都具有与亮度阵列相同的高度和宽度。[0107]下一代视频应用预计将用表示具有高动态范围(hdr)和广色域(wcg)的捕获景色的视频数据操作。所利用的动态范围和色域的参数是视频内容的两个独立属性,并且它们的规范出于数字电视和多媒体服务的目的由几个国际标准来定义。例如,建议itu-rbt.709-6(被表示为rec.709或bt.709)定义了用于hdtv的参数,诸如标准动态范围(sdr)和标准色域,并且itu-r建议bt.2020(被表示为rec.2020或bt.2020)指定了超高清(uhd)电视参数,诸如hdr和wgc。还有指定其他系统中的这些属性的其他文件,(例如,p3色域在电影电视工程师协会(smpte)-231-2中被定义,并且hdr的一些参数在smpte-2084(也被表示为st-2084)中被定义。[0108]动态范围可以被定义为视频信号的最低明度(minimumbrightness)与最高明度之间的比率。动态范围也可以依据光圈级数(f-stop)来测量。例如,在相机中,光圈级数是镜头的焦距与相机光圈直径的比率。一个光圈级数可以对应于视频信号的动态范围的两倍。作为示例,mpeg将hdr内容定义为以明度变化超过16个光圈级数为特征的内容。在一些示例中,10到16个光圈级数之间的动态范围被认为是中间动态范围,尽管在其他示例中,此动态范围被认为是hdr动态范围。人类视觉系统能够用于感知大得多的动态范围,然而,它包括适应机制来缩小同步范围(simultaneousrange)。目前的视频应用和服务受rec.709调控并提供sdr,典型地支持每平方米(m2)在0.1到100坎德拉(cd)左右的明度(或亮度)范围,从而导致小于10个光圈级数。下一代视频服务预计将提供高达16个光圈级数的动态范围,并且尽管详细的规范目前正在开发中,但st-2084和rec.2020中已经指定了一些初始参数。[0109]图2示出了与各种显示器类型的动态范围相比较的典型人类视觉202的动态范围。图2示出了以尼特(nit)对数缩放(例如,以cd/m2对数缩放)的亮度范围200。举例来说,在图示的亮度范围200上,星光近似为0.0001尼特,并且月光约为0.01尼特。典型的室内光线在亮度范围200上可能介于1与100之间。阳光在亮度范围200上可能介于10,000尼特与1,000,000尼特之间。[0110]人类视觉202能够感知小于0.0001尼特到大于1,000,000尼特之间的任何地方,精确范围因人而异。人类视觉202的动态范围包括同步动态范围204。同步动态范围204被定义为在眼睛处于完全适应状态时可以检测到物体的最高亮度值与最低亮度值之间的比率。当眼睛在调整到当前环境光条件或亮度水平之后处于稳定状态时,就会发生完全适应。尽管在图2的示例中同步动态范围204被示出为介于约0.1尼特与约3200尼特之间,但同步动态范围204可以沿亮度范围200的其他点为中心,并且宽度可以以不同亮度水平变化。此外,同步动态范围204可以因而异。[0111]图2进一步示出了sdr显示器206和hdr显示器208的近似动态范围。sdr显示器206包括监视器、电视、平板电脑屏幕、智能手机屏幕和其他能够显示sdr视频的显示设备,hdr显示器208包括例如超高清电视以及其他电视和监视器。[0112]rec.709规定,sdr显示器206的动态范围可以是约0.1到100尼特,或约10个光圈级数,这明显低于人类视觉202的动态范围。sdr显示器206的动态范围也小于所示出的同步动态范围204。一些视频应用和服务受rec.709调控并且提供sdr,典型地支持0.1到100尼特左右的明度(或亮度)范围。sdr显示器206也无法准确地再现夜间条件(例如,星光,约0.0001尼特)或明亮的户外条件(例如,1,000,000尼特左右)。[0113]如上文所指出的,下一代视频服务预计将提供高达16个光圈级数的动态范围。与sdr显示器206相比,hdr显示器208可以覆盖更宽的动态范围。例如,hdr显示器208可以具有约0.01尼特到约5600尼特(或16个光圈级数)的动态范围。虽然hdr显示器208也不涵盖人类视觉的动态范围,但hdr显示器208可能更接近于能够覆盖普通人的同步动态范围204。hdr显示器208的动态范围参数的规范可以在例如rec.2020和st-2084中找到。[0114]色域描述了特定设备(诸如显示器或打印机)上可用的颜色范围。色域也可以被称为颜色维度。图3示出了重叠有表示sdr色域304的三角形和表示hdr色域302的三角形的色度图300的示例。图300中的曲线306上的值是颜色的光谱;也就是说,由可见光谱中的光的波长引起的颜色。曲线306下面的颜色是非光谱的:曲线306的较低点之间的直线被称为紫色的线,并且图300内部的颜色是不饱和颜色,不饱和颜色是光谱颜色或紫色与白色的各种混合色。标有d65的点指示所示出的光谱曲线306的白色的位置。曲线306也可以被称为光谱轨迹或光谱的轨迹,表示自然色的极限。[0115]表示sdr色域304的三角形基于如由rec.709规定的红、绿和蓝色原色。sdr色域304是由hdtv、sdr广播和其他数字媒体内容使用的颜色空间。[0116]表示广hdr色域302的三角形基于如由rec.2020规定的红、绿和蓝色原色。如图3所示,hdr色域302提供了比sdr色域304多约70%的颜色。由其他标准定义的色域,诸如数字电影倡导(dci)p3(被称为dci-p3),提供了比hdr色域302甚至更多的颜色。dci-p3被用于数字移动投影。[0117]表3示出了所选择的颜色空间的色度参数的示例,包括由rec.709、rec.2020和dci-p3规定的颜色空间。对于每个颜色空间,下表3提供了用于色度图的x和y坐标。[0118][0119]表3[0120]具有大颜色容量的视频数据(例如,具有高动态范围和广色域的视频数据)可以以每分量高精确度被取得和存储。例如,可以使用浮点值来表示每个像素的亮度和色度值。作为进一步的示例,可以使用4:4:4色度格式,其中亮度、色度-蓝和色度-红分量各自具有相同的采样率。也可以使用4:4:4表示法(notation)来指代红-绿-蓝(rgb)颜色格式。作为进一步的示例,可以使用非常宽的颜色空间,诸如由国际照明委员会(cie)1931xyz定义的颜色空间。以高精确度表示的视频数据在数学上可以是几乎无损的。然而,高精度表示可能包括冗余,并且对于压缩可能不是最佳的。因此,经常使用较低精度格式,其目的在于显示人眼可以看到的颜色容量。[0121]图4示出了用于在编码设备(例如,编码设备104)处出于压缩的目的执行hdr视频数据格式转换的过程400的示例。hdr数据可以具有较低的精度,并且可以更容易被压缩。示例过程400包括非线性传递函数404,该非线性传递函数404处理包括线性rgb数据402的视频数据。非线性传递函数404可以压缩线性rgb数据402的动态范围。过程400还包括颜色转换406,该颜色转换406可以产生更紧凑或更鲁棒的颜色空间。过程400还包括量化408功能,该功能可以将浮点表示转换为整数表示(量化)。[0122]图5示出了用于由解码设备(例如,解码设备112)对于hdr视频数据执行逆转换的过程500的示例。示例过程500执行逆量化524(例如,用于将整数表示转换为浮点表示)、逆颜色转换526和逆传递函数528功能以生成线性rgb数据530。[0123]在各种示例中,以线性表示和浮点表示的输入rgb数据的高动态范围可以使用非线性传递函数404来压缩。非线性传递函数404的说明性示例是在st-2084中定义的感知量化器。传递函数404的输出可以通过颜色转换406转换为目标颜色空间。目标颜色空间可以是更适合于由编码设备进行压缩的颜色空间(例如,ycbcr)。然后可以使用量化408来将数据转换为整数表示。[0124]示例过程400和500的步骤的次序是可以执行这些步骤的次序的说明性示例。在其他示例中,这些步骤可以以不同的次序发生。例如,颜色转换406可以先于传递函数404。在另一示例中,逆颜色转换526可以在逆传递函数528之后执行。在其他示例中,还可以发生附加的处理。例如,空间子采样可以应用于颜色分量。[0125]传递函数404可以应用于图像中的数据,以压缩数据的动态范围。压缩动态范围可以使视频内容能用有限的比特数来表示数据。传递函数404可以是一维的非线性函数,其可以反映终端消费者显示器的电光传递函数(eotf)的逆(例如,如rec.709中为sdr指定的),或者可以近似人类视觉系统对明度改变的感知(例如,如由st-2084中为hdr指定的感知量化器(pq)传递函数为hdr指定的)。电光传递函数(eotf)描述了被称为代码级或代码值的数字值如何变成可见光。例如,eotf可以将代码级映射回亮度。电光变换的逆过程是光电变换(oetf),其从亮度产生代码级。[0126]根据诸如mpeg和jvet(例如,vvc、hevc等)的标准的视频译码方法可以包括应用于视频译码方案的输出样本的动态范围调整(dra)。如上所述,本文所述的各方面可以包括多个dra模式,以允许禁用一些信号的色度dra处理。dra可以使用诸如缩放和偏移值的参数,这些参数是特定样本的函数。通过实现dra,经编码的信号的感知失真(例如,在信噪比方面)可以在动态范围内被线性化。在一些示例中,一个视频样本可以用于在另一个视频样本上实现dra。例如,经解码的亮度分量可以用于在色度分量上实现dra。在一些实现方式中,dra可以被实现为1抽头(tap)滤波器。1抽头滤波器可以是一个函数,该函数包括取决于输入样本的值的缩放和偏移参数。在一些实现方式中,可以使用其他具有多个抽头的滤波器。dra的示例在d.rusanovskyy、a.k.ramasubramonian、d.bugdayci、s.lee、j.sole、m.karczewicz的“动态范围调整sei以使能具有向后兼容能力的高动态范围视频编码(dynamicrangeadjustmentseitoenablehighdynamicrangevideocodingwithbackward-compatiblecapability)”中描述,该文献见vceg文件com16-c1027-e,2015年9月,其在此通过引用将其全部内容并入并且用于所有目的。[0127]在一些情况下,dra可以被实现为分段线性函数f(x),其被定义用于输入值x的一组不重叠的动态范围分区(范围){ri},其中i是范围为0到n-1(含端值)的范围的索引,并且其中n是被利用于定义dra函数(例如,色度dra函数和/或亮度dra函数)的范围{ri}的总数。dra的范围可以由属于范围ri的最小和最大x值定义,例如,[xi,xi+1-1],其中xi和xi+1分别表示范围ri和ri+1的最小值。当被应用于视频的y颜色分量(亮度)时,dra函数sy是通过应用于每一个x∈[xi,xi+1-1]的缩放sy,i和偏移oy,i来定义的,因此sy={sy,i,oy,i}。[0128]有了上面的细节,对于任意ri,和每一个x∈[xi,xi+1-1],输出值x的计算如下:[0129]x=sy,i*(x-oy,i)ꢀꢀꢀ公式(1)[0130]对于在解码器处进行的亮度分量y的逆dra映射过程,dra函数sy是由应用于每一个x∈[xi,xi+1-1]的缩放sy,i和偏移oy,i值的倒数来定义的。[0131]有了上面的细节,对于任意ri,和每个x∈[xi,xi+1-1],重构的值x的计算如下:[0132]x=x/sy,i+oy,iꢀꢀꢀ公式(2)[0133]色度分量cb和cr的正向dra映射过程被定义如下。示例中,项“u”表示属于范围ri的cb颜色分量的样本,u∈[ui,ui+1-1],因此su={su,i,ou,i}:[0134]u=su,i*(u-oy,i)+offsetꢀꢀꢀ公式(3)[0135]其中,offset等于2(bitdepth-1),并且表示双极cb、cr信号偏移。[0136]在解码器处对色度分量cb和cr进行的逆向dra映射过程被定义如下。示例中,项u表示属于范围ri的重映射的cb颜色分量的样本,u∈[ui,ui+1-1]:[0137]u=(u-offset)/su,i+oy,iꢀꢀꢀ公式(4)[0138]其中,offset等于2(bitdepth-1),表示双极cb、cr信号偏移。在一些方面中,对于不同格式的视频数据,上述dra过程可以以不同的方式执行。例如,在一些方面中,ycbcr信号可以用根据上文的色度dra处理来处理,但被同一译码设备处理的灰度信号可以受制于色度dra处理被禁用的替代dra模式。[0139]在一些方面中,可以执行亮度驱动式色度缩放(lcs)。lcs的示例在a.k.ramasubramonian、j.sole、d.rusanovskyy、d.bugdayci、m.karczewicz的jctvc-w0101,hdrce2:reportonce2.a-1lcs中描述,其在此通过引用将其整体并入并且用于所有目的。在一个示例中,调整色度信息(例如,ycbcr格式视频数据的cb和cr)的方法可以通过利用与经处理的色度样本相关联的明度信息来执行。与上述dra方法有一些类似,参数可以被应用于色度样本,包括用于cb的缩放因子su和用于cr的缩放因子sv,i。然而,lcs方法可以利用亮度值y来导出用于色度样本的缩放因子,而不是将dra函数定义为可由色度值u或v访问的范围{ri}集的分段线性函数su={su,i,ou,i}。有了上面的细节,可以如下进行色度样本u(或v)的正向lcs映射:[0140]u=su,i(y)*(u-offset)+offsetꢀꢀꢀꢀ公式(5)[0141]在解码器端进行的逆向lcs过程可以被定义如下:[0142]u=(u-offset)/su,i(y)+offsetꢀꢀꢀꢀ公式(6)[0143]在一些情况下,对于位于(x,y)的给定像素,色度样本cb(x,y)和/或cr(x,y)被缩放,其因子是从可由其亮度值y’(x,y)存取的其lcs函数scb(和/或scr,)中导出的。[0144]在一些示例中,在色度样本的正向lcs期间,cb(和/或cr)值及其相关联的亮度值y’被作为对色度缩放函数scb(或scr,)的输入,并且cb和/或cr如公式7所示被转换成cb’和/或cr’。在解码器端,应用了逆向lcs,重构的cb′和/或cr’如公式8所示被转换为cb和/或cr。[0145]cb′(x,y)=scb(y′(x,y))*cb(x,y),[0146]cr′(x,y)=scr(y′(x,y))*cr(x,y)[0147]公式(7)[0148][0149][0150]图6是示出lcs函数的示例的图形600。关于图6的示例中的lcs函数,具有较小的亮度值的像素的色度分量被乘以较小的缩放因子。[0151]dra样本缩放函数(例如,色度缩放dra函数)与视频译码设备(例如,编码设备、解码设备或组合式视频编码器解码器设备或编解码器)的量化参数之间存在关系。例如,如上所述,为了在编码器处调整压缩比,基于块变换的视频译码方案(诸如hevc)利用被应用于块变换系数的标量(scalar)量化器。[0152]xq=x/scalerqpꢀꢀꢀ公式(9)[0153]其中,xq是通过应用从qp参数中导出的标量scalerqp产生的变换系数x的经量化的码值;在大多数编解码器中,经量化的码值将近似为整数值(例如通过四舍五入);在一些编解码器中,量化可以是不同的函数,它不仅取决于qp,还取决于编解码器的其他参数。[0154]标量值scalerqp是用量化参数(qp)控制的,qp与标量量化器之间的关系被定义如下,其中k是已知常数:[0155]scalerqp=k*2^(qp/6)ꢀꢀꢀ公式(10)[0156]逆函数如下定义应用于变换系数的标量量化器与hevc的qp之间的关系:[0157]qp=ln(scalerqp/k)*6/ln(2)ꢀꢀꢀ公式(11)[0158]相应地,qp值的加性改变(例如δqp)可以导致应用于变换系数的scalerqp值的乘性改变。[0159]dra有效地将scaledra值应用于像素样本值,并且考虑了变换属性,这些变换属性可以如下与scalerqp值相组合:[0160]xq=t(scaledra*x)/scalerqpꢀꢀꢀ公式(12)[0161]其中,xq是由经缩放的x样本值的变换t产生的经量化的变换系数,并且是用在变换域中应用的scalerqp来缩放的。因此,在像素域中应用乘数scaledra导致在变换域中应用的标量量化器scalerqp的有效改变。该改变可以以应用于当前处理的数据块的qp参数的加性改变来解释:[0162]dqp=log2(scaledra)*6ꢀꢀꢀ公式(13)[0163]其中,dqp是由hevc通过在输入数据上部署dra引入的近似qp偏移。[0164]在一些视频格式中,存在对亮度qp值的色度qp依赖性。一些视频译码设计(诸如hevc和较新的设计)可以利用有效地被应用以处理当前译码的块cb的亮度qp值与色度qp值之间的预定义依赖性。色度值与亮度值之间的此关系可以被利用来实现视频数据流的亮度分量与色度分量之间的改进的比特率分配。[0165]在其他视频格式中(例如,灰度4:0:0格式,例如),色度值与亮度值之间的此种关系要么不存在,要么无助于改进译码性能(例如,经由亮度分量与色度成分之间的比特率分配)。本文描述的各面可以使单个译码系统能具有dra模式,以便一些模式可以使用色度值与亮度值之间的关系(例如,对亮度qp值的色度qp依赖性),以及实现色度和亮度值的独立dra的至少一个替代模式。[0166]为了实现依赖模式,下表4表示了此依赖性的示例。在依赖模式中,被应用用于解码色度样本的qp值是从被利用用于解码亮度样本的qp值中导出的。[0167]当chromaarraytype等于0时,以下适用:[0168]–变量qpcb和qpcr,它们的导出如下:[0169]–如果tu_residual_act_flag[xtby][ytby]等于0,则以下适用:[0170]qpicb=clip3(-qpbdoffsetc,57,qpy+pps_cb_qp_offset+slice_cb_qp_offset+cuqpoffsetcb)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-287)[0171]qpicr=clip3(-qpbdoffsetc,57,qpy+pps_cr_qp_offset+slice_cr_qp_offset+cuqpoffsetcr)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-288)[0172]–否则,(tu_residual_act_flag[xtby][ytby]等于1),则以下适用:[0173]qpicb=clip3(-qpbdoffsetc,57,qpy+ppsactqpoffsetcb+slice_act_cb_qp_offset+cuqpoffsetcb)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-289)[0174]qpicr=clip3(-qpbdoffsetc,57,qpy+ppsactqpoffsetcr+slice_act_cr_qp_offset+cuqpoffsetcr)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-290)[0175]–如果chromaarraytype等于1,则变量qpcb和qpcr被设置为等于如表4中的基于索引qpi分别等于qpicb和qpicr指定的qpc的值。[0176]–否则,则变量qpcb和qpcr基于索引qpi分别等于qpicb和qpicr被设置为min(qpi,51)。[0177]–用于cb和cr分量的色度量化参数qp′cb和qp′cr,它们的导出如下:[0178]qp′cb=qpcb+qpbdoffsetcꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-291)[0179]qp′cr=qpcr+qpbdoffsetcꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-292)[0180]表4示出了对于等于1的chromaarraytype,qpc作为qpi的函数。[0181][0182]表4[0183]通过利用此类现有结构用于联合dra模式,本文描述的方面可以为同一系统中的联合和独立dra操作提供灵活性,同时限制增加的开销。现在根据本文描述的方面来描述在系统的一些模式下的用于dra的色度缩放的导出。例如,在采用变换域中的均匀标量量化和用dra的像素域缩放两者的视频译码系统中,应用于色度样本(sx)的缩放dra值的导出可以取决于以下各项:[0184]-sy:相关联的亮度样本的亮度缩放值[0185]-scx:从内容域中导出的缩放,其中cx代表cb或cr(如可适用的)。[0186]-scorr:校正缩放项,计入了变换译码和dra缩放中的不匹配,以补偿如上所述的依赖性(例如,如表4所示)。[0187]sx=fun(sy,scx,scorr)。[0188]函数fun(sy,scx,scorr)的一个示例是可分离函数,其被定义如下:sx=f1(sy)*f2(scx)*f3(scorrr)。[0189]在一些情况下可以使用凸块(bumping)过程。解码图片缓冲区保持着图片(也被称为帧)集,它们可以用作用于译码设备(例如,编码设备、解码设备或编解码器)的译码环路中的图片间预测的(多个)参考。取决于译码状态,一个或多个图片可以被输出以供外部应用消耗或外部应用读取。取决于译码次序、dpb大小或其他条件,在编码环路中没有使用的图片可以从dpb中移除,或者在凸块过程中被较新的参考图片取代。下面提供了为hevc定义的凸块过程的示例。[0190]c.5.2.4“凸块”过程[0191]“凸块”过程由以下有序步骤组成:[0192]1.首先用于输出的图片被选择作为dpb中被标记为“需要输出”的所有图片中具有最小picordercntval值的图片。[0193]2.使用活动sps中为图片指定的一致性裁剪窗口来对图片进行裁剪(crop),输出经裁剪的图片,以及将图片标记为“不需要输出”。[0194]3.当包括被裁剪和输出的图片的图片存储缓冲区包含被标记为“不用于参考”的图片时,图片存储缓冲区被清空。[0195]注意——对于属于同一cvs并且通过“凸块”过程输出的任意两张图片pica和picb,当pica先于picb输出时,pica的picordercntval值小于picb的picordercntval值。[0196]可以根据由本文描述的各个方面实现的dra模式来执行用dra的凸块过程。dra规范的后处理以经修改的凸块过程的形式被采用到mpeg5evc规范的草案文本中。下文示出了根据本文描述的一些方面的所提出的对用dra的凸块过程的改变,改变以“《highlight》”与“《highlightend》”符号之间的下划线文本(例如,“《highlight》《highlightend》”)标记。[0197]附录c假想参考解码器[0198]hrd包含译码图片缓冲区(cpb)、瞬时解码过程、解码图片缓冲区[0199](dpb)、《highlight》《highlightend》(例如,图8]中的“动态范围调整dra”和如图8所示的裁剪)。[0200]子条款c.3中指定了dpb的操作。子条款c.3.3和c.5.2.4指定了输出dra过程和裁剪。[0201]c.3.3图片解码及输出图片n被解码,并且其dpb输出时间to,dpb(n)通过下式来导出:[0202]to,dpb(n)=tr(n)+tc*dpb_output_delay(n)ꢀꢀꢀ(c-12)[0203]当前图片的输出被指定如下:[0204]–如果to,dpb(n)=tr(n),则输出当前图片。[0205]–否则(to,dpb(n)》tr(n)),则当前图片以后输出,并且将被存储在dpb中(如子条款c.2.4所指定的),并且在时间to,dpb(n)输出,除非在to,dpb(n)之前的时间,通过解码或推断no_output_of_prior_pics_flag等于1,指示不要输出。[0206]《highlight》《highlight》《highlightend》[0207]当图片n是被输出的图片并且不是被输出的比特流的最后一个图片时,δto,dpb(n)的值被定义为:[0208]δto,dpb(n)=to,dpb(nn)-to,dpb(n)ꢀꢀꢀꢀꢀ(c-13)[0209]其中nn指示在输出次序中紧跟在图片n之后的图片。[0210]经解码的图片被存储在dpb中。[0211]c.5.2.4“凸块”过程[0212]在以下情况下调用“凸块”过程。[0213]–当前图片是idr图片,以及no_output_of_prior_pics_flag不等于1并且不被推断为等于1,如子条款c.5.2.2所指定的。[0214]–没有空的图片存储缓冲区(即,dpb充满度等于dpb大小),并且需要空的图片存储缓冲区用于经解码的图片的存储,如子条款所指定的。[0215]“凸块”过程由以下有序步骤组成:[0216]《highlight》[0217][0218]《highlightend》[0219]6.使用在用于图片的活动sps中指定的一致性裁剪窗口来对输出图片进行裁剪,输出经裁剪的图片,并且将图片标记为“不需要输出”。[0220]7.当包括被《highlight》《highlightend》裁剪和输出的图片的图片存储缓冲区包含被标记为“不用于参考”的图片时,图片存储缓冲区将被清空。[0221]在一些方面中,可以执行dra数据的aps信令通知。mpeg5evc规范定义了在适配参数集(aps)中信令通知dra参数。下文提供了dra参数的语法和语义:[0222][0223][0224]dra数据语法[0225][0226]等于1的sps_dra_flag指定使用对输出样本的动态范围调整映射。等于0的sps_dra_flag指定不使用对输出样本的动态范围调整映射。[0227]等于1的pic_dra_enabled_present_flag指定pic_dra_enabled_flag存在于pps中。等于0的pic_dra_enabled_present_flag指定pic_dra_enabled_flag存在于pps中。当pic_dra_enabled_present_flag不存在时,其被推断为等于0。[0228]等于1的pic_dra_enabled_flag指定对于所有参考pps的经解码的图片启用dra。等于0的pic_dra_enabled_flag指定对于所有参考pps的经解码的图片不启用dra。当不存在时,pic_dra_enabled_flag被推断为等于0。[0229]pic_dra_aps_id指定对于参考pps的经解码的图片被启用的draaps的adaptation_parameter_set_id。[0230]adaptation_parameter_set_id提供aps的标识符以供其他语法元素参考。[0231]aps_params_type指定aps中携带的aps参数的类型,如表5中指定的。[0232][0233]表5[0234]dra_descriptor1应在0到15的范围内,含端值。在当前版本的规范中,语法元素dra_descriptor1的值被限制为4,其他值被预留以供将来使用。[0235]dra_descriptor2指定dra缩放参数信令通知和重构过程的分数部分的准确度。dra_descriptor2的值应在0到15的范围内,含端值。在当前版本的规范中,语法元素dra_descriptor2的值被限制为9,其他值被预留以供将来使用。[0236]变量numbitsdrascale的导出如下:[0237]numbitsdrascale=dra_descriptor1+dra_descriptor2[0238]dra_number_ranges_minus1加1指定被信令通知以描述dra表的范围的数量。dra_number_ranges_minus1的值应在0到31的范围内,含端值。[0239]等于1的dra_equal_ranges_flag指定dra表是使用同等大小的范围来导出的,其大小由语法元素dra_delta_range[0]来指定。等于0的dra_equal_ranges_flag指定dra表是使用dra_number_ranges来导出的,每个范围的大小由语法元素dra_delta_range[j]来指定。[0240]dra_global_offset指定被用于导出dra表的起始码字位置,并且如下初始化变量indrarange[0]:[0241]indrarange[0]=dra_global_offset[0242]用于信令通知dra_global_offset的比特数为bitdepthy个比特。[0243]dra_delta_range[j]指定用于导出dra表的码字中第j个范围的大小。dra_delta_range[j]的值应在1到(1≤bitdepthy)-1的范围内,含端值。[0244]用于在1到dra_number_ranges_minus1(含端值)范围内的j的变量indrarange[j]的导出如下:[0245]indrarange[j]=indrarange[j-1]+(dra_equal_ranges_flag==1)?dra_delta_range[0]:dra_delta_range[j][0246]比特流一致性的要求是indrarange[j]应在0到(1≤bitdepthy)-1的范围内。[0247]dra_scale_value[j]指定与dra表的第j个范围相关联的dra缩放值。用于信令通知dra_scale_value[j]的比特数等于numbitsdrascale。[0248]dra_cb_scale_value指定用于导出dra表的cb分量的色度样本的缩放值。用于信令通知dra_cb_scale_value的比特数等于numbitsdrascale。在当前版本的规范中,语法元素dra_cb_scale_value的值应小于4《《dra_descriptor2,其他值被预留以供将来使用。[0249]dra_cr_scale_value指定用于导出dra表的cr分量的色度样本的缩放值。用于信令通知dra_cr_scale_value的比特数等于numbitsdrascale个比特。在当前版本的规范中,语法元素dra_cb_scale_value的值应小于4《《dra_descriptor2,其他值被预留以供将来使用。[0250]dra_scale_value[j]、dra_cb_scale_value和dra_cr_scale_value的值不应等于0。[0251]dra_table_idx指定用于导出色度缩放值的chromaqptable的存取条目。dra_table_idx的值应在0到57的范围内,含端值。[0252]如上所述,存在以色度分量处理为目标的dra参数和指定的dra处理。然而,对于在chromaarraytype等于0的情况下(例如,对于灰度或单色视频数据)用多个dra模式操作的本文描述的方面,在一些先前的evc系统中没有定义这些参数的使用以及色度采样过程的适用性。[0253]例如,某些视频译码标准(例如,evc标准)的一些实现方式指定了亮度和色度dra缩放导出之间的固定关系。此灵活性的缺乏是不期望的。如果需要,编码设备能够对亮度和色度分量采取不同的译码策略来处理如上所述的不同的视频格式将是有利的(例如,对于提高译码效率、更有效的处理等)。在下表中,描述dra语法元素的dra值(例如,dra_table_idc)根据某个方面实现此灵活性。在下表中,标题“dra_data()”和“描述符”下面的所有单元格元素都在《highlight》与《highlightend》指示符之间突出显示,并且以下划线文本突出显示。[0254][0255]dra_scale_value[j]指定与dra表的第j个范围相关联的dra缩放值。用于信令通知dra_scale_value[j]的比特数等于numbitsdrascale。[0256]dra_cb_scale_value指定用于导出dra表的cb分量的色度样本的缩放值。用于信令通知dra_cb_scale_value的比特数等于numbitsdrascale。[0257]dra_cr_scale_value指定用于导出dra表的cr分量的色度样本的缩放值。用于信令通知dra_cr_scale_value的比特数等于numbitsdrascale。[0258]dra_scale_value[j](j在0到dra_number_ranges_minus1的范围内,含端值)、dra_cb_scale_value和dra_cr_scale_value的值不应等于0。在当前版本的规范中,语法元素dra_scale_value[j]、dra_cb_scale_value和dra_cr_scale_value的值应小于4《《dra_descriptor2。其他值被预留用于将来使用。[0259]dra_table_idx指定用于导出色度缩放值的chromaqptable的存取条目。dra_table_idx的值应在0到57的范围内,含端值。[0260]下文示出了在evc的一些版本中规定的标准色度dra缩放导出过程。[0261]经调整的色度dra缩放的导出[0262]该过程的输入是:[0263]–表示亮度缩放lumascale的一个或多个变量,[0264]–色度分量索引cidx。[0265]该过程的输出是:[0266]–表示色度缩放chromascale的一个或多个变量。[0267]变量scaledra和scaledranorm(其可以称为dra缩放)的导出如下:[0268]scaledra=lumascale*((cidx==0)?dra_cb_scale_value:dra_cr_scale_value)ꢀꢀꢀꢀ(8-1228)[0269]scaledranorm=(scaledra+(1《《8))》》9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1229)[0270]变量indexscaleqp是通过调用条款8.9.5来导出的,输入值invalue被设置为等于scaledranorm,scaleqp阵列和scaleqp阵列的大小被设置为54作为输入。[0271]变量qpdraint的导出如下:[0272]qpdraint=2*indexscaleqp–60ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1230)[0273]变量qpdraint、qpdraint和qpdrafrac的导出如下:[0274]tablenum=scaledranorm–scaleqp[indexscaleqp]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1231)[0275]tabledelta=scaleqp[indexscaleqp+1]–scaleqp[indexscaleqp]ꢀꢀꢀꢀ(8-1232)[0276]当tablenum等于0时,变量qpdrafrac被设置为等于0,并且变量qpdraint被减去1,否则变量qpdraint、qpdrafrac和drachromaqpshift的导出如下:[0277]qpdrafrac=(tablenum《《10)/tabledeltaꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1233)[0278]qpdraint+=(qpdrafrac》》9)ꢀꢀꢀ(8-1234)[0279]qpdrafrac=(1《《9)–qpdrafrac%(1《《9)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1235)[0280]idx0=clip3(-qpbdoffsetc,57,dra_table_idx–qpdraint)ꢀꢀꢀꢀꢀꢀ(8-1236)[0281]idx1=clip3(-qpbdoffsetc,57,dra_table_idx–qpdraint+1)ꢀꢀꢀꢀ(8-1237)[0282]qp0=chromaqptable[cidx][idx0]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1238)[0283]qp1=chromaqptable[cidx][idx1]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1239)[0284]qpdraintadj=((qp1–qp0)*qpdrafrac)》》9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1240)[0285]qpdrafracadj=qpdrafrac–(((qp1–qp0)*qpdrafrac)%(1《《9))ꢀꢀꢀ(8-1241)[0286]drachromaqpshift=chromaqptable[cidx][dra_table_idx]–qp0–qpdraintadj–qpdraintꢀꢀ(8-1242)[0287]当qpdrafracadj小于0时,变量drachromaqpshift和qpdrafracadj的导出如下:[0288]drachromaqpshift=drachromaqpshift–1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1243)[0289]qpdrafracadj=(1《《9)+qpdrafracadjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1244)[0290]变量drachromascaleshift的导出如下:[0291]idx0=clip3(0,24,drachromaqpshift+12)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1245)[0292]idx1=clip3(0,24,drachromaqpshift+12–1)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1246)[0293]idx2=clip3(0,24,drachromaqpshift+12+1)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1247)[0294]drachromascaleshift=qpscale[idx0]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1248)[0295]当drachromaqpshift小于0时,变量drachromascaleshiftfrac的导出如下:[0296]drachromascaleshiftfrac=qpscale[idx0]–qpscale[idx1]ꢀꢀ(8-1249)[0297]否则,变量drachromascaleshiftfrac的导出如下:[0298]drachromascaleshiftfrac=qpscale[idx2]–qpscale[idx0]ꢀꢀꢀꢀꢀꢀꢀ(8-1250)[0299]变量drachromascaleshift的导出如下:[0300]drachromascaleshift=drachromascaleshift+(drachromascaleshiftfrac*qpdrafracadj+(1《《8))》》9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1251)[0301]输出变量chromascale的导出如下:[0302]chromascale=(scaledra*drachromascaleshift)+(1《《17))》》18ꢀꢀꢀꢀ(8-1252)[0303]scaleqp表和qpscale表的条目的初始化如下:[0304][0305][0306]为了提供灵活性,而不是只提供在亮度dra缩放导出与色度dra缩放导出之间具有固定关系的格式,本文描述的方面可以信令通知用于启用或禁用联合亮度和色度缩放导出的附加语法元素(例如,标志值或dra语法元素值)。为了避免比特率的增加和规范的复杂性的增加,此信令通知可以与如下所述的现有结构结合。[0307]本文描述了指定应用于视频数据的信令和操作以使能一些类型的视频数据(例如,hdr和wcg视频数据)的更高效的压缩的系统、装置、过程(方法)和计算机可读介质(统称为“系统和技术”)。在一些示例中,本文描述的系统和技术解决动态范围调整(dra)译码工具的实现,并且通过去除解析依赖性并使能对具有不同比特深度的视频数据的支持来改进其设计。[0308]在一些示例中,为了解决上面标识的问题(例如,当没有定义dra参数的使用和色度采样过程的适用性,和/或当亮度dra缩放导出与色度dra缩放导出之间存在固定关系时),在本文描述的不同方面中使用对设计的各种改变。[0309]例如,为了改进dra的灵活性,本文描述的一些方面引入了色度缩放dra函数的第二操作模式(其中第一操作模式是联合dra模式)的使用。色度缩放dra函数可以被包括在基于标准的操作中,诸如evc、vvc、hevc和/或其他正在开发或将来将开发的标准。在一个示例中,第二操作模式包括不具有亮度-色度依赖性的dra模式。如上所述,此模式可以被称为独立dra模式(或独立模式),在该模式下,没有假设亮度分量或值与色度成分量或值之间的固定关系(例如,与联合dra模式相反,在联合dra模式下,作为模式操作的一部分,假设了亮度与色度之间的固定关系)。在一些示例中,在第二种操作模式(例如,独立模式)中,不使用亮度缩放信息以及qp估计和chromaqptable(色度qp表)移位来导出色度缩放参数。在一些情况下,第二操作模式可以被视为禁用色度dra处理的模式。在第二操作模式下,取决于控制参数,色度dra缩放可以在比特流中显式地被信令通知。下面示出了启用两种类型的导出的实现方式的示例,示出了在“《highlight》”与“《highlightend》”符号之间以下划线文本标记的(例如,“《highlight》《highlight》《highlightend》”)所引入的改变。[0310]经调整的色度dra缩放的导出[0311]该过程的输入是:[0312]–表示亮度缩放lumascale的变量。[0313]–色度分量索引cidx。[0314]该过程的输出是:[0315]《highlight》[0316][0317]《highlightend》[0318]变量scaledra和scaledranorm的导出如下:[0319]scaledra=lumascale*((cidx==0)?dra_cb_scale_value:dra_cr_scale_value)ꢀꢀꢀꢀ(8-1228)[0320]scaledranorm=(scaledra+(1《《8))》》9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1229)[0321]变量indexscaleqp通过调用条款8.9.5来导出,输入值invalue被设置为等于scaledranorm,scaleqp阵列和scaleqp阵列的大小被设置为等于54作为输入。[0322]变量qpdraint的导出如下:[0323]qpdraint=2*indexscaleqp–60ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1230)[0324]变量qpdraint、qpdraint和qpdrafrac的导出如下:[0325]tablenum=scaledranorm–scaleqp[indexscaleqp]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1231)[0326]tabledelta=scaleqp[indexscaleqp+1]–scaleqp[indexscaleqp]ꢀꢀ(8-1232)[0327]当tablenum等于0时,变量qpdrafrac被设置为等于0,并且变量qpdraint被减去1,否则变量qpdraint、qpdrafrac和drachromaqpshift的导出如下:[0328]qpdrafrac=(tablenum《《10)/tabledeltaꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1233)[0329]qpdraint+=(qpdrafrac》》9)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1234)[0330]qpdrafrac=(1《《9)–qpdrafrac%(1《《9)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1235)[0331]idx0=clip3(-qpbdoffsetc,57,dra_table_idx–qpdraint)ꢀꢀꢀꢀꢀꢀꢀꢀ(8-1236)[0332]idx1=clip3(-qpbdoffsetc,57,dra_table_idx–qpdraint+1)ꢀꢀꢀꢀꢀꢀ(8-1237)[0333]qp0=chromaqptable[cidx][idx0]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1238)[0334]qp1=chromaqptable[cidx][idx1]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1239)[0335]qpdraintadj=((qp1–qp0)*qpdrafrac)》》9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1240)[0336]qpdrafracadj=qpdrafrac–(((qp1–qp0)*qpdrafrac)%(1《《9))ꢀꢀꢀ(8-1241)[0337]drachromaqpshift=chromaqptable[cidx][dra_table_idx]–qp0–qpdraintadj–qpdraintꢀꢀ(8-1242)[0338]当qpdrafracadj小于0时,变量drachromaqpshift和qpdrafracadj的导出如下:[0339]drachromaqpshift=drachromaqpshift–1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1243)[0340]qpdrafracadj=(1《《9)+qpdrafracadjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1244)[0341]变量drachromascaleshift的导出如下:[0342]idx0=clip3(0,24,drachromaqpshift+12)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1245)[0343]idx1=clip3(0,24,drachromaqpshift+12–1)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1246)[0344]idx2=clip3(0,24,drachromaqpshift+12+1)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1247)[0345]drachromascaleshift=qpscale[idx0]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8-1248)[0346]当drachromaqpshift小于0时,变量drachromascaleshiftfrac的导出如下:[0347]drachromascaleshiftfrac=qpscale[idx0]–qpscale[idx1]ꢀꢀꢀꢀꢀꢀ(8-1249)[0348]否则,变量drachromascaleshiftfrac的导出如下:[0349]drachromascaleshiftfrac=qpscale[idx2]–qpscale[idx0]ꢀꢀꢀꢀꢀꢀ(8-1250)[0350]变量drachromascaleshift的导出如下:[0351]drachromascaleshift=drachromascaleshift+(drachromascaleshiftfrac*qpdrafracadj+(1《《8))》》9ꢀꢀꢀ(8-1251)[0352]输出变量chromascale的导出如下:[0353]chromascale=(scaledra*drachromascaleshift)+(1《《17))》》18ꢀꢀꢀ(8-1252)[0354]scaleqp表和qpscale表的条目的初始化如下:[0355][0356][0357]如上所示,在一些方面中,drajoinedscaleflag可以用于指示dra模式。在上面的示例中,当drajoinedscaleflag为0时,使用独立的dra模式。在独立模式下(当drajoinedscaleflag为0时),使用指定当前译码块的颜色分量的变量cidx、连同从dra语法元素中导出的色度样本的缩放值(例如,基于dra模式导出的dra_cr_scale值和dra_cb_scale值)来确定chromascale值。如果drajoinedscaleflag不为0(例如,包括为1的值),则使用联合dra模式(例如,基于从固定色度/亮度关系中导出chromascale值)。drajoinedscaleflag可以用于指示dra亮度缩放值不被传播到dra色度缩放值,并且色度缩放参数仅使用色度处理(例如,使用dra_cb_scale_value和dra_cr_scale_value)来初始化。[0358]根据一些方面,描述了用于重用dra语法元素(例如dra_table_idx语法元素结构)来信令通知dra色度处理的模式的系统和技术。根据现有视频译码标准,使用dra语法元素(例如,dra_table_idx)来存取evc的chromaqp(色度qp)偏移表的条目(例如,使用dra表的数据空间中的57个值的初始集)。根据本文描述的方面,为了使能色度dra处理的两个操作模式,dra语法元素(例如,dra_table_idx)的功能性通过使用指定色度dra缩放导出的类型(例如,使用dra语法元素的数据空间中先前未使用的第58个值)的语法元素或变量(例如,标志)来增强。在一些方面中,语法元素或变量(例如,标志)通过将dra_table_idx的合法范围从0...57(含端值)扩展到0...58(含端值)来实现。在一些此类方面中,不使用等于58的值dra_table_idx来存取色度dra语法元素,而是指定使用或将使用特定的dra模式(例如,独立dra模式)。例如,等于58的dra_table_idx值可以指定禁用用于色度dra缩放的联合亮度色度导出过程(联合dra模式),并且色度dra缩放是独立导出的(使用独立dra模式)。[0359]下面示出了用经扩展的dra语法元素来实现标志的实现方式的示例,示出了在“《highlight》”与“《highlightend》”符号之间以下划线文本标记的(例如,“《highlight》《highlightend》”)所引入的改变。[0360]dra_table_idx指定《highlight》dra_table_idx指定《highlight》[0361]《highlight》《highlightend》的范围内,含端值。[0362]《highlight》《highlight》《highlightend》[0363]如上所述,根据dra_table_idx的方面使用小于或等于57的dra_table_idx值来指示dra操作的第一模式(例如,联合dra模式)。为58的dra_table_idx值(例如,在dra语法元素的可用数据空间中的可用但先前未使用的值)指示dra操作的第二模式(例如,独立dra模式)。在一些方面中,dra语法元素的值可以基于编码器对要编码的数据格式的分析来设置。当标识了其中禁用色度dra操作与改进的性能相关联(例如,evc4:0:0灰度格式)的数据格式时,dra_table_idx可以被编码设备设置为58,这指示使用或将使用独立dra模式(例如,由解码设备和/或媒体播放设备)。[0364]在另一示例中,描述了用于提供关于色度dra参数的比特流约束的系统和技术。例如,为了避免不影响解码过程的未定义信息的信令通知,在一些方面中可以使用以下约束。示出了在“《highlight》”与“《highlightend》”符号之间以下划线文本标记的(例如,“《highlight》《highlightend》”)所引入的改变。[0365]dra_cb_scale_valueu(v)dra_cr_scale_valueu(v)dra_table_idxue(v)[0366]dra_cb_scale_value指定用于导出dra表的cb分量的色度样本的缩放值。用于信令通知dra_cb_scale_value的比特数等于numbitsdrascale。[0367]dra_cr_scale_value指定用于导出dra表的cr分量的色度样本的缩放值。用于信令通知dra_cr_scale_value的比特数等于numbitsdrascale。[0368]dra_scale_value[j](j在0到dra_number_ranges_minus1的范围内,含端值)、dra_cb_scale_value和dra_cr_scale_value的值不应等于0。在当前版本的规范中,语法元素dra_scale_value[j]、dra_cb_scale_value和dra_cr_scale_value的值应小于4《《dra_descriptor2。其他值被预留用于将来使用。《highlight》《highlight》《highlightend》[0369]dra_table_idx指定色度缩放导出过程的模式,并且当它可适用时,dra_table_idx小于或等于57,利用chromaqptable的存取条目来导出色度缩放值。dra_table_idx的值应在0到58的范围内,含端值。《highlight》《highlight》《highlight》《highlightend》[0370]当dra_table_idx等于58时,变量drajoinedscaleflag被设置为等于0,否则其被设置为等于1。[0371]在一些示例中,值等于0的chromaarraytype变量指示色度格式4:0:0(例如,对应于单色格式)。在一些此类示例中,当chromaarraytype等于0时,dra_cb_scale_value和dra_cr_scale_value的值可以被固定为等于1,以定义某些色度格式(例如,色度格式4:0:0)的解码器行为,并且可以允许统一的解码器行为。在一些示例中,符合特定视频译码标准(例如,vvc、hevc、evc、av1等)的比特流的要求可以是dra_cb_scale_value和dra_cr_scale_value的值应被固定为等于1。在其中chromaarraytype指示单色格式(例如,当chromaarraytype等于0时)的一些此类示例中,dra_table_idx的值可以被固定为等于58。在一些示例中,符合特定视频译码标准(例如,vvc、hevc、evc、av1等)的比特流的要求可以是当chromaarraytype指示单色格式时(例如,当chromaarraytype等于0时),dra_table_idx的值应被固定为等于58。在一些此类示例中,固定的dra_table_idx值与上述方面相关,其中dra语法元素中的第58个元素被用于信令通知用于某些格式的独立dra模式(例如,对于色度格式4:0:0)。在一些情况下,chromaarraytype变量可以被称为色度阵列类型值。[0372]图7示出了根据一些示例的用于指示dra模式的dra语法元素700的各方面。如上所述,语法元素dra_table_idx可以用于指定色度缩放导出过程的模式。dra_table_idx指示使用来自从0至58的值空间的相关联的值的模式。如上所述,一些标准译码系统(例如,evc)可以使用0至57的值空间704来指示用于导出色度缩放值的chromaqptable的存取条目。表示来自该值空间的值的数据元素(例如,特定值,诸如53用于特定实现方式)能够表示附加的值706(例如,更大的值空间),并且因此本文中的方面将值空间从0至57扩展到0至58。然后,值58可以与第二dra模式相关联。[0373]在根据上文的方面中,数据约束(诸如当chromaarraytype等于0时,要求dra_cb_scale_value和dra_cr_scale_value等于1)防止信令通知时的不明确,以及可能的错误(例如,因为chromaarraytype值为0与除1以外的色度缩放值的值不兼容)。类似地,当dra_table_idx为58时,强制drajoinedscaleflag值为0避免了不明确和可能的错误,因为dra_table_idx的其他值(例如,57及以下)与由除drajoinedscaleflag值为0以外的任何值设置的模式不兼容。为了避免错误,当标识了该数据格式时,约束了缩放值,并且dra_table_idx值被固定为58。对用于此格式的数据值进行约束防止了在用于另一模式的值(例如,dra_table_idx值为57或更低)被用于不可兼容模式时可能出现的不明确或错误。[0374]在一个示例实现方式中,根据上述语法操作的编码器可以接收灰度格式化的数据(例如,evc4:0:0格式数据),并且基于标识该数据是这种格式的,将chromaarraytype值设置为0。[0375]图8是示出根据一些示例的假想参考解码器(hrd)缓冲区模型800的示例的流程图。在一些方面中,根据图8的hrd模型的参考解码器可以实现具有多个色度dra处理模式的上述dra功能性。[0376]hrd缓冲区模型接收视频数据的比特流。根据本文描述的方面,hrd缓冲区模型800或实现hrd缓冲区模型800的设备(例如,编码器或解码器)可以基于色度dra处理模式或类型来对传入数据流进行分类。数据流类型(例如,格式)被接受,并且可以通过初始操作被分类为色度dra类型(例如,联合或独立),并且dra操作812将基于传入比特流802的格式继续进行。[0377]在dra操作812之前,假想流调度器(hss)操作804执行译码调度,并且译码图片缓冲区(cpb)806根据上文描述细节来对流数据进行组织。然后,解码过程808使用来自被存储在解码图片缓冲区(dpb)810中的参考图片824的反馈数据来执行解码。来自解码过程808的输出像素数据(例如,视频比特流数据)也被作为图片822(例如,输出像素数据)提供到dra操作812。作为先前操作的一部分(例如,来自hss804),dra操作812被告知基于比特流802格式的色度dra处理模式。色度dra处理模式可以与诸如来自dra语法元素的标志或值的指示符相关联,如上所述。在执行dra操作812之后,输出裁剪804处理输出数据流以创建可以被发送、存储或显示的输出视频数据。处理来自比特流802的视频数据格式类型或色度dra处理类型的指示(例如,与多个dra模式相关联的指示)允许dra操作812支持多个模式。通过在诸如evc的译码标准的现有语法结构内提供用于多个模式的语法结构,以有限的附加开销(例如,对比特率的有限影响)提供了用于处理附加视频格式类型的灵活性。此hrd缓冲区模型800可以在译码设备实现方式中使用,以改进如上所述的视频译码系统以及该系统内的设备。[0378]图9是示出根据一些示例的处理视频数据的过程900的示例的图。在一些方面中,过程900由解码设备(例如,图1的解码设备112)来执行。在一些方面中,过程900在具有存储器和被配置为执行过程900的操作的一个或多个处理器的系统中被实现。在一些方面中,过程900以被存储在计算机可读存储介质中的指令实现。这些指令在由译码设备(例如,解码设备112)的一个或多个处理器处理时使该装置执行过程900的操作。在其他方面中,根据本文提供的细节,其他实现方式是可能的。[0379]在框902处,过程900包括获取视频数据的至少一个块。如上所述,视频数据的至少一个块可以是来自正在根据如本文所述的视频译码标准(例如,vvc、evc等)进行解码的经编码的图片(或图像或帧)集的图片的一部分。在框904处,过程900包括预测至少一个块的一个或多个视频样本。预测操作可以包括用于预测性视频译码操作的上述任何预测操作,诸如帧内预测、帧间预测等。[0380]在框906处,过程900包括从视频数据中获取dra语法元素(例如,dra_table_idx)。dra语法元素包括与来自可用于视频数据的多个dra模式当中的用于视频数据的dra模式相关联的指示(例如,值)。例如,如上所述,一些示例可以具有用于dra配置的类型1dra模式,在该类型1dra模式下,色度缩放是从亮度缩放导出的。一些此类示例也可以具有用于dra配置的类型2dra模式,在该类型2dra模式下,色度缩放是独立于亮度缩放来信令通知的(例如,对于单色视频数据)。在其他示例中,模式的其他组合是可能的。[0381]在框908处,过程900包括使用由dra语法元素指示的dra模式来处理视频数据。例如,过程900可以包括基于dra语法元素的指示使用dra模式来处理一个或多个视频样本,以使用dra模式来解码视频数据。在一些示例中,为了使用dra模式来处理视频数据,过程900可以包括对一个或多个视频样本应用与dra模式相关联的dra函数。在此类示例中,不使用亮度缩放信息来导出用于dra函数的色度缩放参数,如上所述。[0382]在一些示例中,过程900可以包括从视频数据中获取一个或多个亮度变量。一个或多个亮度变量表示或指定用于使用dra模式的一个或多个视频样本的一个或多个亮度缩放。在一个说明性示例中,一个或多个亮度变量包括上文表示的表示视频数据的亮度缩放的lumascale变量。在一些示例中,过程900可以包括从用于多个dra模式中的dra模式的一个或多个亮度变量中导出色度缩放值(例如,对于chromascale变量)。[0383]在一些情况下,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式。多个dra模式可以与色度缩放导出过程相关联。在一些方面中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联。在此类方面中,多个dra模式中的一个或多个其他模式与dra语法元素的指示的值1至57相关联。在一些情况下,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。在一个说明性示例中,如上所述,dra_table_idx值为58(例如,被包括在dra语法元素中的指示)与用于独立色度信令通知的dra模式相关联。在其他示例中,其他dra_table_idx值可以指示其他dra模式,或者任何给定值可以与由特定译码系统支持的任何dra模式相关联。[0384]在一些示例中,过程900包括基于与多个dra模式相关联的指示来确定联合dra缩放标志的值。在一个说明性示例中,dra联合缩放标志包括上面讨论的drajoinedscaleflag变量。在一些情况下,与dra模式相关联的dra缩放值以值1被固定。[0385]图10是示出过程900的框908的示例操作的流程图。如上所述,框908包括使用如在dra语法元素(例如,dra_table_idx)中所指示的dra模式来处理视频数据。过程900的前面的操作可以被视为框1002,以使用来自dra语法元素的指示来从多个可用的dra模式当中标识和选择dra模式。[0386]在框1002处发生与来自dra语法元素的指示相关联的dra模式的标识和选择之后(例如,在过程900中的框908之前发生),该过程可以包括在框908处的使用dra模式来处理视频数据的多个操作。[0387]在框1004处,视频译码方案被应用于视频数据以生成一个或多个输出样本。在一些示例中,框1004可以与过程808的操作相关联,该过程800对视频数据应用译码过程(例如,与第一dra模式(类型1)或第二dra模式(类型2)相关联的类型1比特流或类型2比特流,在第一dra模式下,色度缩放是从亮度缩放导出的,在第二dra模式下,色度缩放被独立地信令通知)。基于应用译码过程,该过程生成一个或多个输出样本,这些样本可以被存储在解码图片缓冲区(例如,dpb810)。[0388]在框1006处,dra函数被应用于一个或多个输出参数。对于与类型1比特流相关联的第一dra模式,可以应用第一dra函数。对于与类型2比特流相关联的第二dra模式,可以应用第二dra函数。在一个示例中,第一dra模式是如上所述的联合dra模式,具有视频数据的标准比特流,其中假设了色度值与亮度值之间的固定关系,并且dra函数可以从亮度缩放参数中导出色度缩放参数。在一些示例中,第二dra模式是如本文所述的独立dra模式,禁用了从dra亮度缩放值中导出dra色度缩放值的过程。在一些此类示例中,与第二dra模式相关联的dra函数操作使得不使用亮度缩放信息、一个或多个qp估计和chromaqptable移位中的至少一个来导出色度缩放参数。如上所述,在一些此类示例中,与此dra函数相关联的类型2比特流可以是灰度格式比特流(例如,evc4:0:0格式视频数据)。在其他示例中,可以使用附加模式和dra函数。[0389]图11是示出根据一些示例的处理视频数据的过程1100的示例的图。在一些方面中,过程1100由编码设备(例如,图1的编码设备104)来执行。在一些方面中,过程1100在具有存储器和被配置为执行过程1100的操作的一个或多个处理器的系统中被实现。在一些方面中,过程1100以被存储在计算机可读存储介质中的指令实现。这些指令在由译码设备(例如,编码设备104)的一个或多个处理器处理时使该装置执行过程1100的操作。在其他方面中,根据本文提供的细节,其他实现方式是可能的。[0390]在框1102处,过程1100包括获取视频数据。如上所述,视频数据包括要根据如本文所述的视频译码标准(例如,vvc、evc等)来编码的一个或多个图片(或图像或帧)。在框1104处,过程1100包括生成用于视频数据的动态范围调整(dra)表语法元素(例如,dra_table_idx)。dra语法元素包括与用于视频数据的多个dra模式相关联的指示(例如,值)。例如,如上所述,一些示例可以具有用于dra配置的类型1dra模式,在该类型1dra模式下,色度缩放是从亮度缩放导出的(例如,由解码设备)。一些此类示例也可以具有用于dra配置的类型2dra模式,在该类型2dra模式下,色度缩放是独立于亮度缩放来信令通知的(例如,对于单色视频数据)。在其他示例中,模式的其他组合是可能的。[0391]在框1108处,过程1100包括生成包括dra语法元素的经编码的视频比特流。经编码的视频比特流可以包括经编码的图片和语法数据。语法数据可以包括一个或多个语法结构、语法元素、变量和/或其他信息。在此类示例中,不使用亮度缩放信息来导出用于dra函数的色度缩放参数,如上所述。如上文所指出的,解码设备可以接收经编码的视频比特流,并且可以基于dra语法元素的指示使用dra模式来处理视频数据的一个或多个视频样本。例如,为了使用dra模式来处理视频数据,解码设备可以对一个或多个视频样本应用与dra模式相关联的dra函数。[0392]在一些示例中,过程1100可以包括经编码的视频比特流中的一个或多个亮度变量。一个或多个亮度变量表示或指定用于使用dra模式的一个或多个视频样本的一个或多个亮度缩放。在一个说明性示例中,一个或多个亮度变量包括上文表示的表示视频数据的亮度缩放的lumascale变量。在一些示例中,如上文所指出的,解码设备可以从用于多个dra模式中的dra模式的一个或多个亮度变量中导出色度缩放值(例如,对于chromascale变量)。[0393]在一些情况下,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式。多个dra模式可以与色度缩放导出过程相关联。在一些方面中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联。在此类方面中,多个dra模式中的一个或多个其他模式与dra语法元素的指示的值1至57相关联。在一些情况下,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。在一个说明性示例中,如上所述,dra_table_idx值为58(例如,被包括在dra语法元素中的指示)与用于独立色度信令通知的dra模式相关联。在其他示例中,其他dra_table_idx值可以指示其他dra模式,或者任何给定值可以与由特定译码系统支持的任何dra模式相关联。[0394]在一些示例中,过程1100可以包括基于与多个dra模式相关联的指示来设置联合dra缩放标志的值。在一个说明性示例中,dra联合缩放标志包括上面讨论的drajoinedscaleflag变量。在一些情况下,与dra模式相关联的dra缩放值以值1被固定。[0395]在一些实现方式中,本文描述的过程(或方法)(例如,过程900、过程1000、过程1100和/或本文描述的其他过程)可以由计算设备或装置(诸如图1所示的系统100)来执行。例如,这些过程可以由图1和图12所示的编码设备104、另一视频源端设备或视频传输设备、图1和图13所示的解码设备112和/或另一客户端设备(诸如播放器设备、显示器或任何其他客户端设备)来执行。在一些情况下,计算设备或装置可以包括处理器、微处理器、微型计算机或被配置为执行本文描述的过程的步骤的设备的其他组件。在一些示例中,计算设备或装置可以包括被配置为捕捉包括视频帧的视频数据(例如,视频序列)的相机。在一些示例中,捕捉视频数据的相机或其他捕捉设备与计算设备分离,在这种情况下,计算设备接收或获取所捕捉的视频数据。计算设备还可以包括被配置为通信视频数据的网络接口。网络接口可以被配置为通信基于因特网协议(ip)的数据或其他类型的数据。在一些示例中,计算设备或装置可以包括用于显示输出视频内容(诸如视频比特流的图片样本)的显示器。[0396]过程900、1000和1100是关于逻辑流程图来描述的,它们的操作表示可以以硬件、计算机指令或它们的组合实现的操作的序列。在计算机指令的上下文中,这些操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令在由一个或多个处理器执行时执行所叙述的操作。通常,计算机可执行指令包括执行特定功能或者实现特定数据类型的例程、程序、对象、组件、数据结构等。操作被描述的次序并不旨在被解释为限制,并且任何数量的所描述的操作可以以任何次序和/或并行组合来实现这些过程。[0397]此外,本文描述的过程可以在被配置有可执行指令的一个或多个计算机系统的控制下执行,并且可以被实现为统一在一个或多个处理器上执行、由硬件或它们的组合执行的代码(例如,可执行指令、一个或多个计算机程序、或一个或多个应用)。如上文所指出的,代码可以被存储在计算机可读或机器可读存储介质上,例如,以包括可由一个或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非暂时性的。[0398]在各个方面中,提供了对译码设备或过程的益处,以允许灵活使用要与色度dra处理有效结合的不同的格式(例如,ycbcr、rgb、单色等)。在各个方面中描述的将色度dra处理打开和关闭的模式可以例如在现有标准语法内被实现。在一些示例中,在dra处理之前的模式标识可以与标准语法结合。[0399]在一些方面中,使用sps中为序列指定的裁剪矩形来对来自dra过程的输出图片进行裁剪。对输出图片进行裁剪可以根据本文的各个方面执行,包括与vvc、hevc、evc、av1或其他基于此标准的视频处理相一致的方面。在一些方面中,本文描述的dra操作可以在裁剪之前执行。在其他方面中,本文描述的dra操作可以在裁剪之后执行。[0400]在一些方面中,首先用于输出的图片(例如,来自解码图片缓冲区(dpb))被选择作为在dpb中被标记为需要输出的所有图片中具有最小值的图片次序计数值(例如,picordercntval变量)的图片。所选择的图片包括亮度样本currpicl的pic_width_in_luma_samples乘pic_height_in_luma_samples阵列和色度样本currpicb和currpicr的两个picwidthinsamplesc乘picheightinsamplesc阵列。样本阵列currpicl、currpiccb和currpiccr对应于经解码的样本阵列sl、scb和scr。这些变量可以用作时间变量来简化视频译码规范(例如,vvc,hevc,evc,av1等)。[0401]一些方面还包括存取表示来自视频数据(例如,来自aps、导出的等)的色度缩放的变量,以供使用dra模式或与dra模式相关联的指示来处理视频数据时使用。在一些方面中,色度缩放的一些分量是在aps中信令通知的,并且色度缩放的一些分量是导出的。在一些方面中,色度缩放是在aps中信令通知的(例如,色度缩放或其一部分不是导出的)。在一些方面中,色度缩放是导出的(例如,色度缩放或其一部分不是在aps中信令通知的)。在各个方面中,aps信令通知和从视频数据的色度缩放的导出的任何功能组合可以在使用dra模式来处理视频数据时使用。[0402]一些方面基于与多个dra模式(例如,如上所述的dra表的可用值空间中的多个dra模式,诸如具有独立模式和联合模式的方面)相关联的指示来设置联合dra缩放标志。在一些此类方面中,当dra_table_present_flag等于1时,调用dra导出过程,其中所选择的图片作为输入并且输出图片作为输出,否则,输出图片的样本阵列由所选择的图片的样本阵列来初始化。在一些此类方面中,当没有设置dra联合模式标志(例如drajoinedsclaeflag等于0)时,使用cb缩放值(例如,上文指出的dra数据语法dra_data()的dra_cb_scale_value)和cr缩放值(例如,上文指出的dra数据语法dra_data()的dra_cr_scale_value)来导出输出值色度缩放。此类缩放值可以是独立模式中的信令通知的语法元素,并且是在联合模式下从其他分量导出的。在一些此类方面中,当设置了标志时(例如,drajoinedsclaeflag等于1),使用标准色度dra处理。[0403]在一些方面中,标志可以根据dra语法元素值(例如,上文描述的dra_table_idx语法元素的值)或在与多个dra模式相关联的指示被存储在dra语法元素中的情况下来设置。在一些此类示例中,dra语法元素包括具有0至58的范围(含端值)的值。当dra语法元素值等于58时,不设置dra联合模式标志(例如,drajoinedsclaeflag等于0)。当dra语法元素值具有从0至57的值时,设置dra联合模式标志(例如,drajoinedsclaeflag等于1)。[0404]在一些方面中,色度阵列类型被信令通知。在一些此类方面中,当色度阵列类型具有某个预定义信号(例如,0)时,色度dra值被设置为1,并且dra语法元素值被设置为58(例如,导致dra联合模式标志未被设置)。[0405]在一些方面中,色度dra模式包括与ycbcr格式相关联的联合模式和与rgb格式相关联的独立模式。[0406]除上文描述的方面以外,很明显,在本文提供的细节的范围内,可能有附加的方面。例如,在过程900、1200和/或本文描述的其他过程和相关过程的范围内,还有可能有重复操作或介于中间的操作操作。关于上述过程的附加的变型从本文描述的细节中也将是显而易见的。[0407]本文讨论的译码技术可以在示例视频编码和解码系统(例如,系统100)中实现。在一些示例中,系统包括源设备,该源设备提供要在以后的时间由目的设备解码的经编码的视频数据。具体地,源设备经由计算机可读介质向目的设备提供视频数据。源设备和目的设备可以包括广范围的设备中的任一个,包括桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、诸如所谓的“智能”手机、所谓的“智能”平板电脑的电话手机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些情况下,源设备和目的设备可以被配备用于无线通信。[0408]目的设备可以经由计算机可读介质接收要解码的经编码的视频数据。计算机可读介质可以包括能够将经编码的视频数据从源设备移动到目的设备的任何类型的介质或设备。在一个示例中,计算机可读介质可以包括通信介质,以使源设备能实时地直接向目的设备发送经编码的视频数据。经编码的视频数据可以根据通信标准(诸如无线通信协议)来调制,并且被发送到目的设备。通信介质可以包括任何无线或有线通信介质,诸如射频(rf)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(诸如局域网、广域网或全球网(诸如因特网))的一部分。通信介质可以包括路由器、交换机、基站或可以有助于促进从源设备到目的设备的通信的任何其他装备。[0409]在一些示例中,经编码的数据可以从输出接口输出到存储设备。类似地,经编码的数据可以通过输入接口从存储设备存取。存储设备可以包括各种各样的分布式或本地存取的数据存储介质中的任一个,诸如硬盘驱动器、蓝光光盘、dvd、cd-rom、闪速存储器、易失性或非易失性存储器,或者用于存储经编码的视频数据的任何其他合适的数字存储介质。在进一步的示例中,存储设备可以对应于文件服务器或可以存储由源设备生成的经编码的视频的另一中间存储设备。目的设备可以经由流式传输或下载从存储设备存取所存储的视频数据。文件服务器可以是能够存储经编码的视频数据并向目的设备发送该经编码的视频数据的任何类型的服务器。示例文件服务器包括网页服务器(例如,用于网站的)、ftp服务器、网络附加存储(nas)设备或本地磁盘驱动器。目的设备可以通过任何标准数据连接(包括因特网连接)存取经编码的视频数据。连接可以包括无线信道(例如,wi-fi连接)、有线连接(例如,dsl、电缆调制解调器等)或两者的组合,它们适合于存取被存储在文件服务器上的经编码的视频数据。来自存储设备的经编码的视频数据的传输可以是流式传输、下载传输或它们的组合。[0410]本公开的技术不一定限于无线应用或设置。这些技术可以应用于视频译码,以支持各种各样的多媒体应用中的任一个,诸如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(诸如通过http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、解码被存储在数据存储介质上的数字视频或其他应用。在一些示例中,系统可以被配置为支持单向或双向视频传输,以支持诸如视频流式传输、视频回放、视频广播和/或视频电话的应用。[0411]在一个示例中,源设备包括视频源、视频编码器和输出接口。目的设备可以包括输入接口、视频解码器和显示设备。源设备的视频编码器可以被配置为应用本文公开的技术。在其他示例中,源设备和目的设备可以包括其他组件或布置。例如,源设备可以从诸如外部照相机的外部视频源接收视频数据。同样地,目的设备可以与外部显示设备对接,而不是包括集成的显示设备。[0412]上述示例系统仅仅是一个示例。用于并行处理视频数据的技术可以由任何数字视频编码和/或解码设备来执行。尽管本公开的技术通常是由视频编码设备来执行的,但这些技术也可以由视频编码器/解码器(典型地被称为“编解码器”)来执行。此外,本公开的技术也可以由视频预处理器来执行。源设备和目的设备仅仅是此类译码设备的示例,其中源设备生成经译码的视频数据用于传输到目的设备。在一些示例中,源设备和目的设备可以以基本上对称的方式操作,使得设备中的每一个都包括视频编码和解码组件。因此,示例系统可以支持视频设备之间的单向或双向视频传输,例如用于视频流式传输、视频回放、视频广播或视频电话。[0413]视频源可以包括视频捕捉设备,诸如摄像机、包含先前捕捉的视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。作为进一步替代的,视频源可以生成基于计算机图形的数据作为源视频,或者实况视频、存档视频和计算机生成的视频的组合。在一些情况下,如果视频源是摄像机,则源设备和目的设备可以形成所谓的摄像电话或视频电话。然而,如上文所提及的,本公开中描述的技术可以适用于一般的视频译码,并且可以应用于无线和/或有线应用。在每种情况下,捕捉的、预捕捉的或计算机生成的视频可以由视频编码器来编码。经编码的视频信息然后可以通过输出接口被输出到计算机可读介质上。[0414]如所指出的,计算机可读介质可以包括瞬态介质,诸如无线广播或有线网络传输,或者可以包括存储介质(即,非暂时性存储介质),诸如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其他计算机可读介质。在一些示例中,网络服务器(未示出)可以从源设备接收经编码的视频数据,并且将经编码的视频数据提供给目的设备,例如,经由网络传输。类似地,介质生产设施(诸如光盘冲压设施)的计算设备可以从源设备接收经编码的视频数据,并且生产包含经编码的视频数据的光盘。因此,在各种示例中,计算机可读介质可以被理解为包括各种形式的一个或多个计算机可读介质。[0415]目的设备的输入接口从计算机可读介质接收信息。计算机可读介质的信息可以包括由视频编码器定义的语法信息,该语法信息也被视频解码器使用,该语法信息包括描述块和其它经译码的单元(例如,图片组(gop))的特性和/或处理的语法元素。显示设备向用户显示经解码的视频数据,并且可以包括各种各样显示设备中的任一个,诸如阴极射线管(crt)、液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器或另一种类型的显示设备。已经描述了本技术的各种实施例。[0416]图12和图13分别示出了编码设备104和解码设备112的具体细节。图12是示出可以实现本公开中描述的技术中的一个或多个的示例编码设备104的框图。例如,编码设备104可以生成本文描述的语法结构(例如,vps、sps、pps或其他语法元素的语法结构)。编码设备104可以执行视频切片内的视频块的帧内预测和帧间预测译码。如先前所述的,帧内译码至少部分地依赖于空间预测,以减少或去除给定视频帧或图片内的空间冗余。帧间译码至少部分地依赖于时间预测,以减少或去除视频序列的相邻或周围帧内的时间冗余。帧内模式(i模式)可以指几个基于空间的压缩模式中的任一个。帧间模式(诸如单向预测(p模式)或双向预测(b模式))可以指几个基于时间的压缩模式中的任一个。[0417]编码设备104包括划分单元35、预测处理单元41、滤波器单元63、图片存储器64、加法器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包括运动估计单元42、运动补偿单元44和帧内预测处理单元46。对于视频块重构,编码设备104还包括逆量化单元58、逆变换处理单元60和加法器62。滤波器单元63旨在表示一个或多个环路滤波器,诸如去块滤波器、自适应环路滤波器(alf)和样本自适应偏移(sao)滤波器。尽管滤波器单元63在图12被示出为环路内滤波器(inloopfilter),但在其他配置中,滤波器单元63可以被实现为后置环路滤波器(postloopfilter)。后处理设备57可以对由编码设备104生成的经编码的视频数据执行附加的处理。本公开的技术在一些实例中可以由编码设备104来实现。然而,在其他实例中,本公开的技术中的一个或多个可以由后处理设备57来实现。[0418]如图12所示,编码设备104接收视频数据,并且划分单元35将数据划分成视频块。划分还可以包括划分成切片、切片段、图块(tile)或其他更大的单元,以及视频块划分,例如,根据lcu和cu的四叉树结构。编码设备104总体上示出了对要编码的视频切片内的视频块进行编码的组件。切片可以被分成多个视频块(也可能被分成称为图块的视频块集)。预测处理单元41可以基于错误结果(例如,译码速率和失真水平等)来为当前视频块选择多个可能的译码模式中的一个,诸如多个帧内预测译码模式中的一个、或多个帧间预测译码模式中的一个。预测处理单元41可以向加法器50提供所得到的经帧内译码的块或经帧间译码的块以生成残差块数据,并且向加法器62提供这些块以重构用于作为参考图片使用的经编码的块。[0419]预测处理单元41内的帧内预测处理单元46可以执行当前视频块相对于与要译码的当前块相同的帧或切片中的一个或多个相邻块的帧内预测译码,以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一个或多个参考图片中的一个或多个预测块的帧间预测译码,以提供时间压缩。[0420]运动估计单元42可以被配置为根据用于视频序列的预定样式来确定用于视频切片的帧间预测模式。预定样式可以将序列中的视频切片指定为p切片、b切片或gpb切片。运动估计单元42和运动补偿单元44可以是高度集成的,但出于概念目的单独地加以说明。由运动估计单元42执行运动估计是生成运动向量的过程,该过程估计视频块的运动。例如,运动向量可以指示当前视频帧或图片内的视频块的预测单元(pu)相对于参考图片内的预测块的位移。[0421]预测块是在像素差方面被发现与要译码的视频块的pu非常匹配的块,像素差可以通过绝对差和(sad)、平方差和(ssd)或其他差度量来确定。在一些示例中,编码设备104可以计算被存储在图片存储器64中的参考图片的亚整数像素位置的值。例如,编码设备104可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可以执行相对于全像素位置和分数像素位置的运动搜索,并且输出具有分数像素精度的运动向量。[0422]运动估计单元42通过将pu的位置与参考图片的预测块的位置进行比较来计算经帧间译码的切片中的视频块的pu的运动向量。参考图片可以从第一参考图片列表(列表0)或第二参考图片列表(列表1)中选择,这些列表中的每一个都标识被存储在图片存储器64中的一个或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算的运动向量。[0423]由运动补偿单元44执行的运动补偿可能涉及基于通过运动估计确定的运动向量来提取或生成预测块,可能地,对亚像素精度执行内插。在接收当前视频块的pu的运动向量时,运动补偿单元44可以将运动向量所指向的预测块定位在参考图片列表中。编码设备104通过从被译码的当前视频块的像素值中减去预测块的像素值来形成残差视频块,从而形成像素差值。像素差值形成块的残差数据,并且可以包括亮度和色度差分量两者。加法器50表示执行该减法操作的一个组件或多个组件。运动补偿单元44还可以生成与视频块和供解码设备112在解码视频切片的视频块时使用的视频切片相关联的语法元素。[0424]帧内预测处理单元46可以对当前块进行帧内预测,作为由运动估计单元42和运动补偿单元44如上所述执行的帧间预测的替代。具体地,帧内预测处理单元46可以确定用于对当前块进行编码的帧内预测模式。在一些示例中,帧内预测处理单元46可以使用各种帧内预测模式来对当前块进行编码,例如,在单独的编码遍期间,并且帧内预测处理单元46可以从已测试模式中选择适当的帧内预测模式来使用。例如,帧内预测处理单元46可以使用对各种已测试帧内预测模式的率失真分析来计算率失真值,并且可以在已测试模式中选择具有最佳率失真特性的帧内预测模式。率失真分析通常确定经编码的块与被编码以产生经编码的块的原始的、未经编码的块之间的失真(或错误)量,以及用于产生经编码的块的比特率(即,比特数)。帧内预测处理单元46可以从各种经编码的块的失真和速率中计算比率,以确定哪个帧内预测模式展示出块的最佳率失真值。[0425]在任何情况下,在为块选择了帧内预测模式之后,帧内预测处理单元46可以向熵编码单元56提供指示块的所选择的帧内预测模式的信息。熵编码单元56可以对指示所选择的帧内预测模式的信息进行编码。编码设备104可以在所发送的比特流配置数据中包括各种块的编码上下文的定义,以及用于上下文中的每一个的最可能的帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。比特流配置数据可以包括多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)。[0426]预测处理单元41经由帧间预测或帧内预测生成当前视频块的预测块之后,编码设备104通过从当前视频块中减去预测块来形成残差视频块。残差块中的残差视频数据可以被包括在一个或多个tu中,并且被应用于变换处理单元52。变换处理单元52使用变换(诸如离散余弦变换(dct)或概念上类似的变换)来将残差视频数据变换成残差变换系数。变换处理单元52可以将残差视频数据从像素域转换为变换域,诸如频域。[0427]变换处理单元52可以向量化单元54发送得到的变换系数。量化单元54对变换系数进行量化以进一步降低比特率。量化过程可以减少与系数中的一些或全部相关联的比特深度。量化的程度可以通过调整量化参数来修改。在一些示例中,量化单元54然后可以执行包括经量化的变换系数的矩阵的扫描。替代地,熵编码单元56可以执行扫描。[0428]量化后,熵编码单元56对经量化的变换系数进行熵编码。例如,熵编码单元56可以执行上下文自适应变长译码、上下文自适应二进制算术译码(cabac)、基于语法的上下文自适应二进制算术译码(sbac)、概率区间划分熵(pipe)译码或另一熵编码技术。由熵编码单元56进行的熵编码后,经编码的比特流可以被发送到解码设备112,或被存档以供解码设备112以后传输或检索。熵编码单元56也可以对运动向量和被译码的当前视频切片的其他语法元素进行熵编码。[0429]逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换,以重构像素域中的残差块以供以后用作参考图片的参考块。运动补偿单元44可以通过将残差块添加到参考图片列表内的参考图片中的一个的预测块中来计算参考块。运动补偿单元44还可以将一个或多个内插滤波器应用于经重构的残差块,以计算用于在运动估计中使用的亚整数像素值。加法器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块中,以产生用于存储在图片存储器64中的参考块。参考块可以被运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。[0430]以这种方式,图12的编码设备104表示被配置为执行本文描述的技术中的任一个(包括上述过程或技术中的任一个)的视频编码器的示例。在一些情况下,本公开的技术中的一些也可以由后处理设备57来实现。[0431]图14是示出示例解码设备112的框图。解码设备112包括熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、加法器90、滤波器单元91和图片存储器92。预测处理单元81包括运动补偿单元82和帧内预测处理单元84。在一些示例中,解码设备112可以执行通常与关于来自图12的编码设备104描述的编码遍相反的解码遍。[0432]在解码过程期间,解码设备112接收经编码的视频比特流,经编码的视频比特流表示由编码设备104发送的经编码的视频切片的视频块和相关联的语法元素。在一些实施例中,解码设备112可以从编码设备104接收经编码的视频比特流。在一些实施例中,解码设备112可以从诸如服务器、介质感知网络元件(mane)、视频编辑器/拼接器或被配置为实现上述技术中的一个或多个的其他此设备的网络实体79接收经编码的视频比特流。网络实体79可以包括或者可以不包括编码设备104。本公开中描述的技术中的一些可以在网络实体79向解码设备112发送经编码的视频比特流之前由网络实体79来实现。在一些视频解码系统中,网络实体79和解码设备112可以是单独的设备的部分,而在其他示例中,关于网络实体79描述的功能性可以由包括解码设备112的同一设备来执行。[0433]解码设备112的熵解码单元80对比特流进行熵解码,以生成经量化的系数、运动向量和其他语法元素。熵解码单元80将运动向量和其他语法元素转发给预测处理单元81。解码设备112可以接收视频切片级和/或视频块级的语法元素。熵解码单元80可以处理和解析诸如vps、sps和pps的一个或多个参数集中的固定长度语法元素和可变长度语法元素两者。[0434]当视频切片作为经帧内译码的(i)切片被译码时,预测处理单元81的帧内预测处理单元84可以基于信令通知的帧内预测模式和来自当前帧或图片的先前经解码的块的数据来生成用于当前视频切片的视频块的预测数据。当视频帧作为经帧间译码的(即,b、p或gpb)切片被译码时,预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其他语法元素来产生当前视频切片的视频块的预测块。预测块可以从参考图片列表内的参考图片中的一个中产生。解码设备112可以基于被存储在图片存储器92中的参考图片,使用默认构建技术来构建参考帧列表:列表0和列表1。[0435]运动补偿单元82通过解析运动向量和其他语法元素来确定用于当前视频切片的视频块的预测信息,并且使用预测信息来产生被解码的当前视频块的预测块。例如,运动补偿单元82可以使用参数集中的一个或多个语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,b切片、p切片或gpb切片)、用于切片的一个或多个参考图片列表的构建信息、切片的每个经帧间编码的视频块的运动向量、切片的每个经帧间译码的视频块的帧间预测状态以及其他信息,以对当前视频切片中的视频块进行解码。[0436]运动补偿单元82也可以基于内插滤波器来执行内插。运动补偿单元82可以使用如由编码设备104在视频块的编码期间使用的内插滤波器来计算用于参考块的亚整数像素的内插值。在这种情况下,运动补偿单元82可以从接收到的语法元素中确定由编码设备104使用的内插滤波器,并且可以使用内插滤波器来产生预测块。[0437]逆量化单元86对比特流中提供并由熵解码单元80解码的经量化的变换系数进行逆量化或去量化。逆量化过程可以包括使用由编码设备104为视频切片中的每个视频块计算的量化参数,以确定量化的程度,并且同样地,确定应该应用的逆量化的程度。逆变换处理单元88对变换系数应用逆变换(例如,逆dct或其他合适的逆变换)、逆整数变换或概念上类似的逆变换过程,以便在像素域中产生残差块。[0438]在运动补偿单元82基于运动向量和其他语法元素来生成当前视频块的预测块之后,解码设备112通过将来自逆变换处理单元88的残差块与由运动补偿单元82生成的对应的预测块相加来形成经解码的视频块。加法器90表示执行该求和操作的一个组件或多个组件。如果需要,环路滤波器(在译码环路中或在译码环路之后)也可以用于平滑像素过渡,或以其他方式改进视频质量。滤波器单元91旨在表示一个或多个环路滤波器,诸如去块滤波器、自适应环路滤波器(alf)和样本自适应偏移(sao)滤波器。尽管在图14中滤波器单元91被示出作为环路内滤波器,但在其他配置中,滤波器单元91可以被实现为后置环路滤波器。给定帧或图片中的经解码的视频块然后被存储在图片存储器92中,该存储器存储用于后续运动补偿的参考图片。图片存储器92还存储经解码的视频以供以后在显示设备上呈现,诸如图1所示的视频目的设备122。[0439]以这种方式,图14的解码设备112表示被配置为执行本文描述的技术(包括上文描述的过程或技术)中的任一个的视频解码器的示例。[0440]本公开的技术不一定限于无线应用或设置。这些技术可以应用于视频译码,以支持各种各样的多媒体应用中的任一个,诸如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(诸如通过http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、解码被存储在数据存储介质上的数字视频或其他应用。在一些示例中,系统可以被配置为支持单向或双向视频传输,以支持诸如视频流式传输、视频回放、视频广播和/或视频电话的应用。[0441]如本文所使用的,术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带(多个)指令和/或数据的各种其他介质。计算机可读介质可以包括在其中可以存储数据的非暂时性介质,并且不包括无线地或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、光学存储介质(诸如压缩盘(cd)或数字多用盘(dvd))、闪速存储器、存储器或存储器设备。计算机可读介质可以具有存储在其上的代码和/或机器可执行指令,它们可以表示程式、函数、子程序、程序、例程、子例程、模块、软件包、类别、或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容与另一代码段或硬件电路耦合。信息、变元、参数、数据等可以经由任何合适的手段(包括存储器共享、消息传递、令牌传递、网络传输等)来传递、转发或传输。[0442]在一些实施例中,计算机可读存储设备、介质和存储器可以包括电缆或无线信号,该电缆或无线信号包含比特流等。然而,当被提及时,非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身的介质。[0443]在上面的描述中提供了具体细节,以提供对本文所提供的实施例和示例的透彻理解。然而,本领域技术人员将理解,在没有这些具体细节的情况下可以实践这些实施例。为了解释清楚,在一些实例中,本技术可以被呈现为包括单独的功能块,这些单独的功能块包括:包括设备、设备组件、体现在软件或硬件和软件的组合中的方法中的步骤或例程的功能块。除了图中示出的和/或本文描述的组件以外,还可以使用附加的组件。例如,电路、系统、网络、过程和其他组件可以以框图的形式示出为组件,以便不在不必要的细节中使实施例模糊不清。在其他实例中,众所周知的电路、过程、算法、结构和技术可以在不具有不必要的细节的情况下示出,以便避免使实施例模糊不清。[0444]单独的实施例可以在上文被描述为过程或方法,该过程或方法被描绘为流程图、流图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序的过程,但许多操作可以并行或并发地执行。此外,操作的次序可以被重新布置。过程在其操作完成时被终止,但可以具有未包括在图中的附加步骤。过程可以对应于方法、函数、程式、子例程、子程序等。当过程对应于功函数时,其终止可以对应于该函数返回到调用函数或主函数。[0445]根据上述示例的过程和方法可以使用计算机可执行指令来实现,这些指令被存储或以其他方式从计算机可读介质获得。例如,此类指令可以包括使或以其他方式将通用计算机、专用计算机或处理设备配置为执行某个函数或函数组的指令和数据。所使用的计算机资源的部分可以是通过网络可存取的。计算机可执行指令可以是例如二进制、中间格式指令,诸如汇编语言、固件、源代码等。可以用于存储指令、所使用的信息和/或根据所描述的示例的方法期间创建的信息的的计算机可读介质示例包括磁盘或光盘、闪速存储器、提供有非易失性存储器的usb设备、联网存储设备等等。[0446]实现根据这些公开的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或它们的任何组合,并且可以采取各种各样的形状因子(formfactor)中的任一个。当以软件、固件、中间件或微代码实现时,执行必要任务(例如,计算机程序产品)的程序代码或代码段可以被存储在计算机可读介质或机器可读介质中。(多个)处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能手机、移动电话、平板设备或其他小形状因子的个人计算机、个人数字助理、机架式设备、单机设备等等。本文描述的功能性也可以在外围设备或内插卡中体现。此功能性还可以在电路板上的不同芯片或在单个设备中执行的不同过程当中实现。[0447]指令、用于传送此类指令的介质、用于执行它们的计算资源以及用于支持此类计算资源的其他结构是用于提供本公开中描述的功能的示例部件。[0448]在前述描述中,本技术的各方面是参考其具体实施例进行描述的,但本领域的技术人员将认识到,本技术不限于此。因此,虽然本技术的说明性实施例已经在本文中进行了详细描述,但将理解,发明性概念可以以其他方式被不同地体现和采用,并且所附权利要求旨在被解释为包括此类变型,除非受到现有技术的限制。上述应用的各种特征和方面可以单独地或联合地使用。此外,在不脱离本说明书更广泛的精神和范围的情况下,可以在本文描述的环境和应用之外的任何数量的环境和应用中利用这些实施例。因此,本说明书和附图应被视为说明性的而非约束性的。出于说明的目的,方法是以特定次序描述的。应当理解,在替代实施例中,这些方法可以以不同于所描述的次序来执行。[0449]普通技术人员将理解,在不脱离本描述的范围的情况下,本文使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)和大于或等于(“≥”)符号来代替。[0450]当组件被描述为“被配置为”执行某些操作时,此配置可以例如通过将电子电路或其他硬件设计为执行操作,通过将可编程电子电路(例如,微处理器,或其他合适的电子电路)编程为执行操作,或它们的任何组合来实现。[0451]短语“耦合到”是指直接或间接地与另一组件物理连接的任何组件,和/或直接或间接地与另一组件通信(例如,通过有线或无线连接和/或其他合适的通信接口与其他组件连接)的任何组件。[0452]叙述集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其他语言指示该集合的一个成员或该集合的多个成员(以任何组合)满足该权利要求。例如,叙述“a和b中的至少一个”或“a或b中的至少一个”的权利要求语言意指a、b或a和b。在另一示例中,叙述“a、b和c中的至少一个”或“a、b或c中的至少一个”的权利要求语言意指a、b、c、或a和b、或a和c、或b和c、或a和b和c。语言集合中的“至少一个”和/或集合中的“一个或多个”并不将该集合限于该集合中列出的项目。例如,叙述“a和b中的至少一个”或“a或b中的至少一个”的权利要求语言可以意指a、b、或a和b,并且可以附加地包括a和b的集合中没有列出的项目。[0453]结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或它们的组合。为了清楚地说明硬件和软件的这种互换性,上文已经一般性地就它们的功能性而言描述了各种说明性组件、块、模块、电路和步骤。此功能性被实现为硬件还是软件取决于特定应用和对整个系统施加的设计约束。技术人员可以对于每个特定应用以变化的方式实现所描述的功能性,但是此类实现方式决策不应被解释为导致脱离本技术的范围。[0454]本文描述的技术还可以在电子硬件、计算机软件、固件或它们的任何组合中实现。此类技术可以在各种各样的设备中的任一个中实现,诸如通用计算机、无线通信设备手机或具有多种用途的集成电路设备,包括无线通信设备手机和其他设备中的应用。任何被描述为模块或组件的特征都可以在集成的逻辑器件中一起实现,或者作为分立但可互操作的逻辑器件分离地实现。如果在软件中实现,这些技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实现,该程序代码包括指令,这些指令在被执行时执行上文描述的方法中的一个或多个。计算机可读数据存储介质可以形成计算机程序产品的一部分,该计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(ram)(诸如同步动态随机存取存储器(sdram))、只读存储器(rom)、非易失性随机存取存储器(nvram)、电可擦除可编程只读存储器(eeprom)、闪速存储器、磁性或光学数据存储介质等。这些技术附加地或替代地可以至少部分地由计算机可读通信介质来实现,该计算机可读通信介质以指令或数据结构的形式携带或通信程序代码,并且可以由计算机存取、读取和/或执行,诸如传播的信号或波。[0455]程序代码可以由处理器来执行,该处理器可以包括一个或多个处理器,诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其他等效的集成或分立逻辑电路。此处理器可以被配置为执行本公开中描述的技术中的任一个。通用处理器可以是微处理器;但是替代地,处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,dsp和微处理器的组合、多个微处理器的组合、结合dsp核的一个或多个微处理器的组合、或者任何其他此配置的组合。因此,如本文所用的术语“处理器”可以指任何前述结构、前述结构的任何组合或适合于本文描述的技术的实现方式的任何其他结构或装置。此外,在一些方面中,本文描述的功能性可以在被配置用于编码和解码的专用软件模块或硬件模块内提供,或者被纳入到组合式视频编码器解码器(编解码器)中。[0456]本公开的说明性方面提供如下:[0457]方面1:一种用于处理视频数据的装置,包括:存储器,以及处理器,耦合到存储器。该处理器被配置为:获取视频数据的至少一个块;预测至少一个块的一个或多个视频样本;从视频数据中获取动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及基于dra语法元素的指示使用dra模式来处理至少一个块的一个或多个视频样本。[0458]方面2:根据方面1的装置,其中,为了使用dra模式来处理一个或多个视频样本,该处理器被配置为:对一个或多个视频样本应用与dra模式相关联的dra函数,其中,不使用亮度缩放信息来导出用于dra函数的色度缩放参数。[0459]方面3:根据方面1或2中的任一个的装置,其中,该处理器被配置为:从视频数据中获取一个或多个亮度变量,该一个或多个亮度变量表示一个或多个视频样本的一个或多个亮度缩放。[0460]方面4:根据方面3的装置,其中,该处理器被配置为:从用于多个dra模式中的dra模式的一个或多个亮度变量中导出色度缩放值。[0461]方面5:根据方面1至4中的任一个的装置,其中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。[0462]方面6:根据方面5的装置,其中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且其中,多个dra模式中的一个或多个其他模式与dra语法元素的指示的值1至57相关联。[0463]方面7:根据方面5或6中的任一个的装置,其中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。[0464]方面8:根据方面1至7中的任一个的装置,其中,该处理器还被配置为:基于与多个dra模式相关联的指示来确定联合dra缩放标志的值。[0465]方面9:根据方面1至8中的任一个的装置,其中,与dra模式相关联的dra缩放值以值1被固定。[0466]方面10:根据方面1至9中的任一个的装置,其中,该处理器还被配置为:基于dra语法元素的指示,使用dra模式来处理一个或多个视频样本,以使用dra模式来解码视频数据。[0467]方面11:根据方面1至10中的任一个的装置,其中,该装置包括移动设备。[0468]方面12:根据方面1至11中的任一个的装置,还包括耦合到处理器的显示器。[0469]方面13:根据方面1至12中的任一个的装置,还包括被配置为捕捉一个或多个帧的相机。[0470]方面14:一种处理视频数据的方法,该方法包括:获取视频数据的至少一个块;预测至少一个块的一个或多个视频样本;从视频数据中获取动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及基于dra语法元素的指示,使用dra模式来处理至少一个块的一个或多个视频样本。[0471]方面15:根据方面14的方法,其中,使用dra模式来处理一个或多个视频样本包括:对一个或多个视频样本应用与dra模式相关联的dra函数,其中,不使用亮度缩放信息来导出用于dra函数的色度缩放参数。[0472]方面16:根据方面14或15中的任一个的方法,还包括:从视频数据中获取一个或多个亮度变量,该一个或多个亮度变量表示一个或多个视频样本的一个或多个亮度缩放。[0473]方面17:根据方面16的方法,还包括:从用于多个dra模式中的dra模式的一个或多个亮度变量中导出色度缩放值。[0474]方面18:根据方面14至17中的任一个的方法,其中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。[0475]方面19:根据方面18的方法,其中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且其中,多个dra模式中的一个或多个其他模式与dra语法元素的指示的值1至57相关联。[0476]方面20:根据方面18或19中的任一个的方法,其中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。[0477]方面21:根据方面14或20中的任一个的方法,还包括:基于与多个dra模式相关联的指示来确定联合dra缩放标志的值。[0478]方面22:根据方面14至21中的任一个的方法,其中,与dra模式相关联的dra缩放值以值1被固定。[0479]方面23:根据方面14至22中的任一个的方法,还包括:基于dra语法元素的指示,使用dra模式来处理一个或多个视频样本,以使用dra模式来解码视频数据。[0480]方面24:一种具有存储在其上的指令的非暂时性计算机可读介质,该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据方面1至23中的任一个的操作。[0481]方面25:一种用于处理视频数据的装置,包括:用于执行根据方面1至23中的任一个的操作的一个或多个部件。[0482]方面26:一种用于处理视频数据的装置,包括:存储器,以及处理器,耦合到存储器。该处理器被配置为:获取视频数据;生成用于视频数据的动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及生成包括dra语法元素的经编码的视频比特流。[0483]方面27:根据方面26的装置,其中,不使用亮度缩放信息来导出用于与来自多个dra模式中的dra模式相关的dra函数的色度缩放参数。[0484]方面28:根据方面26或27中的任一个的装置,其中,该处理器被配置为:将一个或多个亮度变量包括在经编码的视频比特流中,该一个或多个亮度变量表示用于使用来自多个dra模式中的dra模式的视频数据的一个或多个亮度缩放。[0485]方面29:根据方面26至28中的任一个的装置,其中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。[0486]方面30:根据方面29的装置,其中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且其中,多个dra模式中的一个或多个其他dra模式与dra语法元素的指示的值1至57相关联。[0487]方面31:根据方面29或30中的任一个的装置,其中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。[0488]方面32:根据方面26至31中的任一个的装置,其中,该处理器还被配置为:基于与多个dra模式相关联的指示来设置联合dra缩放标志。[0489]方面33:根据方面26至32中的任一个的装置,其中,与来自多个dra模式中的dra模式相关联的dra缩放值以值1呗固定。[0490]方面34:根据方面26至33中的任一个的装置,其中,该装置包括移动设备。[0491]方面35:根据方面26至34中的任一个的装置,还包括耦合到处理器的显示器。[0492]方面36:根据方面26至35中的任一个的装置,还包括被配置为捕捉一个或多个帧的相机。[0493]方面37:一种处理视频数据的方法,该方法包括:获取视频数据;生成用于视频数据的动态范围调整(dra)语法元素,该dra语法元素包括与表列参数集和用于视频数据的多个dra模式相关联的指示;以及生成包括dra语法元素的经编码的视频比特流。[0494]方面38:根据方面37的方法,其中,不使用亮度缩放信息来导出用于与来自多个dra模式中的dra模式相关的dra函数的色度缩放参数。[0495]方面39:根据方面37或38中的任一个的方法,还包括:将一个或多个亮度变量包括在经编码的视频比特流中,该一个或多个亮度变量表示用于使用来自多个dra模式中的dra模式的视频数据的一个或多个亮度缩放。[0496]方面40:根据方面37至39中的任一个的方法,其中,来自dra语法元素的指示与在0至58的范围内的值相关联,以指定多个dra模式,该多个dra模式与色度缩放导出过程相关联。[0497]方面41:根据方面40的方法,其中,多个dra模式中的dra模式与dra语法元素的指示的值58相关联,并且其中,多个dra模式中的一个或多个其他dra模式与dra语法元素的指示的值1至57相关联。[0498]方面42:根据方面40或41中的任一个的方法,其中,当与dra模式相关联的色度阵列类型值等于0时,dra语法元素的指示被固定为值58。[0499]方面43:根据方面37或42中的任一个的方法,还包括:基于与多个dra模式相关联的指示来设置联合dra的缩放标志。[0500]方面44:根据方面37至43中的任一个的方法,其中,与来自多个dra模式中的dra模式相关联的dra缩放值以值1被固定。[0501]方面45:一种具有存储在其上的指令的非暂时性计算机可读介质,该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据方面26至44中的任一个的操作。[0502]方面46:一种用于处理视频数据的装置,包括:用于执行根据方面26至44中的任一个的操作的一个或多个部件。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1