1.本发明涉及用于处理信号的方法，诸如通过非限制性实例视频、图像、超光谱图像、音频、点云、3dof/6dof和体积信号的方式。处理数据可以包括但不限于在分级(基于层)编码格式的背景下获得、导出、编码、输出、接收和重构信号，其中信号以随后更高的质量水平在层中解码，利用和组合重构数据的后续层(“级”)。不同层的信号可以用不同的编码格式(例如，通过非限制性实例、传统的单层基于dct的编解码器、iso/iecmpeg-5part2低复杂度增强视频编码smptevc-62117等的方式)进行编码，借助于在单个位流中可以或不可以复用的不同基本流。
背景技术：
：：2.在基于层的编码格式中，诸如iso/iecmpeg-5part2lcevc(以下称为“lcevc”)或smptevc-62117(以下称为“vc-6”)，信号被分解成多个数据“级”(也称为“分层”)，每级对应于信号的“质量水平”(本文也称为“loq”)，从原始信号的采样率的最高级到通常具有比原始信号更低的采样率的最低级。在非限制性实例中，当信号是视频流中的图片时，最低级可以是原始图片的缩略图，例如，视频流中的低分辨率帧，甚至是单个图像元素。其他级含有关于应用于重构再现的校正的信息，以便产生最终输出。级可以基于残留信息，例如，特定质量水平的原始信号版本和相同质量水平的信号的重构版本之间的差异。最低级可以不包含残留信息，但是可以包含原始信号的最低采样。给定质量水平的解码信号通过首先解码最低级(从而以第一最低质量水平重构信号)，然后预测第二较高质量水平的信号再现，然后解码对应的第二级的重构数据(也称为第二质量水平的“残留数据”)，然后将预测与重构数据相结合，以便以第二较高的质量水平重构信号再现，以此类推，直到重构给定的质量水平。3.重构信号可以包含解码残留数据，并使用这一数据来校正从较低质量水平的信号版本中导出的特定质量水平的版本。可以使用不同的编码格式对不同级的数据进行编码，并且不同的质量水平可以具有不同的采样率(例如，分辨率，对于图像或视频信号的情况)。随后的级可以指信号的相同信号分辨率(即，采样率)，或者指逐渐更高的信号分辨率。这些方法的实例在lcevc和vc-6的可用规范中有更详细的描述。4.当使用基于层的编码格式时，一个或多个质量层的残留数据可用于校正由较低编码方法引入的损伤。例如，在lcevc中，由基本编码和解码(例如，使用诸如h.264或h.265的已知编解码器)的处理引入的图像伪像可以通过在一个或多个子层包含残留数据的增强数据流来进行校正。然而，引入的编码伪像的数量越多，携带残留数据所需的目标位速率就越高。如果网络带宽有限且可用位速率较低，这可能是问题。在这种情况下，在编码的增强或更高水平的残留数据流的位速率和解码器处重构信号的质量之间存在折衷。因此，在目标位速率低和/或使用低质量输出的低级编码方法的情况下，希望改进诸如lcevc和vc-6的编码方案。技术实现要素：5.本文中所示的非限制性实施例将信号称为样本序列(即，二维图像、视频帧、视频场、声音帧等)。在描述中，术语“图像”、“图片”或“平面”(意为“超平面”的最广泛含义，即，具有任意维数和给定采样网格的元素阵列)将经常用于标识沿样本序列的信号样本的数字再现，其中每个平面对于其每个维度(例如，x和y))具有给定的分辨率，并包含以一个或多个“值”或“设置”(例如，作为非限制性实例，合适颜色空间中的颜色设置、指示密度级别的设置、指示温度级别的设置、指示音频音高的设置、指示振幅的设置、指示深度的设置、指示α通道透明度级别的设置等)为特征的一组平面元素(或“元素”，或“像素(pel)”，或二维图像的显示元素，通常称为“像素(pixel)”，体积图像的显示元素，通常称为“体素”等)。每个平面元素由一组合适的坐标来标识，指示所述元素在图像的采样网格中的整数位置。信号维度可以仅包括空间维度(例如，在图像的情况下)或者时间维度(例如，在信号随时间演变的情况下，诸如视频信号)。6.作为非限制性实例，信号可以是图像、音频信号、多通道音频信号、遥测信号、视频信号、3dof/6dof视频信号、体积信号(例如，医学成像、科学成像、全息成像等)、体积视频信号或者甚至具有多于四维的信号。7.为简单起见，本文所示的非限制性实施例通常指显示为2d设置平面(例如，合适颜色空间中的2d图像)的信号，诸如例如视频信号。术语“图片”、“帧”或“场”将与术语“图像”互换使用，以便指示视频信号的时间样本：针对由帧组成的视频信号(逐行视频信号)所示的任何概念和方法也可以容易地应用于由场组成的视频信号(隔行视频信号)，反之亦然。尽管本文示出的实施例集中在图像和视频信号上，但是本领域技术人员可以容易地理解，相同的概念和方法也适用于任何其他类型的多维信号(例如，音频信号、体积信号、立体视频信号、3dof/6dof视频信号、全光信号、点云等)。8.本文描述的实例涉及使用在编码数据流内传输的一个或多个编码数据层中接收的一个或多个值中的嵌入信息来发出与要重构的信号的部分相关联的损伤的信号。具体而言，实例使用嵌入在变换系数值中的信息来发出一个或多个损伤的信号，使得这些损伤可以通过在重构信号时(例如，在解码器那里)应用的信号增强操作来至少部分地进行校正。例如，lcevc和vc-6都通过使用依次应用的变换和量化编码块来编码残留数据。在本实例中，量化的变换残留值(本文称为变换系数)用于携带与信号损伤相关的信令信息，以及残留数据本身。因此，变换系数用于在编码数据流中提供一种形式的嵌入信令。信号增强操作可以是在一个或多个lcevc或vc-6视频编码标准中没有定义的增强操作，例如，包含所谓的不符合标准的操作，但这些操作仍然与标准兼容。因此，本实例可以实现为上述标准的可选扩展，或者其他基于层的分级编码方案。9.根据某些描述的实施例，信号处理器(例如，计算机处理器硬件)被配置为接收数据并对其进行解码(“解码器”)。解码器实现解码数据的方法。解码器可以实现基于层的解码方法，诸如lcevc或vc-6。在这些情况下，解码器获得第一(例如，较低)质量水平的信号再现，并产生第二(例如，较高)质量水平的信号的预测再现。例如，第二质量水平可以具有比第一质量水平更高的分辨率(即，信号采样率)。在这些情况下，如在基于层的解码方法中所描述的，解码器接收并解码残留数据级，以应用于信号的预测再现，从而产生第二质量水平的信号的校正再现。在本文描述的某些实例中，当解码特定组的残留数据系数并找到特定组的量化符号时，解码器不将所述符号解释为残留数据，而是根据接收的符号执行信号增强操作。然后，这些信号增强操作可以帮助消除或减少损伤。在位速率受限的情况下，可以通过在解码器处采用已知类别的信号增强操作来生成质量更好的图片，而不是试图使用残留数据来校正所有的损伤。例如，发出四个信号增强操作中的一个的信号可能只需要2位，并且发出六十四个信号增强操作中的一个的信号可能只需要6位。由于损伤的信令携带在编码数据内，所以信令可以针对信号的特定部分进行定位，例如，可以仅在完整图片的一些而非所有编码单元的编码单元内发出去条带的信号。因此，本方法提供了使用局部信号增强操作来应用损伤的局部校正的方式。本方法可用于在第一和第二质量水平中的一个或多个上应用信号增强操作，这是基于这些水平中的一个或多个的残留数据中携带的嵌入信令数据。10.在一些非限制性实施例中，解码的字节流中的位向解码器发出附加信息可能已经被嵌入在一些残留数据系数中的信号，并且因此特定组残留数据中的特定组符号不应被解释为实际的残留数据，而是被解释为通知信号增强操作的上下文信息。在非限制性实施例中，一些保留符号对应于特定类型的损伤，向解码器通知可以应用于信号的对应区域的后处理操作，以便提高最终信号重构的质量。11.在一些非限制性实施例中，基于解码器装置在任一时刻可用的处理能力，解码器以不同的方式实现信号增强操作(包括有时根本不实现它们)。例如，即使发出了特定信号增强操作和/或损伤的信号，只有在解码器处的资源度量指示可用资源高于预定义阈值时，才执行一个或多个信号增强操作。12.在一些非限制性实施例中，解码器“环内”应用信号增强操作。这意味着信号增强操作是作为对部分信号进行操作的解码循环的部分来执行的，而不是在输出完整的重构帧之后。例如，在应用从含有关于分块损伤的嵌入信息的数据级中解码的残留数据之前，可以发出校正损伤的信号增强操作的信号并应用它。换句话说，包含残留的增强数据还可以携带信令，以在应用残留之前指示损伤校正。在其他非限制性实施例中，解码器在将第二质量水平的信号的初步再现与解码的残留数据组合(例如，这可以是对与第二质量水平相关的解码循环的“环内”调整)之后应用信号增强操作，诸如lcevc中的子级别2解码操作。在其他非限制性实施例中，在产生了最终(最高)质量水平的信号再现之后(即在视频帧输出(例如，用于再现)之后的“环路外”)，解码器在解码处理结束时应用所述信号增强方法。13.在某个非限制性实施例中，编码至少部分信号和嵌入上下文信息的格式是mpeg-5part2lcevc(“低复杂度增强视频编码”)。例如，可以使用基本编码器对信号进行编码以创建基本流，并使用lcevc编码器来创建增强流(其可以具有两个子层)。在这种情况下，是增强流的解码，其中基于嵌入在增强流中的损伤的信令来应用信号增强操作(例如，在一个或多个子层-在熵编码之前嵌入在变换系数中的信令)。在其他非限制性实施例中，编码至少部分信号和嵌入上下文信息的格式是smptevc-6st-2117。例如，vc-6可以被实现为完整的编解码器，其中最低级的数据被编码为最低分辨率图像(例如，在图像的视频流中)。在这种情况下，最低级之上的级的残留数据可能在残留数据的变换系数中嵌入了信令。其中在给定质量水平上的增强的信令可以被嵌入到该质量水平的级或其下的级中。14.根据某些其他非限制性实施例，信号处理器(例如，计算机处理器硬件)被配置为接收数据并对其进行编码(“编码器”)。编码器实现编码方法，例如，本文描述的解码方法所对应的编码方法。在编码中，用于信号重构的变换系数被保留给信号增强操作，该信号增强操作将在信号的一个或多个部分上执行以校正在信号中检测到的一个或多个损伤。例如，给定系数组(诸如lcevc和vc-6中描述的2×2哈达马(hadamard)变换的a、h、v、d系数中的一个，或者由更大的4×4变换产生的系数(例如，hh系数))的一个或多个量化符号用于提供嵌入信令以识别检测到的损伤，并指示一个或多个信号增强操作来校正它们。这是对变换系数的常规使用的补充(例如，以提供要添加到从较低质量水平生成的初步重构中的编码残留数据。15.在一组实例中，编码器产生第一(例如，较低)质量水平的信号再现，并用第一编码方法对其进行编码。这可能是lcevc中的基本编码，也可能是vc-6中的最低级编码。然后编码器产生第二(例如，更高)质量水平的信号的预测再现，并对应地产生第二质量水平的残留数据级以及对其进行编码，以应用于第二质量水平的信号的预测再现，从而产生第二质量水平的信号的校正再现。例如，第二质量水平的信号的预测再现可以从第一质量水平的信号再现中产生(例如，可以包含对lcevc中的子层2的上采样的输出)。当检测到对第一质量水平的信号进行编码的过程产生了不能用目标位速率(例如，可用于传输到解码器或用于存储的特定文件格式的位速率)的残留数据进行适当校正的一个或多个损伤时，编码器利用第二质量水平的残留数据级的一组残留数据中的一组保留符号来向解码器发出它应该预期的损伤的类型和/或位置的信号。然后，解码器能够基于损伤的类型和/或位置选择性地应用信号增强操作。在这种情况下，可以通过在特定编码单元(例如，残留值的网格，诸如lcevc中的2×2或4×4编码单元)的数据内应用嵌入信令来确定损伤的位置，其中不同的编码单元具有不同的信号损伤(或者没有损伤信号，因此是按照解码方法的常规应用的残留数据)。16.在一些非限制性实施例中，经编码的字节流中的位被切换，以便向解码器发出给定组残留数据中的给定组符号应该被解释为实际残留数据还是附加的上下文信息的信号，以通知图像增强操作。17.在一些非限制性实施例中，用于编码至少部分信号(例如，信号的残留数据和嵌入损伤信息)的格式是mpeg-5part2lcevc(“低复杂度增强视频编码”)。在其他非限制性实施例中，用于编码至少部分信号和嵌入损伤信息的格式是smptevc-6st-2117。例如，指示一个或多个信号增强操作的信令可以嵌入根据这些标准接收和解码的变换系数。18.根据其他非限制性实施例，嵌入残留数据中的损伤信息包括对应于分块损伤的符号。在非限制性实施例中，解码器在对应于含有保留符号的残留系数的信号区域中实现去块后处理操作。19.在非限制性实施例中，解码器基于接收的符号应用不同程度的去块强度。20.在非限制性实施例中，解码器借助于诸如专利us9445131b1《用于视频和图像处理的具有可调滤波强度的去块和去条带滤波器(de-blockingandde-bandingfilterwithadjustablefilterstrengthforvideoandimageprocessing)》(该专利通过引用并入本文)中描述的去块方法对信号进行去块，其中给定相邻区域的qp信息嵌入在符号中。21.在一些非限制性实施例中，在应用从含有关于分块损伤的嵌入信息的数据级中解码的残留数据之前，解码器应用环路中的去块方法。在其他非限制性实施例中，解码器在将第二质量水平的信号的初步再现与解码的残留数据组合之后应用去块方法。在其他非限制性实施例中，在产生了最终(例如，最高)质量水平的信号再现之后，解码器在解码处理结束时应用所述后处理方法。22.根据其他非限制性实施例，嵌入在残留数据中的信号信息包括对应于条带化、振铃和软化损伤的符号。在非限制性实施例中，解码器在对应于含有保留符号的残留系数的信号区域中实现信号增强操作，所述信号增强操作包括去条带、去范围、边缘增强、范围均衡和锐化后处理操作。例如，视频帧可被划分成若干2×2或4×4个编码单元区域，并且损伤信息可特定于编码单元的。在其他情况下，可以定义视频帧的区域，并且在每个区域内，在该区域的一组变换系数中的一个(例如，区域的角落或中心的编码单元的变换系数)中提供嵌入信令。应当注意，对视频数据“帧”的引用还包括对彩色数据(例如，亮度和色度平面)的一个或多个平面的引用，如从诸如lcevc和vc-6的基于层的编码方法中已知的。23.在一些非限制性实施例中，在应用从含有关于分块损伤的嵌入信息的数据级中解码的残留数据之前，解码器应用环路中的所述后处理方法。在其他非限制性实施例中，解码器在将第二质量水平的信号的初步再现与解码的残留数据组合之后应用所述后处理方法。在其他非限制性实施例中，在产生了最终(例如，最高)质量水平的信号再现之后，解码器在解码处理结束时应用所述后处理方法。24.根据某些非限制性实施例，嵌入在残留数据中的损伤信息包括对应于从宽色域到标准色域的颜色转换的情况下的色度翻转损伤的风险的符号。所述损伤是由于转换lut(“查找表”)的限制。在非限制性实施例中，在应用颜色转换方法之前，解码器在对应于含有保留符号的残留系数的信号区域中箝位颜色值。25.根据另外的非限制性实施例，嵌入残留数据中的损伤信息包括对应于量化噪声损伤的符号。在一些非限制性实施例中，解码器在对应于含有保留符号的残留系数的信号区域中应用去噪方法。26.在一些非限制性实施例中，在应用从含有关于分块损伤的嵌入信息的数据级中解码的残留数据之前，解码器应用环路中的去噪器。在其他非限制性实施例中，解码器在将第二质量水平的信号的初步再现与解码的残留数据组合之后应用去噪器。27.根据某些非限制性实施例，嵌入残留数据中的上下文信号信息包括对应于胶片颗粒和/或相机噪声损失的符号。在一些非限制性实施例中，解码器在对应于含有保留符号的残留系数的信号区域中应用统计抖动方法。28.在一些非限制性实施例中，统计抖动被应用于分层体系中的多个级别的环路中，例如，在给定质量水平的分辨率和随后的(例如，更高的)质量水平的分辨率。29.根据另外的非限制性实施例，与损伤相关的上下文信号信息被嵌入到用非分层编码格式生成的编码数据中。在非限制性实施例中，使用量化系数中的一组保留符号，在宏块级别嵌入符号。30.根据以下参考附图进行且仅作为实例给出的描述，将清楚其他特征和优点。附图说明31.图1示出了根据实施例的解码系统的实例的框图；32.图2示出了根据实施例的分级编码系统的实例的框图；33.图3示出了根据实施例的分级解码系统的框图；34.图4示出了根据实施例的分级解码系统的另一实例的框图；35.图5示出了根据实施例的编码和解码系统的另一实例的框图；并且36.图6示出了根据实施例的设备的实例的框图。具体实施方式37.作为附加的背景，基于给定质量水平(loq)的预测再现的保真度，信号可能需要变化的校正量，这可以由“残留数据”或简单地由“残留”来提供。这一残留数据(例如在lcevc和vc-6中所教导的)使得解码器能够在给定的loq生成信号的重构，该重构最类似于(或者甚至无损重构)原始信号。尤其是当使用相对高的压缩比和/或效率较低的编码格式来重构较低loq时，在较低loq处可能会产生某些损伤。诸如lcevc和vc-6的基于层的编码方案的方法意味着残留数据可以按照方案来操作，以校正这些损伤。然而，当位速率受到限制时，已经发现可以应用附加的信号增强操作来以全分辨率和全质量增强最终信号重构内的图片质量。在本文描述的实例中，至少在编码器处检测到损伤的可能性，并使用嵌入信令向解码器发出信号，使得解码器可以维持标准化的解码过程，但是添加基于嵌入信令的内容选择性执行的附加信号增强操作，以减少和/或校正解码器处的输出重构中的损伤。对于图像和视频信号的情况，可以被校正的损伤的非限制性实例包括块化、条带化、软化、由于颜色空间转换引起的色度损伤、低对比度纹理的损失、量化噪声、胶片颗粒噪声的损失等。38.本文描述的某些方法允许在解码器处以两种方式处理损伤：通过使用合适的残留数据直接校正他们，(例如，直到无损校正和重构)，以及通过应用诸如锐化、去噪、图像增强等后处理操作。由于可以在局部化编码单元或块内携带的上下文数据中发出损伤的信号，所以也可以发出局部化信号增强操作的信号，从而允许比应用非选择性全局后处理的比较“毯式”方法更有效的编码、解码和校正。作为比较，关于仅经由残留数据来校正损伤，尽管方法可以达到无损保真度，但是适当地校正诸如块化或条带化的伪像通常在位速率方面是非常昂贵的，因为它需要非常小的量化步长。另一方面，关于解码处理结束时的后处理操作，从解码处理的角度来看，为了避免破坏没有从中受益的信号部分，正确地识别它们应该被使用到什么程度通常是非常昂贵的。在当前情况下，经由残留数据的一些校正和发出信号的信号增强操作的组合允许具有更大量化步长的更有效的残留编码，以及基于从残留数据内的编码器发出损伤的信号的简单和有效的选择性和可能的局部化校正(例如，除了残留数据本身之外并与其分离)。39.本文描述的实施例允许有效地生成、发信号和利用上下文信息，解码器可以使用该上下文信息以及残留数据来适当地修正信号重构，以便提高重构信号的质量。此类信息被有效地嵌入编码信号的一个或多个级的残留数据的系数中，从而允许避免附加的信令开销的需要(例如，单独的边带信令)以及有效地区分可以从一系列质量增强操作中受益的情况。此外，对于本文描述的一些非限制性实施例，在分级编码方案的上下文中，在较低信号分辨率下应用某些非必要信号增强操作也产生了解码器装置处所需处理能力的实质性降低。40.参考图1，示出了在解码系统中实现的方法的实例。接收并处理一组量化符号100-1至100-n。这些量化符号包含量化的变换系数，其中量化可以是可选的和/或基于编码配置在程度上变化。量化符号可以包含从后面的附图中描述的一个或多个编码流中产生的符号。在本文描述的实例中，信息被嵌入在一个或多个编码数据层中接收的一个或多个值中，其中所述值与旨在由解码器处理以导出信号的元素的变换系数相关联。在lcevc和vc-6中描述了示例性量化和变换系数符号的接收。根据符号100-1是否旨在作为保留符号，解码器遵循两种不同的方法。在这种情况下，术语“保留符号”可以被认为是指被保留来携带上下文信息的符号，所述上下文信息诸如包括关于要在解码器处执行的信号增强操作的指令以减少和/或移除特定的检测到的损伤的损伤信息。41.如果符号100-1不旨在作为保留符号，例如，旨在携带用于重构信号的残留数据，则其解码遵循该组中的其他符号实现的正常处理：根据框110的去量化和逆变换，产生一组解码数据130。借助于解码操作150进一步处理所述解码数据，以产生解码信号160。例如，这一正常处理可以是在诸如lcevc或vc-6的解码规范中描述的处理。42.如果符号100-1旨在作为保留符号，其解码遵循不同的处理，如比较框105所示。在框120，嵌入信息由处理符号100-1进行解码，以产生关于要执行的增强操作的信息140。这一信息140是损伤信息，因为它发出关于在解码器处检测到的损伤的信息的信号。借助于增强操作170，解码信号160与关于要执行的增强操作的信息140一起被处理，从而产生信号180的增强重构。43.例如，关于要执行的增强操作的信息140可以基于嵌入信令信息来确定，所述嵌入信令信息对应于以下损伤类别中的一个或多个：条带化、振铃、软化、颜色转换翻转和量化噪声损伤。增强操作170可以对应地包含以下中的一个或多个：去块、去条带、去振铃、去噪、锐化、抖动、颜色限幅、范围均衡和边缘增强。可以通过在编码器处计算图像质量度量来检测损伤，例如，使用已知的度量来检测损伤。44.在一些非限制性实施例中，解码位或字节流中的位(图中未示出)向解码器发出符号100-1将被用作保留符号的信号。例如，这一位可以包含在全局配置信息中被切换为“开”或“关”的“用户数据”标志，这将在下面更详细地描述。45.在一些非限制性实施例中，基于解码器装置在处理时可用的处理能力，解码器以不同的方式实现信号增强操作(包括有时根本不实现它们)。例如，即使从关于损伤的嵌入信令中导出的关于要执行的增强操作的信息140指示增强操作170，如果解码器处的资源度量低于预定义阈值，则可能不会执行这些操作。例如，只有在有足够的备用中央处理单元(cpu)或图形处理单元(gpu)容量(例如，根据利用率、吞吐量、可用存储器等中的一个或多个来测量)和/或对于移动装置来说，剩余电池电量高于预定义阈值(例如，20％)时，才可以执行增强操作170。46.参考图2，示出了在编码系统中实现的方法的实例，在这种情况下实现了基于层的分级编码方法。图2中的框可以由示例性编码器来实现。质量水平#2(例如，全分辨率和质量)的源信号200被下采样器210接收和处理，产生下采样信号200-1。下采样信号200-1由编码器220处理，该编码器应用给定的编码方法(在一些非限制性实施例中也是基于层的分级编码方法，而在其他非限制性实施例中是非分级编码方法)，产生编码数据225。编码器220可以被称为“基本”解码器。47.编码数据225和下采样信号200-1由loq#1残留数据的生成器230处理，以产生编码数据235和在loq#1的信号再现237。loq#1残留数据的生成器230可以通过从下采样信号200-1中减去基于编码数据225的重构来生成残留信号。loq#1残留数据的生成器230还可以通过应用编码单元变换和量化该变换的输出来编码所述残留信号。还可以应用熵编码的另一阶段。变换和量化的输出可以包含被修改以包括嵌入信令的(量化的)变换系数。48.在loq#1的信号再现237由在loq#2的初步再现的生成器240进一步处理，以产生在loq#2的信号的初步再现245。例如，这可以包含用可选的修改对在loq#1的信号再现237进行上采样，以生成loq#2的分辨率和/或采样率的信号。49.在loq#2的信号的初步再现245与源信号200一起被loq#2残留的生成器260处理，以产生编码数据265。编码数据265可以包含由loq#2残留的生成器260通过从源信号200中减去在loq#2的信号的初步再现而生成的残留信号。loq#2残留的生成器260可以对loq#1的生成器230应用类似的操作，但是基于第二质量水平的残留信号(例如，以更高的分辨率)。50.然后，多组编码数据225、235和265由多路复用器(mux)270处理，以产生编码数据级中编码的信号280。虽然所有三组编码数据在图2中被多路复用，但是在其他实例中，子集可以被多路复用，例如，编码数据235和265可以与编码数据225分开传输。在vc-6中，编码数据流可以包含所有组编码数据225、235、265；在lcevc中，编码(增强)数据流可以包含编码数据235和265，并且编码数据225可以形成单独的基本流。51.在某些描述的实施例中，当检测到以第一质量水平对信号进行编码的过程产生不能用目标位速率的残留数据来适当校正的一个或多个损伤时，loq#1残留的生成器230产生编码数据235，该编码数据利用该数据中的一组保留符号来向解码器发出它应该预期的损伤的类型和/或位置的信号。例如，loq#1残留的生成器230可以处理来自编码数据225和残留信号的一个或多个重构，以确定存在的一个或多个损伤。这可以包含对一帧或多帧信号计算一个或多个图像度量。在一种情况下，loq#1残留的生成器230用嵌入信令数据替换特定变换系数(例如，通过乘以变换矩阵生成向量中的特定元素)的量化变换系数值。只有一个系数的值可以被修改，其他系数可以保持不变，并且按照标准化解码过程的比较编码进行编码。可以选择最小化重构信号变化的系数，诸如用于2×2或4×4哈达马变换的h或hh系数。52.在一些非限制性实施例中，loq#1残留的生成器230触发编码位或字节流中的特定位，以便向解码器发出该组编码数据235中的给定组符号应该被解释为实际残留数据还是附加的上下文信息的信号，以通知信号增强操作。53.在一些非限制性实施例中，loq#1残留的生成器230和loq#2残留的生成器260根据用保留系数发出信号的信息来实现环路内信号增强操作，以便模拟由解码器产生的重构，并且如果必要的话，适当地适配编码数据265。例如，由loq#2残留的生成器260生成并被编码为编码数据265的残留可以用嵌入损伤信令来校正变换系数值的替换。54.参考图3，示出了在解码系统中实现的方法的实例，还实现了基于层的分级编码方法。图3中的框可以由示例性解码器来实现。编码数据225由较低loq的解码器300接收和处理。编码数据225可以通过对从编码器接收的编码数据级中编码的信号280进行解复用来获得，诸如图2中所示。较低loq的解码器300可以被称为基本解码器。较低loq的解码器300输出在loq#1的信号的初步再现310。55.然后，在loq#1的信号的初步再现310与编码数据235一起被loq#1的重构器320处理，以便产生在loq#1的信号再现337。编码数据235可以通过对从编码器接收的编码数据级中编码的信号280进行解复用来获得，诸如图2中所示。在一些非限制性实施例中，再现337与图2的对应的再现237相同。在其他非限制性实施例中，解码器应用不同的处理方法(例如，包括信号增强操作)，以产生不同于再现237的再现337。编码数据235可由loq#1的重构器320进行解码，然后与在loq#1的信号的初步再现310组合。在一种情况下，编码数据235可以包含如本文其他实例中所述的残留数据。解码可以包含应用如图1和4中的框110和410所示的操作。56.然后，在loq#1的信号再现337由在loq#2的初步再现的生成器340(其可以对应于图2中在loq#2的初步再现的生成器240)处理，以产生在loq#2的信号的初步再现345。在一些非限制性实施例中，再现345与图2的对应的再现245相同。在其他非限制性实施例中，解码器产生不同于再现237的再现337，因此再现345也不同于再现245。57.在loq#2的信号的初步再现345由loq#2的重构器360处理，产生在loq#2的信号的最终再现370。58.在一些非限制性实施例中，当解码编码数据235内的特定组数据并找到特定组量化符号时，解码器不将所述符号解释为残留数据，而是根据接收的符号执行信号增强操作。59.在一些非限制性实施例中，解码的字节流(图3中未示出)中的位向loq#1的重构器320和/或loq#2的重构器360发出附加信息可能已经被嵌入在一些残留数据系数中的信号，并且更具体地说，特定组残留数据中的特定组量化符号(或所述符号的部分)不应被解释为实际的残留数据，而是被解释为通知信号增强操作的上下文信息。60.在非限制性实施例中，一些保留符号对应于特定类型的损伤，向解码器通知后处理操作(无论是在循环中——即，在框230内——还是在解码处理结束时——即，在框260内)，该后处理操作可以应用于信号的对应区域，以便提高信号在loq#2的最终再现370的质量。61.在一些非限制性实施例中，基于解码器装置在解码时可用的处理能力，解码器以不同的方式实现信号增强操作(包括有时根本不实现它们)。62.在一些非限制性实施例中，在应用从含有关于分块损伤的嵌入信息的数据级中解码的残留数据之前，解码器应用环路中(即，在框320内)的信号增强方法。在其他非限制性实施例中，在将信号的初步再现与解码的残留数据组合之后，解码器应用环路中(即，仍然在框320内)的信号增强方法。在其他非限制性实施例中，在产生了最终(最高)质量水平的信号再现之后，解码器在解码处理结束时(即，在块360结束时或之后)应用信号增强方法方法。在另外其他非限制性实施例中，解码器应用环路中(例如，借助于根据上述备选方案中的一个的非限制性实例)的以及在解码过程结束时的信号增强方法。63.在优选实例中，编码器或解码器是基于层的分级编码方案或格式的部分。基于层的分级编码方案的实例包括lcevc：mpeg-5part2lcevc(“低复杂度增强视频编码”)以及vc-6：smptevc-6st-2117，前者在pct/gb2020/050695(以及相关的标准文件)中有所描述，后者在pct/gb2018/053552(以及相关的标准文件)中有所描述，所有这些文献都通过引用并入本文。然而，本文所示的概念不需要局限于这些特定的分级编码方案。本领域技术人员将知道上述编码器方法和解码器方法如何应用于lcevc(例如，loq#1对应于基本层，loq#2对应于增强层)中的基本层和增强层。如此，在某些情况下，编码数据235、编码数据265和对应的嵌入上下文信息被编码的格式是mpeg-5part2lcevc(“低复杂度增强视频编码”)。在这种情况下，编码数据235和编码数据265可以包含不同的增强子层。在这种情况下，嵌入上下文信息可以被称为“用户数据”，因为它可以包含根据标准重构信号所需的数据之外的信息。在其他情况下，编码数据235、编码数据265和对应的嵌入上下文信息被编码的格式是smptevc-6st-2117。类似地，嵌入上下文信息可以包含根据标准的定义重构信号不需要的数据。64.参考图4，示出了在解码系统中实现的方法的实例，它实现了基于层的分级编码方法。方法是图2所示方法的变型。在这一变型中，损伤信息可以用于处理在loq#1的信号的初步再现(诸如图3中的310)和在loq#2的信号的再现(例如图3中的370)中的一个或多个。如此，损伤信息可以与一个或多个质量水平相关联，包括基本质量水平。65.如图2中所示，在图4中，量化符号400-1与其他量化符号400-2...400-n一起被接收和处理。量化符号可以表示编码数据235级别的残留数据流。解码器检查符号400-1是否应该作为保留符号。根据符号400-1是否旨在作为保留符号，解码器遵循两种不同的方法。66.如果符号400-1不旨在作为保留符号，则其解码遵循该组中的其他符号实现的正常处理：根据框410的去量化和逆变换，产生一组解码的残留数据420。借助于重构器450进一步处理所述残留数据(例如，作为非限制性实施例，连同信号样本的其余部分的其他残留数据)以产生在loq#1的信号再现460。67.如果符号400-1旨在作为保留符号，其解码遵循不同的处理。在框430，启动解码嵌入信息430操作来处理符号400-1。在这一实例中，符号400-1中存在的信令被解码，以产生关于针对一个或多个质量水平要执行的增强操作的信息。关于要执行的增强操作的第一组信息432被解码，并且借助于增强操作440与在loq#1的信号的初步再现310一起被处理，产生在loq#1的信号的增强的初步再现445。在这种情况下，关于要执行的增强操作的第一组信息432指示要对从图3中的编码数据225解码的信号执行的信号增强操作。这可以是lcevc实现方式的基本解码器的输出。增强操作440发生在添加残留数据之前的第一质量水平。然后，增强的初步再现445与残留数据420一起由重构器450进一步处理，产生在loq#1的信号的增强再现460。例如，重构器450可以包含类似于图3中loq#1的重构器320所执行的那些处理的处理，并且在loq#1的增强的信号再现460可以对应于图3中在loq#1的信号再现337。如图4中所示，在某些情况下，重构器450还可以使用关于要执行的增强操作的第一组信息432来提供差分处理。例如，在某些实例中，可以在基于关于要执行的增强操作的第一组信息432添加残留数据420之后执行增强操作440。根据实现方式，可以应用不同的方法。68.在一种情况下，解码嵌入信息框430可以从量化符号400-1(例如，量化符号400-1可以携带损伤信息和残留数据两者)中提取损伤信息和残留数据两者。例如，这可以通过划分量化符号400-1的位并将更高级别的量化应用于表示残留数据的变换系数的原始符号来实现。这可以通过提取符号的最低有效位、然后将这些位设置为零来实现，这表示向下舍入操作，其中舍入的级别最接近2n(其中n是信令信息的位数)。对于表示变换系数数据的位，解码嵌入信息框430可以执行类似于去量化和逆变换框410的操作，或者可以可替代地将量化符号400-1的非信令分量传递回去量化和逆变换框410，以导出残留数据。在任何情况下，重构器450可以附加地接收量化符号400-1的残留数据。69.因此，重构器450生成在loq#1的增强的信号再现460，该增强的信号再现由解码操作465进一步处理，以产生在loq#2的信号再现470。解码操作465可以是与图2中在loq#2的初步再现的生成器340和loq#2的重构器360相关联的操作。因此，在loq#2的信号再现470可以被视为对应于图3中的再现370。在图4中，关于要执行的增强操作的第二组信息434由框430进行解码，并用于指示以第二质量水平执行的增强操作480。因此，在图4中，在loq#2的信号再现470由增强操作480连同关于要执行的增强操作的信息434一起被处理，以便产生在loq#2的增强的最终信号再现490。70.在图4的实例中，有两组关于要执行的增强操作的信息432、434以及可以执行增强操作的三个位置440、450和480。不同的实现方式可以使用所描述的信令和增强的不同组合，例如，在一种情况下，可以仅发送关于要执行的增强操作的第一组信息432，并且可以仅执行增强操作440；在另一情况下，可以仅发送关于要执行的增强操作的第二组信息434，并且可以仅执行增强操作480。在一种情况下，嵌入信令可以指示增强操作440和480中的一个或多个是否被激活和是否将被执行。例如，这可以在全局信令数据中指示。这一全局信令数据可以嵌入信号的初始编码块内和/或图片或图片组的单独边带信令内。71.在某些情况下，如果量化符号400-1仍然携带变换系数值(例如，通过在损伤信息和变换系数值之间分割位容量)和/或变换系数被选为来自较大(例如，4×4)变换的系数，该较大变换被发现具有降低的视觉影响(例如，4×4哈达玛变换中的hh系数)，则所得输出信号(例如，在loq#2的信号的最终再现490)的视觉影响被最小化。附加地，如果变换的系数值具有降低的精度或者在loq#1水平被替换，则loq#2残留的生成器260能够生成成为编码数据265的残留数据，该编码数据校正在loq#2的信号的初步再现245和在loq#2的源信号200之间的差异。因此，这意味着嵌入信令的视觉效果被最小化，同时确保编码处理不修改嵌入信令(因为信息在熵编码之前但在变换和量化之后被嵌入)。即使对视觉质量有最小或很小的效果(例如，如果嵌入信令代替变换系数的值)，这一效果可能小于用信令增强操作获得的图片质量的感知改善；因此，在受限的位速率(例如，在质量差的通信信道上和/或当被限制使用低质量基本编码时)下，可以提高整体图片质量。72.参考图5，示出了在利用本文描述的创新方法的编码和解码系统中实现的方法的实例。编码器510处理原始信号500以产生数据流520。编码器510可以如参考图2所解释的那样对数据流520进行编码，并且可以将损伤信息嵌入在数据流520内传输的一个或多个编码数据层中接收的一个或多个值内，其中所述值与旨在由解码器处理以导出信号的元素的变换系数相关联，例如，如参考图2或图4所述。73.数据流520由两个解码器处理。解码器530-0根据编码器510在保留符号内发出信号通知的信息实现信号增强方法，以解码重构信号540-0。解码器530-1忽略编码器510在保留符号内发信号通知的信息，并重构重构信号540-1。例如，解码器530-1可以处理嵌入信令值，就好像它们是变换系数的值一样，可以忽略这些值(例如，将它们设置为0)和/或可以在标准用户数据处理(例如，用于lcevc)中执行但随后忽略含有嵌入信令的用户数据。在一些非限制性实施例中，重构信号540-1是用于给定目的的信号的优选可行的重构，使得由解码器530-0执行的增强操作完全可选。例如，解码器530-1可以是应用lcevc标准中阐述的解码处理的解码器，而解码器530-0可以是实现非标准解码处理的解码器(在某些情况下，除了lcevc标准中阐述的解码处理之外)。因此，可以基于损伤信息提供附加功能，同时保持符合lcevc标准。74.在一些非限制性实施例中，解码器530-0有时可以决定忽略由编码器510在保留符号内发出信号的部分信息。在非限制性实施例中，解码器530-0基于包括信号的分辨率和帧率、解码时的处理能力负载和电池功率状态的信息，定义是否忽略保留符号内发出信号的部分信息。75.在某些情况下，实现向后兼容(例如，如上所解释的)，因为解码器530-1将保留符号视为正常的量化变换系数值，并适当地对它们进行解码。在基于层的分级格式内应用的校正意味着任何错误都可以被校正。可替代地，编码数据流520中的位被用于向解码器530发出一个或多个值应该被解释为所述信息而不是变换系数的实际量化值的信号。在又一种情况下，分配给特定变换系数值的位深度(例如，深度d是8或16位)可以在保留符号和(量化的)变换系数值之间共享。例如，变换系数值的n个最低有效位(其中n小于位深度，例如是2或6位)可用于携带保留符号(即损伤信息)，其表示应用于携带这一符号的变换系数值的更积极的量化，但是仍然能够传输粗级别的信息(d-n位)并用于重构残留数据。通过选择在重构输出(例如，2×2或4×4哈达马变换中的h或hh)中被确定(例如，通过实验)为感知度较低的变换系数，可以进一步最小化视觉影响。76.参考图6，示出了设备600的实例的示意性框图。77.设备600的实例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、台式计算机、膝上型计算机、笔记本、上网本计算机、主机计算机系统、手持式计算机、工作站、网络计算机、应用程序服务器、存储装置、诸如相机等消费型电子装置、可携式摄像机、移动装置、视频游戏控制台、手持式视频游戏装置、诸如开关等外围装置、调制解调器、路由器、车辆等，或一般来说任何类型的计算或电子装置。78.在这一实例中，设备600包含被配置为处理信息和/或指令的一个或多个处理器612。一个或多个处理器612可以包含中央处理单元(cpu)。一个或多个处理器612与总线611耦合。由一个或多个处理器612执行的操作可以由硬件和/或软件来执行。一个或多个处理器612可以包含多个协同定位的处理器或多个不同定位的处理器。79.在这一实例中，设备600包含被配置为存储一个或多个处理器612的信息和/或指令的计算机可用存储器613。计算机可用存储器613与总线611耦合。计算机可用存储器613可以包含一个或多个易失性和非易失性存储器。易失性存储器可以包含随机存取存储器(ram)。非易失性存储器可以包含只读存储器(rom)。80.在这一实例中，设备600包含被配置为存储信息和/或指令的一个或多个外部数据存储单元680。一个或多个外部数据存储单元680经由i/o接口614与设备600耦合。一个或多个数据存储单元680可以例如包含磁盘或光盘和磁盘驱动器或固态驱动器(ssd)。81.在这一实例中，设备600进一步包含经由i/o接口614耦合的一个或多个输入/输出(i/o)装置616，该接口被配置为向和/或从一个或多个处理器612传送信息。设备600还包含至少一个网络接口617。i/o接口614和网络接口617都耦合到系统总线611。至少一个网络接口可以使设备600能够经由一个或多个数据通信网络690进行通信。数据通信网络的实例包括但不限于互联网和局域网(lan)。一个或多个i/o装置616可以使用户能够经由一个或多个输入装置(未示出)向设备800提供输入。一个或多个i/o装置806可以使得信息能够经由一个或多个输出装置(未示出)提供给用户。82.在图6中，(信号)处理器应用程序640-2被显示为加载到存储器1513中。这可以由处理器612作为(信号)处理器处理640-1来执行，以实现本文描述的方法(例如，实现合适的编码器或解码器)。设备600还可以包含为了清楚起见未示出的附加特征，包括操作系统和附加的数据处理模块。(信号)处理器处理640-1可以通过存储在计算机可用非易失性存储器内的存储器位置、一个或多个数据存储单元内的计算机可读存储介质和/或其他有形计算机可读存储介质中的计算机程序代码来实现。有形计算机可读存储介质的实例包括但不限于，光学介质(例如，cd-rom、dvd-rom或蓝光)、闪存卡、软盘或硬盘或能够在至少一个rom或ram或可编程rom(prom)芯片中或作为专用集成电路(asic)存储诸如固件或微码的计算机可读指令的任何其他介质。83.设备600因此可以包含可以由一个或多个处理器执行的数据处理模块。数据处理模块可以被配置为包括指令以实现本文描述的至少一些操作。在操作期间，一个或多个处理器启动、运行、执行、解释或以其他方式执行指令。84.尽管本文参考附图描述的实例的至少一些方面包含在处理系统或处理器中执行的计算机处理，但是本文描述的实例也扩展到计算机程序，例如载体上或载体中的计算机程序，其适于将实例付诸实践。载体可以是能够携带程序的任何实体或装置。应了解，设备600可包含相比于图6中描绘的那些更多、更少和/或不同的组件。设备600可以位于单个位置，或者可以分布在多个位置。此类位置可以是本地的或远程的。85.本文描述的技术可以在软件或硬件中实现，或者可以使用软件和硬件的组合来实现。它们可以包括配置设备来执行和/或支持本文描述的任何或所有技术。86.如本文实例中所述，信号处理器(例如，计算机处理器硬件)被配置为接收数据并对其进行解码(“解码器”)。解码器获得第一(较低)质量水平的信号再现，并检测指定损伤信息的保留符号。解码器重构第二(下一个更高的)质量水平的信号再现，并且可以使用损伤信息对再现进行进一步处理，诸如通过损伤信息指示的信号增强操作。87.在这里描述的某些实例中，保留符号可以作为编码数据流的所谓用户数据来携带。在这些实例中，信号处理信息被嵌入在编码数据流内传输的一个或多个编码数据层中接收的一个或多个值中。值与被处理以在解码期间导出信号的元素的变换系数相关联，例如，它们可以包含由编码变换生成的一组不同变换系数内的预定义变换系数的值。88.编码数据流的位流中的位可以用于发出存在用户数据的信号。位可以包含user_data_enabled位，其可以存在于编码数据流的全局配置报头中。在某些实例中，代替系数中的一个的用户数据的编码可以如下配置。如果将位设置为“0”，则解码器将该数据解释为相关的变换系数。如果将位设置为“1”，则含在相关系数中的数据被认为是用户数据，并且解码器被配置为忽略该数据，或者相关系数被认为携带用户数据，并且执行提取该数据的相关处理。例如，如果将位设置为“1”，这可以指示正在传输损伤信息。89.以这一方式传输的用户数据可以用于使解码器能够获得补充信息，包括例如各种特征提取和推导。尽管本文要求保护的实例涉及损伤信息，但是也可以使用用户数据来发出与标准化实现方式之外的实现方式相关的其他可选参数的信号。90.在一种情况下，user_data_enabled变量可以是k位变量。例如，user_data_enabled可以包含具有以下值的2位变量：91.user_data_enabled类型值0禁用1启用2位2启用6位3保留92.在这种情况下，指定损伤信息的用户数据可以被嵌入到一个或多个解码系数数据组(例如，在编码的残留系数数据内)的最后n个(最低)有效位中。93.当用户数据被启用时(例如，为了如本文的实例中所描述的那样传输信号处理信息)，可以修改变换系数的“环内”处理。这一方面的两个实例如图2和4中所示。此外，变换系数的解码也可以被调整，使得当用户数据被启用时，在变换系数经受逆变换之前将特定变换系数(例如，h或hh)的值设置为0。在上表中列出的情况下，在提取最低有效n位作为保留符号之后，用于携带用户数据的变换系数的值可以右移(例如，移位)2位(＞＞2)，如果n＝2(例如，user_data_enabled＝1)或右移(例如，移位)6位(＞＞6)，如果n＝6(例如，user_data_enabled＝1)。在一种情况下，如果变换系数的值的长度是d位，其中d＞n，n是以位为单位的用户数据的长度(例如，上表中的2或6)，则变换系数的剩余d-n位可用于携带变换系数的值(例如，与全d位表示相比，更重量化的整数值)。在这种情况下，用户数据和变换系数的值可以跨d位划分。在其他更简单的情况下，可以提取用户数据，并且可以将变换系数的值设置为0(即，使得变换系数的值对逆变换的输出没有影响)。94.在某些实例中，用于实现保留符号的用户数据可以根据定义的语法来格式化。这一定义的语法可以将用户数据划分为报头数据和有效载荷数据。在这种情况下，用户数据的解码可以包含解析在一个或多个编码数据层中接收的第一组值以提取报头数据，以及解析在一个或多个编码数据层中接收的第二组后续值以提取有效载荷数据。报头数据可以被设置为第一组定义数量的位。例如，在上面的用户数据被定义为2或6位值实例中，第一个x值可以包含报头数据。在一种情况下，x可以等于1，使得用户数据的第一值(例如，视频的给定帧或平面的第一编码单元或数据块的变换系数值)定义了报头数据(例如，第一值的2位或6位定义了报头数据)。95.在某些实例中，报头数据可以至少指示信号增强操作是否被启用。通常，报头数据可以指示信号增强操作的全局参数，并且有效载荷数据可以指示信号增强操作的局部参数，即，由此损伤信息可以被定位到一个或多个编码单元，该一个或多个编码单元包含m×m的残留数据块(例如，2×2或4×4块)。由于损伤信息被封装在特定编码单元的保留符号内，因此标签和/或分类(例如)可被应用于信号的局部区域。例如，标签可以指示视频信号的局部区域将被修改和/或替换的位置。96.以上实施例应理解为说明性实例。设想另外的实施例。97.应理解，关于任一个实施例描述的任何特征可单独使用，或者与所描述的其他特征结合使用，并且还可与任何其他实施例的一个或多个特征结合使用，或者与任何其他实施例的任何组合结合使用。此外，在不脱离由所附权利要求书限定的本发明的范围的情况下，还可采用上文未描述的等效者和修改。当前第1页12当前第1页12