可伸缩视频编码和解码中的转换操作的制作方法

专利名称：可伸缩视频编码和解码中的转换操作的制作方法
可伸缩视频编码和解码中的转换操作背景工程师使用压缩(也称为编码或译码)来降低数字视频的比特率。压缩通过将视 频转换成较低比特率的形式来降低存储和传送视频的成本。解压(也被称为解码)从压缩 的形式中重构一种版本的原始视频。“编解码器”是编码器/解码器系统。当视频编码器将视频转换为较低的比特率形式时，视频编码器会降低压缩的视频 的质量以降低比特率。通过有选择地去除视频中的细节，编码器使视频压缩起来更简单，更 容易，但是，经压缩的视频不太忠实于原始视频。除了此基本质量/比特率折衷以外，视频 的比特率还取决于视频的内容(例如，复杂性)和视频的格式。视频信息是根据对于不同的设备和应用的不同的格式来组织的。视频格式的属性 可包括色彩空间、色度采样速率、样本深度、空间分辨率和时间分辨率。通常，质量和比特率 直接对于空间分辨率(例如，图片图片中的细节)和时间分辨率(例如，每秒图片数)而不 同，更高的空间分辨率或更高的时间分辨率会导致更高的质量，但也导致更高的比特率。在视频编码和解码应用中，常见的色彩空间包括YUV和YCbCr。Y表示视频的亮度 分量，而U和V，或Cb和Cr表示视频的色彩(色度)分量。除了 YUV和YCbCr以外，许多其 他色彩空间在一个亮度通道和多个色度通道内组织视频。色度采样速率是指视频的色度通道相对于亮度通道的采样。例如，在YUV色彩空 间中，一个色度采样速率是4:4:4，表示对于每一 Y样本，存在对应的U和V样本。然而，人 眼对亮度的变化比颜色的变体更敏感，已经开发了编码器以利用这一事实。另一色度采样 速率是4 2 2，表示单一 U样本和单一 V样本与两个水平Y样本相对应。较低的分辨率下的 色度采样速率，如4:2:2或4:2:0，导致较少的样本，通常比诸如4:4:4之类的更高的分辨率 色度采样速率需要更少的位来编码。由于4:2:0色度采样的普及性，某些视频编码器接受 4:2:0格式的视频，但不接受带有更高的色度分辨率的源格式。视频图片的每一个图片元素(“像素”)都包括一个或多个样本，而每一个样本用 一个或多个位来以数字表示。工作室和内容制作者常常使用带有每个样本10位或每个样 本12位的视频来更精确地表示样本值，带有亮度或颜色的更多的渐变。通过使用更高的样 本深度，可以取得样本值的更大的精确度，或可以捕捉更宽的色域。例如，12位样本值比10 位样本值或8位样本值具有更多可能的值。作为此更高的质量的折衷，更高的样本深度趋 向于增大编码和解码应用的位率。根据约定，许多编码器接受带有8位样本的视频。可伸缩视频编码和解码便于将视频传送到带有不同的功能的设备。典型的可伸缩 视频编码器将视频拆分为一个基层和一个或多个增强层。基层单独提供用于以较低的分辨 率重构的视频，并且可以添加增强层，以提供将提高视频质量的额外信息。某些可伸缩编码 器和解码器依赖于视频的时域可伸缩性。其他常见的可伸缩编码/解码方案涉及对于空间 分辨率或者视频的整体编码质量的可伸缩性。支持时间可伸缩性、空间可伸缩性和/或整体编码质量可伸缩性的可伸缩视频编 解码器为基层和增强层提供了许多选项。尽管在许多情况下这些类型的可伸缩性提供可以 接受的性能，但是，它们没有下面所描述的技术和工具的好处和优点。
概述概括地，详细描述呈现了用于可伸缩视频编码工具或可伸缩视频解码工具中的模 块之间的转换操作的技术和工具。例如，当基层视频具有低样本深度和/或低色彩保真度 时，转换操作帮助提高用较高的样本深度和/或较高的色彩保真度来编码层间残留视频的 效率。根据此处所描述的技术和工具的第一方面，诸如可伸缩视频编码工具或可伸缩视 频解码工具之类的工具在重构基层视频之后接收基层视频。重构的基层视频具有带有第一 样本深度(例如，每个样本8位)的样本值。该工具使用自适应低通过滤器来对重构的基 层视频进行过滤，并将样本值上采样到第二样本深度(例如，每个样本10位)。该工具还可 以对过滤和上采样的结果执行逆色调映射。可以根据由编码工具信令到解码工具的过滤器 强度参数，来调整自适应低通过滤器，该自适应低通过滤器可以适用于移除重构的基层视 频中的编码伪像或抖动值。根据此处所描述的技术和工具的第二方面，诸如可伸缩视频编码工具或可伸缩视 频解码工具之类的工具在重构基层视频之后接收基层视频。重构的基层视频具有一个亮度 通道和具有第一色度采样速率(例如，4:2:0)的多个色度通道。该工具将每一个色度通道 伸缩到第二色度采样速率(例如，4:2:2)。伸缩使用由编码工具信令到解码工具的一个或 多个色度伸缩参数所表示的一种色度上采样。例如，色度伸缩参数表示对于色度上采样的 线性内插和立方内插之间的选择。根据此处所描述的技术和工具的第三方面，诸如可伸缩视频编码工具之类的工具 接收具有选自第一样本值集的样本值的层间残留视频。编码工具将样本值转换为第二样本 值集，根据一个或多个集合重新映射参数来在第一和第二样本值集之间映射样本值。编码 工具将集合重新映射参数信令到可伸缩视频解码工具。解码工具接收层间残留视频(具有 选自第二样本值集的样本值)，并根据一个或多个集合重新映射参数来执行逆重新映射，以 便在第二和第一样本值集之间映射样本值。参考附图阅读以下详细描述，将更清楚前述和其它目的、特征和优点。提供本概述 是为了以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识 所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。附图简述

图1是其中可以实现所描述的若干技术和工具的合适的计算环境的框图。图2是其中可以实现所描述的若干技术的可伸缩视频编码工具的框图。图3是其中可以实现所描述的若干技术的可伸缩视频解码工具的框图。图4是用于在可伸缩视频编码或解码期间将基层视频的样本值向上采样到更高 的样本深度并自适应地过滤视频的一般化技术的流程图。图5是示出在可伸缩视频编码或解码期间基层视频的样本值的示例自适应低通 过滤选项的图示。图6是用于在可伸缩视频编码或解码期间将基层视频的色度通道伸缩到更高的 色度采样速率的一般化技术的流程图。图7是示出在可伸缩视频编码或解码期间基层视频的色度通道的示例色度采样 速率伸缩选项的图示。
图8是用于在可伸缩视频编码或解码期间重新映射层间残留视频的一般化技术 的流程图。图9是示出在可伸缩视频编码期间层间残留视频的样本值的示例重新映射的图
7J\ ο图IOa和IOb是用于具有基层视频的样本深度上采样和自适应过滤、基层视频的 色度通道的伸缩以及层间残留视频的样本值的重新映射的可伸缩视频编码的技术的流程 图。图Ila和lib是与图IOa和IOb的可伸缩视频编码相对应的用于可伸缩视频解码 的技术的流程图。详细描述本申请涉及用于可伸缩视频编码工具或可伸缩视频解码工具中的模块之间的转 换操作的技术和工具。具体而言，当可伸缩视频编码和解码使用具有低样本深度和/或低 色彩保真度的基层视频时，转换操作帮助提高对于具有较高的样本深度和/或较高的色彩 保真度的视频编码层间残留视频的效率。例如，许多现有的视频编解码器适用于具有8位样本的4:2:0YCbCr格式的视频。 然而，高质量娱乐应用程序的视频内容可以具有更高的样本深度或色彩保真度，并可以使 用更宽的色域。为编码这样的内容，在基层视频编码器编码内容之前，预处理器将图像保真 度减低到8位4:2:0YCbCr视频。某些显示设备适用于具有更高的位深度(例如，每个样本， 10个位)或更宽的色域的样本。为向这样的显示系统提供高保真度视频，某些可伸缩视频 编解码器对于视频的基层版本使用8位4:2:0YCbCr编码器，并使用层间残留视频的一个或 多个增强层，以表示基层版本和原始视频之间的区别。此处所描述的技术和工具帮助可伸 缩视频编码和解码工具以使层间残留视频的压缩更有效的方式将视频从较低分辨率格式 (例如，有限色域中的带有8位样本的4:2:0YCbCr视频)转换为较高分辨率格式(例如，较 宽的色域中的带有10位样本的4:2:2YCbCr视频)。转换操作的一个方面涉及逆伸缩重构的基层视频以颠倒在编码之前执行的样本 深度伸缩。逆伸缩将自适应低通过滤与样本深度上采样组合以达到较高的样本深度。在许 多情况下，过滤和上采样过程减少伪像(例如，块伪像，或更一般而言，量化噪声)，而同时 也提高样本深度。可以以相同样本深度或较高的样本深度进行随后的逆色调映射(例如， 从一个色域到另一个色域)。此方法通过使重构的基层视频更接近于输入视频来减少层间 残留视频中的能量，并由此帮助使对层间残留视频的压缩更有效。转换操作的另一方面涉及逆伸缩重构的基层视频以颠倒在编码之前执行的色度 采样速率伸缩。逆伸缩使用自适应上采样过程来还原更高的色度采样速率。例如，当将样 本值上采样到色度通道中的更高的色度采样速率时，编码工具或解码工具在线性内插和立 方内插之间切换。通过适应色度上采样，编码工具可以降低层间残留视频中的能量，并使对 层间残留视频的压缩更有效率。转换操作的第三方面涉及层间残留视频的重新映射和逆重新映射。在某些情况 下，输入视频和重构的基层视频之间的区别超出用于增强层视频的编码器和解码器的动态 范围。在其他情况下，这些区别具有如此小的动态范围，以至于利用增强层编码器对它们进 行编码，甚至在允许的最高质量时，不会保持这些区别。为解决这样的问题，可伸缩视频编码工具根据重新映射参数来重新映射层间残留视频，并对重新映射的层间残留视频进行编 码。对应的可伸缩视频解码工具解码重新映射的层间残留视频并逆重新映射层间残留视 频。通过适应重新映射参数，编码工具可以调整层间残留视频的动态范围，以便于由增强层 编码器进行有效率的编码。对此处所描述的实现的各种替换是可能的。参考流程图所描述的技术可以通过改 变流程图中所示的级的排序，通过拆分、重复或省略某些级等来改变。转换操作的不同方面 能够组合或单独使用。不同的实施例实现所描述的技术和工具的一个或多个。本文所描述的技术和工具中的某一些解决了背景中所指出的一个或多个问题。通 常，所给出的技术/工具并不解决所有这些问题。相反，鉴于编码时间、编码资源、解码时 间、解码资源、可用比特率和/或质量的约束和折衷，所给出的技术/工具改进了特定实现 或情形的性能。I.计算环境图1示出了其中可实现若干所描述的若干技术和工具的合适的计算环境(100)的 一般化示例。计算环境(100)并非旨在对使用范围或功能提出任何限制，因为这些技术和 工具可以在完全不同的通用或专用计算环境中实现。参考图1，计算环境(100)包括至少一个处理单元(110)和存储器(120)。在图1 中，这一最基本的配置(130)被包括在虚线内。处理单元(110)执行计算机可执行指令，并 且可以是真实或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提 高处理能力。存储器(120)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性 存储器(例如，R0M、EEPR0M、闪存等)或两者的某种组合。存储器(120)存储实现用于可伸 缩视频编码和/或解码的所述转换操作中的一个或多个的软件(180)。计算环境可具有其他特征。例如，计算环境(100)包括存储(140)、一个或多个输 入设备(150)、一个或多个输出设备(160)以及一个或多个通信连接(170)。诸如总线、控 制器或网络等互连机制(未示出)将计算环境(100)的各组件互连。通常，操作系统软件 (未示出)为在计算环境(100)中执行的其它软件提供操作环境，并协调计算环境(100)的 各组件的活动。存储(140)可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、⑶-ROM、DVD 或可用于储存信息并可在计算环境(100)内访问的任何其他介质。存储(140)存储用于实 现转换操作的软件(180)的指令。输入设备(150)可以是诸如键盘、鼠标、笔或跟踪球等触摸输入设备，语音输入设 备，扫描设备或向计算环境(100)提供输入的另一设备。对于音频或视频编码，输入设备 (150)可以是声卡、显卡、TV调谐卡、或接受模拟或数字形式的音频或视频输入的类似设 备、或将音频或视频样本读入计算环境(100)的CD-ROM或CD-RW。输出设备(160)可以是 显示器、打印机、CD刻录机或提供来自计算环境(100)的输出的另一设备。通信连接(170)允许通过通信介质与另一计算实体进行通信。通信介质传达诸如 已调制数据信号形式的计算机可执行指令、音频或视频输入或输出、或其他数据等信息。已 调制数据信号是其一个或多个特征以在信号中编码信息的方式设置或改变的信号。作为示 例而非限制，通信介质包括以电、光、RF、红外、声学或其他载波实现的有线或无线技术。各种技术和工具可以在计算机可读介质的一般上下文中描述。计算机可读介质可以是可在计算环境内访问的任何可用介质。作为示例而非限制，对于计算环境(100)，计算 机可读介质可包括存储器(120)、存储(140)、通信介质和以上任一种的组合。该技术和工具可在诸如程序模块中所包括的在目标真实或虚拟处理器上的计算 环境中执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定 任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功 能可以如各实施例中所需的组合或在程序模块之间分离。用于程序模块的计算机可执行指 令可以在本地或分布式计算环境中执行。为了呈现起见，本详细描述使用了如“选择”和“重构”等术语来描述计算环境中 的计算机操作。这些术语是由计算机执行的操作的高级抽象，且不应与人类所执行的动作 混淆。对应于这些术语的实际的计算机操作取决于实现而不同。II. 一般化编码工具图2是可结合其实现所描述的某些技术的一般化可伸缩视频编码工具(200)的框 图。编码工具(200)接收包括输入图片(20 的视频图片序列，并产生基层比特流(四5) 以及一个或多个增强层比特流098)。对于基层，输出比特流的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG-x 格式(例如，MPEG-1、MPEG-2 或 MPEG-4)、H. 26x 格 式(例如，H. ^1、H. ^2、H. 263或H.沈4)或其它格式。对于增强层，输出比特流的格式可 以与基层比特流相同或另一格式。工具000)处理视频图像。术语“图片”一般指的是源、已编码的或已重构的图像 数据。对于逐行视频，图片是逐行视频帧。对于隔行视频，取决于上下文，图片可以指的是 隔行视频帧、帧的上半帧、或帧的下半帧。输入图片(205)具有样本深度、色度采样速率和/或比基层编码器(220)接受的 分辨率更高的分辨率的空间分辨率。例如，基层编码器(220)被配置成利用8位样本和 4:2:0色度采样速率来编码视频图片，而输入图片(20 具有10位样本和4:2:2色度采样 速率，或具有带有比8位4:2:0更高的分辨率的另一种格式。可另选地，基层编码器(220) 接受10位样本、12位样本，或带有某种其他样本深度的样本，或者，基层编码器(220)接受 4 2 2视频、4 4 4视频，或具有某种其他色度采样速率的视频。编码工具(200)包括接受输入视频图片(20 并向基层编码器(220)输出基层视 频的第一伸缩器010)。第一伸缩器(210)可以降低采样或以其他方式伸缩输入视频图片 005)，例如，以降低样本深度、空间分辨率和/或色度采样分辨率。对于样本深度下采样， 伸缩器(210)可以裁剪样本的最低有效χ位，使用色调映射来将一个样本深度(例如，每一 样本10位)的样本值映射到另一样本深度(例如，每一样本8位)，或使用另一种机制。对 于色度二次采样，伸缩器(210)可以使用采样下降、低通过滤或另一种机制。伸缩器(210) 可以有选择地添加抖动信号，以改善独立的基层视频的感知质量。或者，对于输入视频图片 (205)的这些属性中的一个或多个，第一伸缩器(210)根本不改变输入视频图片005)。一般而言，色调映射是将一个颜色集映射到另一颜色集的技术。色调映射可以使 用简单线性函数、分段式线性函数、表查询操作，或其他运算符来进行映射。例如，色调映射 将一组230可能的色值(每个像素三个10位样本)映射到2M可能的值的任意子集(每 个像素，三个8位样本)。该任意子集可以表示同一个色域中的颜色，但是省去可能的颜色， 或者它可以带有细微渐变的较小的色域中的颜色，或者，它可以任意地重新分配颜色。
例如，在某些编码情况下，伸缩器(210)接受带有高样本深度和高色度采样速率 的工作室质量视频，过滤和降低采样视频，添加抖动信号，并输出带有较低的样本深度和较 低的色度采样速率的基层视频。在其他编码情况下，伸缩器(210)接受已经就样本深度而 言被降低采样并与抖动信号相结合的视频，然后，对该视频的色度采样速率降低采样，以产 生基层视频。仍在其他编码情况下，伸缩器(210)接受已经向其中添加了的抖动信号的带 有高样本深度和高色度采样速率的视频，然后，对该视频降低采样，以产生带有较低的样本 深度和较低的色度采样速率的基层视频。基层编码器(220)对基层视频进行编码，并输出基层比特流。另外，基层编 码器(220)使输入到逆伸缩器O30)的重构的基层视频可用。作为编码的一部分，基层编 码器(220)通常产生输入图片(20 的重构的版本。例如，基层编码器(220)解码并缓冲重 构的基层图片，用于以后的运动补偿。如此，可以从基层编码器O20)中获得重构的版本， 供在可伸缩编码中进行进一步的处理。(可另选地，编码工具(200)中的基层解码器(未示 出)对基层比特流进行解码，以产生重构的基层视频。)如果由于伸缩而导致重构的基层视频具有与输入视频图片(205)不同的样本深 度、空间分辨率、色度采样速率等等，那么，逆伸缩器(230)可以上采样或以其他方式逆伸 缩重构的基层视频，以便它具有更高的样本深度、空间分辨率、色度采样速率等等(例如， 与输入视频图片(20 相同的样本深度、空间分辨率、色度采样速率等等)。逆伸缩器(230) 还可以自适应地过滤重构的基层视频，以移除某些类型的伪像(例如，块伪像、抖动信号)。 例如，当它使用自适应低通过滤器来过滤重构的基层视频时，逆伸缩器(230)将重构的基 层视频的样本值上采样到更高的样本深度，然后，逆伸缩器(230)将重构的基层视频的色 度通道上采样到输入视频图片(20 的色度采样速率。另外，为在伸缩过程中补偿色调映 射，逆伸缩器(230)可以以相同样本深度或更高的样本深度执行逆色调映射(例如，从一个 色域到另一色域)。下面将介绍示例实现中的对于重构的基层视频的逆伸缩操作的细节。 可另选地，逆伸缩器(230)使用另一种机制来逆伸缩重构的基层视频，例如，对于色度上采 样的样本值重复。伸缩和编码输入视频的步骤通常会在输入视频和重构的基层视频之间造成某些 数据损失。一般而言，层间残留视频表示重构的基层视频和输入视频之间的一些区别(但 不一定是所有区别)。在图2的工具(200)中，微分器从输入视频的对应的样本减去重构的 基层视频的样本，以产生此层间残留视频。在微分器之前，可以另外过滤输入视频。第二伸缩器(250)伸缩层间残留视频，以便输入到增强层视频编码器(沈0)。例 如，第二伸缩器(250)重新映射层间残留视频的样本值，以便样本值具有便于利用增强层 视频编码器(260)进行有效压缩的分布。下面将介绍示例实现中的对于层间残留视频的伸 缩操作的细节。可另选地，第二伸缩器(250)使用另一种机制来伸缩层间残留视频。增强层编码器(沈0)压缩层间残留视频，并产生增强层比特流(四8)。层间残留视 频中的在某一时间的“图片”表示输入视频图片和重构的基层视频图片之间的区别，但是， 仍通过示例增强层视频编码器(沈0)来编码为图片。增强层比特流(四8)还可以包括通过 逆伸缩器(230)进行自适应低通过滤和上采样的参数和通过第二伸缩器(250)进行重新映 射的参数。虽然图2示出了单一增强层编码器060)，但是，层间残留视频本身可以被分离成多层残留视频，用于利用单独的残留编码器来进行编码。例如，分解器使用小波分解或另一 种合适的分解机制来将层间残留视频拆分为色度高通残留层和样本深度残留层，然后，由 色度高通编码器和样本深度残留编码器分别对它们进行编码，以产生两个单独的增强层比 特流。控制器(未示出)在编码过程中从工具Q00)的各种模块接收输入，并评估中间 结果。控制器同诸如逆伸缩器(230)和第二伸缩器(250)之类的模块以及基层编码器(220) 和增强层编码器O60)内的模块一道工作，以设置和更换编码过程中的编码参数。要评估 的编码参数决策的树，以及对应的编码的时间选择，随着实现不同而不同。在某些实施例 中，控制器还从编码会话向导界面、从另一编码器应用程序界面，或另一源接收输入，以使 用特定规则指定要编码的视频。工具O00)内的模块之间所示出的关系表示一般的信息流；为简单起见，未示出 其他关系。具体而言，图2—般未示出逆伸缩器(230)和第二伸缩器(250)的辅助信息。这 样的辅助信息，一旦完成，在输出比特流或侧信道中发送。可伸缩视频编码工具的特定实施 例通常使用工具O00)的变体或补充版本。取决于所希望的压缩的实现和类型，可以添加、 省略模块，拆分成多个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例 中，带有不同的模块和/或模块的其他配置的可伸缩视频编码工具执行所描述的技术中的 一个或多个。III. 一般化解码工具图3是可结合其实现所描述的某些技术的一般化可伸缩视频解码工具(300)的框 图。解码工具(300)接收压缩视频信息的一个或多个比特流(包括不同的层的比特流)， 并产生重构的视频(395)。对于基层视频，基层比特流(305)的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG-x 格式((例如，MPEG_1、MPEG_2 或 MPEG-4)、Η· 26χ 格 式(例如，H. 261、H. 262、H. 263或H. 264)，或其他格式。对于层间残留视频，增强层比特流 (308)的格式可以与基层比特流(30 相同，或者，它可以是另一种格式。解码工具(300)包括接收基层比特流(30 并将重构的基层视频输出到第一逆伸 缩器(330)的基层解码器(320)。如果重构的基层视频具有与输出视频图片不同的样本深 度、空间分辨率、色度采样速率等等(由于编码过程中的伸缩)，那么，第一逆伸缩器(330) 上采样或以其他方式逆伸缩重构的基层视频，以便它具有更高的样本深度、空间分辨率、色 度采样速率等等(例如，与输出视频(3%)相同的样本深度、空间分辨率、色度采样速率等 等)。第一逆伸缩器(330)还可以自适应地过滤重构的基层视频，以移除某些类型的伪像 (例如，块伪像、抖动信号)。例如，当它使用自适应低通过滤器来过滤重构的基层视频时， 第一逆伸缩器(330)将重构的基层视频的样本值上采样到更高的样本深度，然后，将重构 的基层视频的色度通道上采样到更高的色度采样速率。逆伸缩器(330)还可以以相同样本 深度或更高的样本深度执行逆色调映射。下面将介绍示例实现中的对于重构的基层视频的 逆伸缩操作的细节。增强层比特流(308)可包括控制第一逆伸缩器(330)的自适应低通过 滤和上采样的操作的参数。可另选地，第一逆伸缩器(330)使用另一种机制来逆伸缩重构 的基层视频。解码工具(300)还包括用于接收增强层比特流(308)并将经过解码的层间残留视 频输出到第二逆伸缩器(350)的增强层解码器(340)。第二逆伸缩器(350)逆伸缩层间残留视频。例如，第二逆伸缩器(350)重新映射层间残留视频的样本值，以颠倒在编码过程中 执行的映射。下面将介绍示例实现中的对于层间残留视频的逆伸缩操作的细节。增强层比 特流(308)可包括控制第二逆伸缩器(350)的重新映射的操作的参数。可另选地，第二逆 伸缩器(350)使用另一种机制来逆伸缩层间残留视频。虽然图3示出了单一增强层解码器(340)，但是，层间残留视频本身可以被分离成 多层(作为多个增强层比特流来信令)，用于利用单独的增强层解码器进行解码。在某些情况下，增强层比特流中的一个或多个不存在。例如，如果比特流在传输过 程中或在存储介质上损坏，可能会发生这种情况。或者，对于某些类型的播放设备或某些解 码情况，由传输器或由解码工具(300)有选择地丢弃增强层比特流，以便降低位率或降低 解码复杂性。解码工具(300)将由第一逆伸缩器(330)输出的重构的基层视频与从第二逆伸缩 器(350)输出的重构的层间残留视频(如果存在的话)组合起来，以产生重构的视频(395) 供输出。如果在编码过程中通过小波分解或另一种机制分离层间残留视频的各层，则解码 工具(300)可以在将所产生的层间残留视频与重构的基层视频组合之前通过使用小波合 成或另一种机制将重构的残留层组合起来。解码工具(300)内的模块之间所示出的关系表示解码工具(300)中的一般的信息 流；为简单起见，未示出其他关系。视频解码工具的特定实施例通常使用一般化解码工具的 变体或补充版本。取决于所希望的解压缩的实现和类型，可以添加、省略解码工具的模块， 拆分成多个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例中，带有不 同的模块和/或模块的其他配置的解码工具执行所描述的技术中的一个或多个。IV.重构的基层视频的自适应过滤和上采样在某些实施例中，在输入视频的样本深度在基层编码之前被伸缩之后，可伸缩视 频编码工具和解码工具使用自适应低通过滤和上采样的组合来对重构的基层视频执行逆 伸缩。过滤和上采样过程可以减少图像伪像，而同时还提高样本深度。可以以相同样本深 度或较高的样本深度可任选地进行随后的逆色调映射(例如，从一个色域到另一个色域)。 此方法帮助处理重构的基层视频中的编码错误和伪像(例如，块伪像，带伪像或更一般而 言，量化噪声)。通过适应过滤以使重构的基层视频更密切地近似于输入视频，可伸缩视频 编码工具可以降低层间残留视频的能量，并由此提高压缩效率。自适应低通过滤和上采样与逆伸缩的其他方法相比具有优点。例如，在重构的基 层视频中还原样本深度的一种方法是通过直接像素到像素映射来将样本值映射到更高的 样本深度。尽管此方法简单，由基层视频中的有限的样本深度所引起的编码错误或带伪像 可以容易地传播到层间残留视频。自适应过滤和上采样可以帮助移除这样的伪像。自适应过滤和上采样还可以帮助以另一种方式改善品质。在某些编码情况下，在 对基层视频预处理的过程中，编码工具添加抖动信号，然后，利用添加的抖动信号对基层视 频进行编码。虽然当基层视频独自被播放时抖动信号改善感知质量，但是，抖动信号可以在 可伸缩视频编码中向层间残留视频添加能量。因此，编码工具和解码工具使用适用于移除 添加的抖动信号的低通过滤器。自适应低通过滤器可以同时移除诸如块伪像和带伪像之类 的压缩伪像，以降低层间残留视频的能量。A.用于自适应过滤和上采样的技术
图4示出了用于对重构的基层视频进行自适应低通过滤和上采样的一般化技术 (400)。诸如图2的可伸缩视频编码工具Q00)、图3的可伸缩视频解码工具(300)之类的 工具，或其他工具执行技术G00)。开始时，该工具接收(410)带有具有第一样本深度的样本值的重构的基层视频。 例如，重构的基层视频具有8位样本。可另选地，重构的基层视频的样本具有某种其他样本深度。在一些实现中，该工具还获得低通过滤器的一个或多个过滤器强度参数。例如，在 编码过程中，编码工具选择过滤器强度参数(例如，在评估过滤器强度参数的不同的值之 后，或在估计过滤器强度参数的哪些值将提供良好性能之后)。稍后，编码工具作为增强层 比特流中的辅助信息或在频带外发送的辅助信息来信令过滤器强度参数。在解码过程中， 解码工具从增强层比特流(或侧信道)中解析过滤器强度参数，并调整低通过滤器。下面 呈现了示例过滤器强度参数。可另选地，该工具还使用其他过滤器强度参数。过滤器强度 参数可以一个图片一个图片地并且一个信道一个信道地或根据某种其他方式变化。该工具使用自适应低通过滤器对基层视频进行过滤(420)，并将基层视频的样本 值上采样G30)为高于第一样本深度的第二样本深度。例如，该工具使用下面的其中一个 示例实现的过滤器来执行过滤和上采样，以移除伪像(例如，块伪像、抖动信号)或对它们 进行平滑化处理，而同时还将样本深度还原到较高的级别。可另选地，该工具使用另一种过 滤器来执行过滤和上采样。该工具使用滑窗通过重构的基层视频图片，一个图片一个图片地执行技术(400)， 或者按某种其他方式执行技术G00)。虽然图4示出了上采样(430)之前的过滤020)， 但是，在实践中，可以在滑动窗口中一个样本一个样本地组合地执行过滤(420)和上采样 G30)，或以某种其他顺序执行它们。在过滤和上采样之前或之后，该工具可以对重构的基 层视频的样本值执行逆色调映射(在图4中未示出)，补偿基层编码之前作为伸缩的一部分 执行的色调映射。图IOa和IOb示出了包括如图4所示的过滤和上采样的可伸缩视频编码的技术 (1000)。图Ila和lib示出了包括如图4所示的过滤和上采样的可伸缩视频解码的技术 (1100)。可另选地，在可伸缩视频编码和/或解码过程中，以某种其他方式使用技术(400)。B.自适应过滤和上采样的示例实现示例实现使用组合低通过滤和上采样的自适应过滤器。此自适应过滤可以减少伪 像，并自然地将样本深度带到较高的级别。然后，可以在相同样本深度内进行随后的色调映 射，或进行到更高的样本深度。虽然自适应过滤具有灵活的设计，但是，一般而言，它具有两个集成的组件低通 过滤和样本深度上采样。例如，对于重构的基层视频的图片中的位置(χ，y)处的当前样本 值s (X，y)，可以按如下方式表示组合的过滤和上采样。
2BD-8s'(x,y) = —— ^wihj^-six + hy + j)(1).
N i,M-R,R)在此等式中，w(i, j)表示带有归一化因子N的2D低通过滤器，R表示过滤范围。 BD表示目标样本深度，大于或等于在等式(1)中被示为8的基层视频的样本深度。如此， s' (x, y)表示带有样本深度BD的已过滤的样本值。
2D过滤器可被实现为2D窗口或作为沿着一个或多个轴的ID过滤器的组合。图5 示出了沿着四个方向的轴水平、垂直、左上到右下，以及左下到右上，每一个方向都包括当 前采样位置(501)。不落在这些轴中的一个轴上的位置处的样本值不被给予权重(w(i，j) =0)。落在这些轴中的一个轴上的位置处的样本值被给予完全权重(w(i，j) = 1)，并朝着 归一化因子统计。可另选地，过滤器使用另一形状，例如，适用于平滑化处理不同类型的伪 像的形状。大小值R表示使用过滤器进行过滤的可能的程度。在一种实现中，R = 0，1或2， 水平和垂直地相对于当前位置(X，y)的+/-2的样本位置可能被考虑。对于示例样本值 (500)，图5示出了当R= 1时的窗口(510)和当R = 2时的窗口(520)。在适用于本地复杂性的实现中，在该窗口内，过滤器使用阈值来排除某些位置。不 失一般性，下面的规则示出了阈值如何自适应地改变哪些采样点有助于ID水平窗口中的 过滤。位置偏移m表示ID窗口内的远离当前位置(x，y)的类似的值的程度。例如，偏移量 m被设置为满足下面约束的i的最小绝对值s(x+i, y)-s(x, y) | > T (2)满足-R<i<R。阈值T是过滤器阈值控制参数。在图5中，假设ID窗口中的 样本值16，19，20，18，17的序列，其中，当前样本值s(x，y) =20。如果T = 2，偏移值m = 1，因为在偏移量+2处，|17-20| >2。如果没有值i满足等式O)中的约束，那么，m = R。 为简单起见，自适应过滤器是对称的；在每一个方向使用了相同的偏移量m。可另选地，在 远离当前位置的不同的方向使用不同的偏移值。在过滤时，为相对于当前位置(x，y)的偏移量m内的位置处的样本值提供了权重， 没有给ID窗口内的其他样本值提供权重。
权利要求
1.一种使用可伸缩视频处理工具的方法，所述方法包括在重构基层视频之后接收所述基层视频，其中重构的基层视频具有带有第一样本深度 的多个样本值；使用自适应低通过滤器来对所述重构的基层视频进行过滤；以及将所述重构的基层视频的所述多个样本值上采样到高于所述第一样本深度的第二样 本深度。
2.如权利要求1所述的方法，其特征在于，所述过滤包括取决于围绕一位置有多少相 邻样本值在与所述位置处的当前样本值相似度的阈值内，改变所述位置处的所述自适应低 通过滤器的归一化因子。
3.如权利要求1所述的方法，其特征在于，所述重构的基层视频包括图片，并且其中所 述自适应低通过滤器适用于移除伪像或抖动。
4.如权利要求1所述的方法，其特征在于，还包括在所述上采样之后逆色调映射所述 重构的基层视频的所述多个样本值。
5.如权利要求1所述的方法，其特征在于，所述重构的基层视频具有一个亮度通道 和多个色度通道，所述多个色度通道中的每一个都具有第一色度采样速率，所述方法还包 括至少部分地基于作为辅助信息信令的一个或多个色度伸缩参数，将所述多个色度通道 中的每一个都伸缩到不同于所述第一色度采样速率的第二色度采样速率。
6.如权利要求1所述的方法，其特征在于，还包括在所述过滤之前，基于作为辅助信息 信令的一个或多个过滤器强度参数来调整所述自适应低通过滤器。
7.如权利要求6所述的方法，其特征在于，所述一个或多个过滤器强度参数包括所述 自适应低通过滤器的内核大小和/或用于将当前样本值与相邻样本值进行比较的相似度 的阈值。
8.如权利要求1所述的方法，其特征在于，所述重构的基层视频包括具有第一空间分 辨率的图片，并且其中所述方法还包括将所述图片上采样到不同于所述第一空间分辨率的第二空间分辨率。
9.如权利要求1所述的方法，其特征在于，所述方法还包括，在编码期间伸缩输入视频以产生所述基层视频；利用基层视频编码器来编码所述基层视频以产生基层比特流的至少一部分并且重构 所述基层视频；在所述过滤和所述上采样之后，根据所述输入视频和所述重构的基层视频来确定层间 残留视频；利用增强层视频编码器来编码所述层间残留视频，以产生增强层比特流的至少一部 分；以及输出所述基层比特流的所述至少一部分和所述增强层比特流的所述至少一部分。
10.如权利要求1所述的方法，其特征在于，所述方法还包括，在解码期间接收基层比特流的至少一部分和增强层比特流的至少一部分；使用所述基层比特流的所述至少一部分，利用基层视频解码器来解码所述基层视频， 以产生所述重构的基层视频；使用所述增强层比特流的所述至少一部分，利用增强层视频解码器来解码层间残留视 频；以及在所述过滤和所述上采样之后，组合所述层间残留视频和所述重构的基层视频。
11.一种或多种其上存储有计算机软件指令的计算机存储介质，所述指令用于一种使 用可伸缩视频处理工具的方法，所述方法包括在重构基层视频之后接收所述基层视频，重构的基层视频具有一个亮度通道和带有第 一色度采样速率的多个色度通道；以及使用由作为辅助信息信令的一个或多个色度伸缩参数表示的一种类型的色度上采样 来将所述多个色度通道中的每一个都伸缩到不同于所述第一色度采样速率的第二色度采 样速率。
12.如权利要求11所述的一种或多种计算机存储介质，其特征在于，所述类型的色度 上采样是选自多种可用类型的内插的一种类型的内插。
13.如权利要求12所述的一种或多种计算机存储介质，其特征在于，所述多种可用类 型的内插包括线性内插和立方内插。
14.如权利要求11所述的一种或多种计算机存储介质，其特征在于，所述伸缩还包括 裁剪所述伸缩的结果。
15.一种使用可伸缩视频处理工具的方法，所述方法包括接收具有选自第一样本值集的多个样本值的层间残留视频；以及将所述层间残留视频的所述多个样本值转换为不同于所述第一样本值集的第二样本 值集，其中所述转换包括根据作为辅助信息信令的一个或多个集合重新映射参数来在所述 第一样本值集和所述第二样本值集之间映射所述多个样本值。
16.如权利要求15所述的方法，其特征在于，对于所述层间残留视频的图片，开/关信 号表示所述一个或多个集合重新映射参数的存在或不存在。
17.如权利要求15所述的方法，其特征在于，所述一个或多个集合重新映射参数包括 移位参数、伸缩参数和范数参数。
18.如权利要求15所述的方法，其特征在于，所述一个或多个集合重新映射参数包括 分别对应于所述层间残留视频的一个亮度通道和两个色度通道的三组不同的集合重新映 射参数。
19.如权利要求15所述的方法，其特征在于，所述方法还包括，在编码期间利用基层视频编码器来编码所述基层视频以产生基层比特流的至少一部分并且重构所述基层视频；根据所述输入视频和所述重构的基层视频来确定所述层间残留视频；选择所述一个或多个集合重新映射参数；在所述转换之后，利用增强层视频编码器来编码所述层间残留视频，以产生增强层比 特流的至少一部分；以及输出所述基层比特流的所述至少一部分和所述增强层比特流的所述至少一部分，其中 包括所述一个或多个集合重新映射参数的辅助信息是所述增强层比特流的一部分。
20.如权利要求15所述的方法，其特征在于，所述方法还包括，在解码期间接收基层比特流的至少一部分和增强层比特流的至少一部分，其中包括所述一个或多个集合重新映射参数的辅助信息是所述增强层比特流的一部分；使用所述基层比特流的所述至少一部分，利用基层视频解码器来解码所述基层视频， 以产生所述重构的基层视频；使用所述增强层比特流的所述至少一部分，利用增强层视频解码器来解码所述层间残 留视频；以及在所述转换之后，组合所述层间残留视频和所述重构的基层视频。
全文摘要
描述了用于可伸缩视频编码工具或可伸缩视频解码工具中的模块之间的转换操作的技术和工具。例如，给定低分辨率格式(例如，每个样本带有8位的4:2:0视频)的重构的基层视频，编码工具和解码工具自适应地过滤重构的基层视频，并将其样本值上采样到更高的样本深度(例如，每个样本10位)。工具还自适应地将色度采样伸缩到更高的色度采样速率(例如，4:2:2)。自适应过滤和色度伸缩通过使重构的基层视频更接近于输入视频来帮助减少层间残留视频中的能量，这通常会使对层间残留视频的压缩更高效。编码工具还重新映射层间残留视频的样本值以便在编码之前调整动态范围，并且解码工具在解码之后执行逆重新映射。
文档编号H04N7/24GK102132563SQ200980133795
公开日2011年7月20日 申请日期2009年8月14日 优先权日2008年8月25日
发明者C·图, C-L·林, S·孙, S·瑞古纳萨恩 申请人:微软公司