用于对较高分辨率色度采样格式进行帧包装/解包的带分离滤波/逆滤波的制作方法
【专利说明】用于对较高分辨率色度采样格式进行帧包装/解包的带分 离滤波/逆滤波
【背景技术】
[0001] 工程师使用压缩(还被称作源编码（coding)或源构码（encoding))来降低数字视 频的比特速率。压缩通过将信息转换成较低比特速率形式来减少存储和传送视频信息的成 本。解压缩(还被称作解码)从压缩形式重建原始信息的版本。"编解码器（codec)"是构码 器/解码器系统。
[0002] 在过去二十年里，各种视频编解码器标准已被采用，包括ITU-TH. 261、H. 262 (MPEG-2 或IS0/IEC13818-2)、H. 263 和H. 264 (MPEG-4AVC或IS0/IEC14496-10)标准 以及MPEG-1 (IS0/IEC11172-2)、MPEG-4Visual(IS0/IEC14496-2)和SMPTE421M标 准。最近，ffiVC标准（ITU-TH. 265或IS0/IEC23008-2)已在开发中。见例如HEVC标准的 草案版本JCTVC-I1003- 2012 年4 月日内瓦第九次会议"Highefficiencyvideocoding (HEVC)textspecificationdraft7, "JCTVC_I1003_d5。视频编解码器标准典型地定义 针对构码的视频比特流的语法的选项，其在特定特征被用在构码和解码中时详述比特流中 的参数。在许多情况下，视频编解码器标准还提供关于解码器应该执行以便在解码中实现 一致性结果的解码操作的细节。除编解码器标准以外，各种专有的编解码器格式定义针对 构码的视频比特流的语法和对应的解码操作的其它选项。
[0003] 诸如相机、动画输出、屏幕捕获模块等这样的视频源典型地提供被转换为诸如YUV 4:4:4色度采样格式这样的格式的视频。YUV格式包括具有表示近似亮度值的样本值的亮 度(或Y)分量和具有表示色差值的样本值的多个色度(或U和V)分量。在YUV4:4:4格式 中，色度信息被以和亮度信息相同的空间分辨率表示。
[0004] 许多商业上可用的视频构码器和解码器仅支持YUV4:2:0色度采样格式。YUV 4:2:0格式是与YUV4:4:4格式相比对色度信息进行子采样使得色度分辨率水平地且垂直 地为亮度分辨率一半的格式。作为设计原理，用来将YUV4:2:0格式用于构码/解码的决定 以如下理解为前提：对于诸如自然相机捕获的视频内容的构码/解码这样的大多数用例， 观看者通常不注意以YUV4:2:0格式构码/解码的视频与以YUV4:4:4格式构码/解码的 视频之间的许多视觉差异。每帧具有更少样本的YUV4:2:0格式的压缩优点因此是引人注 目的。然而，存在视频具有更丰富的颜色信息和更高的颜色逼真度可能是合理的一些用例。 在这样的用例中，YUV4:4:4色度采样格式与YUV4:2:0色度采样格式之间的差异更容易 被观看者感知到。例如，对于计算机屏幕文本内容、具有人工硬边边界的动画视频内容或更 一般地视频内容的特定特征(诸如滚动标题和硬边图形，或具有集中在色度通道中的信息 的视频)的构码/解码，4:4:4格式可能优于4:2:0格式。尽管支持以4:4:4格式构码和解 码的屏幕捕获编解码器是可用的，但是对于支持4:4:4格式的编解码器的广泛支持的缺少 (尤其相对于硬件编解码器实施方案）对于这些用例来说是障碍。
【发明内容】
[0005]总之，【具体实施方式】呈现了较高分辨率色度采样格式的视频帧变成较低分辨率色 度采样格式的视频帧以用于构码的目的的帧包装方面的创新。例如，较高分辨率色度采样 格式是YUV4:4:4格式，并且较低分辨率色度采样格式是YUV4:2:0格式。在解码后，较低 分辨率色度采样格式的视频帧能够被解包以便重建较高分辨率色度采样格式的视频帧。以 这种方式，以较低分辨率色度采样格式操作的可用构码器和解码器能够被使用，同时仍然 保持较高分辨率色度信息。
[0006]例如，计算设备将较高分辨率色度采样格式的一个或多个帧包装成较低分辨率色 度采样格式的一个或多个帧。作为包装的一部分，计算设备对较高分辨率色度采样格式的 (一个或多个)帧的色度分量的样本值执行小波分解(或其它带分离滤波)以便产生多个带的 样本值。计算设备然后将多个带的样本值分配给较低分辨率色度采样格式的(一个或多个） 帧的部分。
[0007] 作为另一例子，计算设备将较低分辨率色度采样格式的一个或多个帧解包成较高 分辨率色度采样格式的一个或多个帧。作为解包的一部分，计算设备将较低分辨率色度采 样格式的(一个或多个)帧的部分分配给多个带的样本值。计算设备然后对多个带的样本值 执行小波重建(或其它逆带分离滤波）以便产生较高分辨率色度采样格式的（一个或多个） 帧的色度分量的样本值。
[0008] 包装或解包能够作为方法的一部分、作为被适配成执行方法的计算设备的一部分 或者作为存储用于使计算设备执行方法的计算机可执行指令的有形计算机可读媒体的一 部分被实施。
[0009] 本发明的前面的和其它目标、特征以及优点从参考附图进行的以下【具体实施方式】 将变得更明显。
【附图说明】
[0010] 图1是一些描述的实施例能够在其中被实施的示例性计算系统的图。
[0011] 图2a和图2b是一些描述的实施例能够在其中被实施的示例性网络环境的图。
[0012] 图3是一些描述的实施例能够在其中被实施的一般性的帧包装/解包系统的图。
[0013] 图4是一些描述的实施例能够结合其被实施的示例性构码器系统的图。
[0014]图5是一些描述的实施例能够结合其被实施的示例性解码器系统的图。
[0015]图6是图示了一些描述的实施例能够结合其被实施的示例性视频构码器的图。
[0016] 图7是图示了一些描述的实施例能够结合其被实施的示例性视频解码器的图。
[0017] 图8是图示了使用帧的空间分割的帧包装的示例性方法的图。
[0018] 图9是图示了其中较高分辨率色度采样格式的帧的色度分量平面的每隔一行被 拷贝的帧包装的示例性方法的图。
[0019] 图10是图示了根据图9的方法包装的示例性帧的图。
[0020] 图11是图示了其中较高分辨率色度采样格式的帧的色度分量平面的每隔一列被 拷贝的帧包装的示例性方法的图。
[0021] 图12是图示了针对较高分辨率色度采样格式的帧的帧包装的一般性的技术的流 程图。
[0022] 图13是图示了针对较高分辨率色度采样格式的帧的帧解包的一般性的技术的流 程图。
[0023]图14是图示了在较高分辨率色度采样格式的帧的色度分量平面的三带小波分解 中采用垂直然后水平滤波的帧包装的示例性方法的图。
[0024]图15是图示了在较高分辨率色度采样格式的帧的色度分量平面的三带小波分解 中采用水平然后垂直滤波的帧包装的示例性方法的图。
[0025]图16a和图16b是图示了在较高分辨率色度采样格式的帧的色度分量平面的四带 小波分解中采用垂直然后水平然后垂直滤波的帧包装的示例性方法的图。
[0026]图17是图示了针对较高分辨率色度采样格式的帧的帧包装的一般性的技术的流 程图，其中帧包装包括小波分解或其它带分离滤波。
[0027]图18是图示了针对较高分辨率色度采样格式的帧的帧解包的一般性的技术的流 程图，其中帧包装包括小波重建或其它逆带分离滤波。
【具体实施方式】
[0028] 诸如相机、动画输出、屏幕捕获模块等这样的视频源典型地提供被转换为诸如YUV 4:4:4色度采样格式(更一般地，4:4:4格式的例子)这样的格式的视频。YUV格式包括具有 表示近似亮度值的样本值的亮度(或Y)分量以及具有表示色差值的样本值的多个色度(或 U和V)分量。色差值的精确定义（以及到YUV颜色空间/从YUV颜色空间到诸如RGB这样 的另一颜色空间的转换操作)取决于实施方案。一般而言，如本文中所使用的，术语YUV指示 具有亮度(或辉度）分量和一个或多个色度(或彩度）分量的任何颜色空间，包括Y'UV、YIQ、 Y'IQ和YDbDr以及诸如YCbCr和YCoCg这样的变例。被使用的分量信号量度可以通过非 线性传递特性函数(一般地被称为"伽玛预补偿"并且常常通过主符号的使用来表示，但是 为了排印方便主符号常常被省略)的应用而被调整。或者，分量信号量度可以是在与光振幅 有线性关系的域中。亮度分量信号和色度分量信号可以与针对人类视觉系统的亮度和颜色 的感知很好地对准，或者亮度分量信号和色度分量信号可以稍微偏离这样的量度(例如，如 在YCoCg变例中，其中简化颜色分量值的计算的公式被应用）。如本文中所描述的YUV格式 的例子包括被称为ITU-RBT. 601、ITU-RBT. 709以及ITU-RBT. 2020的国际标准中描述的 那些。色度样本类型的例子在H. 264/AVC标准的图E-1中被示出。4:4:4格式可以是YUV 4:4:4格式或针对另一颜色空间(诸如RGB或GBR)的格式。
[0029] 许多商业上可用的视频构码器和解码器仅支持YUV4:2:0色度采样格式(更一般 地，4:2:0格式的例子)。YUV4:2:0是与YUV4:4:4格式相比对色度信息进行子采样的格 式，所述YUV4:4:4格式保存全分辨率色度信息（S卩，色度信息被以和亮度信息相同的分辨 率表示)。作为设计原理，用来将YUV4:2:0格式用于构码/解码的决定以如下理解为前提： 对于诸如自然相机捕获的视频内容的构码/解码这样的大多数用例，观看者通常不注意以 YUV4:2:0格式构码/解码的视频与以YUV4:4:4格式构码/解码的视频之间的许多视觉 差异。每帧具有更少样本的YUV4:2:0格式的压缩优点因此是引人注目的。
[0030] 然而，存在两个格式之间的差异更容易被观看者感知到的一些用例。例如，对于计 算机屏幕文本内容(尤其是使用ClearType技术渲染的文本)、具有人工硬边边界的动画视 频内容或更一般地视频内容的特定特征(诸如滚动标题和硬边图形，或具有集中在色度通 道中的信息的视频)的构码/解码，4:4:4格式可能优于4:2:0格式。针对支持4:4:4格式 的视频编解码器的广泛支持的缺少(尤其相对于硬件编解码器实施方案）对于这些用例来 说是障碍。
【具体实施方式】 [0031] 呈现了用于将较高分辨率色度采样格式的帧包装成较低分辨率色 度采样格式的帧的小波分解(或其它带分离滤波)的各种方法。较低分辨率色度采样格式的 帧然后能够使用针对较低分辨率色度采样格式所设计的构码器被构码。在解码(使用针对 较低分辨率色度采样格式所设计的解码器）之后，在较低分辨率色度采样格式下的帧能够 被输出以用于进一步处理和显示。或者，在这样的解码之后，较高分辨率色度采样格式的帧 能够通过包括小波重建(或其它逆带分离滤波)的帧解包被恢复以用于输出和输出。在许多 情况下，这些方法通过保存来自较高分辨率色度采样格式的帧的色度信息同时利用适配于 较低分辨率色度采样格式的商业上可用的编解码器来减轻现有方法的缺点。特别地，具有 专门的专用硬件的广泛可用的编解码器能够针对包装成YUV4:2:0视频帧的YUV4:4:4视 频帧以较低功耗提供更快的构码/解码。
[0032] 所描述的方法能够被用来在构码/解码使用另一色度采样格式时保存一个色度 采样格式的帧的色度信息。本文中所描述的一些例子牵涉YUV4:4:4格式的帧的帧包装/ 解包以用于使用适配于YUV4:2:0格式的编解码器进行构码/解码。本文中所描述的其它 例子牵涉用于使用适配于YUV4:2:0格式的编解码器进行构码/解码的YUV4:2:2格式的 帧的帧包装/解包。更一般地，所描述的方法能够被用于其它色度采样格式。例如，除诸如 Y'UV、YIQ、Y' 1〇、￥此〇1'、￥〇3〇、￥(：〇08等这样的￥爪^颜色空间在诸如4:4:4、4:2:2、4:2:0、 4:1 :1、4:0:0等这样的采样率方面的变例之外，所描述的方法能够在诸如4:4:4、4 :2:2、 4:2:0、4:1:1、4:0:0等这样的采样率方面被用于诸如RGB、GBR等这样的颜色空间作为色度 采样格式。
[0033] 在示例性实施方案中，本文中所描述的创新的特定方面包括但不限于下列的： ?将4:4:4帧包装成两个4:2:0帧，其中包装包括小波分解(或其它带分离滤波)，并且 使用针对4:2:0格式设计的视频构码器对两个4:2:0帧进行构码。 ?使用针对4:2:0格式设计的视频解码器对构码帧进行解码，并且对两个解码的 4:2:0帧进行解包以便形成解码的4:4:4帧，其中解包包括小波重建(或其它逆带分离滤 波)。 ?对于YUV格式执行包装(包括小波分解或其它带分离滤波)，使得几何对应在针对两 个4:2:0帧中的每一个的Y分量、U分量以及V分量之间被维持。 ?对于YUV格式执行包装(包括小波分解或其它带分离滤波)，使得两个4:2:0帧中的 一个(主视图)表不正由4:4:4帧表不的完整场景，尽管色度分量在较低分辨率下，然而另一 个4:2:0帧(辅助视图）对剩余色度信息进行包装。 ?随一种补充增强信息（"SEI")消息或其它元数据发信号通知在针对两个4:2:0帧的 帧包装中使用小波分解(或其它带分离滤波）的指示，使得处理这个SEI消息的解码器能够 输出表示场景的4:4:4帧(在小波重建或其它逆带分离滤波之后）或4:2:0帧。 ?预处理和后处理操作(诸如小波分解/重建或其它带分离滤波/逆滤波)，当仅一个 4:2:0帧（出自两个4:2:0帧)被用于最终显示时其能够针对YUV格式改进最终显示的帧的 质量。结合这样的预处理和后处理操作，4:2:0帧能够具有更高比特深度用于构码/解码， 以便在预处理和后处理操作中避免色度信息的损失。 ?将4:2:2帧包装成(两个或更少的）4:2:0帧，其中包装包括小波分解或其它带分离 滤波，并且使用针对4:2:0格式设计的视频构码器对4:2:0帧进行构码。 ?使用针对4:2:0格式设计的视频解码器对构码帧进行解码，并且对经解码的4:2:0 帧进行解包以便形成解码的4:2:2帧，其中解包包括小波重建或其它逆带分离滤波。
[0034] 在使用帧包装布置SEI消息的特定示例性实施方案中，帧包装布置SEI消息的定 义被扩展以便支持在标称4:2:0比特流中表示4:4:4内容。在一些例子中，一个构成帧(例 如，在自顶向下包装或交替帧编码方案中）能够被兼容地解码为普通的4:2:0图像，或者能 够补充有来自另一构成帧的数据以便形成完整的4:4:4图像表示。因为YUV4:2:0是产品 中的最广泛地支持的格式(尤其相对于硬件编解码器实施方案)，所以具有通过这样的解码 器来输送YUV4:4:4内容的有效方式能够提供使能实现YUV4:4:4的广泛近期部署的能力 的实质利益(尤其针对屏幕内容编码)。在示例性实施方案中，4:4:4帧的样本被包装成两个 4:2:0帧，并且两个4:2:0帧被构码为帧包装布置的构成帧。对于使用帧包装布置SEI消息 的实施方案，content_interpretation_type语法元素的语义被扩展成发信号通知这个使 用。content_interpretation_type语法元素发信号通知如何解释使用包装布置被包装的 数据，并且针对包装布置的帧配置被用不同的语法元素发信号通知。本文中所描述的一些 方法对于牵涉屏幕内容的应用具有高实用价值。并且，相对于本机4:4:4构码，本文中所描 述的一些方法能够提供与预期在解码产品中被更广泛地支持的普通4:2:0解码过程兼容 的优点。
[0035] 针对较高分辨率色度采样格式的帧包装和解包的附加创新方面也被描述。所描述 的技术可以被应用于视频编码/解码以外的附加应用，诸如静止图像编码、医疗扫描内容 编码、多谱成像内容编码等。尽管本文中所描述的操作在适当的位置被描述为由构码器(例 如，视频构码器）或解码器(例如，视频解码器）执行，但是在许多情况下操作能够替换地由 另一类型的媒体处理工具执行。
[0036] 本文中所描述的创新中的一些参考特定于HEVC标准的语法元素和操作被图示。 例如，对2012年4月日内瓦第九次会议的HEVC标准的草案版本JCTVC-I1003 -"High efficiencyvideocoding( "HEVC"）textspecificationdraft7"，JCTVC_I1003_d5 的参考被做出。本文中所描述的创新还能够针对其它标准或格式被实施。例如，本文中所 描述的创新能够针对使用帧包装布置SEI消息的H. 264/AVC标准被实施。
[0037] 更一般地，本文中所描述的例子的各种替代方案是可能的。例如，本文中所描述的 方法中的任一个能够通过经由分割、重复或省略特定方法行为等来改变所描述的方法行为 的排序而被变更。所公开的技术的各种方面能够被相结合地或单独地使用。不同的实施例 使用所描述的创新中的一个或多个。本文中所描述的创新中的一些解决了【背景技术】中所指 出的问题中的一个或多个。典型地，给定技术/工具不解决所有这样的问题。
[0038]I.示例性计算系统 图1图示了所描述的创新中的数个可以在其中被实施的适合的计算系统（100)的一般 性的例子。计算系统（100)不旨在关于用途或功能性的范围提出任何限制，因为创新可以 用多种多样的通用或专用计算系统加以实施。
[0039] 参考图1，计算系统（100)包括一个或多个处理单元（110，115)和存储器（120， 125)。在图1中，这个最基本配置（130)被包括在虚线内。处理单元（110，115)执行计算 机可执行指令。处理单元可以是通用中央处理单元("〇?『')、专用集成电路中的处理器或任 何其它类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以便增加处 理能力。例如，图1示出了中央处理单元（110)以及图形处理单元或协处理单元（115)。有 形存储器（120，125)可以是可被(一个或多个）处理单元访问的易失性存储器(例如，寄存 器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪速存储器等)，或两者的某种组 合。存储器（120，125)以适合于由（一个或多个）处理单元执行的计算机可执行指令的形 式存储软件（180)，其对于较高分辨率色度采样格式采用小波分解(或其它带分离滤波）针 对帧包装和/或采用小波重建(或其它逆带分离滤波）针对解包实施一个或多个创新。
[0040] 计算系统可以具有附加的特征。例如，计算系统（100)包括存储装置（140)、一个 或多个输入设备（150)、一个或多个输出设备（160)以及一个或多个通信连接（170)。诸如 总线、控制器或网络这样的互连机制(未示出）互连计算系统（100)的构件。典型地，操作系 统软件(未示出）为在计算系统（100)中执行的其它软件提供操作环境，并且协调计算系统 (100)的构件的活动。
[0041] 有形存储装置（140)可以是可拆卸的或非可拆卸的，并且包括磁盘、磁带或磁盒、 CD-ROM、DVD，或能够被用来以非暂时性方式存储信息并且能够在计算系统（100)内被访问 的任何其它介质。存储装置（140)存储用于软件（180)的指令，其对于较高分辨率色度采样 格式针对采用小波分解(或其它带分离滤波）的帧包装和/或采用小波重建(或其它逆带分 离滤波）的解包实施一个或多个创新的。
[0042](一个或多个）输入设备（150)可以是诸如键盘、鼠标、笔或轨迹球、语音输入设备、 扫描设备这样的输入设备，或将输入提供给计算系统（100)的另一设备。对于视频构码，(一 个或多个）输入设备（150)可以是相机、视频卡、TV调谐器卡或以模拟形式或数字形式接受 视频输入的类似设备，或将视频样本读取到计算系统（100)中的CD-ROM或CD-RW。（一个或 多个）输出设备（160)可以是显示器、打印机、扬声器、CD刻录器，或从计算系统（100)提供 输出的另一设备。
[0043](一个或多个)通信连接（170)使能实现通过通信介质到另一计算实体的通信。通 信介质在已调制数据信号中输送诸如计算机可执行指令、音频或视频输入或输出或其它数 据这样的信息。已调制数据信号是这样的信号，所述信号使其特性中的一个或多个以这样 的方式被设置或改变以便将信息构码在所述信号中。作为例子而非限制，通信媒体能够使 用电、光学、RF或其它载体。
[0044] 创新能够在计算机可读媒体的一般上下文中被描述。计算机可读媒体是能够在计 算环境内被访问的任何可用的有形媒体。作为例子而非限制，在计算系统（1〇〇)的情况下， 计算机可读媒体包括存储器（120，125)、存储装置（140)以及上述中的任一个的组合。
[0045] 创新能够在计算机可执行指令的一般上下文中被描述，所述计算机可执行指令 诸如在计算系统中在目标真实或虚拟处理器上被执行的程序模块中包括的那些指令。一 般地，程序模块包括执行特定任务或者实施特定抽象数据类型的例行程序、程序、库、对象、 类、构件、数据结构等。在各种实施例中，程序模块的功能性可以视需要在程序模块之间被 组合或分割。针对程序模块的计算机可执行指令可以在本地或分布式计算系统内被执行。
[0046] 术语"系统"和"设备"在本文中被可互换地使用。除非上下文另外清楚地指示， 否则术语均不对计算系统或计算设备的类型暗示任何限制。一般而言，计算系统或计算设 备可以是本地的或分布式的，并且能够包括专用硬件和/或通用硬件与实施本文中所描述 的功能性的软件的任何组合。
[0047] 所公开的方法还能够使用被配置成执行所公开的方法中的任一个的专门计算硬 件被实施。例如，所公开的方法能够通过被特别设计或配置成实施所公开的方法中的任一 个的集成电路(例如，专用集成电路("ASIC"）（诸如ASIC数字信号处理单元("DSP")、图形 处理单元("GPU"）或可编程逻辑器件（"PLD")，诸如现场可编程门阵列（"FPGA")）加以实 施。
[0048] 为了呈现起见，【具体实施方式】使用像"确定"和"使用"这样的术语来描述计算系 统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，并且不应该被与由人 类执行的行为混淆。与这些术语相对应的实际的计算机操作取决于实施方案而变化。
[0049]II?示例性网络环境 图2a和图2b示出了包括视频构码器（220)和视频解码器（270)的示例性网络环境 (201，202)。构码器（220)和解码器（270)通过网络（250)使用适当的通信协议被连接。 网络（250)能够包括因特网或另一计算机网络。
[0050] 在图2a中所示出的网络环境（201)中，每个实时通信（"RTC")工具（210 )包括构码 器（220)和解码器（270)两者以用于双向通信。给定构码器（220)能够产生与SMPTE421M 标准、I