在切换色彩空间时调整量化/缩放和逆量化/缩放的制作方法
【专利说明】在切换色彩空间时调整量化/缩放和逆量化/缩放 WW] 背景
[0002] 工程师使用压缩（也叫做源编码（sourcecoding或sourceencoding))来降低 数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来降低存储和传送该信 息的成本。解压（也被称为解码）从压缩的形式中重构一种版本的原始信息。"编解码器" 是编码器/解码器系统。
[0003] 在过去的二十年中，已采用了各种视频编解码器标准，包括口U-TH. 261、 比 262(MPEG-2 或IS0/IEC13818-2)、比 263 和H. 264(MPEG-4AVC或IS0/IEC14496-10)标 准、MPEG-I(ISO/lEC11172 1 172-2)和MPEG-4 可视（ISO/lEC14496-2)标准W及SMPTE 421M(VC-1)标准。最近，H. 265/肥VC标准（ITU-TH. 265 或IS0/IEC23008-2)已被批准。目 前，（例如，用于可缩放视频编码/解码、用于在样本比特深度或色度采样率方面具有较高 保真度的视频的编码/解码、用于屏幕捕捉内容、或用于多视图编码/解码的）H. 265/HEVC 标准的扩展处于开发中。视频编解码器标准通常定义针对经编码的视频比特流的句法的选 项，从而详述当在编码和解码时使用特定特征时该比特流中的参数。在许多情况下，视频编 解码器标准还提供关于解码器应当执行W在解码时取得一致的结果的解码操作的细节。除 了编解码器标准外，各种专用编解码器格式定义针对经编码的视频比特流的句法的其他选 项W及相应的解码操作。
[0004] 诸如相机、动画输出、屏幕捕捉模块等之类的视频源通常提供特定色彩空间中的 视频。一般而言，色彩空间（有时称为色彩模型）是用于将色彩表示为每物理位置n个值 的模型，其中1，其中运n个值中的每一个提供针对那个位置的色彩分量值。例如，在 YUV色彩空间中，亮度（或Y)分量值表示某位置处的近似亮度，且多个色度（或U和V)分 量值表示该位置处的色差。或者，在RGB色彩空间中，红色（R)分量值表示某位置处的红色 强度，绿色（G)分量值表示该位置处的绿色强度，并且蓝色度）分量值表示该位置处的蓝色 强度。在历史上，不同的色彩空间具有用于不同应用（诸如，显示、打印、广播和编码/解 码）的优点。各样本值可使用色彩空间变换操作在各色彩空间之间转换。 阳0化]许多商业上可用的视频编码器和解码器仅支持YUV格式。其他商业上可用的编码 器和解码器（例如，针对H. 264/AVC标准或H. 265/肥VC标准）允许编码器针对给定序列指 定色彩空间。指定的色彩空间被用于整个视频序列。运些方法没有为可能在单个视频序列 内处理非常不同种类的视频内容的通用编解码器系统提供足够的灵活性。更最近地，已经 考虑了用于在编码或解码期间在色彩空间之间切换的方法，但是运些方法没有充分考虑到 在不同的色彩空间中执行的量化的效果方面的变化。
[0006] 概述
[0007] 概要来说，该详细描述呈现了在自适应编码和解码的领域中的创新。例如，创新中 的一些设及在编码器在编码期间在视频序列内的各单元之间切换色彩空间时对量化或缩 放的调整。其他创新设及在解码器在解码期间在视频序列内的各单元之间切换色彩空间时 对逆量化或缩放的调整。运些创新可在编码和解码期间在各色彩空间之间切换时改善编码 效率。
[0008] 根据本文描述的创新的一个方面，图像或视频编码器对图像或视频的各单元（例 如，图片、片、编码单元、块）进行编码W产生经编码的数据。作为编码的一部分，当在各单 元之中的两个单元之间从第一色彩空间切换到第二色彩空间时（例如，从RGB型色彩空间 到YUV型色彩空间，或从YUV型色彩空间到RGB型色彩空间），编码器根据每分量色彩空间 调整因子来调整对第二色彩空间的各色彩分量的量化或缩放。编码器将经编码的数据作为 比特流的一部分来输出。
[0009] 根据本文描述的创新的另一个方面，图像或视频解码器接收作为比特流的一部分 的经编码的数据并对该经编码的数据进行解码W重构图像或视频的各单元（例如，图片、 片、编码单元、块）。作为解码的一部分，当在各单元之中的两个单元之间从第一色彩空间 切换到第二色彩空间时（例如，从RGB型色彩空间到YUV型色彩空间，或从YUV型色彩空间 到RGB型色彩空间），解码器根据每分量色彩空间调整因子来调整第二色彩空间的各色彩 分量的逆量化或缩放。
[0010] 一般地，每分量色彩空间调整因子补偿在从第二色彩空间转换回第一色彩空间时 量化误差的能量的放大。否则，如果来自第一色彩空间的量化参数（"QP")值和缩放因子 被简单地应用到第二色彩空间中的样本值，则第二色彩空间中的量化误差被回到第一色彩 空间的逆色彩空间转换操作放大。运可在被转换到第二色彩空间W供编码的单元和不被转 换到第二色彩空间W供编码的单元之间产生量化误差的能量级方面的可感知到的不匹配。
[0011] 例如，比特流中的一个或多个句法元素可指示每分量色彩空间调整因子。（诸） 句法元素可被信号化在图片级、片级、用于编码单元或块的句法级或某个其他句法级处。 (诸）句法元素可包括指示第二色彩空间的第一色彩分量的QP值的句法元素W及指示第二 色彩空间的第二和第=色彩分量的偏移的句法元素。
[0012] 或者，替代于被比特流中的句法元素指示，第二色彩空间的各色彩分量的每分量 色彩空间调整因子可取决于第二色彩空间根据规则来导出。例如，编码器和解码器自动地 确定每分量色彩空间调整因子，该确定从第一色彩空间的QP值开始并取决于第二色彩空 间的身份来作出调整。
[0013] 调整量化或逆量化的动作可包括调整第二色彩空间的各色彩分量的最终QP值或 中间QP值。例如，如果第一色彩空间是RGB并且第二色彩空间是YCoCg,则针对Y、Co和Cg 分量的每分量色彩空间调整因子可W分别是-5、-3和-5。更一般地，针对量化和逆量化的 每分量色彩空间调整因子可取决于在逆色彩空间转换操作中第二色彩空间的相应色彩分 量的能量放大。
[0014] 在编码或解码期间被调整的缩放可包括使用每分量色彩空间调整因子来缩放变 换系数。缩放可使用仅整数操作或浮点操作。每分量色彩空间调整因子可被合并到缩放因 子列表中或被分开地应用。例如，如果第一色彩空间是RGB并且第二色彩空间是YCoCg,则 针对Y、Co和Cg分量的每分量色彩空间调整因子可W分别是大约1. 78、1. 41和1. 78。更 一般地，针对缩放的每分量色彩空间调整因子可取决于在逆色彩空间转换操作中第二色彩 空间的相应色彩分量的能量放大。或者，在编码或解码期间调整的缩放可设及对第二色彩 空间的不同色彩分量应用不同的缩放列表。
[0015] 或者，对于在编码期间不要求在解码期间对应改变的改变，为了调整量化，编码器 可在逐单元的基础上设置每分量QP值。在运种情况下，比特流包括指示相应单元的每分量 QP值的句法元素。
[0016] 针对调整量化/缩放或逆量化/缩放的创新可W被实现为方法的一部分、被适配 成执行该方法的计算设备的一部分或存储用于使计算设备执行该方法的计算机可执行指 令的有形计算机可读介质的一部分。各创新可W结合地或分开地使用。
[0017] 参考附图阅读W下详细描述，将更清楚本发明的前述和其他目标、特征和优点。
[0018] 附图简述
[0019] 图1是其中可实现所描述的一些实施例的示例计算系统的示图。
[0020] 图2a和化是其中可实现所描述的一些实施例的示例网络环境的示图。
[0021] 图3是结合其可实现所描述的一些实施例的示例编码器系统的示图。
[0022] 图4是结合其可实现所描述的一些实施例的示例解码器系统的示图。
[0023] 图5a和化是示出结合其可实现所描述的一些实施例的示例视频编码器的示图。
[0024] 图6是示出结合其可实现所描述的一些实施例的示例视频解码器的示图。
[00巧]图7是示出具有可为屏幕捕捉提供输入的内容的计算机桌面环境的示图。 阳026] 图8是示出具有自然视频内容和人工视频内容的复合视频的示图。
[0027] 图9是示出针对序列中的图片的图片自适应色彩空间、色彩采样率和/或比特深 度的示图。
[0028] 图10是示出针对序列中的图片的片的片自适应色彩空间、色彩采样率和/或比特 深度的示图。
[0029] 图11是示出针对序列中的图片的片的块的块自适应色彩空间、色彩采样率和/或 比特深度的示图。
[0030] 图12是示出用于在编码期间切换色彩空间时调整量化或缩放的一般化技术的流 程图，并且图13是示出用于在编码期间在逐单元的基础上切换色彩空间时调整量化或缩 放的更加详细的示例技术的流程图。
[0031] 图14是示出用于在解码期间切换色彩空间时调整逆量化或缩放的一般化技术的 流程图，并且图15是示出用于在解码期间在逐单元的基础上切换色彩空间时调整逆量化 或缩放的更加详细的示例技术的流程图。 阳0巧详细描述
[003引该详细描述呈现了在自适应编码和解码的领域中的创新。例如，创新中的一些设 及在编码器在编码期间在视频序列内的各单元之间切换色彩空间时对量化或缩放的调整。 其他创新设及在解码器在解码期间在视频序列内的各单元之间切换色彩空间时对逆量化 或缩放的调整。运些创新可在编码和解码期间在各色彩空间之间切换时改善编码效率。
[0034] 虽然本文中描述的操作是被适当描述为由视频编码器或视频解码器来执行，但在 许多情况中，运些操作可由另一类型的媒体处理工具（例如图像编码器或图像解码器）来 执行。例如，可针对诸如静止图像编码/解码、医疗扫描内容编码或解码、多谱图像内容编 码或解码之类的应用执行运些操作。
[0035] 本文中描述的一些创新是参考专用于H. 265/肥VC标准的句法元素和操作来示出 的。例如，对H. 265/肥VC标准的草稿版本JCTVC-P1005-即2014年2月的"高效视频编码 (肥VC)范围扩展文本规范：第6稿"JCTVC-P1005_vlW及对JCTVC-P1003即2014年2月 的"高效视频编码（肥VC)缺陷报告3"JCTVC-P1003_vl作出参考。本文中描述的各创新还 可W被实现为针对其它标准或格式。
[0036] 更一般地，本文中描述的各示例的各种替代是可能的。例如，本文中描述的一些方 法可W通过改变描述的方法动作的顺序、通过拆分、重复或忽略某些方法动作等来更改。所 公开的技术的各方面能够被组合地或分开地使用。不同的实施例使用所描述的创新中的一 个或多个。本文中描述的一些创新解决了背景中指出的一个或多个问题。通常，所给出的 技术/工具并不解决所有运些问题。
[0037] I.示例计算系统
[0038] 图1示出了其中可实现几个所描述的创新的合适计算系统（100)的概括示例。计 算系统（100)并不旨对使用范围或功能提出任何限制，因为运些创新可W在不同的通用或 专用计算系统中实现。
[0039] 参考图1，计算环境（100)包括一个或多个处理单元（110、1巧）和存储器（120、 125)。处理单元（11〇、115)执行计算机可执行指令。处理单元可W是通用中央处理单元 ("CPU")、专用集成电路（"ASIC")中的处理器或任意其它类型的处理器。在多处理系 统中，多个处理单元执行计算机可执行指令W提高处理能力。例如，图1示出中央处理单元 (110)W及图形处理单元或协处理单元（115)。有形存储器（120、125)可W是易失性存储 器（例如，寄存器、高速缓存、RAM)、非易失性存储器（例如，ROM、EEPR0M、闪存等）或两者 的某种组合，可由处理单元存取。存储器（120,125)存储实现在切换色彩空间时调整量化 /缩放或逆量化/缩放的一个或多个创新的软件（180)，该软件处于适用于由（诸）处理单 元执行的计算机可执行指令的形式。 W40] 计算系统可具有附加的特征。例如，计算系统（100)包括存储（140)、一个或多个 输入设备（150)、一个或多个输出设备（160)化及一个或多个通信连接（170)。诸如总线、 控制器或网络之类的互连机制（未示出）将计算系统（100)的各组件互连。通常，操作系 统软件（未示出）为在计算系统（100)中执行的其它软件提供操作环境，并协调计算系统 (100)的各组件的活动。
[0041] 有形存储（140)可W是可移动或不可移动的，并包括磁盘、磁带或磁带盒、 CD-R0M、DVD或可用于储存信息并可在计算系统（100)内访问的任何其他介质。存储（140) 存储针对实现在切换色彩空间时调整量化/缩放或逆量化/缩放的一个或多个创新的软件 (180)的指令。
[00创（诸）输入设备（150)可W是触摸输入设备（诸如键盘、鼠标、笔或跟踪球）、语音 输入设备、扫描设备或向计算系统（100)提供输入的另一设备。对于视频，（诸）输入设备 (150)可W是相机、视频卡、TV调谐卡、屏幕捕捉模块或接受模拟或数字形式的视频输入的 类似设备、或将视频输入读到计算系统（100)中的CD-ROM或CD-RW。（诸）输出设备（160) 可W是显示器、打印机、扬声器、CD刻录机或提供来自计算系统（100)的输出的另一设备。
[0043] (诸）通信连接（170)允许通过通信介质与另一计算实体通信。通信介质传达诸如 计算机可执行指令、音频或视频输入或输出、或已调制数据信号中的其他数据之类的信息。 已调制数据信号是使其一个或多个特征W在信号中编码信息的方式设置或改变的信号。作 为示例而非限制，通信介质可W使用电的、光学的、RF或其它载体。
[0044] 各创新可W在计算机可读介质的一般上下文中描述。计算机可读介质是可在计算 环境内访问的任何可用有形介质。作为示例而非局限，对于计算系统（100)，计算机可读介 质包括存储器（120、125)、存储（140)、和W上任意的组合。
[0045] 各创新可在计算机可执行指令（诸如包括在程序模块中的在目标现实或虚拟处 理器上在计算系统中执行的那些计算机可执行指令）的一般上下文中描述。一般而言，程 序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据 结构等。如各实施例中所描述的，运些程序模块的功能可W被组合，或者在运些程序模块之 间拆分。针对各程序模块的计算机可执行指令可W在本地或分布式计算系统中执行。
[0046] 术语"系统"和"设备"在此被互换地使用。除非上下文明确指示，否则，术语并不 暗示对计算系统或计算设备的类型的任何限制。一般来说，计算系统或计算设备可W是本 地的或分布式的，并且可W包括具有实现本文中描述的功能的软件的专用硬件和/或通用 硬件的任意组合。
[0047] 所公开的方法还可使用被配置成执行所公开的方法中的任一者的专用计算硬件 来实现。例如，所公开的方法可W由被专口设计或配置成实现所公开的方法中的任一者的 集成电路（例如，诸如ASIC数字信号处理器（捕S巧之类的撇SIC、图像处理单元（"GPU")、 或诸如场可编程口阵列（"FPGA")之类的可编程逻辑器件（"PLD"))来实现。
[0048] 为了呈现起见，本详细描述使用了如"确定"和"使用"等术语来描述计算系统中 的计算机操作。运些术语是对由计算机执行的操作的高级抽象，且不应与人类所执行的动 作混淆。对应于运些术语的实际的计算机操作取决于实现而不同。
[0049] II.示例网络环境
[0050] 图2a和化示出了包括视频编码器（220)和视频解码器（270)的示例网络环境 (201,202)。编码器（220)和解码器（270)使用合适的通信协议通过网络（250)连接。网 络（250)可包括因特网或另一计算机网络。
[00川在图2a所示的网络环境（201)中，每个实时通信（"RTC")工具（210)都包括用于 双向通信的编码器（220)和解码器（270)两者。给定的编码器（220)可W产生符合H. 265/ 肥VC标准、SMPTE421M标准、ISO/lEC14496-10标准（也称为H. 264或AVC)、另一标准、或 专用格式的变型或扩展的输出，使得相应的解码器（270)接受来自编码器（220)的经编码 的数据。双向通信可W是视频会议、视频电话呼叫或其它双方或多方通信场景的部分。虽 然，图2a中的网络环境（201)包括两个实时通信工具（210)，但网络环境（201)可改为包括 参与多方通信的=个或更多个实时通信工具（210)。
[0052]实时通信工具（210)管理编码器（220)做出的编码。图3示出可W被包括在实时 通信工具（210)中的示例编码器系统（300)。替换地，实时通信工具（210)使用另一编码器 系统。实时通信工具（210)还管理解码器（270)做出的解码。图4示出可W被包括在实时 通信工具（210)中的示例解码器系统（400)。替换地，实时通信工具（210)使用另一解码器 系统。
[005引在图化中示出的网络环境（20?中，编码工具（2。）包括编码供递送给多个回放 工具（214)的视频的编码器（220)，此多个回放工具（214)包括解码器（270)。单向通信可 被提供用于视频监视系统、web相机监视系统、屏幕捕捉模块、远程桌面会议演示或在其中 编码视频并将其从一个位置发送到一个或多个其它位置的其它场景。虽然在图化中的网 络环境（202)包括两个回放工具（214)，但该网络环境（202)可W包括更多或更少的回放工 具（214)。一般来说，回放工具（214)与编码工具（212)通信W确定回放工具（214)要接收 的视频流。回放工具（214)接收该流、缓冲所接收的经编码的数据达合适的时间段并开始 解码和回放。
[0054] 图3示出可W被包括在编码工具（212)中的示例编码器系统（300)。替换地，编码 工具（212)使用另一编码器系统。编码工具（212)还可W包括用于管理与一个或多个回放 工具（214)的连接的服务器侧控制器逻辑。图4示出可W被包括在回放工具（214)中的示 例解码器系统（400)。替换地，回放工具（214)使用另一解码器系统。回放工具（214)还可 W包括用于管理与一个或多个编码工具（212)的连接的客户机侧控制器逻辑。 阳化日]III.示例编码器系统
[0056] 图3是结合其可实现所描述的一些实施例的示例编码器系统（300)的框图。编 码器系统（300)可W是能够用多种编码模式中的任一者（诸如用于实时通信的低等待时 间编码模式、转码模式和用于从文件或流中产生供回放的媒体的较高等待时间编码模式） 操作的通用编码工具，或它可W是适用于一种运样的编码模式的专用编码工具。编码器系 统（300)可适用于编码特定类型的内容（例如，屏幕捕捉内容），或者它可适用于编码若干 不同类型的内容（例如，屏幕捕捉内容和自然视频）中的任一者。编码器系统（300)可W 被实现为操作系统模块、应用库的部分、独立的应用。总体上，编码器系统（300)从视频源 (310)接收源视频帖序列（311)并产生经编码的数据作为到信道（390)的输出。输出到信 道的经编码的数据可包括通过色彩空间、色彩采样率和/或比特深度的自适应切换来编码 的内容。
[0057] 视频源（310)可W是相机、调谐卡、存储介质、屏幕捕捉模块或其它数字视频源。 视频源（310)W例如每秒30帖的帖速率产生视频帖序