与输送流自身有关。在实例中，这些包含MPEG输送流的ES描述符，其可用于本文中描述 的目的，且还经由RTP扩展标头而使用。
[0084] 所属领域的技术人员应了解，虽然用于所述一组配置旗标的许多传送方法是可能 的，但是所述传送方法的理想特性可包含编码器及解码器实施方案的独立性，且经由API 或其它方法通过位于编码器、解码器、传输器、接收器、多路复用器、多路分用器、读取器及 写入器外部的过程存取经传送的一组配置旗标。这还可包含完全带外传送，例如根据所述 一组配置旗标的值进行的特定编码器及解码器的标准化，或由其它通道或上下文进行的这 些值的传达，例如，由MPEG-DASH或HLS流的清单文件，或由分离文件或协议（作为非限制 性实例）。
[0085] 连同压缩图像或视频数据自身，所述一组配置旗标可任选地从上游传输器/多路 复用器/写入器530经由传输通道535或存储媒体而被传输到或传达到下游接收器/多路 分用器/读取器540,下游接收器/多路分用器/读取器540将所述图像或视频数据解封为 适合于解码器545的形式，且将所述数据输出到空间分离过程550。
[0086] 空间分离过程550反转空间布置过程520并将数据输出到颜色恢复过程560。
[0087] 抽取并接着恢复色度通道的优势为显著地降低待编码、传输及解码的数据。由于 HVS分辨率对明度的敏感度比颜色的敏感度大超过两倍，故一种众所周知且常见的标准传 输及接收方法为YCbCR4:2:0子采样，其按一个倍频程抽取颜色通道。此匹配于HVS对明 度及颜色空间分辨率的不同敏感度。
[0088] 图10展示HVS针对明度及颜色的空间分辨率敏感度。按一个倍频程抽取颜色通 道（或将垂直及水平分辨率减半）会安全地匹配于在正常观察条件下的HVS的敏感度。
[0089] 然而，按一个以上倍频程进行抽取而不需恢复过程比由例如双三次或Lanzcos的 线性采样器进行升采样更复杂，这引起有异议的假象及图像质量退化。
[0090] 图11展示原始全分辨率Cb通道。
[0091] 图12展示当与按一个以上倍频程抽取的色度通道一起使用时通过现有技术色度 按比例放大过程而引入的Cb通道中的颜色溢出。在图中明显的整体模糊效应引起锥形体 的红及绿颜色溢入到背景中，且反之亦然。
[0092] 对此问题的解决方案是使用联合双边滤波及按比例放大，或多尺度逐倍频程联合 双边滤波及按比例放大。
[0093] 图13展示通过本发明的实例恢复颜色通道。
[0094] 本文中描述的多尺度联合双边滤波器在若干显著方面不同于众所周知的双边滤 波器及联合双边滤波器。以下方程式1及2中所定义的正常双边滤波器通过在驱动加权的 分析下构成一范围的空间距离及构成图像内的域的辐射度距离而适应性地加权滤波器权 数。更特定来说，针对输入图像Z、输出图像t及支持Ω的窗，如下在方程式1中定义典 型的双边滤波器：
[0095] 方程式1
[0096]
[0097] 其中g为高斯空间加权函数，且r为辐射度加权函数。辐射度的典型值包含组成 像素样本的亮度或强度。系统输入典型地由修改g及r函数的常数因子〇；3及σ1^供应，如 在方程式2及3中：
[0098] 方程式2
[0099]
[0100]
[0101]
[0102] 辐射度域的辐射度函数r由以上方程式3定义。方程式2定义函数g中的空间加 权。
[0103] 相比之下，代替仅使用辐射度（或亮度）以引导滤波器的加权，联合双边滤波器对 第一图像域执行滤波，同时通过第二域的加权而引导。针对在本发明中预期的意义上的联 合双边滤波，辐射度加权可由方程式4到5及其在下文中的附随描述而定义。
[0104] 因子〇 3及σ1^的较小值分别增加空间及辐射度加权贡献的局部性及类似性。辐 射度函数r的指数的分母中的L1距离测量适于其中仅亮度或强度足以充分地区别边缘及 边界局部性的图像。在实例中，被滤波的第一域联合地为Cb及Cr，或相似颜色通道。
[0105] 在实例中，第二图像辐射度域由亮度通道的第二输出提供，如在方程式4中的函 数：
[0106] 方程式4
[0107]
[0108] 其中新的第二域辐射度函数d由方程式5定义：
[0109] 方程式5
[0110]
[0111] 且函数d测量亮度的差。形式上，当亮度以与色度通道不同的较高分辨率被采样 时，此被更适当地称为联合双边升采样过程而非滤波过程。以新的升采样分辨率进行的联 合双边升采样过程的后续反复将被认为是滤波。滤波器的整体应用效应为第二域引导第一 域的滤波；第二域被称为"统计先验"。
[0112] 本发明中的联合双边滤波的多尺度变异每次使一或多个倍频程工作，或甚至每次 使部分倍频程工作；以如下方式：第一联合双边升采样到下一较高分辨率，联合双边滤波 的后续反复，接着为后续第二双边升采样，及滤波直到达到CbCr或颜色通道的最终分辨 率。此布置的效应是计算复杂性的巨大降低；在用多尺度途径的情况下，可使用采样过程的 适度支持区域，例如5x5,以实现良好结果，而单片的非多尺度途径需要非常大的支持区域 及潜在需要更多反复的滤波过程以收敛到可接受的结果。
[0113] 颜色恢复过程560将经重构数字图像或视频的经恢复色度通道输出到任选直方 图过程570。对于图像的高度饱和部分，例如，明亮颜色的标志，颜色恢复过程560可不足 以恢复原始输入图像中存在的原始高色度值及能量。在此类情况下，可使用直方图拉伸功 能。直方图拉伸功能可使用美国专利案第8, 704, 842号中揭露的技术，或如在共同待决的 美国专利案第14/032, 640号中所教示而操纵基于感知颜色的接收系统的第一及第二接收 值，借此避免针对直方图计算的需要，其揭露内容的全文以引用的方式并入本文中。
[0114] 本发明的实例的预编码过程足够地有效地在实时及近实时以多种分辨率在同时 期的、商业的、畅销的计算机硬件及多个图像及视频上以30fps针对4K视频分辨率视频以 大于实时方式执行。本发明的实施例的后解码过程足够有效地以全HD分辨率针对视频或 图像的单一例子在具有GPU、CPU或APU的任何最终用户装置上执行，例如，功能型电话、智 能电话、平板计算机、膝上型计算机、PC、机顶盒及电视。
[0115] 根据本发明的实例的在编码器近接及解码器近接两者处的此效率组合开创新的 应用。这些应用包含但不限于用于过度顶级视频配送的实时改进感知质量及/或改进视频 编码器效率、当从移动装置中上传及下载视频及图像数据时的公共无线电存取网络拥挤的 成本有效的实时降低、增加的实时通带电视配送能力、卫星转发器能力的增加、用于内容管 理系统及网络DVR架构的存储成本的降低，及在分配网络核心处的图像及视频的高通量处 理。
[0116] 图14说明呈计算机系统1400的实例形式的机器的图形表示，在计算机系统1400 内可执行用于致使所述机器执行本文中论述的方法中的一或多者的一组指令。在一些实 例中，机器可在LAN、内联网、外联网或互联网中连接（例如，联网）到其它机器。机器可以 服务器机器的能力操作于客户端-服务器网络环境中。机器可为个人计算机（PC)、机顶盒 (STB)、服务器、网络路由器、交换机或桥接器，或能够执行指定由那种机器采取的动作的一 组指令（顺序的或以其它方式）的任何机器。另外，虽然仅说明单一机器，但是术语"机器" 应还被理解为包含个别地或联合地执行一组（或多组）指令以执行本文中论述的方法中的 任何一或多者的任何机器集合。
[0117] 实例计算机系统1400包含处理装置（处理器）1402、主存储器1404(例如，只读存 储器（R0M)、闪速存储器、动态随机存取存储器（DRAM)，例如同步DRAM(SDRAM))、静态存储 器1406(例如，闪速存储器、静态随机存取存储器（SRAM))及数据存储装置1416,其经由总 线1408而与彼此通信。
[0118] 处理器1402表示一或多个通用处理装置，例如，微处理器、中央处理单元及类似 物。更特定来说，处理器1402可为复杂指令集计算（CISC)微处理器、精简指令集计算 (RISC)微处理器、超长指令字（VLIW)微处理器，或实施其它指令集的处理器，或实施指令 集组合的处理器。处理器1402可还为一或多个专用处理装置，例如，专用集成电路（ASIC)、 现场可编程门阵列（FPGA)、数字信号处理器（DSP)、网络处理器或类似物。图1及3所示的 颜色通道处理器145、345可分别由经配置以执行本文中论述的操作及步骤的处理器1402 执行。
[0119] 计算机系统1400可进一步包含网络接口装置1422。计算机系统1400还可包含 视频显示单元1410(例如，液晶显示器（IXD)或阴极射线管（CRT))、字母数字输入装置 1412(例如，键盘）、光标控制装置1414(例如，鼠标），及信号产生装置1420(例如，扬声 器）。
[0120] 驱动单元1416可包含存储有一或多组指令（例如，颜色空间处理器145、345的指 令）的计算机可读媒体1424,所述一或多组指令使本文中描述的方法或功能中的任何一或 多者具体化。颜色空间处理器145、345的指令在由计算机系统1400执行期间还可全部地 或至少部分地驻留在主存储器1404内及/或处理器1402内，主存储器1404及处理器1402 还构成计算机可读媒体。颜色通道处理器145、345的指令可进一步经由网络接口装置1422 通过网络被传输或接收。
[0121] 虽然在实例中将计算机可读存储媒体1424展示为单一媒体，但是术语"计算机可 读存储媒体"应被理解为包含存储一或多组指令的单一非暂时性媒体或多个非暂时性媒体 (例如，集中式或分布式数据库，及/或关联高速缓冲存储器及服务器）。术语"计算机可读 存储媒体"还可被理解为包含能够存储、编码或运载用于由机器执行的一组指令且致使机 器执行本发明的方法中的任何一或多者的任何媒体。术语"计算机可读存储媒体"还因此 被理解为包含但不限于固态存储器、光学媒体及磁性媒体。
[0122] 在以上描述中，陈述众多细节。然而，对于受益于本发明的所属领域的一般技术人 员来说明显的是，可在无需这些特定细节的情况下实践本发明的实例。在一些例子中，以框 图形式而非详细地展示众所周知的结构及装置以便避免混淆所述描述。
[0123] 在计算机存储器内，依据数据位上操作的算法及符号表示而呈现详细描述的一些 部分。这些算法描述及表示为所属数据处理领域的技术人员使用以最有效地向所属领域的 技术人员传送他们工作的本质的工具。算法在此处且通常被设想为产生所需结果的有条 理的步骤序列。所述步骤为需要物理量的物理操纵的步