视频编码中的受指导图像上采样的制作方法
【专利说明】
[0001] 本申请是基于申请号为201210281757. 3、申请日为2012年8月9日、发明名称为 "视频编码中的受指导图像上采样"的专利申请的分案申请。
[0002] 相关申请的交叉引用
[0003] 本发明要求2011年8月9日提交的美国临时专利申请No. 61/521,685W及2012 年5月30日提交的美国临时专利申请No. 61/653, 234的优先权，出于所有目的通过引用将 它们并入此。
技术领域
[0004] 本发明总体上设及图像。更特别地，本发明实施例设及视频编码中的数字图像的 受指导上采样（guidedup-sampling)。
【背景技术】
[000引如在此使用的那样，术语"动态范围"（dynamicrange,DR)可W与用于感知图像 中的强度（例如辉度、亮度）的范围（例如从最暗的暗到最亮的亮）的人类屯、理视觉系统 化umanpsychovisualsystem,HV巧的能力有关。在此意义上，DR与"场景相关的（scene referred)"强度有关。DR也可W与显示设备足够地或近似地呈现特定宽度化rea化h)的 强度范围的能力有关。在此意义上，DR与"显示相关的"强度有关。除非在此描述中的任何 点明确地指定特定意义具有特定重要性，否则应推断其可W例如可互换地用于任何意义。
[0006] 如在此使用的那样，术语"高动态范围（hi曲dynamicrange,皿R)"与跨越人类 视觉系统化umanvisualsystem,HV巧的一些14-15个量级的DR宽度有关。例如，具有 基本正态（例如在统计、生物计量或眼科（opthamological)意义中的一个或多个中）的良 好适应的人具有跨越大约15个量级的强度范围。适应的人可W感知少至仅少数光子的昏 暗光源。然而，运些相同的人可W感知沙漠、海洋或雪中的正午阳光的近乎灼目的明亮强度 (或甚至对太阳的扫视，然而，短暂地扫视防止损伤）。运样的跨度对于"适应的"人（例如 其HVS具有重置并且调整的时间段的人）可用。
[0007] 作为对比，相对于皿R，在其上人可W同时感知强度范围中的宽的宽度的DR可 W被稍微截断。如在此使用的那样，术语"视觉动态范围"或"可变动态范围（variable dynamicrange,VDR)"可W单独地或互换地与HVS同时可感知的DR有关。如在此使用的那 样，VDR可W与跨越5-6个量级的DR有关。因此，尽管相对于真实场景相关的皿R稍微更 窄，但VDR表示宽的DR宽度。如在此使用的那样，术语"同时动态范围"可W与VDR有关。
[0008] 直到最近，显示器已经具有比皿R或VDR明显更窄的DR。使用具有恒定巧光的 白色背光或等离子体屏幕技术的典型阴极射线管（cathoderaytube,CRT)、液晶显示器 (liquidciTstaldisplay,LCD)的电视（Television,TV)和计算机监视器装置可能在它 们的DR呈现能力方面被约束为大约S个数量级。运些传统的显示器因此作为相对于VDR 和皿R的低动态范围（lowdynamicrange,LDR)，又称为标准动态范围（standarddynamic range,SDR)的代表。
[0009] 至于可缩放视频编码和皿TV技术，扩展图像DR典型地设及分叉化i化rcate)方 法。例如，W现代的能够皿R的相机捕获的场景相关皿R内容可W用于生成该内容的VDR版 本或SDR版本，其可W显示在VDR显示器或传统SDR显示器上。在一种方法中，从捕获的VDR 版本生成SDR版本可W设及将全局色调映射算子（globaltonemappingoperator,TM0) 应用于皿R内容中的强度（例如辉度、亮度）有关的像素值。在第二方法中，如在W.Gish 等人 2011 年 8 月 23 提交的PCT申请PCT/US2011/048861 中"ExtendingImageDynamic Range"中描述的那样，生成SDR图像可W设及对于VDR数据应用可逆算子（或预测器）。为 了保留带宽或出于其它考虑，同时发送实际捕获的VDR内容和SDR内容两者可能不是最佳 方法。
[0010] 因此，相对于初始TMO被反转的逆色调映射算子（iTMO)或相对于初始预测器的逆 算子可W应用于生成的SDR内容版本，运允许预测初始VDR内容的版本。可W将预测的VDR 内容版本和生成的VDR内容进行比较。例如，从初始VDR版本减去预测的VDR版本可W生 成残差图像。编码器可W发送作为基本层化aselayer,BL)的生成的SDR内容、作为增强 层巧L)的任何残差图像，并且封装iTMO或其它预测器等作为元数据。
[0011] 在比特流中将化和元数据与其SDR内容、残差和预测器一起发送典型地消耗比将 皿R和SDR内容都直接发送到比特流中的情况所消耗的带宽更少的带宽。接收编码器发送 的比特流的兼容解码器可W解码并且在传统显示器上呈现SDR。然而，兼容解码器也可W使 用残差图像、iTMO预测器或元数据来从其计算皿R内容的预测版本，W用于更有能力的显 示器上。
[0012] 在运样的分层VDR编码中，图像可W按不同空间分辨率、比特深度、颜色空间和色 度子采样格式来表示，运些都可迫使进行从第一颜色格式到第二颜色格式的各种计算机密 集变换。
[0013] 如在此使用的那样，术语"颜色格式"与包括W下两个变量的颜色表示有关：a)颜 色空间变量（例如RGB、YUV、YCb化等）和色度子采样变量（例如4 :4 :4、4 :2 :0等）。例 如，VDR信号可W具有RGB4:4:4颜色格式，而SDR信号可W具有YCb化4:2:0颜色格式。
[0014] 如在此使用的那样，术语"上采样"或"尺度上推"与将图像的一个或多个颜色分量 从一个空间分辨率变换到更高的第二空间分辨率的处理有关。例如，可W将视频信号从4 : 2:0格式上采样为4:4:4格式。
[0015] 该部分中描述的方法是可W贯彻实施的方法，但不一定是先前已被构思或贯彻实 施的方法。因此，除非另外指示，否则不应假设该部分中描述的任何方法仅仅由于它们包含 在该部分中而被当作现有技术。相似地，除非另外指示，否则相对于一个或多个方法标识的 问题不应基于该部分而被假定在任何现有技术中已经被认识到。
【附图说明】
[0016] 在附图中通过示例的方式而不是限制的方式示出本发明实施例，并且其中，相似 标号指代相似元件，并且其中：
[0017] 图1描述根据本发明实施例的用于分层编码系统的示例数据流；
[0018] 图2描述根据本发明实施例的示例分层解码系统；
[0019] 图3描述根据本发明实施例的分层编解码器中对残差信号进行编码中的受指导 图像上采样的示例；
[0020] 图4描述根据本发明实施例的示例单层视频编码系统；
[0021] 图5描述根据本发明实施例的用于使用2D滤波器W因子2进行上采样的示例输 入和输出像素阵列；
[0022] 图6描述根据本发明实施例的用于使用3D滤波器W因子2进行上采样的示例输 入和输出像素阵列；
[0023] 图7描述根据本发明实施例的受指导图像上采样的示例处理；
[0024] 图8描述根据本发明实施例的受指导颜色瞬时改进滤波的示例处理。
【具体实施方式】
[0025] 在此描述视频编码中的受指导图像上采样和颜色瞬时改进滤波。在W下描述中， 为了解释，阐述大量细节W提供本发明的透彻理解。然而，应理解，在没有运些具体细节的 情况下仍可W实践本发明。在其它情况下，不详尽地描述公知结构和设备，W避免不必要地 封闭、模糊或混乱本发明。
[0026] 概述
[0027] 在此描述的示例实施例与视频编码中的受指导图像上采样和CTI滤波有关。编码 器接收第一空间分辨率的第一图像和第二空间分辨率的指导图像（guideimage),其中，所 述第一图像和所述指导图像两者都表现相同场景，所述第二空间分辨率高于所述第一空间 分辨率。选择滤波器W将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分 辨率的第=图像。通过使得所述指导图像与第=图像的像素值之间的误差度量（例如均方 误差（meansquareerror,MSE))最小化来计算用于上采样滤波器的滤波系数。计算出的 滤波系数集合被信传（signal)到接收机（例如，作为元数据）。解码器接收所述元数据和 第一图像或所述第一图像的近似，并且可W使用与所述编码器推导出的优化滤波器和滤波 系数相同的优化滤波器和滤波系数来对所接收的图像进行上采样。
[0028] 在另一实施例中，编码器接收待编码的目标图像，所述目标图像包括第一目标颜 色分量图像和第二目标颜色分量图像。对所述图像进行编码和解码，W生成编码的图像和 解码的图像，所述解码的图像包括解码的第一颜色分量图像和解码的第二颜色分量图像。 选择颜色瞬时改进（colortransientimprovement,CTI)滤波器W对所述解码的第二颜 色分量图像的像素进行滤波，W生成输出颜色分量图像。至少部分地基于通过使得所述输 出颜色分量图像的像素值与所述目标图像中的第二颜色分量图像的对应像素值之间的误 差度量最小化而计算用于所述CTI滤波器的CTI滤波系数。CTI滤波系数被信传到接收机 (例如，作为元数据）。解码器接收所述元数据和所述编码的图像。在对所述编码的图像进 行解码之后，其可W使用与所述编码器推导出的CTI滤波系数相同的CTI滤波系数来对所 述解码的图像进行