专利名称：视频编码中的受指导图像上采样的制作方法
技术领域：
本发明总体上涉及图像。更特别地，本发明实施例涉及视频编码中的数字图像的受指导上采样(guided up-sampling)ο
背景技术：
如在此使用的那样，术语“动态范围”(dynamic range，DR)可以与用于感知图像中的强度(例如辉度、亮度)的范围(例如从最暗的暗到最亮的亮)的人类心理视觉系统(human psychovisual system, HVS)的能力有关。在此意义上，DR与“场景相关的(scenereferred)”强度有关。DR也可以与显示设备足够地或近似地呈现特定宽度(breadth)的强度范围的能力有关。在此意义上，DR与“显示相关的”强度有关。除非在此描述中的任何点明确地指定特定意义具有特定重要性，否则应推断其可以例如可互换地用于任何意义。如在此使用的那样，术语“高动态范围(high dynamic range, HDR)”与跨越人类视觉系统(human visual system，HVS)的一些14-15个量级的DR宽度有关。例如，具有基本正态(例如在统计、生物计量或眼科(opthamological)意义中的一个或多个中)的良好适应的人具有跨越大约15个量级的强度范围。适应的人可以感知少至仅少数光子的昏暗光源。然而，这些相同的人可以感知沙漠、海洋或雪中的正午阳光的近乎灼目的明亮强度(或甚至对太阳的扫视，然而，短暂地扫视防止损伤)。这样的跨度对于“适应的”人(例如其HVS具有重置并且调整的时间段的人)可用。作为对比，相对于HDR，在其上人可以同时感知强度范围中的宽的宽度的DR可以被稍微截断。如在此使用的那样，术语“视觉动态范围”或“可变动态范围(variabledynamic range, VDR)”可以单独地或互换地与HVS同时可感知的DR有关。如在此使用的那样，VDR可以与跨越5-6个量级的DR有关。因此，尽管相对于真实场景相关的HDR稍微更窄，但VDR表示宽的DR宽度。如在此使用的那样，术语“同时动态范围”可以与VDR有关。直到最近，显示器已经具有比HDR或VDR明显更窄的DR。使用具有恒定荧光的白色背光或等离子体屏幕技术的典型阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystal display, IXD)的电视(Television, TV)和计算机监视器装置可能在它们的DR呈现能力方面被约束为大约三个数量级。这些传统的显示器因此作为相对于VDR和HDR的低动态范围(low dynamic range, LDR),又称为标准动态范围(standard dynamicrange, SDR)的代表。至于可缩放视频编码和HDTV技术,扩展图像DR典型地涉及分叉(bifurcate)方法。例如，以现代的能够HDR的相机捕获的场景相关HDR内容可以用于生成该内容的VDR版本或SDR版本，其可以显示在VDR显示器或传统SDR显示器上。在一种方法中，从捕获的VDR版本生成SDR版本可以涉及将全局色调映射算子(global tone mapping operator,TMO)应用于HDR内容中的强度(例如辉度、亮度)有关的像素值。在第二方法中，如在W. Gish等人 2011 年 8 月 23 提交的 PCT 申请 PCT/US2011/048861 中 “Extending Image DynamicRange”中描述的那样，生成SDR图像可以涉及对于VDR数据应用可逆算子(或预测器)。为了保留带宽或出于其它考虑，同时发送实际捕获的VDR内容和SDR内容两者可能不是最佳方法。因此，相对于初始TMO被反转的逆色调映射算子(iTMO)或相对于初始预测器的逆算子可以应用于生成的SDR内容版本，这允许预测初始VDR内容的版本。可以将预测的VDR内容版本和生成的VDR内容进行比较。例如，从初始VDR版本减去预测的VDR版本可以生成残差图像。编码器可以发送作为基本层(base layer，BL)的生成的SDR内容、作为增强层(EL)的任何残差图像，并且封装iTMO或其它预测器等作为元数据。在比特流中将EL和元数据与其SDR内容、残差和预测器一起发送典型地消耗比将·HDR和SDR内容都直接发送到比特流中的情况所消耗的带宽更少的带宽。接收编码器发送的比特流的兼容解码器可以解码并且在传统显示器上呈现SDR。然而，兼容解码器也可以使用残差图像、iTMO预测器或元数据来从其计算HDR内容的预测版本，以用于更有能力的显示器上。在这样的分层VDR编码中，图像可以按不同空间分辨率、比特深度、颜色空间和色度子采样格式来表示，这些都可迫使进行从第一颜色格式到第二颜色格式的各种计算机密集变换。如在此使用的那样，术语“颜色格式”与包括以下两个变量的颜色表示有关a)颜色空间变量(例如RGB、YUV、YCbCr等)和色度子采样变量(例如4 4 :4、4 2 0等)。例如，VDR信号可以具有RGB 4 :4 :4颜色格式，而SDR信号可以具有YCbCr 4 :2 :0颜色格式。如在此使用的那样，术语“上采样”或“尺度上推”与将图像的一个或多个颜色分量从一个空间分辨率变换到更高的第二空间分辨率的处理有关。例如，可以将视频信号从4 :
20格式上采样为4 4 4格式。该部分中描述的方法是可以贯彻实施的方法，但不一定是先前已被构思或贯彻实施的方法。因此，除非另外指示，否则不应假设该部分中描述的任何方法仅仅由于它们包含在该部分中而被当作现有技术。相似地，除非另外指示，否则相对于一个或多个方法标识的问题不应基于该部分而被假定在任何现有技术中已经被认识到。
在附图中通过示例的方式而不是限制的方式示出本发明实施例，并且其中，相似标号指代相似元件，并且其中图I描述根据本发明实施例的用于分层编码系统的示例数据流；图2描述根据本发明实施例的示例分层解码系统；图3描述根据本发明实施例的分层编解码器中对残差信号进行编码中的受指导图像上采样的示例；图4描述根据本发明实施例的示例单层视频编码系统；
图5描述根据本发明实施例的用于使用2D滤波器以因子2进行上采样的示例输入和输出像素阵列；图6描述根据本发明实施例的用于使用3D滤波器以因子2进行上采样的示例输入和输出像素阵列；图7描述根据本发明实施例的受指导图像上采样的示例处理；图8描述根据本发明实施例的受指导颜色瞬时改进滤波的示例处理。
具体实施例方式在此描述视频编码中的受指导图像上采样和颜色瞬时改进滤波。在以 下描述中，为了解释，阐述大量细节以提供本发明的透彻理解。然而，应理解，在没有这些具体细节的情况下仍可以实践本发明。在其它情况下，不详尽地描述公知结构和设备，以避免不必要地封闭、模糊或混乱本发明。概述在此描述的示例实施例与视频编码中的受指导图像上采样和CTI滤波有关。编码器接收第一空间分辨率的第一图像和第二空间分辨率的指导图像(guide image)，其中，所述第一图像和所述指导图像两者都表现相同场景，所述第二空间分辨率高于所述第一空间分辨率。选择滤波器以将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分辨率的第三图像。通过使得所述指导图像与第三图像的像素值之间的误差度量(例如均方误差(mean square error, MSE))最小化来计算用于上采样滤波器的滤波系数。计算出的滤波系数集合被信传(signal)到接收机(例如，作为元数据)。解码器接收所述元数据和第一图像或所述第一图像的近似，并且可以使用与所述编码器推导出的优化滤波器和滤波系数相同的优化滤波器和滤波系数来对所接收的图像进行上采样。在另一实施例中，编码器接收待编码的目标图像，所述目标图像包括第一目标颜色分量图像和第二目标颜色分量图像。对所述图像进行编码和解码，以生成编码的图像和解码的图像，所述解码的图像包括解码的第一颜色分量图像和解码的第二颜色分量图像。选择颜色瞬时改进(color transient improvement,CTI)滤波器以对所述解码的第二颜色分量图像的像素进行滤波，以生成输出颜色分量图像。至少部分地基于通过使得所述输出颜色分量图像的像素值与所述目标图像中的第二颜色分量图像的对应像素值之间的误差度量最小化而计算用于所述CTI滤波器的CTI滤波系数。CTI滤波系数被信传到接收机(例如，作为元数据)。解码器接收所述元数据和所述编码的图像。在对所述编码的图像进行解码之后，其可以使用与所述编码器推导出的CTI滤波系数相同的CTI滤波系数来对所述解码的图像进行滤波。在受指导图像上采样的情况下的示例系统由于图像下采样和上采样变换不仅影响编码效率而且还影响总体图像质量，所以其在视频编码中扮演关键角色。不当的空间尺度变换(spatial scaling transformation)可能导致错误的颜色，沿着图像的边缘尤其如此。不同于传统“盲”图像上采样技术，其中，给定具有经子采样的颜色分量(例如YCbCr4 2 0格式下的色度)的输入图像，仅使用图像自身内的可用信息来对颜色分量进行上采样，本发明实施例还可以利用来自视频处理通道(pipeline)中的其它图像的信息。
图I描述根据本发明实施例的实现受指导图像上采样的示例图像处理系统100。系统100表示分层编码器的实施例，其中，使用两个层(基本层135和增强或残差层175)来对输入信号V 105进行编码。在实施例中，输入信号V 105可以表示为4 4 4颜色格式(例如RGB 4 4 :4)的每颜色分量16或更多个比特所表示的输入VDR信号。动态范围减少处理110可以处理该VDR信号，以生成信号S’ 112。信号S’可以具有与 信号V相同的或低于信号V的空间分辨率。可以通过比V更低的比特深度分辨率(例如每颜色分量12比特)来表示信号S’。信号S’可以处于与V相同的颜色格式，或在其它实施例中，其可以处于不同颜色格式。在实施例中，颜色变换120可以在编码130之前，其中，S’可以变换为另一颜色格式(例如YCbCr)。变换120也可以结合一个或多个颜色分量的子采样(例如从4 4 4到4 2 :0)。编码信号135可以作为基本层发送。在实施例中，可以通过任何现有视频编码器(例如运动图像专家组(motion pictures expert group, MPEG)规范指定的 MPEG-2 或 MPEG-4视频编码器)来实现编码130。可以通过对信号135进行解码、生成初始VDR信号V的预测值(165)并且从其预测值(165)减去初始V (105)以生成残差信号175，来生成增强层175。在实施例中，可以使用如G-M Su等人2012年4月13日提交的PCT申请PCT/US 2012/033605中描述的多变量多回归模型来实现预测器160。由于编码信号135和输入信号105具有不同颜色格式和分辨率，因此颜色变换处理150将解码器140的输出变换为匹配输入V 105的颜色格式和分辨率的颜色格式和分辨率。例如，单元150可以将输入数据143从YCbCr 4 2 0变换为RGB 4 4 :4。在传统采样方法中，可以仅基于子采样输入143和具有固定滤波系数的内插滤波器而推导上米样输出153。反之,在实施例中，150中的上米样处理可以利用来自子米样输入143的数据和具有已知的全空间分辨率的数据(例如输入S’ 112或V 105)来执行上采样。在实施例中，该受指导图像上采样处理150可以将上采样有关参数(例如内插滤波系数)信传到其余系统通道(例如作为元数据信号155或167)。如在此使用的那样，术语“元数据”可以与作为编码比特流的一部分被发送并且协助解码器呈现解码的图像的任何辅助信息有关。所述元数据可以包括，但不限于如下信息颜色空间或色域信息、动态范围信息、色调映射信息、或其它预测器、尺度上推(upscaling)和量化器算子，例如在此描述的那些。在实施例中，通过使得预测上采样值(例如颜色变换150的输出153)与全空间分辨率的输入指导图像(例如S’ 112或V 105)之间的误差度量(例如均方误差(MSE))最小化来估计用于将YCbCr 4 2 0数据转换为YCbCr 4 4 4数据的滤波器系数。也可以在解码器中的上采样处理期间应用相同滤波器。图2描述了根据实施例的分层视频解码器的示例实现。解码系统200接收编码比特流202，其包括在解复用220之后被提取的基本层227、增强层(或残差)222和元数据225。例如，在VDR-SDR系统中，基本层227可以表示编码信号的SDR表示，元数据225可以包括编码器中使用的与预测(160)和颜色变换操作(150)有关的信息。可以使用基本层解码器210对编码的基本层227进行解码，以输出解码器SDR信号S 212。编码的残差222可以被解码(240)、解量化(250)，并且相加到预测器290的输出295，以生成输出VDR信号V 270。
颜色变换单元230可以结合上采样(例如从4 2 :0到4 4 :4)。作为使用仅依赖于输入数据212的“盲”上采样技术的替代，230中的上采样处理器可以提取并且应用编码器使用元数据225 (或155)信传的上采样有关参数(例如内插滤波器系数)。在解码期间的这样的受指导上采样可以在没有额外计算成本的情况下获得具有改进的视觉质量的视频信号。受指导图像上采样技术同样也可以应用于视频编码通道中的其它处理步骤。图3描述根据本发明实施例实现的分层编码中的残差层的编码-解码系统。残差信号R 305(175)可以为RGB 4 :4:4颜色格式。颜色变换单元310位于典型地在YCbCr 4 :2 :0格式下操作的(例如使用MPEG-4视频编码器的)残差编码330之前，其中，可以将输入305颜色变换并且下采样为YCbCr 4:2:0。并行地，根据本发明实施例，可通过输入R 305指导上采样处理器320以计算优化的上采样滤波系数。可以例如使用元数据322将这些滤波系数信传到解码器。在接收机上，颜色变换单元350可以从元数据322提取优化的上采样滤波系数，并且在将解码的YCbCr 4 2 0数据342上采样到RGB 4 4 4数据355的处理期间应用它们。图4描述根据本发明实施例的示例单层视频编码系统。如图4中描述的那样，处理器410可以对输入信号V1 405的至少一个颜色分量进行下采样。经下采样的输出412由视频编码器430 (例如MPEG-4编码器)进行编码，并且发送到包括视频解码器440 (例如 MPEG-4解码器)和上采样处理器450的接收机(400-D)。在编码器(400-E)上，上采样单元420可以根据本发明实施例中描述的方法执行受指导上采样，并且可以使用来自全分辨率输入V1 405和子采样信号412的信息来推导出优化的上采样滤波系数。可以例如使用元数据422将优化的滤波器系数信传到解码器(400-D)。因此，可以使用与上采样单元420生成的优化系数集合相同的优化系数集合在处理单元450中对视频编码器(430)的输出442进行上采样。 用于受指导图像上采样的滤波器设计普通2D不可分离滤波器为了简单而不失一般性，给定包括多个颜色分量(例如YCbCr或RGB)的输入图像，我们考虑单个颜色分量(例如Cb或R)的受指导图像上采样处理。可以根据需要对于需要上采样的任何图像颜色分量重复在此描述的方法。在用于使用2D内插或上采样滤波器以因子2进行上采样的示例实施例中，图5描述要被以因子2上采样并且生成如方形510描述的6X6像素阵列的由圆圈520表示的已知输入像素的3X3阵列。输入像素表示为Cj，，并且预测的或上采样的像素表示为4，然后对于每个输入像素(例如520-11)生成四个新的估计的像素(例如510-22、510-23、510-32和510-33)。在实施例中，上采样处理可以表示为不可分离有限冲激响应(finite impulseresponse, FIR)滤波器
芎士对于 i = 0，l，2，3，，(I)
Jc=O 户 O其中，mg(对于从O到2的X和y)表示滤波系数。例如，在图5中，表示为方形510-22。
现考虑与上采样处理的输出具有相同目标分辨率的指导图像D，其中，像素数据在此表示为例如，如图4中描述的那样，指导图像可以是输入图像V0O5的颜色分量。推
权利要求
1.一种方法，包括 接收第一空间分辨率的第一图像和第二空间分辨率的指导图像，其中，所述第一图像和所述指导图像两者都表示相似场景，并且所述第二空间分辨率高于所述第一空间分辨率； 选择滤波器以将所述第一图像尺度上推到具有等于所述第二空间分辨率的空间分辨率的第二图像； 计算用于所述滤波器的滤波系数集合，其中，滤波系数的计算至少部分地基于使得所述指导图像与所述第三图像的像素值之间的误差度量最小化；以及 将所述滤波系数集合发送到解码器。
2.如权利要求I所述的方法，还包括输出所述第三图像。
3.如权利要求I所述的方法，其中，从多个可用的滤波器中选择用于尺度上推所述第一图像的滤波器。
4.如权利要求3所述的方法，其中，所述多个可用的滤波器包括普通2D滤波器、对称2D滤波器、普通3D滤波器和对称3D滤波器。
5.如权利要求3所述的方法，还包括将从所述多个可用的滤波器中选择的滤波器的特性信传给解码器。
6.如权利要求I所述的方法，其中，所述误差度量包括均方误差(MSE)计算。
7.如权利要求I所述的方法，其中，所述第一图像至少包括第一颜色分量和第二颜色分量，用于尺度上推所述第一图像的至少一个颜色分量的滤波器包括普通3D滤波器，其中，所述普通3D滤波器包括至少两个滤波系数集合，其中，所述第一滤波系数集合对所述第一图像的所述第一颜色分量操作，所述第二滤波系数集合对所述第一图像的所述第二颜色分量操作。
8.如权利要求7所述的方法，其中，所述第一图像的所述第一颜色分量是亮度(Y)分量，所述第一图像的所述第二颜色分量是色度(Cb或Cr)颜色分量。
9.如权利要求7所述的方法，其中，所述第一图像的所述第一颜色分量是绿色(G)分量，所述第一图像的所述第二颜色分量是红色(R)或蓝色(B)颜色分量。
10.如权利要求7所述的方法，其中，所述第一图像的所述第一颜色分量具有第一空间分辨率，所述第一图像的所述第二颜色分量具有第二空间分辨率，其中，所述第一颜色分量的所述第一空间分辨率高于所述第二颜色分量的所述第二空间分辨率。
11.如权利要求I所述的方法，其中，所述第一图像是YCbCr4:2:0颜色格式，所述指导图像为YCbCr 4 4 4颜色格式。
12.如权利要求I所述的方法，其中，所述第一图像处于RGB4 :2:0颜色格式，所述指导图像处于RGB 4 4 4颜色格式。
13.如权利要求I所述的方法，还包括 接收所述第一图像的密切近似和滤波系数； 使用所述滤波系数将接收的所述第一图像的密切近似上采样为输出图像，其中，所述输出图像具有与所述第二分辨率相同的分辨率。
14.如权利要求13所述的方法，还包括 接收用于确定所述滤波系数的所述上采样滤波器的特性，其中，在多个上采样滤波器中选择所述上采样滤波器。
15.如权利要求I所述的方法，其中，所述第一图像包括标准动态范围(SDR)图像的至少一个颜色分量，所述指导图像包括视频动态范围图像(VDR)的至少一个颜色分量。
16.如权利要求I所述的方法，其中，所述第一图像包括YCbCr4 :2:0格式的增强层图像的至少一个色度分量，所述指导图像至少包括YCbCr 4 4 :4格式的增强层图像的相同色度分量。
17.—种解码器，包括 接收部件，其接收具有第一空间分辨率的第一图像和用于将第一图像上采样为具有高于所述第一空间分辨率的第二空间分辨率的第二图像的滤波系数集合；其中，所述滤波系数至少部分地基于使得所述第二图像的像素值与指导图像的像素值之间的误差度量最小化；其中，所述指导图像与所述第一图像表示相同的场景，并且具有匹配所述第二空间分辨率的空间分辨率；以及 上采样滤波器，其基于接收的滤波系数集合而将所述第一图像上采样为所述第二图像。
18.—种方法,包括 接收要由编码器进行编码的目标图像，所述目标图像包括第一目标颜色分量图像和第二目标颜色分量图像； 通过编码器对所述目标图像进行编码，以生成编码的图像； 通过解码器对所述编码的图像进行解码，以生成解码的图像，所述解码的图像包括解码的第一颜色分量图像和解码的第二颜色分量图像； 选择颜色瞬时改进(CTI)滤波器以对所述解码的第二颜色分量图像的像素进行滤波，以生成输出颜色分量图像； 计算用于所述CTI滤波器的CTI滤波系数集合，其中，滤波系数计算至少部分地基于使得所述输出颜色分量图像的像素值与所述目标图像中的所述第二颜色分量图像的对应像素值之间的误差度量最小化；以及 将所述CTI滤波系数集合发送到解码器。
19.如权利要求18所述的方法，其中，所述CTI滤波器包括至少两个滤波系数集合，其中，第一滤波系数集合对所述解码的第一颜色分量图像的像素操作，第二滤波系数集合对所述解码的第二颜色分量图像的对应像素操作。
20.一种用于解码器中的CTI滤波的方法，包括 接收编码的图像和CTI滤波系数集合； 对所述编码的图像进行解码，以生成包括第一颜色分量和第二颜色分量的解码的图像；以及 利用基于所述CTI滤波系数集合的滤波器对所述解码的图像的第二颜色分量进行滤波，以生成滤波后的输出图像，其中，所述CTI滤波系数至少部分地基于使得所述滤波后的输出图像的像素值与指导图像的对应像素值之间的误差度量最小化。
21.一种装置，包括处理器，并且被配置为执行如权利要求I、17、18或20中的任一个所述的方法。
22.—种计算机可读存储介质，其上存储有用于执行如权利要求1、17、18或20中的任一个所述的方法的计算机可执行 指令。
全文摘要
本发明公开了视频编码中的受指导图像上采样。编码器接收第一空间分辨率的第一图像和第二空间分辨率的第二图像，其中，所述第一图像和所述第二图像两者都表示相同场景，所述第二空间分辨率高于所述第一空间分辨率。选择滤波器以将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分辨率的第三图像。通过使得所述第二图像与所述第三图像的像素值之间的误差度量(例如MSE)最小化来计算用于所述上采样滤波器的滤波系数。计算的滤波系数的集合被信传到接收机(例如，作为元数据)。解码器接收所述第一图像(或其近似)和所述元数据，并且可以使用与所述编码器推导出的相同的滤波器和优化选择的滤波系数来对所述第一图像进行上采样。
文档编号H04N9/64GK102957912SQ20121028175
公开日2013年3月6日 申请日期2012年8月9日 优先权日2011年8月9日
发明者苏冠铭, 曲晟, 尹鹏, 叶琰 申请人:杜比实验室特许公司