非线性视觉动态范围残留量化器的制造方法

非线性视觉动态范围残留量化器的制造方法
【专利摘要】在分层VDR编码中，在由后续编码器进行编码之前通过非线性量化器来量化层间的残留。呈现了若干非线性量化器。这些非线性量化器可以基于由一个或多个控制其中间范围斜率的自由参数来控制的类似sigmoid的传递函数。这些函数也可以依赖于补偿、输出范围参数和输入数据的最大绝对值。量化器参数可以是时变的并且被发送至分层解码器。本文中所描述的示例非线性量化器可以基于μ律函数、sigmoid函数和/或拉普拉斯分布。
【专利说明】非线性视觉动态范围残留量化器
[0001]相关申请的交叉引用
[0002]本申请要求于2011年4月25日提交的美国专利临时申请N0.61/478，836的优先权,其全部内容通过引用合并到本文中。
【技术领域】
[0003]本发明一般涉及图像。更具体地，本发明的实施方式涉及高动态范围图像的分层编码中残留信号的非线性量化和解量化。
【背景技术】
[0004]如本文中所使用的，术语“动态范围”(DR)可以涉及人类心理视觉系统(HVS)感知图像的强度(例如亮度(luminance、luma))的范围(例如从最暗到最亮)的能力。在这种意义上，DR涉及“场景相关”的强度。DR也可以涉及显示装置充分地或近似地渲染具体带宽的强度范围的能力。在这种意义上，DR涉及“显示相关”的强度。除非在本文的描述中的任何点明确指定具体的意义具有具体的含义，否则应当推断例如可交换地使用该术语的任一意义。
[0005]如本文中所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR宽度。例如，良好地适应的具有基本正常(例如，在统计学、生物计量学或眼科学中的一个或多个的意义上)的人具有跨越大约15个数量级的强度范围。适应了的人可以感知具有为数不多的少量光子的黯光源。然而，同样的人可以感知沙漠、大海或雪中正午的太阳的近乎刺痛的明亮强度(或甚至看一眼太阳，但是短暂地以防止伤害)。然而该跨度可用于“适应了的”人，例如，那些HVS具有用于重置和调整的时间段的人。
[0006]相比之下，人可以同时感知强度范围的广泛宽度的DR相比于HDR可能有些缩减。如本文中所使用的，术语“视觉动态范围”或“可变动态范围”可以单独地或可互换地涉及可由HVS同时感知的DR。如本文所使用的，VDR可以涉及跨越5至6个数量级的DR。因而尽管与涉及真实情景的HDR相比可能有些窄，VDR仍然呈现宽的DR宽度。如本文中所使用的，术语“同时动态范围”可以与VDR有关。
[0007]直到最近，显示器已经具有显著地比HDR或VDR窄的DR。使用典型的阴极射线管(CRT)、具有恒定的荧光白色背光照明的液晶显示器(LCD)或等离子屏幕技术的电视机(TV)和计算机显示器设备在其DR渲染能力方面被限制在接近3个数量级。因而与VDR和HDR相比，这种传统显示器代表低动态范围(LDR)，也被称为标准动态范围(SDR)。
[0008]然而，其底层技术的发展使得更加现代的显示器设计能够呈现与在比较不现代的显示器上呈现的同样内容相比具有显著的改进的各种质量特性的图像和视频内容。例如，更现代的显示装置可能能够呈现高清晰度(HD)内容和/或可根据不同的显示性能(如图像缩放器)来缩放的内容。此外，一些更现代的显示器能够渲染具有比传统显示器的SDR更高的DR的内容。
[0009]例如，一些现代IXD显示器具有包括发光二级管(LED)阵列的背光单元(BLU)。BLU阵列的LED可以与有源LCD元件的偏振状态的调制分离地被调制。该双调制方法是可扩展的(例如，扩展至N调制层，其中N包括大于2的整数)，如使用在BLU阵列与IXD屏幕元件之间的可控中间层。其基于LED阵列的BLU和双(或N)调制有效地增加具有这种特征的IXD显示器的涉及显示的DR。
[0010]这种通常称为“HDR显示器”(尽管实际上其性能可能更接近VDR的范围)以及其能够进行的DR扩展，与传统的SDR显示器相比在显示图像、视频内容和其他可视信息的能力上表现出显著的进步。这种HDR显示器可呈现的色域也可以显著地超过更传统的显示器的色域，甚至达到能够渲染广色域(WCG)的程度。场景相关HDR或VDR以及WCG图像内容(如可以由“下一代”电影和TV相机生成的)，现在可以使用“HDR”显示器更加忠实和有效地显示(以下称为“HDR显示器”)。
[0011]如通过可伸缩视频编码和HDTV技术，扩展图像DR通常包括分叉方法。例如，使用现代的具有HDR能力的相机拍摄的场景相关HDR的内容可以用于生成该内容的SDR版本，该SDR版本可以在传统的SDR显示器上显示。在一种方法中，根据所拍摄的VDR版本生成SDR版本可以涉及将色调映射算子(ΤΜ0)应用于在HDR内容中强度(例如，亮度(luminance、luma))相关的像素值。在第二种方法中，如在2011年8月23日提出的国际专利申请PCT/US2011/048861中描述的(其内容为所有目的通过引用合并到本文中)，生成SDR图像可以包括将可逆算子(或预测器)应用于VDR数据。为保护带宽或为其他原因，传输实际拍摄的VDR内容可能不是最好的方法。
[0012]因而，可以将相对于原始TMO相反的反色调映射算子(iTMO)、或相对于原始预测算子的反算子应用于所生成的SDR内容版本，其使得能够预测VDR内容的版本。可以将所预测的VDR内容版本与原始拍摄的HDR内容相比较。例如，从原始的VDR版本中减去所预测的VDR版本可以生成残余图像。编码器可以将所生成的SDR内容作为基本层(BL)发送，以及将所生成的SDR内容版本、任何残留图像以及iTOM或其他预测器打包为增强层(EL)或作为元数据。
[0013]在比特流中连同其SDR内容、残留和预测器发送EL和元数据通常所消耗的带宽少于在将HDR内容和SDR内容二者直接发送至比特流时消耗的带宽。接收由编码器发送的比特流的兼容解码器可以解码SDR并且将SDR在传统的显示器上呈现。然而兼容解码器也可以使用残留图像、iTMO预测器或元数据来计算由其产生的HDR内容的预测版本，以在性能更高的显示器上使用。
[0014]在这种分层VDR编码中，残留比特流可能要求多于传统的每色彩像素8位以用于适当的呈现。在没有任何预处理的情况下，使用传统的SDR压缩器(如由MPEG编码标准所描述的压缩器)的VDR残留的直接编码，可以造成严重的图片伪影，如块化伪影和带化伪影。本发明的目的是提供用于VDR分层编码中的残留的高效的预处理和编码的新方法。
[0015]在本发明的一种实施方式中，在编码前使用非线性量化器来预处理残留。残留VDR信号的这种压缩扩展(或比较)使得后续编码器能够更高效的操作并且降低编码伪影。
[0016]在本发明的一种实施方式中，残留量化器基于μ律非线性量化器和A律非线性量化器。在本发明的第二种实施方式中，残留量化器基于通用的Sigmoid函数。在本发明的第三种实施方式中，残留量化器基于传递函数，该传递函数基于拉普拉斯累积分布函数。也呈现了共同地修改残留非线性量化器和后续残留编码器二者的参数的方法的示例实现。[0017]在本部分中描述的方法是可以执行的方法，但是不一定是先前已经构思或者执行过的方法。因此，除非另外指明，不应该假定在本部分中描述的方法仅由于其被包括在本部分中就被视作现有技术。类似地，除非另外指明，不应该基于本部分假定在任何现有技术中已经认识到了关于一个或多个方法而确定的问题。
【专利附图】

【附图说明】
[0018]在附图的图形中通过示例而非以限制的方式示出了本发明的一种实施方式，并且其中同样的附图标记指代相似的元件，其中:
[0019]图1描绘了根据本发明的一种实施方式的用于VDR-SDR系统的示例数据流；
[0020]图2描绘了根据本发明的一种实施方式的示例分层VDR编码系统；
[0021]图3描绘了根据本发明的一种实施方式的示例分层VDR解码系统；
[0022]图4描绘了根据本发明的实施方式的非线性量化传递函数的示例；
[0023]图5A描绘了根据本发明的一个实施方式的示例非线性量化过程；
[0024]图5B描述了根据本发明的第二实施方式的示例非线性量化过程；
【具体实施方式】
[0025]给定一对相应的VDR和SDR图像,如表现同一场景的图像,每个图像处于不同的动态范围水平，已完成分层VDR编码中残留信号的改进的编码。通过结合基本层(如，SDR图像)与作为增强层的残留，对VDR图像进行编码。在一种实施方式中，增强层包括原始VDR图像与其被预测的(例如根据基本层而预测的)版本之间的差。在下面的描述中，为了说明的目的，陈述了许多具体细节以提供对本发明的透彻理解。然而，显然本发明可以不通过这些具体细节来实践。在其他情况下，为避免不必要地遮挡、掩盖和混淆本发明，在详尽的细节中没有描述众所周知的结构和装置。
[0026]概述
[0027]本文中所描述的示例实施方式涉及具有高动态范围的图像的分层编码。一种实施方式将非线性、基于Sigmoid的量化器应用于残留VDR图像，因而产生有利的编码效率以及改进的总体视频品质。
[0028]示例VDR-SDR 系统
[0029]图1描绘了根据本发明的一种实施方式的VDR-SDR系统100中的示例数据流。使用HDR相机110拍摄HDR图像或视频序列。在拍摄之后，由母带处理(mastering)过程处理所拍摄的图像或视频，以创建目标VDR图像125。该母带处理过程可以包括多种处理步骤，如:编辑、初级色彩校正和次级色彩校正、色彩转换和噪声过滤。这个过程的VDR输出125表现指导者关于所拍摄的图像如何在目标VDR显示器上显示的意图。
[0030]母带处理过程也可以输出相应的SDR图像145，表现指导者关于所拍摄的图像如何在传统的SDR显示器上显示的意图。可以从母带处理电路120直接提供SDR输出145，或可以由单独的VDR至SDR转换器140生成SDR输出145。
[0031]在一种示例实施方式中，VDR125和SDR145信号被输入至编码器130。编码器130产生经编码的比特流，该比特流降低传输VDR信号和SDR信号所需要的带宽。此外，编码器130用于对信号进行编码，该信号使得相应解码器150能够解码和呈现SDR信号分量或VDR信号分量。在一种示例实施中，编码器130可以是分层编码器，如由MPEG-2和H.264编码标准定义的分层编码器之一，分层编码器将其输出呈现为基本层、可选增强层和元数据。如本文中所定义的，术语“元数据”涉及作为编码比特流的一部分传输并且帮助解码器呈现解码图像的任何辅助信息。这种元数据可以包括但不限于诸如这样的数据:色彩空间或色域信息、动态范围信息、色调映射信息或如本文中所描述的其他预测器和量化器算子。
[0032]在接收器上，解码器150根据目标显示器的性能使用所接收的编码比特流和元数据来呈现SDR图像或VDR图像。例如，SDR显示器可以仅使用基本层和元数据来呈现SDR图像。相反地，VDR显示器可以使用来自所有输入层的信息和元数据来呈现VDR信号。
[0033]图2描述了结合本发明的方法的编码器130的示例实现。在图2中，SDR输入207通常是8位、4:2:0、ITU Rec.709数据；然而该实施方式的方法也适用于其他SDR呈现。例如，一些实施方式可以使用增强SDR输入——SDR’，SDR’可以具有与SDR —样的色彩空间(原色和白度)，但是可以使用高精度，例如每像素12位，在全空间分辨率下具有全部色彩分量(例如，4:4:4RGB)。SDR输入207被施加到压缩系统240。取决于应用，压缩系统240可以是有损的如根据H.264或MPEG-2标准，或无损的。压缩系统240的输出可以作为基本层225传输。为降低编码信号与解码信号之间的偏差，编码器130可以在压缩过程240之后跟随相应的解压缩过程230。信号235表示SDR输入，因为信号235将由解码器所接收。如例如在2012年4月13日提交的国际专利申请PCT/US2012/033605中所描述的，使用输入VDR205和SDR235数据的预测器250将产生信号257，信号257表示输入VDR205的近似或估计。加法器260从原始VDR205减去所预测的VDR257以形成输出残留信号265。也可以由另一有损或无损编码器220 (如由MPGE标准定义的有损编码器或无损编码器)对残留信号265进行编码，以及可以在输出比特流中复用并且作为增强层传输至解码器。
[0034]预测器250也可以提供在预测处理中作为元数据255使用的预测参数。因为在编码过程期间预测参数可以改变(例如，逐帧地，或逐场景地)，可以将这些元数据作为也包括基本层和增强层的数据的一部分传输至解码器。
[0035]残留265表示两个VDR信号之间的差，因而希望使用大于每色彩分量8位来表示残留265。在许多可能的实现中，编码器220可能不能支持该残留的全部动态范围。在一种示例实现中，残留可以是16位的而残留编码器220可以是标准H.2648位编码器。为使编码器220适应残留265的动态范围，量化器210把残留265从其原始位深度表示(如12位或16位)量化成较低的位深度表示。也可以将量化器参数复用至元数据比特流255。
[0036]在一种可能的实现中，可以通过线性量化器来预处理残留265。这样的编码是可能的；然而，因为在大多数情况下残留265中输出值的分布是不均衡的，因此可能经历严重的编码伪影，如块化伪影和带化伪影。
[0037]在本发明的一种示例实施方式中，描述了基于Sigmoid传递函数(如μ律传递函数)的特性的新的非线性量化器。
[0038]如本文中所使用的，术语“Sigmoid函数”涉及具有“S”形状的非线性函数并且在其中间范围具有相对线性的响应。图4描绘了这种传递函数的示例。
[0039]图3更详细地描绘了解码器150的示例实现。解码系统300接收可以将解压330之后被抽取的基本层337、增强层(或残留)332和元数据335进行组合的编码比特流。例如，在VDR-SDR系统中，基本层337可以表示编码信号的SDR呈现而元数据335可以包括关于在编码器中使用的预测(250)步骤和量化(210)步骤的信息。残留332被解码(340)、解量化(350)并且与预测器390的输出395相加以生成输出VDR信号370。在本发明的一种示例性实施方式中，描述了基于Sigmoid传递函数(如μ律传递函数)的特性的新的非线性解量化器。
[0040]残留量化
[0041]残留量化器210的目的是在由残留编码器(或压缩器220)如H.264编码器来编码之前限制残留VDR信号265的动态范围(位深度)。存在压缩方法如H.264压缩标准，该压缩方法在高于8位的位深度调整输入；然而，大多数市售的基于硬件的编码器和解码器不支持该特性。本发明的一个目的是使用目前市售的基于SDR的编解码器来实现VDR编码。
[0042]量化残留265的一种方法是应用均匀(线性)量化器。然而，可以发现VDR残留的分布不服从均匀分布并且经常呈现出类似高斯的非均匀分布。另外，当使用均匀量化器时，所重建的VDR图像通常包括块化伪影。
[0043]为克服均匀量化器的这些局限性的一种方法是使用非均匀量化器，如Lloyd-Max最优量化器。如果预先知道输入信号的概率分布函数(PDF)，这种量化器可能是最优的。然而，因为残留的分布在帧与帧之间变化，当传输量化的元数据时，这种解决方案可能意味着较高的总开销成本。本文中在一个示例实现中呈现了基于拉普拉斯HF的这种量化器。
[0044]另一方法是使用压缩扩展器如由sigmoid函数(如μ律函数或A率函数)定义的压缩扩展器。这种压缩扩展器已经成功地用于语音信号和音频信号的编码和传输；然而，据我们所知，没有这种方法被应用于残留VDR信号的量化。本发明的替代示例实施方式中也呈现了这中量化器。
[0045]如本文中所定义的，μ律和A律的正向传递函数和逆传递函数如下所述:
[0046]μ 律`
[0047]
1/1 I Λ'Ι.\η(1 + μ )
y = Φ) = ^max ,,丨 AT —⑴，
ln(l + //)⑴
[0048]



Ivl
c-1 (j) = [(I + μ) Α?χ - 1]?Χ y)
^ 。 (2)
[0049]其中Xniax表示输入信号的最大绝对值。
[0050]A 律
[0051]
【权利要求】
1.一种用于对VDR图像进行编码的方法，包括: 接收残留VDR输入图像； 将非线性量化应用于所述残留VDR输入图像以输出量化VDR残留图像；以及 使用残留编码器对所述量化VDR残留图像进行编码； 其中所述残留VDR输入图像的位深度高于所述残留编码器所支持的位深度。
2.根据权利要求1所述的方法，其中，用于非线性量化的方法包括: 根据非线性传递函数，将所述输入残留VDR数据的像素值转换为相应的量化像素值；所述传递函数由一个或更多个自由参数、补偿参数和输出动态范围参数来表征； 其中所述传递函数的中间范围斜率被一个或更多个所述自由参数控制。
3.根据权利要求2所述的方法，其中，所述非线性传递函数还由所述输入像素值的最大绝对值来表征。
4.根据权利要求1所述的方法，其中，所述残留VDR图像的位深度为12位或16位，而所述残留编码器支持位深度为8位的输入信号。
5.根据权利要求2所述的方法，其中，所述自由参数是μ律函数或A律函数的参数μ和参数A。
6.根据权利要求2所述的方法，其中，所述补偿参数包括等于128的值。`
7.根据权利要求2所述的方法，其中，所述输出动态范围参数包括O到128之间的值。
8.根据权利要求2所述的方法，其中，所述非线性传递函数包括可由以下表达式表示的过程:
9.根据权利要求2所述的方法，其中，所述非线性传递函数包括sigmoid函数。
10.根据权利要求2所述的方法，其中，所述非线性传递函数基于拉普拉斯概率密度函数(PDF)的累积分布函数(⑶F)。
11.根据权利要求2所述的方法，其中，用于计算所述非线性传递函数的所述参数的方法还包括: 从所述残留编码器接收与所述残留编码器所使用的量化参数有关的信息； 基于所接收的信息调节所述非线性传递函数的所述参数。
12.根据权利要求11所述的方法，其中，用于计算所述非线性传递函数的所述输出动态范围参数的方法包括: Ca)将所述输出动态范围设置为初始值； (b)应用所述非线性量化器的参数来量化输入残留VDR数据； (c)针对所述数据计算所述残留编码器所使用的块量化参数的平均值； (d)如果所述平均值高于第一阈值，则降低所述输出动态范围参数，或者如果所述平均值低于第二阈值，则增大所述输出动态范围参数。
13.根据权利要求2所述的方法，其中，所述非线性传递函数的所述参数作为元数据被用信号通知给解码器。
14.一种用于对VDR图像进行解码的方法，包括: 接收编码残留VDR图像； 对所述编码残留VDR图像进行解码以输出量化残留VDR图像； 使用非线性解量化器对所述量化残留VDR图像进行解量化以输出残留VDR输出图像。
15.根据权利要求14所述的方法，其中，所述非线性解量化器的传递函数是在权利要求2中使用的非线性量化器的传递函数的逆函数。
16.根据权利要求15所述的方法，其中，所述非线性量化器的所述传递函数为根据权利要求8所述的非线性传递函数，并且所述非线性解量化器的所述传递函数由下式给出:

17.根据权利要求1所述的方法，其中所述残留编码器是MPEG编码器。
18.根据权利要求14所述的方法，其中使用MPEG解码器对所述编码残留VDR图像进行解码。
19.一种包括处理器并且被配置成执行权利要求1所述的方法的设备。
20.—种包括处理器并且被配置成执行权利要求18所述的方法的设备。
21.一种计算机可读存储介质，其上存储有用于执行根据权利要求1所述的方法的计算机可执行指令。
22.—种计算机可读存储介质，其上存储有用于执行根据权利要求18所述的方法的计算机可执行指令。
【文档编号】H04N19/36GK103493490SQ201280020469
【公开日】2014年1月1日 申请日期:2012年4月24日 优先权日:2011年4月25日
【发明者】苏冠铭, 袁玉斐, 曲晟 申请人:杜比实验室特许公司