专利名称：用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像 ...的制作方法
技术领域：
本发明涉及用于将输入图像数据转换成输出图像数据的方法。本发明还涉及用于将输入图像数据转换成输出图像数据的图像转换单元。本发明还涉及图像处理设备，包括 一用于接收输入图像数据的接收装置，
一用于将输入图像数据转换成输出图像数据的图像转换单元。本发明还涉及包括图像处理设备的显示设备，包括 一用于接收输入图像数据的接收装置，
一用于将输入图像数据转换成输出图像数据的图像转换单元。
背景技术：
为了能够在显示器上以通常为低若干数量级的动态范围进行可接受的高动态范围(HDR)影像的表示，在捕获和传送期间，所记录的视频序列的动态范围常常借助于色调映射来压缩。许多户外景象的动态范围可以大到12个数量级，然而大多数的液晶显示器 (LCD)仅仅提供约3个数量级的静态对比率。因此，在成像管道的早期，需要严格的动态范围压缩以使得所述景象在LDR (低动态范围)显示器上能够舒适地表示。使用简单的技术通过有如下缺陷小细节的对比度可能会受到损害或者甚至丢失。为了解决这些问题，开发了更先进的自适应方法。这些方法主要是压缩大尺度的对比度而保留精细细节的对比度。只要显示系统的能力多多少少保持与在成像管道早期压缩期间所预期的能力类似，那么该途径还是表现得不错的。但是，利用新的高动态范围显示系统，可以实现高达6 个数量级的静态对比率。而且，这样的显示系统可能能够局部地(在时间或空间中)产生非常高的峰值亮度。例如，这可以通过2D可调的LED背光来实现，其中通过将暗图像部分下面的一些LED调暗而节省的功率可用于增强亮区域下面的其它LED。已经发现，将输入LDR 图像数据扩展为HDR图像信号经常导致景象的外观不自然。
发明内容
本发明的目的是提供一种方法、转换单元和图像处理设备，其目标是提高再现的质量并提供更加舒适和自然的图像外观。为此，按照本发明的方法特征在于
一输入图像数据被转换成至少两个信号，提供区域对比度数据的第一信号和提供细节数据的第二信号，
一至少第一信号的动态范围被拉伸，其中第一信号的动态范围拉伸的程度比第二信号的动态范围高，一所拉伸的第一和第二信号在输出信号中组合。本发明人已经意识到在局部和区域对比度之间的不平衡产生问题。在捕获期间、 在动态范围压缩期间细节对比度的保留与在显示期间或显示之前总体动态范围扩展相结合导致在显示的图像中精细细节相对于区域对比度的增强。区域对比度数据包括相对较低的空间频率信息。细节数据包括较高的空间频率信息。对于相当大的扩展因子，这导致景象的外观不自然，并且也可导致非期望的模拟和数字噪声的放大。一种可能的解决方案是在范围扩展期间使用在范围压缩期间使用的映射算子的数学逆来获取原始的HDR景象。然而，这需要了解所使用的压缩方法的知识，该知识必须包含在输入信号中。不过，实践中，我们经常不得不处理遗留的LDR视频但却不了解其动态范围在捕获和编码期间是如何压缩的。因此，该“理想的”解决方案经常并不实用。除了这方面，接收单元还必须能够匹配各种不同的可能的压缩方法。本发明提供了输入图像数据到输出信号的更平衡的LDR至HDR转换。输入信号被分割成提供区域、半球数据的第一信号和提供细节的第二信号。第一信号可以例如通过对输入信号进行低通滤波来获得，包括保留了边缘特征的低通滤波方法，诸如例如双边滤波。提供细节的第二信号可以通过例如从输入数据信号中减去第一信号来获得。至少第一信号被拉伸，即，至少第一信号的动态范围被扩展。所述两个信号被不同地拉伸，其中第二信号被拉伸的程度比第一信号小。这降低了精细细节相对于区域对比度的不自然的可视增强，导致更加自然的景象外观。噪声在一定程度上也被抑制。在优选实施例中，第二信号未被拉伸。如果在原始的压缩期间，细节被保留，那么提供细节信息的第二信号不必被拉伸。这是允许算法简化的相对简单的实施例。在优选实施例中，组合的拉伸的第一和第二信号的动态范围受限于上方值。该上方值可以低于显示器上最大可允许的信号。输入图像信号被进一步分析以识别形成图像中的高亮区的像素组，并且其中所识别的像素组的像素数据被转换成第三信号，使得第三信号覆盖延伸至所述上方值之上直至上方最大像素值的动态范围，并且其中第三信号与所组合的拉伸的第一和第二信号组合。包含拉伸的第一和第二信号的信号具有受限于上方值的动态范围。在优选实施例中，高于所述上方值并且到最大值，像素值的上动态范围被保留用来显示高亮区。已经发现，特别是对于非常高亮度的显示，最大可实现的强度高得光使观看者在某种意义上炫目。在中度情况下，观看者将仅感知亮光斑而不会或者仅仅在很有限的程度上能够感知景象的较暗细节。然而，在极端情况下，这对于观看者的眼睛可能是难受的或者甚至是有害的。通过限制所组合的第一和第二信号被拉伸的范围，可以避免上述问题。然而，这没有充分利用HDR显示器的潜力。在优选实施例中，最大亮度被保持在高亮度设备的潜力以下。通过识别图像中的高亮区，并将其像素值置于显示器的动态范围的最高部分中， 这些高亮区被带到最前部而不会使观者者炫目，从而提供非常清新和清楚的图像。在实施例中，高亮区通过选择像素值在接近或处于LDR范围的上方值的范围内的像素组来识别， 其中在高像素值像素的邻域中，高像素值像素的数量低于阈值，即对于小的高强度像素组而言。
5
高亮区是相对小的高强度像素组。高于上方值的显示设备的动态范围由高亮区来填充。这已经证明提供高质量图像，其中，一方面，细节未被不自然地增强，或者亮的盲点出现在图像中，而另一方面，在显示范围的高端成像的高亮区提供闪光和清新的图像。在优选实施例中，所组合的拉伸的第一和第二信号的动态范围的上方值位于对应于当显示在500至1000尼特显示器上时光强的范围，并且上方最大像素值位于对应于当显示在高于1000尼特(优选高于2500尼特)的显示器上时光强的范围。
本发明的这些和其它方面将通过示例并参考附图进行更详细的说明，其中 图1提供了用于本发明实施例的示意性流程图，
图2图示了动态范围的扩展； 图3图示了高亮区识别算法；
图如至4f图示了按照本发明的动态范围扩展算法的效果； 图5图示了混合映射；
图6a至6c进一步图示了按照本发明的动态范围扩展； 图7a至7d和8a至8d进一步提供了按照本发明的动态范围扩展的示例； 图9图示了按照本发明的显示设备。所述图没有按比例绘制。通常，图中相同部件由相同的参考标记来表示。
具体实施例方式注意到示出了以下示例。许多户外景象的动态范围可以大到12个数量级，而大多数液晶显示器(LCD)仅仅提供约3个数量级的静态对比率。因此，在成像管道的早期需要严格的动态范围压缩，使得在LDR显示器(低动态范围)上能够舒适地表示景象。对于动态范围压缩最直接的途径是借助于全局色调映射算子。然而，这些简单技术的主要缺陷是小细节的对比度可能受到损害。 为了解决这些问题，已经开发了更先进的方法来压缩区域(大尺度的)对比度同时保留精细细节的对比度。在显示前受用户偏好影响，有时受到直方图拉伸的支持，在常规的LDR (低动态范围)显示屏幕上，影像对比度通常被拉伸至显示设备的全能力(即针对8比特系统黑为0，白为255)。只要显示系统的能力多多少少保持与在成像管道早期压缩期间预期的能力类似， 该途径表现良好。然而，在新的HDR (高动态范围)显示系统中，实现了高达6个数量级的静态对比率。而且，这样的显示系统可能能够局部地(在时间或空间中)产生非常高的峰值亮度。例如，这可以通过2D可调LED背光来实现，其中通过调暗暗图像部分下面的某些LED 而节省的功率可以用于增强亮区域下面的其它LED。当直接在HDR显示器上显示遗留的LDR视频时，伪像(即局部和区域对比度之间的不平衡)发生。在范围压缩期间细节对比度的保留与显示之前的范围扩展相结合，导致精细细节相对于区域对比度的增强。对于大的扩展因子，这导致不自然的景象外观以及有时非期望的噪声放大。
在按照本发明的方法中，输入图像数据被转换成至少两个信号提供低空间频率区域对比度数据的第一信号和提供高空间频率细节数据的第二信号。至少第一信号的动态范围被拉伸，其中第一信号的动态范围被拉伸的程度比第二信号的动态范围高。所拉伸的第一和第二信号在图像输出信号中组合。第一信号提供了区域对比度信号，并且第二信号提供了细节层。这两个信号单独地被拉伸，其中第一信号比第二信号拉伸得多。实际上，区域对比度信号的区域拉伸例如通过低通滤波来进行。在该拉伸后，局部细节被拉伸但是是较低程度地被拉伸。这两个信号被组合。这相比于进入的信号的总体拉伸而言降低了细节和区域图像之间的不平衡。在优选实施例中，第二信号通过从输入图像信号中减去第一信号来获得。图1图示了用于按照本发明的示例性算法的流程图。该算法执行作为双信号过程的动态范围扩展。最初，在该示例中，通过对视频应用低通滤波器1而从输入信号Vin提取区域对比度，从而提供第一信号区域对比度信号VKC，以及从输入信号Vin提取细节层，从而提供第二细节信号VD。在该示例中，通过计算区域对比度和减法器2中的输入之间的差值来提取Vd
公式为
权利要求
1.一种用于将输入图像数据(Vin)转换成输出图像数据( V1，Vout)的方法，其中输入图像数据(Vin)被分割成至少两个信号，包括区域对比度数据的第一信号(VKe)和包括细节数据的第二信号(VD)，至少第一信号的动态范围被拉伸以提供拉伸的第一信号(),其中第一信号的动态范围拉伸的程度比应用于第二信号的高，并且所拉伸的第一信号(疋,)和第二信号(\)在输出信号(，)中组合。
2.如权利要求1所述的方法，其中通过从图像输入数据(Vin)中减去第一信号(Vkc)来得到第二信号。
3.如权利要求1或2的方法，其中第二信号(Vd)未被拉伸。
4.如任一前述权利要求所述的方法，其中针对组合的拉伸的第一和第二信号)的动态范围的上方值处于对应于当在500至1000尼特显示器上显示时的光强的范围内。
5.如任一前述权利要求所述的方法，其中所述组合的拉伸的第一和第二信号的动态范围受限于上方值(Wtl),并且分析(FHL (Vin))输入图像信号(Vin)以识别构成图像中高亮区的像素组，并且其中所述识别的像素组的像素数据被转换成第三信号(Vm)，使得第三信号覆盖向上延伸到高于所述上方值(Wci)直至上方最大像素值(Whdk)的动态范围(W_ - K_)，并且其中第三信号(Vm)与组合的拉伸的第一和第二信号(R )在输出信号(V。ut)中被组合。
6.如权利要求5所述的方法，其中上方最大像素值(Whdk)位于对应于当在高于1000尼特的显示器上显示时的光强的范围内。
7.一种计算机程序，包括用于当在计算机上执行时执行按照本发明的方法的程序代码装置。
8.一种图像转换单元，用于将输入图像数据转换成输出图像数据，包括分割器，用于将输入图像数据(Vin)分割成至少两个信号，包括区域对比度数据的第一信号(VK。)和包括细节数据的第二信号(Vd);拉伸器(3)，用于拉伸至少第一信号的动态范围以提供拉伸的第一信号(),其中第一信号(Vkc)的动态范围拉伸的程度比应用于第二信号(Vd)的高，以及所述单元包括组合器，所述组合器用于将拉伸的第一信号()和第二信号(^ )在输出信号(又)中组合。
9.如权利要求8所述的图像转换单元，其中拉伸器(3)被设置成使得所述组合的拉伸的第一和第二信号的动态范围受限于上方值(Wtl),并且所述单元还包括识别器(7)，用于分析输入图像信号(Vin)以识别构成图像中高亮区的像素组；和映射器(8)，用于将所述识别的像素组的像素数据映射到第三信号(VH,)，使得第三信号覆盖向上延伸到高于所述上方值(Wtl)直至上方最大像素值(Whdk)的动态范围(W_ - Khdk);以及组合器(9)，用于将第三信号(AV)与组合的拉伸的第一和第二信号(^ )在输出信号(V。ut)中进行组合。
10.如权利要求8或9所述的图像转换单元，其中拉伸器(3)被设置成使得针对组合的拉伸的第一和第二信号(V1 )的动态范围的上方值(Wtl)处于对应于当在500至1000尼特显示器上显示时的光强的范围内。
11.如权利要求8— 10中任一项所述的图像转换单元，其中映射器(8)被设置成使得上方最大像素值(Whdk)位于对应于当在高于1000尼特的显示器上显示时的光强的范围内。
12.—种图像处理设备，包括接收装置，用于接收输入图像数据；以及如权利要求 8 - 11中的任一项所述的图像转换单元，用于将输入图像数据转换成输出图像数据。
13.—种包括图像处理设备的显示设备，包括接收装置，用于接收输入图像数据；以及如权利要求8 — 11中的任一项所述的图像转换单元，用于将输入图像数据转换成输出图像数据；以及显示屏幕(91)。
14.如权利要求13所述的显示设备，包括如权利要求11所述的图像转换单元，其中上方最大值对应于在显示屏幕(91)的动态范围的最大值处或附近的值。
15.如权利要求13或14的显示设备，其中显示设备包括提供输出的环境照度传感器 (92)，其中环境照度传感器(92)的输出是拉伸器(3)的输入。
全文摘要
在一种方法、单元和显示设备中，输入图像信号被分割成区域对比度信号(VRC)和细节信号(VD)，随后单独拉伸两个信号的动态范围，其中区域对比度信号的动态范围以高于细节信号的动态范围的拉伸比被拉伸。优选地，用于细节信号的拉伸比接近1或优选1。在优选实施例中，高亮区被识别，并且对于高亮区，动态范围被拉伸至比针对区域对比度信号甚至更高的程度。
文档编号G06T5/40GK102341826SQ201080010718
公开日2012年2月1日 申请日期2010年3月3日 优先权日2009年3月6日
发明者T. J. 米杰斯 R. 申请人:皇家飞利浦电子股份有限公司