像素修改以减少显示设备的能量消耗的制作方法

1.本发明整体涉及图像处理以及能量消耗。更具体地，本发明涉及减少显示设备的能量需求。

背景技术：

0、2.背景技术

1、媒体和娱乐产业消耗大量能量来创建、分发和呈现视频内容给消费者。大部分这种能量用于显示设备，尤其用于安装在全球消费者家庭中的19多亿台显示器。在用于当前电视机的所有技术中，在显示器内产生光是导致这种能量使用的主要原因。因此，通过任何可能的手段来减少全球显示设备使用能量是主要关注的课题。由于目前使用了非常大量的显示器，即使少量减少每个显示器的能量消耗也可能最终在全球范围内节省大量能量。此外，显示分辨率从sd增加到hd，再增加到4k并很快增加到8k及以上，以及引入高动态范围成像，已经额外增加了显示设备的能量需求。这偏离了减少能量消耗的全球需求。

2、这具体与基于oled技术的显示设备相关，尤其与电池寿命是重要因素的移动显示设备相关。在此类基于oled的显示设备中，由像素发射的光与用于产生这种光的能量之间的关系大致为线性关系，其中，较亮像素使用较多能量。oled面板的效率主要由驱动电路设计、led量子效率和光学系统效率决定(参见huang等人发布的《小型led、微型led和oled显示器：现状和未来展望》，《光：科学与应用》2020年第9期：105)。对于背光lcd显示器，这也是一个问题。

3、下文描述的实施方案在设计时考虑了前述内容。

4、3.
技术实现要素：

5、本公开提出一种用于减少显示设备的能量消耗的新颖且具有创造性的解决方案。提出减小像素值，使得显示设备(诸如oled或led显示器)使用较少电力来产生图像。

6、已经从不同角度解决了这个问题，例如，通过调暗要显示在检测到的感兴趣区域之外的图片区域(例如，基于显著性模型或视觉注意模型)或者基于用户与设备的交互。

7、在显示设备(例如：电视机、智能电话、平板电脑、膝上型电脑、相机)中产生光的成本很高昂。期望减少所产生的光量，因为这有助于减少运行显示器所必需的能量。其优点可以有两点：对气候产生的压力更小，并且移动设备中的电池寿命更长。相对于出于相同原因旨在减小像素值的其它方法，至少一个实施方案借助于其构造保证处理保持低于可见阈值。为了实现该目的，对每个像素进行的更改量可小于1个最小可觉察差值(jnd)。这里的关键在于，对于每个像素，其对应的jnd可以不同。可使用以下概述的步骤为每个像素计算每个像素的jnd。为了知道给定帧中的给定像素处有多少可用的对比度，可构建分级图。这通常利用小波变换来完成。虽然在许多图形应用中，合乎逻辑的选择是通常使用haar小波的简单离散小波变换，但是次优选在空间定位与频率分析之间进行折衷。下文描述的第一方法使用简单离散小波变换。就这一点而言，另一种可选方案是连续小波变换(cwt)，因此我们在下文描述的第二方法中使用连续小波变换。由于人类视觉系统的灵敏度不是与方位显著相关，因此使用各向异性墨西哥帽(mexican-hat)小波的连续小波变换可得出非常好的结果，而不需要进行比所需更多的计算循环。

8、尽管在基于oled技术的显示设备的上下文中描述了本公开的原理，但本公开的原理不限于该上下文，而是也适用于其它类型的显示器，诸如局部调光led显示器、小型led显示器和微型led显示器。本公开的原理也适用于基于mem的显示技术。

9、本公开的第一方面涉及以下方法：对于位于输入图像内的特定位置处的图像的像素x，基于该像素的位置处的人类视觉灵敏度，确定该像素x的最小可检测调节值；以及将像素的亮度缩放基于该最小可检测调节值的量。在第一方面的变型中，缩放的亮度值被确定为l降低(x)＝l(x)(14m(x))/(1+fm(x))，其中，l(x)是在像素x的位置处的亮度级别，m(x)是为像素x确定的最小可检测调节，并且f是调节系数。在第一方面的一种变型中，像素的位置处的人类视觉灵敏度基于像素的亮度、表示像素处的一组频率有多少的像素的频率强度信息以及表示人类视觉模型的对比度灵敏度函数，该人类视觉模型预测人类眼睛可见哪些频率处的哪些对比度。在第一方面的另一种变型中，对比度灵敏度函数通过巴顿模型(barten'smodel)得出，频率强度信息基于使用离散小波变换或连续小波变换构建的分级图。

10、本公开的第二方面涉及一种包括处理器的设备，该处理器被配置为对于位于输入图像内的特定位置处的图像的像素x，基于该像素的位置处的人类视觉灵敏度，确定该像素x的最小可检测调节值；以及将像素的亮度缩放基于该最小可检测调节值的量。在第二方面的一种变型中，缩放的亮度值被确定为l降低(x)＝l(x)(1-f m(x))/(1+f m(x))，其中，l(x)是在像素x的位置处的亮度级别，m(x)是为像素x确定的最小可检测调节并且f是调节系数。在第二方面的变型中，像素的位置处的人类视觉灵敏度基于像素的亮度、表示像素处的一组频率有多少的像素的频率强度信息以及表示人类视觉模型的对比度灵敏度函数，该人类视觉模型预测人类眼睛可见哪些频率处的哪些对比度。在第二方面的另一种变型中，对比度灵敏度函数通过巴顿模型得出，频率强度信息基于使用离散小波变换或连续小波变换构建的分级图。在第二方面的一种变型实施方案中，在包括机顶盒、视频接收器、视频播放器的组中选择该设备。在第二方面的其它变型实施方案中，该设备还包括屏幕，并且处理器还被配置为显示所确定的亮度被降低的图像，该屏幕基于oled显示技术、微型led技术、小型led技术、mem技术、具有基于ccfl技术、led技术、小型led技术或微型led技术的均匀背光源或非均匀背光源的lcd显示技术，在包括电视机、智能电话、膝上型电脑、相机和平板电脑的组中选择该设备。

11、第三方面涉及一种包括程序代码指令的计算机程序产品，当所述程序用于在计算机或处理器上执行时，实现根据第一方面或第一方面的任何变型实施方案的方法。

12、第四方面涉及一种非暂态计算机可读存储介质，其存储用于实现根据第一方面或第一方面的任何变型实施方案的方法的程序代码指令。

技术实现思路

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述缩放的量基于调节系数f。

3.根据权利要求2所述的方法，其中，所述调节系数f等于1。

4.根据权利要求2所述的方法，其中，所述调节系数f小于1。

5.根据权利要求2所述的方法，其中，所述调节系数f大于1。

6.根据权利要求1至5中任一项所述的方法，其中，所述缩放的亮度值被确定为：

7.根据权利要求1至6中任一项所述的方法，其中，所述像素的所述位置处的所述人类视觉灵敏度基于所述像素的所述亮度、表示所述像素处的一组频率有多少的所述像素的频率强度信息以及表示人类视觉模型的对比度灵敏度函数，所述人类视觉模型预测人类眼睛可见哪些频率处的哪些对比度。

8.根据权利要求1至7中任一项所述的方法，其中，所述对比度灵敏度函数通过巴顿模型得出。

9.根据权利要求1至8中任一项所述的方法，其中，频率强度信息基于使用离散小波变换构建的分级图。

10.根据权利要求1至9中任一项所述的方法，其中，通过下式确定所述像素x的所述位置处的所述人类视觉灵敏度：

11.根据权利要求9或10中任一项所述的方法，其中，所述离散小波变换函数是haar小波。

12.根据权利要求1至8中任一项所述的方法，其中，频率强度信息基于使用连续小波变换构建的分级图。

13.根据权利要求1至8或12中任一项所述的方法，其中，通过下式确定所述像素x的所述位置处的所述人类视觉灵敏度：

14.根据权利要求12或13中任一项所述的方法，其中，所述连续小波变换函数是各向同性的。

15.根据权利要求14所述的方法，其中，所述连续小波变换函数是ricker小波。

16.根据权利要求10至15中任一项所述的方法，其中，所述平滑滤波内核是高斯平滑滤波内核。

17.一种设备，所述设备包括至少一个处理器，所述至少一个处理器被配置为：

18.根据权利要求17所述的设备，其中，所述缩放的量基于调节系数f。

19.根据权利要求18所述的设备，其中，所述调节系数f等于1。

20.根据权利要求18所述的设备，其中，所述调节系数f小于1。

21.根据权利要求18所述的设备，其中，所述调节系数f大于1。

22.根据权利要求17至21中任一项所述的设备，其中，所述缩放的亮度值被确定为：

23.根据权利要求17至22中任一项所述的设备，其中，所述像素的所述位置处的所述人类视觉灵敏度基于所述像素的亮度、表示所述像素处的一组频率有多少的所述像素的频率强度信息以及表示人类视觉模型的对比度灵敏度函数，所述人类视觉模型预测人类眼睛可见哪些频率处的哪些对比度。

24.根据权利要求17至23中任一项所述的设备，其中，所述对比度灵敏度函数通过巴顿模型得出。

25.根据权利要求17至24中任一项所述的设备，其中，频率强度信息基于使用离散小波变换构建的分级图。

26.根据权利要求17至25中任一项所述的设备，其中，通过下式确定所述像素x的所述位置处的所述人类视觉灵敏度：

27.根据权利要求25或26中任一项所述的设备，其中，所述离散小波变换函数是haar小波。

28.根据权利要求17至23中任一项所述的设备，其中，频率强度信息基于使用连续小波变换构建的分级图。

29.根据权利要求17至23或28中任一项所述的设备，其中，通过下式确定所述像素x的所述位置处的所述人类视觉灵敏度：

30.根据权利要求28或29中任一项所述的设备，其中，所述连续小波变换函数是各向同性的。

31.根据权利要求30所述的设备，其中，所述连续小波变换函数是ricker小波。

32.根据权利要求26至30中任一项所述的设备，其中，所述平滑滤波内核是高斯平滑滤波内核。

33.根据权利要求17至32中任一项所述的设备，在包括机顶盒、视频接收器、视频播放器的组中选择所述设备。

34.根据权利要求17至32中任一项所述的设备，所述设备还包括屏幕，并且其中，所述处理器还被配置为显示亮度被降低的图像。

35.根据权利要求34所述的设备，在包括电视机、智能电话、膝上型电脑、相机和平板电脑的组中选择所述设备。

36.根据权利要求34或35所述的设备，其中，所述屏幕基于oled显示技术、微型led技术、小型led技术、mem技术、具有基于ccfl技术、led技术、小型led技术或微型led技术的均匀背光源或非均匀背光源的lcd显示技术。

37.一种包括指令的计算机程序产品，其中，所述指令用于在处理器上执行时：执行根据权利要求1至16中任一项所述的方法。

38.一种包括指令的非暂态计算机可读介质，所述指令用于在处理器上执行时执行根据权利要求1至16中任一项所述的方法。

技术总结
一种用于降低显示设备的功率消耗的方法和设备提出基于在像素的位置处的人类视觉灵敏度来降低以感知上不可区分的方式发射的光的总量。可使处理的可见度以可证明的方式保持低于阈值，而其它技术可能无法提供此类证明。这通过基于表示像素处的一组频率有多少的像素的频率强度信息以及表示人类视觉模型的对比度灵敏度函数确定最小可检测调节或对应的最小可觉察差值来实现，该人类视觉模型预测人类眼睛可见哪些频率处的哪些对比度。可基于该最小可检测调节或最小可觉察差值来减小像素值。对比度灵敏度函数可通过巴顿模型得出，并且频率强度信息可基于使用离散小波变换或连续小波变换构建的分级图。

技术研发人员：E·赖因哈德,C·沙马雷,E·弗朗索瓦,Z·阿穆尔,M·拉多萨夫列维奇,劳伦特·布隆德,C-H·德马蒂
受保护的技术使用者：交互数字CE专利控股有限公司
技术研发日：
技术公布日：2024/1/22