一种环境光下的图像增强方法

一种环境光下的图像增强方法
【专利摘要】本发明公开了一种环境光下的图像增强方法，属于图像处理领域。所述发明包括提取原始图像的亮度值，确定可见度阈值，结合显示设备所处环境的光强度，确定亮度增强图像。根据显示设备所处环境的光强度，结合恰可察觉误差模型确定显示图像的梯度增益函数，进而通过加权优化的方式获取环境光下增强的显示图像。经过色彩空间变换得到可读性增强的彩色显示图像。通过基于加权的梯度域优化框架，对显示图像的亮度和细节进行增强，提高环境光下显示图像的可读性，使用环境光下非线性传递函数增强显示图像亮度，同时采用恰可察觉误差模型来补偿环境光导致的梯度损失，最终实现增强显示设备上的图像的可读性。
【专利说明】
-种环境光下的图像増强方法
技术领域
[0001] 本发明属于图像处理领域，特别设及一种环境光下的图像增强方法。
【背景技术】
[0002] 最近在显示技术研究中，观察条件成为一个热点问题，引起了显示器制造商相当 的关注。例如照明性能中的色溫特性使显示图像看起来偏红或偏蓝。此外，经常会遇到不同 的光照条件急剧变化的情况，比如手机在办公和户外。由于光照强度提高了显示设备的黑 电平亮度，会降低显示设备的对比度、色彩度和色域尺寸;特别是在日光条件下，移动设备 上显示的图像显得很暗，并且损失了很多细节信息。因此，在强烈的室外条件下，获得高亮 度的、可见细节多的，饱和色彩的图像对于可W显著地改善显示图像在不同环境光下的可 读性至关重要。
[0003] 2007年Myong-化ung Lee等人在Journal of Image Science and Technology上 的一篇名为"11 lumination-level adaptive color reproduction method with lightness adaptation and flare compensation for mobile display"弓|入了S形的 化ka-Rushton方程来增强图像亮度，并对彩色失真进行色度补偿，该方法得到了明亮鲜艳 的图像。Kim等人提出了基于周围环境光的对比敏感度函数，然后把它作为一个滤波器，通 过结合环境光强度提高显示设备亮度的方式，增强小尺寸液晶显示器的显示图像质量。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在W下问题：
[0005] 环境光线不仅损失会显示图像的对比度，而且会损失显示图像的亮度。尤其在很 强的环境光下，亮度损失相对于其他损失而言更为严重，运样会导致显示图像整体偏暗，并 造成显示图像大量的细节丢失W及对比度的损失。此时单纯通过亮度增强方法运样会导致 显示图像的细节损失，并且随着环境光的增强，细节损失会越发明显，降低了显示图像的可 读性。

【发明内容】

[0006] 为了解决现有技术的问题，本发明提供了一种环境光下的图像增强方法，所述环 境光下的图像增强方法，包括：
[0007] 提取原始图像的亮度值，结合背景亮度掩膜模型确定用于显示设备显示的显示图 像的可见度阔值；
[000引根据所述可见度阔值，结合所述显示设备所处环境的光强度，确定环境光下与所 述显示图像对应的亮度增强图像；
[0009] 根据所述显示设备所处环境的光强度，分别生成在室内光照下和室外光照下的显 示图像，结合恰可察觉误差模型确定所述显示图像的梯度增益函数；
[0010] 提取所述原始图像的梯度值，结合所述显示图像的梯度增益函数生成所述显示图 像的梯度矩阵；
[0011] 根据所述亮度增强图像和所述梯度矩阵，通过加权优化的方式获取环境光下增强 的显示图像；
[0012] 对所述环境光下增强的显示图像进行色彩空间逆转换，得到可读性增强的彩色显 示图像。
[0013] 可选的，提取原始图像的亮度值，结合背景亮度掩膜模型确定用于显示设备显示 的显示图像的可见度阔值，包括：
[0014] 将所述原始图像从RGB色彩空间转换到YUV色彩空间，得到YUV色彩空间下的显示 图像，提取所述显示图像的Y分量即亮度值L(x，y);
[0015] 根据所述转换图像的亮度值L(x，y)，通过公式一确定所述转换图像的平均亮度值
[0016]
[0017] 其中，B(i，j)是加权低通滤波器；
[0018] 根据所述转换图像的平均亮度值，结合背景亮度掩膜模型，通过公式一确 定用于显示设备显示的显示图像的可见度阔值T(x，y)，
[0019]
[0020] 可选的，根据所述可见度阔值，结合所述显示设备所处环境的光强度，确定环境光 下与所述显示图像对应的亮度增强图像，包括：
[0021] 根据所述显示设备所述环境的光强度Eamb，通过公式Ξ确定人眼视觉在室内的响 应矩阵Rindwr，W及所述显示设备的反射光强度以6:1，
[0022]
[0023] 其中，Y是所述显示图像的亮度，δ是常数并且δ = ?Ααχβ，η为常数，Ια为人眼适应亮 度，α是常数，β取值取决于人眼的视锥视杆细胞，取值范围为2.00到5.83;
[0024] 通过公式四确定所述显示图像的增强变量i，
[0025]
[0026] 其中，f max ( Rindoor )为所述响应矩阵Rind。。冲的最大元素 ，fmin ( Rindoor )为所述响应矩 阵Rindoor中的最小兀素，Lrefl所述显不设备的反射光强度，Lmax的和Lblack是所述显不设备的 最大亮度和黑电平亮度；
[0027] 结合所述可见度阔值T(x，y)和所述显示图像的增强变量i，通过公式五确定与所 述显示图像对应的亮度增强图像d(x，y)，
[0028] d(x，y) =化(x，y))Wi-i).T(x'y).L(x'y)公式五，
[0029] 其中，L(x，y)为所述显示图像的亮度值。
[0030] 可选的，根据所述显示设备所处环境的光强度，分别生成在室内光照下和室外光 照下的显示图像，结合恰可察觉误差模型确定所述显示图像的梯度增益函数，包括：
[0031] 根据所述显示设备在室内光照下的光强度EamblW及所述显示设备在室内光照下 的光强度Eamb2,通过公式Ξ中的表达式确定所述显示设备在室内光照下的反射光强度 kefll和所述显示设备在室内光照下的反射光强度以6：￡12;
[0032] 通过公式六，分别确定所述显示设备在室内光照下的显示图像LindDDr和室外光照 下的显不图像Loutdoor,
[0033]
[0034] 其中，L是所述原始图像亮度值，Lmax的和Lblack是所述显示设备的最大亮度和黑电 平亮度，丫是显示器的伽玛值，通常取值2.2;
[0035] 通过公式屯，结合所述显示设备在室内光照下的显示图像Lindoor和室外光照下的 显示图像L。utd。。r，确定恰可觉察误差模型下的JND值，
[0036]
[0037] 结合Δ Laindoor)和Δ L(Loutdoor)，通过公式八确定所述显示图像的梯度增益函数S (x，y)，
[00；3 引
[0039] 可选的，提取所述原始图像的梯度值，结合所述显示图像的梯度增益函数生成所 述显示图像的梯度矩阵，包括
[0040] 提取所述原始图像的梯度值；
[0041] 结合所述显示图像的梯度增益函数s(x，y)，通过公式九生成所述显示图像的梯度 矩阵 g(x，y)，
[0042]
[0043] 可选的，根据所述亮度增强图像和所述梯度矩阵，通过加权优化的方式获取环境 光下增强的显示图像，包括
[0044] 根据与所述显示图像对应的亮度增强图像d(x，y)通过公式十确定梯度优化框架 中的权值A，
[0045] A(x，y)=d(x，y)a·公式十，
[0046] 其中，α .为对图像亮度的敏感度；
[0047] 根据亮度增强图像d(x，y)和梯度矩阵g(x，y)，构建如公式十一所示的梯度优化框 架，
[004引
公式十
[0049] 其中，λ为的系数；
[0050] 对所述梯度优化框架进行最小化处理，得到环境光下增强的显示图像f(x，y)。
[0051] 可选的，对所述环境光下增强的显示图像进行色彩空间逆转换，得到可读性增强 的彩色显示图像，包括
[0052] 结合所述原始图像的亮度值L(x，y)和所述环境光下增强的显示图像f(x，y)，通过 公式十二对所述原始图像进行转换，得到转换后的与R、G、B^个通道对应分量，最终得到可 读性增强的彩色显示图像，
[0化3]
[0054] 其中，Mr。(X，y)为所述原始图像在RGB色彩空间中R通道的分量值，Mg。(X，y)为所述 原始图像在RGB色彩空间中G通道的分量值、MB〇(x，y)为所述原始图像在RGB色彩空间中B通 道的分量值，MR(x，y)为所述可读性增强的彩色显示图像在RGB色彩空间中R通道的分量值， MG(x，y)为所述可读性增强的彩色显示图像在RGB色彩空间中G通道的分量值，MB(x，y)为所 述可读性增强的彩色显示图像在RGB色彩空间中B通道的分量值，γ是显示器的伽玛值，通 常取值2.2。
[0055] 本发明提供的技术方案带来的有益效果是：
[0056] 通过基于加权的梯度域优化框架，对显示图像的亮度和细节进行增强，提高环境 光下显示图像的可读性，使用环境光下非线性传递函数增强显示图像亮度，同时采用恰可 察觉误差模型来补偿环境光导致的梯度损失，最终实现增强显示设备上的图像的可读性。
【附图说明】
[0057] 为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图 作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可W根据运些附图获得其他的附图。 [005引图1是本发明提供的一种环境光下的图像增强方法的结构示意图；
[0059] 图2(a)是本发明提供的图像化t的原始图像；
[0060] 图2(b)是本发明提供的光照下颜色自适应复原方法处理的图像化t在环境光为 500 lux下的增强图像；
[0061] 图2(c)是本发明提供的光照下颜色自适应复原方法处理的图像化t在环境光为 5000 lux下的增强图像；
[0062] 图2(d)是本发明提供的光照下颜色自适应复原方法处理的图像化t在环境光为 1000 lux下的增强图像；
[0063] 图3(a)是本发明提供的图像化t的原始图像；
[0064] 图3(b)是本发明提供的基于环境光的图像自适应增强方法处理的图像化t在环境 光为5001UX下的增强图像；
[0065] 图3(c)是本发明提供的基于环境光的图像自适应增强方法处理的图像化t在环境 光为50001UX下的增强图像；
[0066] 图3(d)是本发明提供的基于环境光的图像自适应增强方法处理的图像化t在环境 光为10000 lux下的增强图像；
[0067] 图4(a)是本发明提供的图像化t的原始图像；
[0068] 图4(b)是本发明提供的本发明提出的方法处理图像化t在环境光为5001UX下的增 强图像；
[0069] 图4(c)是本发明提供的本发明提出的方法处理图像化t在环境光为50001UX下的 增强图像；
[0070] 图4(d)是本发明提供的本发明提出的方法处理图像化t在环境光为lOOOlux下的 增强图像；
[0071] 图5(a)是本发明提供的测试图像Window的原始图像；
[0072] 图5(b)是本发明提供的本发明提出的方法处理图像Window在环境光为5001UX下 的增强图像；
[0073] 图5(c)是本发明提供的本发明提出的方法处理图像Window在环境光为50001UX下 的增强图像；
[0074] 图5(d)是本发明提供的本发明提出的方法处理图像Window在环境光为lOOOOlux 下的增强图像；
[0075] 图6(a)是本发明提供的测试图像Guy的原始图像；
[0076] 图6(b)是本发明提供的本发明提出的方法处理图像Guy在环境光为5001UX下的增 强图像；
[0077] 图6(c)是本发明提供的本发明提出的方法处理图像Guy在环境光为50001UX下的 增强图像；
[0078] 图6(d)是本发明提供的本发明提出的方法处理图像Guy在环境光为lOOOOlux下的 增强图像；
[0079] 图7(a)是本发明提供的测试图像Alley的原始图像；
[0080] 图7(b)是本发明提供的本发明提出的方法处理图像Alley在环境光为5001UX下的 增强图像；
[0081] 图7(c)是本发明提供的本发明提出的方法处理图像Alley在环境光为50001UX下 的增强图像；
[0082] 图7(d)是本发明提供的本发明提出的方法处理图像Alley在环境光为lOOOOlux下 的增强图像。
【具体实施方式】
[0083] 为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地 描述。
[0084] 实施例一
[0085] 本发明提供了一种环境光下的图像增强方法，如图1所示，所述环境光下的图像增 强方法，包括：
[0086] 11、提取原始图像的亮度值，结合背景亮度掩膜模型确定用于显示设备显示的显 示图像的可见度阔值。
[0087] 12、根据所述可见度阔值，结合所述显示设备所处环境的光强度，确定环境光下与 所述显示图像对应的亮度增强图像。
[0088] 13、根据所述显示设备所处环境的光强度，分别生成在室内光照下和室外光照下 的显示图像，结合恰可察觉误差模型确定所述显示图像的梯度增益函数。
[0089] 14、提取所述原始图像的梯度值，结合所述显示图像的梯度增益函数生成所述显 示图像的梯度矩阵。
[0090] 15、根据所述亮度增强图像和所述梯度矩阵，通过加权优化的方式获取环境光下 增强的显示图像。
[0091] 16、对所述环境光下增强的显示图像进行色彩空间逆转换，得到可读性增强的彩 色显示图像。
[0092] 在实施中，为了解决现有技术中存在的环境光照下显示设备显示的图像可读性变 差的缺陷，本发明提出了一种环境光下的图像增强方法，通过亮度增强可W增强显示图像 的人眼视觉响应；同时，本方法可W有效地增强显示图像的细节，W尽量减少环境光下显示 图像梯度和细节的损失。通过上述方法，能够通过增强显示图像的亮度和细节，改善环境光 下显示图像的可读性。随着环境光的增加，设备显示图像的可读性和视觉效果可W得到持 续性的增强。
[0093] 本可读性增强方法，基于加权的梯度域优化框架，可同时增强显示图像的亮度和 细节，提高环境光下显示图像的可读性;针对于亮度增强项，则使用环境光下非线性传递函 数增强显示图像亮度；在梯度增强项上，采用恰可察觉误差模型（Just Noticeable DifferenceJND)来补偿环境光导致的梯度损失，运里的恰可察觉误差是指目视观察时可 W区分出差异的最小阔限。最后通过求解该加权梯度域优化框架，实现显示设备上的图像 增强。
[0094] 本发明提出的一种环境光下的图像增强方法，包括提取原始图像的亮度值，确定 可见度阔值，结合显示设备所处环境的光强度，确定亮度增强图像。根据显示设备所处环境 的光强度，结合恰可察觉误差模型确定显示图像的梯度增益函数，进而通过加权优化的方 式获取环境光下增强的显示图像。经过色彩空间变换得到可读性增强的彩色显示图像。通 过基于加权的梯度域优化框架，对显示图像的亮度和细节进行增强，提高环境光下显示图 像的可读性，使用环境光下非线性传递函数增强显示图像亮度，同时采用恰可察觉误差模 型来补偿环境光导致的梯度损失，最终实现增强显示设备上的图像的可读性。
[0095] 可选的，提取原始图像的亮度值，结合背景亮度掩膜模型确定用于显示设备显示 的显示图像的可见度阔值，包括：
[0096] 将所述原始图像从RGB色彩空间转换到YUV色彩空间，得到YUV色彩空间下的显示 图像，提取所述显示图像的Υ分量即亮度值L(x，y);
[0097]根据所述转换图像的亮度值L(x，y)，通过公式一确定所述转换图像的平均亮度值 丘(-、'，>')，
[009引
[0099] 其中，B(i，j)是加权低通滤波器；
[0100] 根据所述转换图像的平均亮度值左，结合背景亮度掩膜模型，通过公式一确 定用于显示设备显示的显示图像的可见度阔值T(x，y)，
[0101]
[0102] 在实施中，步骤11具体包括：
[0103] 101、将所述原始图像从RGB色彩空间转换到YUV色彩空间，得到YUV色彩空间下的 显示图像，提取所述显示图像的Y分量即亮度值L(x，y)。
[0104] 运里将原始图像进行色彩空间的转换，即从原始的RGB色彩空间转换至YUV色彩空 间，由于后者是W亮度和亮度色差信号进行图像保存W及传输的，便于单独对图像的亮度 分量单独进行调节，因此本发明提出的环境光下的图像增强方法的大部分步骤均在YUV色 彩空间内进行。具体的色彩转换矩阵本实施例中不再进行寶述。
[0105] 102、根据所述转换图像的亮度值L(x，y)，通过公式一确定所述转换图像的平均亮 度值14丈，>'），
[0106]
[0107] 其中，B(i，j)是加权低通滤波器，其具体形式如下所示，
[010 引
[0109] 由于其滤波器B(i，j)所有项和为32,因此需要滤波后除W32来保持其加权求和后 图像像素的亮度范围不变。
[0110] 运里在获取转换图像的平均亮度时，是通过滑动窗口实现的，即在转换图像中设 置一个规模小于转换图像的滑动窗口，该滑动窗口中包含有5 X 5个像素。当该滑动窗口位 于初始位置是图像的左上角像素时，利用低通滤波器和该像素邻域加权求和计算该像素的 平均亮度。然后依次滑动窗口遍历整个图像，最终获得图像的平均亮度。
[0111] 103、根据所述转换图像的平均亮度值，结合背景亮度掩膜模型，通过公式 一确定用于显示设备显示的显示图像的可见度阔值T(x，y)，
[0112]
[0113] 本步骤所使用的背景亮度掩膜模型掲示了随着背景亮度的变化人眼对亮度差的 敏感度变化。可见度阔值T(x，y)为人眼对亮度差的敏感度，可见度阔值是指人眼可感知的 亮度差阔值，当亮度差变化大于可见度阔值时则人眼可感知到该亮度变化，相反则无法感 到该变化。当可见度阔值较小时，则说明该区域人眼较为敏感不利于较大的亮度增强，否则 会产生过增强问题。因此结合该可见度阔值可W根据图像像素亮度有效地控制其亮度增强 程度。
[0114] 可选的，根据所述可见度阔值，结合所述显示设备所处环境的光强度，确定环境光 下与所述显示图像对应的亮度增强图像，包括：
[0115] 根据所述显示设备所述环境的光强度Eamb，通过公式Ξ确定人眼视觉在室内的响 应矩阵Rindwr，W及所述显示设备的反射光强度以6:1，
[0116]
[0117] 其中，Y是所述显示图像的亮度，δ是常数并且δ = ?Ααχβ，η为常数，Ια为人眼适应亮 度，α是常数，β取值取决于人眼的视锥视杆细胞，取值范围为2.00到5.83;
[0118] 通过公式四确定所述显示图像的增强变量i，
[0119]
[0120] 其中，fmax(Rindoor)为所述响应矩阵Rind。。冲的最大元素，fmin(Rindoor)为所述响应矩 阵Rindoor中的最小兀素，Lrefl所述显不设备的反射光强度，Lmax的和Lblack是所述显不设备的 最大亮度和黑电平亮度；
[0121] 结合所述可见度阔值T(x，y)和所述显示图像的增强变量i，通过公式五确定与所 述显示图像对应的亮度增强图像d(x，y)，
[0122] d(x，y) = ^(x，y))Wi-i).T(x'y).L(x'y)公式五，
[0123] 其中，L(x，y)为所述显示图像的亮度值。
[0124] 在实施中，步骤12具体包括：
[0125] 201、根据所述显示设备所述环境的光强度Eamb，通过公式Ξ确定人眼视觉在室内 的响应矩阵Rind。。。W及所述显示设备的反射光强度以6:1，
[0126]
[0127]其中，Υ是所述显示图像的亮度，δ是常数并且δ = ?Ααχβ，η为常数，Ια为人眼适应亮 度，α是常数，β取值取决于人眼的视锥视杆细胞，取值范围为2.00到5.83。
[01%] 202、通过公式四确定所述显示图像的增强变量i，
[0129]
[0130] 其中，fmax(Rindoor)为所述响应矩阵Rind。。冲的最大元素，fmin(Rindoor)为所述响应矩 阵Rindoor中的最小兀素，Lrefl所述显不设备的反射光强度，Lmax的和Lblack是所述显不设备的 最大亮度和黑电平亮度。
[0131] 示例性的，响应矩阵Rindwr如下：
[0132]
[01削典型的，f丽化ndoor)为0.352^。山化。<1。。,）为0.029，基于1^丽的和山13。1<的取值，可^ 获取到的显示图像的增强变量i为0.283。
[0134] 203、结合所述可见度阔值T(x，y)和所述显示图像的增强变量i，通过公式五确定 与所述显示图像对应的亮度增强图像d(x，y)，
[0135] d(x，y) =化(x，y))Wi-i).T(x'y).L(x'y)公式五，
[0136] 其中，L(x，y)为所述显示图像的亮度值。
[0137] 基于步骤11中获取到的可见度阔值T(x，y)结合步骤203获取到的显示图像增强变 量i，可W获取与显示图像对应的亮度增强图像d(x，y)，该亮度增强图像与原始图像相比， 通过使用如公式五所示的非线性传递函数的方式，显著的提升了显示图像的亮度，从而部 分的提高显示图像的可读性。
[0138] 可选的，根据所述显示设备所处环境的光强度，分别生成在室内光照下和室外光 照下的显示图像，结合恰可察觉误差模型确定所述显示图像的梯度增益函数，包括：
[0139] 根据所述显示设备在室内光照下的光强度EamblW及所述显示设备在室内光照下 的光强度Eamb2,通过公式Ξ中的表达式确定所述显示设备在室内光照下的反射光强度 kefll和所述显示设备在室内光照下的反射光强度以6門2;
[0140] 通过公式六，分别确定所述显示设备在室内光照下的显示图像LindDDr和室外光照 下的显巧C图像Loutdoor ,
[0141]
[0142] 其中，L是所述原始图像亮度值，Lmax的和Lblack是所述显示设备的最大亮度和黑电 平亮度，丫是显示器的伽玛值，通常取值2.2;
[0143] 通过公式屯，结合所述显示设备在室内光照下的显示图像Lindoor和室外光照下的 显示图像L。utd。。r，确定恰可觉察误差模型下的JND值，
[0144]
[0145] 结合Δ Laindoor)和Δ L(Loutdoor)，通过公式八确定所述显示图像的梯度增益函数S (x，y)，
[0146]
[0147] 在实施中，步骤13具体包括：
[0148] 301、根据所述显示设备在室内光照下的光强度EamblW及所述显示设备在室内光 照下的光强度Eamb2,通过公式Ξ中的表达式确定所述显示设备在室内光照下的反射光强度 kefll和所述显示设备在室内光照下的反射光强度以6：￡12。
[0149] 在本步骤中之所W要分别获取室内和室外光照运两种条件下的反射光强度，是为 了后续步骤中根据两者的数值获取梯度增益函数。
[0150] 302、通过公式六，分别确定所述显示设备在室内光照下的显示图像LindDDr和室外 光照下的显示图像Uutdoor，
[0151]
[0152] 其中，L是所述原始图像亮度值，Lmax的和Lblack是所述显示设备的最大亮度和黑电 平亮度，丫是显示器的伽玛值，通常取值2.2。
[0153] 303、通过公式屯，结合所述显示设备在室内光照下的显示图像Lindoor和室外光照 下的显示图像L。utd。。r，确定恰可觉察误差模型下的JND值，
[0154]
[01巧]本步骤中采用恰可察觉误差模型（Just Noticeable Difference,JND)来补偿环 境光导致的梯度损失，恰可察觉误差是指目视观察时可W区分出差异的最小阔限。运里采 用恰可察觉误差模型(Just Noticeable Difference,JND)来补偿在梯度增强项上由于环 境光导致的显示图像的梯度损失。
[0156] 304、结合Δ Laindoor)和Δ L(Loutdoor)，通过公式八确定所述显示图像的梯度增益 函数s(x，y)，
[0157]
[0158] 可选的，提取所述原始图像的梯度值，结合所述显示图像的梯度增益函数生成所 述显示图像的梯度矩阵，包括
[0159] 提取所述原始图像的梯度值VLiA：，y);
[0160] 结合所述显示图像的梯度增益函数s(x，y)，通过公式九生成所述显示图像的梯度 矩阵 g(x，y)，
[0161]
[0162] 在实施中，步骤14包括：
[0163] 401、提取所述原始图像的梯度值VL(J，V)。
[0164] 本步骤中提取原始图像梯度值的方式为:利用X轴和y轴方向的差分算子计算原始 图像的梯度，其具体实现为
[01 化]
，
[0166] 402、结合所述显示图像的梯度增益函数s(x，y)，通过公式九生成所述显示图像的 梯度矩阵g(x，y)，
[0167]
公式九。
[0168] 示例性的，基于步骤304获取到的梯度增益函数s(x，y)，结合步骤401提取到的原 始图像的梯度值V；L(X，y；)，获取到的显示图像的梯度矩阵g(x，y)为：
[0169]
[0170] 可选的，根据所述亮度增强图像和所述梯度矩阵，通过加权优化的方式获取环境 光下增强的显示图像，包括
[0171] 根据与所述显示图像对应的亮度增强图像d(x，y)通过公式十确定梯度优化框架 中的权值A，
[0172] A(x，y)=d(x，y)a·公式十，
[0173] 其中，α .为对图像亮度的敏感度；
[0174] 根据亮度增强图像d(x，y)和梯度矩阵g(x，y)，构建如公式十一所示的梯度优化框 架，
[0175]
公式十
[0176] 其中，λ为的系数；
[0177] 对所述梯度优化框架进行最小化处理，得到环境光下增强的显示图像f(x，y)。
[017引在实施中，步骤15具体包括：
[0179] 501、根据与所述显示图像对应的通过公式十确定梯度优化框架中的权值A，
[0180] A(x,y) =d(x,y)a·公式十，
[0181] 其中，α .为对图像亮度的敏感度。
[0182] 示例性的，基于亮度增强图像d(x，y)，获取到的权值A为：
[0183]
[0184] 502、根据亮度增强图像d(x，y)和梯度矩阵g(x，y)，构建如公式十一所示的梯度优 化框架，
[01化]
公式十
[01化]其中，λ为的系数。
[0187] 由于采用幕函数形式的亮度增强往往会导致增强图像的细节损失，而梯度域优化 框架则可W通过梯度域的约束来避免运一损失。因此该公式可W结合环境光下所需的亮度 增强图像d(x，y)和梯度增强矩阵g(x，y)，可W有效地增强图像亮度的同时尽可能多的避免 图像的细节损失。
[0188] 503、对所述梯度优化框架进行最小化处理，得到环境光下增强的显示图像f(x， y)〇
[0189] 为了使得环境下增强图像在增强图像亮度的同时满足其梯度域的约束，因此需要 最小化该优化框架使得最终的增强图像同时满足其亮度和梯度约束。运里的最小化处理， 具体是利用矩阵对公式十一进行重建，得到公式十Ξ，
[0190] ( f-d ) T( f-d ) +λ[ (Dxd-gx) Τα化d-gx) + ( Dyd-gy )Τα( Dyd-gy )]公式十Ξ，
[0191] 其中，d是增强的图像亮度而f为由优化方程得到的最终增强图像，A为包含优化框 架权值的对角矩阵;gx和gy是对于增强图像梯度g的偏导数;Dx和Dy是离散差分算子。最终对 公式十Ξ进行最小化处理，并根据处理后的解获得最终的增强图像f，对公式十Ξ求解的最 终结果为：
[0194] 其中，Dx and Dy为前向差分算子，而〇Τχ and 〇Ty为反向差分算子。
[0195] 示例性的，其最终增强图像f为
[0196]
[0197] 可选的，对所述环境光下增强的显示图像进行色彩空间逆转换，得到可读性增强 的彩色显示图像，包括
[0198] 结合所述原始图像的亮度值L(x，y)和所述环境光下增强的显示图像f(x，y)，通过 公式十二对所述原始图像进行转换，得到转换后的与R、G、B^个通道对应分量，最终得到可 读性增强的彩色显示图像，
[0199]
[0200] 其中，Mr。(X，y)为所述原始图像在RGB色彩空间中R通道的分量值，Mg。(X，y)为所述 原始图像在RGB色彩空间中G通道的分量值、MB〇(x，y)为所述原始图像在RGB色彩空间中B通 道的分量值，MR(x，y)为所述可读性增强的彩色显示图像在RGB色彩空间中R通道的分量值， MG(x，y)为所述可读性增强的彩色显示图像在RGB色彩空间中G通道的分量值，MB(x，y)为所 述可读性增强的彩色显示图像在RGB色彩空间中B通道的分量值，γ是显示器的伽玛值，通 常取值2.2。
[0201] 在实施中，步骤16具体包括：
[0202] 在执行完步骤11-15后，已经获取到了环境光下增强的显示图像，但是此时增强的 显示图像仅是具有亮度值的图像，为了最终获取到完整的用于显示的彩色图像，还需要进 行色彩空间逆变换，即从YUV色彩空间转换至RGB色彩空间，具体的根据公式十二分别获取 至化、G、B^个通道对应分量，最终将Ξ个通道对应的分量进行合并，得到可读性增强的彩色 显示图像。
[0203] 本发明提出的一种环境光下的图像增强方法，包括提取原始图像的亮度值，确定 可见度阔值，结合显示设备所处环境的光强度，确定亮度增强图像。根据显示设备所处环境 的光强度，结合恰可察觉误差模型确定显示图像的梯度增益函数，进而通过加权优化的方 式获取环境光下增强的显示图像。经过色彩空间变换得到可读性增强的彩色显示图像。通 过基于加权的梯度域优化框架，对显示图像的亮度和细节进行增强，提高环境光下显示图 像的可读性，使用环境光下非线性传递函数增强显示图像亮度，同时采用恰可察觉误差模 型来补偿环境光导致的梯度损失，最终实现增强显示设备上的图像的可读性。
[0204] 本发明的效果可W通过W下仿真实验进一步说明：
[0205] 1.仿真条件：
[0206] CPU为Intel(R)Core?巧核处理器，其主频为2.60GHZ，内存4G，操作系统为 WINDOWS 7,仿真平台为MATLAB。
[0207] 测试图像:柯达无损真彩色图像和图像通过单反相机(佳能EOS 60D)获取的6幅测 试图片：帽子化at)，窗户（Window)，森林巧〇'631:)，巷(Alley)，男人(Guy)和花弁(Flower) 如图4。帽子，窗户和森林的分辨率为768 X 512，巷和花弁的分辨率是1824 X 1368，男人的分 辨率为592X896。
[0208] 实验条件：环境光分别为5001UX，50001UX和lOOOOlux。
[0209] 2.仿真内容：
[0210] 仿真实验中，利用本发明方法与现有的Lee等人提出的光照下颜色自适应复原方 法和Kim等人提出的基于环境光的图像自适应增强方法两个方法分别在6测试图片上进行 仿真和对比。
[0211] 仿真1，利用本发明方法和现有的Lee等人提出的光照下颜色自适应复原方法和 Kim等人提出的基于环境光的图像自适应增强方法两个方法分别在测试图像化t上进行仿 真，环境光强度分别为5001ux，50001ux和lOOOOlux，其仿真结果分别如图2,图3和图4所示， 其中，
[0212] 图2(a)为图像化t的原始图像；
[0213] 图2(b)为光照下颜色自适应复原方法处理的图像化t在环境光为5001UX下的增强 图像；
[0214] 图2(c)为光照下颜色自适应复原方法处理的图像化t在环境光为50001UX下的增 强图像；
[0215] 图2(d)为光照下颜色自适应复原方法处理的图像化t在环境光为lOOOlux下的增 强图像；
[0216] 图3(a)为图像化t的原始图像；
[0217] 图3(b)为基于环境光的图像自适应增强方法处理的图像化t在环境光为5001UX下 的增强图像；
[0218] 图3(c)为基于环境光的图像自适应增强方法处理的图像化t在环境光为50001UX 下的增强图像；
[0219] 图3(d)为基于环境光的图像自适应增强方法处理的图像化t在环境光为lOOOOlux 下的增强图像；
[0220] 图4(a)为图像化t的原始图像；
[0221] 图4(b)为本发明提出的方法处理图像化t在环境光为5001UX下的增强图像；
[0222] 图4(c)为本发明提出的方法处理图像化t在环境光为50001UX下的增强图像；
[0223] 图4(d)为本发明提出的方法处理图像化t在环境光为lOOOlux下的增强图像；
[0224] 图2,图3和图4对比了本发明方法与现有的Lee等人提出的光照下颜色自适应复原 方法和Kim等人提出的基于环境光的图像自适应增强方法两个方法的实验仿真结果。Lee等 人提出的光照下颜色自适应复原方法使增强图像看起来明亮而鲜艳，随着环境光的增加， 增强图像的色彩更加鲜艳明亮的。然而，该方法增强的图像存在偏色问题。如图2的（C)和 (d)图所示。Kim等人提出的基于环境光的图像自适应增强方法可W有效地保持显示图像的 对比度信息当增强图像在不同的环境光下显示时。然而，它会导致在亮区域的对比度和细 节损失如图3所示。并且上述两种方法的显示图像亮度提升均不足，在实际环境光下的显示 图像视觉效果并没有能到很大改善。本文提出的方法可W实现显示图像亮度和细节的同时 增强。尤其是在强环境光，图像亮度得到了足够的增强。因此，所提出的方法可W获得更好 的视觉质量相比光照下颜色自适应复原方法和基于环境光的图像自适应增强方法。同时， 本方法可W有效地提高显示图像的细节，W尽量减少环境光下显示图像梯度和细节的损失 如图4所示。因此随着环境光的增加，该方法可显著地增强显示图像的亮度和细节，从而提 高环境光下显示图像的可读性。
[0225] 仿真2,用本发明方法和现有的Lee等人提出的光照下颜色自适应复原方法和Kim 等人提出的基于环境光的图像自适应增强方法两个方法分别在6幅测试图像上进行仿真， 环境光强度分别为5001ux，50001ux和lOOOOlux，利用AMBE(平均亮度差），DE(离散赌)两个 指标分析Ξ种对比方法的性能，其评价指标如表1所示：
[0226] 表1展示了本发明提出方法与光照下颜色自适应复原方法和基于环境光的图像自 适应增强方法的算法性能对比，本文提出的方法在亮度增强方面性能更好。亮度增强可W 提升显示图像的整体亮度，因此可W显著地提高图像在强环境光下的显示视觉质量。对于 离散赌(DE)方面，本发明提出的方法可W有效地增强图像细节来避免因环境光和亮度增强 产生的细节损失，因此本发明的方法在离散赌指标上要接近或者更优于其他两种算法。总 而言之，实验结果表明，该方法可增强显示图像的亮度和细节，并显著地改善显示图像环境 光下的可读性。
[0227]
[0228] 表1本发明提出方法与光照下颜色自适应复原方法和基于环境光的图像自适应增 强方法的算法性能对比
[0229] 仿真3,利用本发明方法得到图像窗户，男人，巷的实验结果图如图5,图6和图7所 示，其中：
[0230] 图5(a)为测试图像Window的原始图像；
[0231] 图5(b)为本发明提出的方法处理图像Window在环境光为5001UX下的增强图像；
[0232] 图5(c)为本发明提出的方法处理图像Window在环境光为50001UX下的增强图像；
[0233] 图5(d)为本发明提出的方法处理图像Window在环境光为lOOOOlux下的增强图像；
[0234] 图6(a)为测试图像Guy的原始图像；
[0235] 图6(b)为本发明提出的方法处理图像Guy在环境光为5001UX下的增强图像；
[0236] 图6(c)为本发明提出的方法处理图像Guy在环境光为50001UX下的增强图像；
[0237] 图6(d)为本发明提出的方法处理图像Guy在环境光为lOOOOlux下的增强图像；
[0238] 图7(a)为测试图像All巧的原始图像；
[0239] 图7(b)为本发明提出的方法处理图像All巧在环境光为5001UX下的增强图像；
[0240] 图7(c)为本发明提出的方法处理图像All巧在环境光为50001UX下的增强图像；
[0241] 图7(d)为本发明提出的方法处理图像All巧在环境光为lOOOOlux下的增强图像；
[0242] 正如图5,图6和图7所示，随着环境光的增加，该方法可显著地增强显示图像的亮 度和细节，从而提高环境光下显示图像的可读性。
[0243] 需要说明的是：上述实施例提供的环境下的图像增强方法进行图像处理的实施 例，仅作为该图像增强方法在实际应用中的说明，还可W根据实际需要而将上述图像增强 方法在其他应用场景中使用，其具体实现过程类似于上述实施例，运里不再寶述。
[0244] 上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先 后顺序。
[0245] W上所述仅为本发明的实施例，并不用W限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种环境光下的图像增强方法，其特征在于，所述环境光下的图像增强方法，包括： 提取原始图像的亮度值，结合背景亮度掩膜模型确定用于显示设备显示的显示图像的 可见度阈值； 根据所述可见度阈值，结合所述显示设备所处环境的光强度，确定环境光下与所述显 示图像对应的亮度增强图像； 根据所述显示设备所处环境的光强度，分别生成在室内光照下和室外光照下的显示图 像，结合恰可察觉误差模型确定所述显示图像的梯度增益函数； 提取所述原始图像的梯度值，结合所述显示图像的梯度增益函数生成所述显示图像的 梯度矩阵； 根据所述亮度增强图像和所述梯度矩阵，通过加权优化的方式获取环境光下增强的显 示图像； 对所述环境光下增强的显示图像进行色彩空间逆转换，得到可读性增强的彩色显示图 像。2. 根据权利要求1所述的环境光下的图像增强方法，其特征在于，提取原始图像的亮度 值，结合背景亮度掩膜模型确定用于显示设备显示的显示图像的可见度阈值，包括： 将所述原始图像从RGB色彩空间转换到YUV色彩空间，得到YUV色彩空间下的显示图像， 提取所述显示图像的Y分量即亮度值L(x，y); 根据所述转换图像的亮度值L(x，y)，通过公式一确定所述转换图像的平均亮度值 Μ_γ,少)，其中，B(i，j)是加权低通滤波器； 根据所述转换图像的平均亮度值^^，结合背景亮度掩膜模型，通过公式一确定用 于显示设备显示的显示图像的可见度阈值T(x，y)，3. 根据权利要求1所述的环境光下的图像增强方法，其特征在于，根据所述可见度阈 值，结合所述显示设备所处环境的光强度，确定环境光下与所述显示图像对应的亮度增强 图像，包括： 根据所述显示设备所述环境的光强度Eamb，通过公式三确定人眼视觉在室内的响应矩 阵Rind。。!·，以及所述显不设备的反射光强度Lrefl，其中，Y是所述显示图像的亮度，s是常数并且δ = ΙΑαΧβ，η为常数，IA为人眼适应亮度，α 是常数，β取值取决于人眼的视锥视杆细胞，取值范围为2.00到5.83; 通过公式四确定所述显示图像的增强变量i，其中，fmax(Rind。。!·)为所述响应矩阵Rind。。!·中的最大元素，fmi n(Rind。。!·)为所述响应矩阵 Rinded中的最小元素，Lrefl所述显示设备的反射光强度，Lmax的和Lblack是所述显示设备的最 大亮度和黑电平亮度； 结合所述可见度阈值T(x，y)和所述显示图像的增强变量i，通过公式五确定与所述显 示图像对应的亮度增强图像d(x，y)， d(x,y) = (L(x,y))1+(1-l)-T(x>y)- L(x>y)公式五， 其中，L(x，y)为所述显示图像的亮度值。4.根据权利要求1所述的环境光下的图像增强方法，其特征在于，根据所述显示设备所 处环境的光强度，分别生成在室内光照下和室外光照下的显示图像，结合恰可察觉误差模 型确定所述显示图像的梯度增益函数，包括： 根据所述显示设备在室内光照下的光强度Eambl以及所述显示设备在室内光照下的光 强度Eamb2,通过公式三中的表达式确定所述显示设备在室内光照下的反射光强度Lrefll和 所述显示设备在室内光照下的反射光强度L refl2; 通过公式六，分别确定所述显示设备在室内光照下的显示图像Lwg和室外光照下的 显 图像Loutdoor，其中，L是所述原始图像亮度值，Lmax的和Lbiack是所述显示设备的最大亮度和黑电平亮 度，γ是显示器的伽玛值，通常取值2.2; 通过公式七，结合所述显示设备在室内光照下的显示图像?ιη(1_和室外光照下的显示 图像Uutdoor，确定恰可觉察误差模型下的JND值，结合Δ L(Lind。。!·)和Δ L(Lmjtd。。!·），通过公式八确定所述显示图像的梯度增益函数s(x, y)，5. 根据权利要求1所述的环境光下的图像增强方法，其特征在于，提取所述原始图像的 梯度值，结合所述显示图像的梯度增益函数生成所述显示图像的梯度矩阵，包括 提取所述原始图像的梯度值 结合所述显示图像的梯度增益函数s(x，y)，通过公式九生成所述显示图像的梯度矩阵 g(x，y)，6. 根据权利要求1所述的环境光下的图像增强方法，其特征在于，根据所述亮度增强图 像和所述梯度矩阵，通过加权优化的方式获取环境光下增强的显示图像，包括 根据与所述显示图像对应的亮度增强图像d(x，y)通过公式十确定梯度优化框架中的 权值A， A(x,y)=d(x,y)a"公式十， 其中，a ·为对图像亮度的敏感度； 根据亮度增强图像d(x，y)和梯度矩阵g(x，y)，构建如公式十一所示的梯度优化框架，其中，λ为的系数； 对所述梯度优化框架进行最小化处理，得到环境光下增强的显示图像f(x，y)。7. 根据权利要求1所述的环境光下的图像增强方法，其特征在于，对所述环境光下增强 的显示图像进行色彩空间逆转换，得到可读性增强的彩色显示图像，包括 结合所述原始图像的亮度值L(x，y)和所述环境光下增强的显示图像f(x，y)，通过公式 十二对所述原始图像进行转换，得到转换后的与R、G、B三个通道对应分量，最终得到可读性 增强的彩色显示图像，其中，MRci(x，y)为所述原始图像在RGB色彩空间中R通道的分量值，MCci(x，y)为所述原始 图像在RGB色彩空间中G通道的分量值、MBci(x，y)为所述原始图像在RGB色彩空间中B通道的 分量值，M R(x，y)为所述可读性增强的彩色显示图像在RGB色彩空间中R通道的分量值，Mg(x， y)为所述可读性增强的彩色显示图像在RGB色彩空间中G通道的分量值，MB(x，y)为所述可 读性增强的彩色显示图像在RGB色彩空间中B通道的分量值，γ是显示器的伽玛值，通常取 值2.2。
【文档编号】G06T5/00GK105825479SQ201610066328
【公开日】2016年8月3日
【申请日】2016年1月31日
【发明人】郑喆坤, 苏浩楠, 杜元甲, 王舒瑶
【申请人】西安电子科技大学