一种基于正规化分层的高动态范围图像阶调映射方法
【专利摘要】本发明涉及一种基于正规化分层的高动态范围图像阶调映射方法，包括：读取一幅高动态范围图像，获取其亮度图像，再获取对数域亮度图像；建立基于边缘保持正规化图像分层的目标函数，通过最小化目标函数分解对数域的亮度图像，获得对数域的基础层图像；对对数域基础层图像取指数获得基础层图像，再获得相应细节层图像；利用动态S曲线压缩基础层图像的动态范围；动态范围压缩的基础层与细节层图像相乘获得动态范围压缩的亮度图像；转换回RGB值获得用于显示的低动态范围图像。本发明适用于高动态范围图像在相机、手机、显示器等普通终端显示设备上再现，能够避免光晕或阶调逆转现象，并具有良好的细节再现能力。
【专利说明】
一种基于正规化分层的高动态范围图像阶调映射方法
技术领域
[0001] 本发明属于数字图像处理技术领域，用于在低动态范围的输出设备上显示高动态 范围图像，具体涉及一种基于正规化分层的高动态范围图像阶调映射方法。 技术背景
[0002] 相对于普通数字成像技术，高动态范围成像技术可获得较大的曝光范围，因而记 录的场景比较真实、形成图像的动态范围也较大。因此，由此技术所得图像通常被称为高动 态范围（High Dynamic Range，HDR)图像。通常，HDR图像的动态范围超过10000 : 1。但 是，目前众多的图像显示终端设备能输出的动态范围都相对有限，如相机、手机、显示器等 终端设备的IXD屏的动态范围一般在100 : 1以内。HDR图像与终端输出设备之间动态范 围的落差会严重影响HDR图像中场景的显示效果。因此，需要借助图像处理技术压缩HDR 图像的动态范围，确保HDR图像中所有场景的有效显示。此压缩技术也称为阶调映射。
[0003] 目前，大量阶调映射方法已经被提出，主要分为：全局阶调映射、局部阶调映射和 分层阶调映射。相对于全局阶调映射容易丢失大量图像纹理细节、局部阶调映射不可避免 产生光晕和阶调逆转的问题，分层阶调映射被认为是相对效果最好的一类方法。对HDR图 像进行分层映射，即利用分层算法把HDR图像分解成包含高动态范围信息（通常表征为显 著边缘）的基础层图像和仅包含对比度较小纹理细节信息的细节层图像，通过只压缩基础 层图像的动态范围而保持细节层不变，使重新合成得到的动态范围压缩的图像可以有效保 留细节。但是，当分层算法分解HDR图像过程中无法保证显著边缘在基础层图像中的锐度 时（即边缘模糊或锐化），动态范围压缩的图像会出现光晕或阶调逆转现象。如Durand等 人在文献〈〈Fast bilateral filtering for the display of high dynamic range images)) (F Durand and J Dorsey, Proceedings of the 29th annual conference on Computer graphics and interactive techniques，pp. 257-266, 2002.)中利用双边滤波器分解 HDR 图像，基础层图像中显著边缘被模糊，其动态范围压缩的图像中会出现光晕现象；如利用L Xu 等人在文献《Image smoothing via L〇 gradient minimization》（L Xu，C Lu，Y Xu，and J Jia，Proceedings of the 2011SIGGRAPH Asia Conference，Article No. 174,2011.)中 提出的L。范数分层方法分解HDR图像时，基础层图像中显著边缘被锐化，其动态范围压缩 的图像中会出现阶调逆转现象。
【发明内容】
[0004] 本发明的目的是提出一种基于正规化分层的HDR图像阶调映射方法，建立基于边 缘保持正规化图像分层的目标函数，通过最小化目标函数正确分解HDR图像，避免现有同 类方法中出现的边缘被模糊或锐化、光晕或阶调逆转的问题。
[0005] 本发明采用的技术方案为，一种基于正规化分层的HDR图像阶调映射方法，按照 以下步骤实施：
[0006] 步骤1，读取一幅HDR图像，获得图像各像素的RGB值，其中的R、G、B分别为HDR 图像的红、绿、蓝三个通道的颜色值，通过RGB到Lab色空间的转换获得其亮度图像L ;
[0007] 步骤2,对其亮度图像L取对数，获得对数域的亮度图像Lg，计算如下：
[0008] Lg = log (max (L, 10 6))；
[0009] 步骤3,建立基于边缘保持正规化图像分层的目标函数E( ?)，通过最小化目标函 数分解对数域的亮度图像Lg，获得其对数域的基础层图像f，具体如下：
[0010] / = argminCE(/))，
[0011] E(f) = Ei (f) + A E2 (f),
[0012] 其中，/为f?的最优估计也⑴为保真项，保证分解后图像f?保留图像1^的主要特 征（即显著边缘）；E 2(f)为正规化项，决定分解后图像f中显著边缘的锐度；A为正规化 参数，用于平衡保真项和正规化项，本发明中利用L曲线法确定其最佳取值范围；
[0013] 步骤4,对对数域的基础层图像f取指数，获得基础层图像B，并获得对应细节层图 像D，计算如下：
[0014] B = exp (f),
[0015] D = L/B ；
[0016] 步骤5,利用动态S曲线压缩基础层图像，获得动态范围压缩的基础层图像B。，具 体如下：
[0018] 式中Yw为HDR图像在CIEXYZ色空间中的Y值通过高斯低通滤波器卷积所得，其 中高斯低通滤波器的窗口半径为1/4图像大小；^表示亮度因子，计算如下：
[0019] Fl = 0. 2k4 (5La) +0. 1 (1-k4)2 (5LA)1/3,
[0020] 式中，LA表示适应性亮度，为HDR图像Yw值的20 % ;参数k则在LA的基础上由k =1/ (5LA+1)计算所得；
[0021] 步骤6,基础层图像动态范围压缩后，与细节层图像合成动态范围压缩的亮度图像 K
[0022] LCBCXD ；
[0023] 步骤7,由动态范围压缩的亮度图像L。转换回RGB值，新的红、绿、蓝三个通道的颜 色值分别为R。、G。、B。，具体如下：
[0025] 步骤8,裁切步骤7所得颜色值的极大和极小阈值，并把极小和极大阈值之间的颜 色值拉伸至[0, 1]区间：
[0027] 式中，Si表示极小颜色阈值，设定为1 %图像像素处的颜色值；S2表示极大颜色阈 值，设定为99%图像像素处的颜色值。
[0028] 本发明的有益效果是，采用基于正规化的最小化优化分层方法获得HDR图像显著 边缘的正确分解，有效地保持了基础层图像中显著边缘的锐度（即没有模糊或锐化现象）， 避免了动态范围压缩的图像中产生光晕或阶调逆转现象。
【附图说明】
[0029] 图1是本发明具体实施例的流程图；
[0030] 图2是本发明具体实施例对HDR图像rend04_o80A处理过程中得到的基础层图 像；
[0031] 图3是本发明具体实施例对HDR图像rend04_o80A处理过程中得到的细节层图 像；
[0032] 图4是本发明具体实施例对HDR图像rend04_〇80A处理后得到的输出图像；
[0033] 图5是原始HDR图像rend04_o80A第86列位置处亮度值的一维信号；
[0034] 图6是本发明具体实施例处理过程中得到的基础层图像第86列处亮度值的一维 信号；
[0035] 图7是本发明具体实施例处理后得到的输出图像的第86列处亮度值的一维信号。
【具体实施方式】
[0036] 下面结合附图和具体实施例对本发明进行详细说明。在实施例中，以本发明方法 处理HDR图像rend04_o80A (动态范围为61027 :1)。
[0037] 参见图1，实施例按以下步骤处理：
[0038] 步骤1，读取HDR图像的像素值（RGB)，R、G、B分别为HDR图像的红、绿、蓝通道的 颜色值，通过RGB到Lab色空间的转换获得其亮度图像L ;
[0039] 步骤2,对亮度图像L取对数，获得其对数域的亮度图像Lg，计算如下：
[0040] Lg = log (max (L, 10 6)),
[0041] 其中，函数max( ?)表示取最大值；
[0042] 步骤3,建立基于边缘保持正规化图像分层的目标函数，通过最小化目标函数分解 对数域的亮度图像L g，获得其对数域的基础层图像f，具体的f?的最优估计/的表达式如 下：
[0043] / = argmin(￡'(/)),
[0044] 其中，E( ?)为目标函数，它决定着图像分解是否能保持边缘的锐度，以及能否避 免光晕或阶调逆转现象，它由两部分构成：
[0045] E(f) = Ei (f) + A E2 (f),
[0046] 其中，Ejf)为保真项，保证分解后图像f能保留图像Lg的主要特征（即显著边 缘）：
[0047] Ei(f) = | |Lg-f| |2,
[0048] 式中，II *||2表示L2范数；E2(f)为正规化项，决定分解后图像f?中显著边缘的锐 度：
[0049] ^2 (/) = X P\^Dxf)k ? + 2 P^Dyf)k ^ab k k
[0050] 本发明为了避免边缘模糊或锐化、光晕和阶调逆转现象，正规化项用Turkey双权 函数P (X，〇)构建，其Turkey双权函数如下：
[0051]
[0052] 式中〇为常数，是边缘锐度保护的梯度阈值，在本发明的应用中取值范围为 0. 3~0. 5,本实施例中取〇 = 0. 42 ;Dx、Dy分别表示x、y轴方向的前向差分操作：
[0053] (D.f),, j = fx, j
[0054] (Dyf),, j = f1+1> -f,, j ；
[0055] 入为正规化参数，本发明用L曲线法求得，在本实施例中求得入=0. 3 ;
[0056] 步骤4,由于建立的目标函数E( ?)是非凸函数，在最小化求解时不容易收敛或在 局部最小处收敛，本发明使用半二次正规化方程等价目标函数E(f):首先，引入辅助变量 a= (ax，ay)，获得半二次函数p*(x，〇 , a)，在如下的情况下等价Turkey双权函数p (x, 〇 )：
[0057] p{x,a) = int{p*{x,a,d)},
[0058] 本实施例中半二次函数为
；接着，在此基础上，获得新的 目标函数E*(f, ax, ay):
[0059] E*(f^x,ay) = ||lg -/||2 +X^P*{{DJ)k,a,{ax)k) + X^P*({Dyf)k,a,(a )k), k k
[0060] 且新旧目标函数满足等价关系Z(/) =
[0061] 步骤5,由此，替换成新的目标函数后，f的求解变为半二次正规化，求解时，首先 设置初始条件f°三L g、收敛条件mean| |fn+1-fn| |彡0? 001，其中n为迭代次数，通过交替固 定变量f?和a最小化目标函数直到收敛，最终求得f?的最优估计/，具体过程如下：
[0062] 当 mean |fn+1-fn| | > 0? 001，
[0063] an+1argmina [E* (fn, a)],
[0064] fn+1 = argminf [E* (f, an+1)],
[0065] 其中，第n次迭代时辅助变量ax、ay的计算如下：
[0068] 第n次迭代时
f?的计算具体如下：
[0069] /"+| ^(I + MnA+ly1Lg ,
[0070] 其中，I 为单位矩阵，ATkW+A + W+A，Axn+1 = diag[(axn+1)J，Ayn+1 = diag[ayn+1)J ；
[0071] 步骤6,对对数域的基础层图像f取指数，获得基础层图像B (本实施例结果如图2 所示），并获得对应细节层图像D (本实施例结果如图3所示），计算如下：
[0072] B = exp (f),
[0073] D = L/B ；
[0074] 步骤7,利用动态S曲线压缩基础层图像，获得动态范围压缩的基础层图像B。，具 体如下：
[0076] 其中，YWSHDR图像在CIEXYZ色空间中的Y值由窗口半径为1/4图像大小的高斯 低通滤波器滤波所得；^表示亮度因子，计算如下：
[0077] FL = 0? 2k4 (5LA) +0? 1 (1-k4)2 (5LA)1/3，
[0078] 式中，HDR图像的适应性亮度值LA为Yw的20% ;参数k的计算为k = 1A5La+1);
[0079] 步骤8,基础层图像动态压缩后，与细节层图像合成动态范围压缩的亮度图像L。：
[0080] Lc = BCXD ；
[0081] 步骤9,由动态范围压缩的亮度图像L。转换回RGB值，新的红、绿、蓝三个通道的颜 色值分别为R。、G。、B。，具体如下：
[0083] 步骤10,裁切步骤9得到的颜色通道值的极小和极大阈值，并拉伸其他颜色值至 区间[0，1]之间，其中极小和极大阈值分别为1%和99%图像像素处的颜色值，本实施例所 得结果图像如图4所示，计算如下：
[0085] 为了更好地说明本发明方法的处理效果，截取原始HDR图像rend04_o80A、本发明 具体实施例中分解得到的基础层图像、本发明最终输出的动态范围压缩图像的第86列处 像素的亮度信号，分别如图5、图6、图7所示。由图5、图6、图7中的一维信号图可知：本发 明分解得到的基础层图像中保持了显著边缘的锐度，即边缘无模糊也无锐化现象；本发明 最终输出的动态范围压缩图像中并未出现对比度逆转或光晕特征的信号，即未出现阶调逆 转和光晕现象；除此之外，小对比度的细节纹理并未遭受压缩，即细节信息得以保存。由此 可见，本发明作为在有限动态范围的输出设备上显示HDR图像的显示技术，可清晰、有效地 保持HDR图像的纹理信息，并避免边缘模糊或锐化、光晕或阶调逆转现象。
【主权项】
1. 一种基于正规化分层的高动态范围图像阶调映射方法，其特征在于，按照以下步骤 实施： 步骤1，读取一幅1?动态范围图像，获得图像各像素的RGB值，其中的R、G、B分别为1? 动态范围图像的红、绿、蓝三个通道的颜色值，通过RGB到Lab色空间的转换获得其亮度图 像L; 步骤2,对亮度图像L取对数，获得对数域的亮度图像Lg，具体计算如下： Lg = log (max (L, IO6))； 步骤3,建立基于边缘保持正规化图像分层的目标函数E ( ·)，通过最小化目标函数分 解对数域的亮度图像Lg，获得其对数域的基础层图像f，具体如下：E(f) = E^D + AE^f), 其中，/ :为f的最优估计也(f)为保真项，保证分解后图像f保留图像Lg的主要特征 (即显著边缘）；E2(f)为正规化项，决定分解后图像f中显著边缘的锐度；λ为正规化参 数，用于平衡保真项和正规化项，利用L曲线法确定其最佳取值范围； 步骤4,对对数域的基础层图像f取指数，获得基础层图像Β，再由亮度图像L计算得细 节层图像D : B = exp (f), D = L/B ； 步骤5,利用动态S曲线压缩基础层图像，得到动态范围压缩的基础层图像B。，具体如 下：式中，Yw为高动态范围图像在CIEXYZ色空间中的Y值通过高斯低通滤波器卷积所得， 其中高斯低通滤波器的窗口半径为1/4图像大小；^表示亮度因子，计算如下： Fl = 0. 2k4(5LA)+0. l(l-k4)2(5LA)1/3, 式中，高动态范围图像的适应性亮度值La为￥"的20 % ;参数k的计算为k= I/ (5La+1)； 步骤6,基础层图像动态压缩后，与细节层图像合成动态范围压缩的亮度图像L。： Lc = BcXD ； 步骤7,由动态范围压缩的亮度图像L。转换回RGB值，新的红、绿、蓝三个通道的颜色值 分别为m，具体如下：步骤8,裁切步骤7得到的颜色通道值的极小和极大阈值，并拉伸其他颜色值至区间 [〇，1]之间，其中极小和极大阈值分别为1 %和99%图像像素处的颜色值：2. 根据权利要求1所述的基于正规化分层的高动态范围图像阶调映射方法，其特征在 于：所述步骤3中，基于边缘保持正规化图像分层的目标函数E (f) = E1 (f) + λ E2 (f)，具体 如下：式中，11 · I Γ表示L2范数；为了避免边缘模糊或锐化、光晕或阶调逆转现象，正规化项 E2 (f)用Turkey双权函数P (X，σ )构建，其Turkey双权函数如下：式中σ为常数，是边缘锐度保护的梯度阈值，在本发明的应用中取值范围为0.3~ 0. 5 ;DX、Dy分别表示X、y轴方向的前向差分操作： (Dxf)ljj = (Dyf)i, j = fi + l,.厂fi, j。3. 根据权利要求1或2所述的基于正规化分层的高动态范围图像阶调映射方法，其 特征在于：所述的最小化目标函数的优化方法，采用半二次正规化法，首先，引入辅助变量 a = (ax，ay)，获得半二次函数P *(χ，σ，a)，在如下的情况下等价Turkey双权函数P (X, σ ):最小化求解时，设置初始条件f° E Lg、收敛条件mean I I fn+1-fn I I彡0· 001，其中η为迭 代次数，通过交替固定变量f和a最小化目标函数直到收敛，最终求得f的最优估计/，具 体过程如下：
【文档编号】G06T5/00GK105894456SQ201410591785
【公开日】2016年8月24日
【申请日】2014年10月27日
【发明人】谢德红, 位春傲, 王琪
【申请人】南京林业大学