基于背景建模的多曝光图像融合鬼影去除方法
【技术领域】
[0001] 本发明设及数字图像处理，高动态范围图像处理，特别设及基于背景建模的多曝 光图像融合鬼影去除算法。
【背景技术】
[0002] 现代数码相机单次曝光不能覆盖自然场景的整个动态范围。该在数字图像重建的 过程中会产生一个问题，传统的低动态范围（Low Dynamic Range, LDR)图像在过曝光和欠 曝光区域不能包含所有的细节。高动态范围化i曲Dynamic Range,皿R)图像通过融合一 系列不同曝光度的低动态范围图像来扩大单一图像所能覆盖的动态范围和增强图像细节。 现有的融合技术为了确保能得到不含鬼影的融合图像必须要求不同曝光度的待融合图像 背景必须完全静止。然而，现实场景中获得的图像大多含有移动物体等动态元素。该在一 定程度上限制了皿R的应用。
[0003] 为了避免合成图像中出现运动目标的错位和叠加现象，现有的去鬼影的皿R图像 融合方法大致分为=种；一是用单一曝光度的单幅图像来改正产生鬼影的地方，二是用多 重曝光度的多幅图像来改正产生鬼影的地方，=是直接修改导致鬼影产生的源图像在融合 过程中的权重。
[0004] 对于第一种方法，化brizio等[1]用中值阔值位图法来检测像素的变化，然后在 融合的过程中进行图像配准并将变化较大的像素排除在外。Wei化ang等[2]在梯度域利 用梯度方向对曝光度不敏感特性来检测移动物体，在融合的过程中对移动物体赋予较小的 权重来去除鬼影的影响。化cob[3]提出一种基于局部像素滴值变化来检测移动物体的方 法。用滴值作为测度因子是因为滴值不会受到像素值强度变化的影响。然而，基于滴值的 方法容易在动态范围大的地方出现较大的误差。
[0005] 第二种方法采用了用不同曝光度的图像来修正出现鬼影区域的方法。Gallo[4]提 出一种测量场景中像素正确曝光度的方法。对于场景的每一区域像素值，计算同一曝光度 下基于另一场景区域的偏差。最终，本算法通过用不同曝光度的区域来合成一幅无鬼影的 皿R图像。E.Reinhard[5]基于像素局部方差分割出由运动目标造成的"鬼影"区域，然后 通过直方图找到最佳曝光的参考图像去替代"鬼影"区域，最终得到合成后的高动态图像。 该种算法的优点在于想法直观，运算简单；缺点是基于方差检测运动目标的过程中容易将 其它静止目标的边界检测出来，出现误检。Grosch提出依据残差图像（theerrormap) [6] 检测出运动目标。首先选取一幅曝光良好的图像作为参考，估计出相机的响应函数，依据相 机响应曲线计算其他输入图像的估计图像，然后计算残差图像（theerrormap),残差图像 中像素值大的点就认定为运动目标。但该种算法受相机响应函数和图像噪声的影响较大。
[0006] 第S种方法中，化an[7]提出一种不需要移动物体检测和运动估计的方法。本方法 通过迭代方法直接反复的修改权重使得可见的鬼影部分的权重足够小W得到无鬼影的皿R 图像。算法通过一个无参数的静态场景模型来计算像素每一像素值属于同一集群的概率。 该主要是基于静态背景像素比动态移动物体像素出现时间长的假设。该种方法可W得到效 果非常好的结果，但计算量大且耗时。Kang[引提出一种基于光流法检测移动物体的方法。 算法主要依据光流法来配准相邻帧臥达到融合后无鬼影的效果。然而，这种方法结果的好 坏主要依据运动估计是否准确，很难得到正确的结果。
[0007] 可臥看出，现有的多曝光图像融合去鬼影算法往往需要复杂的计算来求得相机的 响应曲线，或者需要设置参考图像。因此，本发明提出一种简便的多曝光图像融合去鬼影方 法，利用背景建模的帧差法来检测移动物体，修改移动物体在融合过程中所对应的权重来 去除鬼影的影响。
[0008] 参考文献
[0009] [ 1 ] Pece F, Kautz J. Bitmap movement detect ion : HD民for dynamic scenes[口//Visual Media Production(CVMP)，2010Conference on.IE邸，2010:1-8.
[0010] [2]Zhang W, Cham W K. Gradient-directed composition of multi-exposure images[C]//Computer Vision and Pattern民ecog打itio打(CVP民)，2010IEEE Conference on.IE邸，2010:530-536.
[0011] [3] Jacobs K, Loscos C, Ward G. Automatic high-dynamic range image generation for dynamic scenes [J]. IEEE Computer Graphics and Applications, 2008(2):84-93.
[0012] [4]Gallo 0, Gelfand化Qien W C, et al. Artifact-free hi組dynamic range im过gi打g[C]//Comput过tio打过1 Photogr过phy (ICCP)，2009IEEE I打ter打过tio打过1 Co打fere打ce on. IE邸，2009:1-7.
[0013] [5] Re i nhar d E, He i dr ich W'Debevec P，et al.High dynamic range imaging:acquisition, display, and image-based lighting[M]. Morgan Kaufmann, 2010.
[0014] [6]Grosch T. Fast and robust high dynamic range image generation with camera and object movement[C]//Vision, Modeling and Visualization. 2006:277-284.
[0015] [7]Khan E A, Akyiiz A 0,民einhard E. Ghost removal in high dynamic range images[C]//Image Processing，2006IEEE International Conference on. IE邸，2006:2005-2008.
[0016] 巧]Kang S B, Uyttendaele M, Winder S, et al. Hi組dynamic range video [J]? ACM hansactions on Graphics (TOG) ,2003, 22 (3): 319-325.
[0017] [9]Mertens T，Kautz J，Van民eeth F. Exposure fusion [C]//Computer Graphics and Applications, 2007.PG'07. 15化Pacific Conference on. IE邸，2007:382-390.
[0018] [ 10] Li S, Kang X. Fast multi-exposure image fusion with median filter and recursive filter[J]. Consumer Electronics，IEEE Transactions on, 2012, 58 (2): 626-632.
【发明内容】
[0019] 为克服技术的不足，本发明旨在检测并纠正图像融合过程中产生的鬼影。为此，本 发明采取的技术方案是，基于背景建模的多曝光图像融合鬼影去除方法，包括下列步骤：先 将图像转化为灰度图，对一系列不同曝光度图像进行直方图巧衡化，使图像灰度归一化到 0-255范围内且分布巧匀；然后将移动物体看成是奇异点，利用中值滤波得到去除移动物 体的背景图的建模结果；分别用含有移动物体的图像与背景图作差相减，得到去除背景后 只含有移动物体的图像；通过包括腐蚀膨胀的形态学操作将移动物体图像精确化，所得结 果作为权重图，然后依照权重图对图像进行融合。
[0020] 对直方图均衡化后的图像序列在时域上进行中值滤波操作，得到静态背景图：
[0021]
n=l，2，."，N(1)
[0022] /"E是指第n幅直方图均衡化后的图像，IM是指中值滤波后所得的背景图像， median是指中值滤波操作。
[0023] 分别用含有移动物体的图像与背景图作差相减具体步骤是，在窗口函数内，分别 用直方图均衡化后的输入图像与静态背景图做差，将窗口内像素对应的差值的均值作为融 合过程中权重的测度因子：
[0026] 窗函数的大小是（21+1) X (21+1)，/"E是指第n幅直方图均衡化后的图像的灰度 值，I"是指中值滤波后所得的背景图像像素的灰度值，d^">是指窗口内两幅图像对应位置 处差值的平均值。是标准差，〇i(x，y)指移动物体检测的结果。
[0027] 通过包括腐蚀膨胀的形态学操作将移动物体图像精确化具体步骤是，在提取出运 动目标的轮廓后，使用形态学处理，用图像腐蚀去除杂点，图像膨胀填补轮廓中的断裂部 分，然后对其内部进行填充，即可得到当前检测到的运动物体区
[0028] Cn= (D。出S1) 0S2 (4)
[0029] ?代表形态学操作膨胀，0代表形态学操作腐蚀，Si、S2分别表示膨胀和腐蚀操作 的结构元的半径，D。指的是移动物体检测后的权重图，C。指经过形态学操作后的权重图结 果。
[0030] 依照权重图对图像进行融合具体是，对多曝光图像进行加权融合，使用权重测度 因子的最终处理结果C。作为权重，采用基于拉普拉斯金字塔分解的图像融合方法进行融 合，得到最终的无鬼影皿R图：
[0031] (5)
[0032] Ii(x，y)表示输入的第i幅图像的灰度图，Wi(x，y)表示输入的第i幅图像的权重 图。F(x,y)表不融合后的图像。
[0033] 与已有技术相比，本发明的技术特点与效果：
[0034] 采用本发明的技术方案得到的融合图像从主观上看有很明显的去鬼影效果，且最 终图像还原度好，无明显的残留和痕迹。本发明算法思路简单，计算复杂度低，去除鬼影效 果无残留痕迹，该说明本发明算法在细节信息的提取和处理等方面均优于其他几种算法。
【附图说明】
[00巧]图1移动物体检测部分流程图。
[0036] 图2基于移动物体检测的背景建模的结果。
[0037] 图3single化ople序列对比评价。
[0038] 图4wa化ingpeople序列对比评价。
[0039] 图中；
[0040] (a)本文方法对single化ople序列融合的结果（b)auitaoLi等对single 化ople序列递归滤波器去鬼影融合的结果
[0041] (c)Mertens等对single化ople序列融合的结果（d)Weiaiang等对single 化ople序列基于梯度方向去鬼影融合的结果
[00化| (a')，化'），（C' )，（d')分别对应single化ople序列（a)，化），（C)，（d)框图 的细节放大。
[0043] (A