基于边缘检测和帧差法的高动态范围视频去鬼影的方法
【专利摘要】本发明提供一种基于边缘检测和帧差法的高动态范围视频去鬼影的方法，对相互交错的具有相同曝光率的图像进行基于图像配准的边缘检测。在图像配准之后，运动检测方法可以获得更好的精确度。使用基于运动检测的帧差法来减小计算复杂度，最后使用权重图在一些极端边界位置进行调整来消除一些不好的特殊值。在一些边界位置，传统曝光融合方法的权重可能会是0，而与它相邻的位置的权重则不是0，这些差别会使最后的高动态范围视频在一些地方变得不精确。而本发明添加了一个偏移量后，权重值的变化会更加平滑。
【专利说明】
基于边缘检测和帧差法的局动态范围视频去鬼影的方法
技术领域
[0001] 本发明属于计算机图像领域，具体涉及一种基于边缘检测和帧差法的高动态范围 视频去鬼影的方法。
【背景技术】
[0002] 高动态范围是一种显示真实场景的有效方法。比起传统的照片拍摄，高动态范围 可以有效避免过度曝光或曝光不足的问题，使图像更自然生动，更接近人眼捕捉到的场景。 虽然高动态范围被人们广泛接受，但对于大多数相机设备来说，高动态范围视频仍然是一 个挑战，因为它面临着设备存储的限制和生成方法方面的问题。
[0003] 研究人员在这方面已经做了大量的工作。一些研究人员以硬件的方法来解决问 题，这可以在相同的时间内获得多重曝光的图像，并且在不添加任何步骤的前提下合成每 一个高动态范围帧。然而，这种方法太依赖硬件的性能和相机特制的结构，对于大部分日常 使用的相机来说并不具有很高的实用性。
[0004] 其他的一些研究人则专注于使用软件的方法来合成高动态范围图像，这样会遇到 图像配准和移除鬼影的问题。一台普通的相机无法在相同的视角、相同的时间拍摄曝光不 同的图像，所以帧间的物体运动就无法避免。因此软件的方法需要做一些后期的处理。
[0005] 传统的高动态范围合成技术需要建立不同曝光下临近的帧之间的关系，这通常得 不到精确的结果，并且在一些特例条件下有可能失败。
【发明内容】
[0006] 本发明要解决的问题是:提供一种基于边缘检测和帧差法的尚动态范围视频去鬼 影的方法，在高动态范围视频合成中，传统的方法往往会产生鬼影，无法得到精确的、高质 量的结果。而我们对于高动态范围视频合成的结果的需求是比较高的，本发明就是来解决 在高动态范围视频合成中消除鬼影，得到高质量的图像结果。
[0007] 本发明的技术解决方案为:对相互交错的具有相同曝光率的图像进行基于图像配 准的边缘检测。在图像配准之后，运动检测方法可以获得更好的精确度。使用基于运动检测 的帧差法来减小计算复杂度，最后使用权重图在一些极端边界位置进行调整来消除一些不 好的特殊值。在一些边界位置，传统曝光融合方法的权重可能会是〇,而与它相邻的位置的 权重则不是0,这些差别会使最后的高动态范围视频在一些地方变得不精确。而本发明添 加了一个偏移量后，权重值的变化会更加平滑。
[0008] 基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，具体包括以下步骤： [0009] 1)鬼影检测：即利用图像配准检测相邻帧运动区域；由于在具有相同曝光率图像 中的物体的轮廓边缘是相似的，利用边缘检测的方法把图像映射为二元图像，并使用Canny 边缘算子来生成边缘位图，使得不同分辨率下的错误像素被检测出来，得到图像配准后的 相邻帧运动区域；因为帧之间的运动非常小，所以相邻帧的运动可以通过上述方法检测出 来。这样可以使算法不受到图片曝光的影响，得到较好的结果。
[0010] 2)鬼影移除：采用基于运动区域检测的帧差法;具体如下：图像配准之后，鬼影的 移除能够通过检测物体运动来实现;首先选择一个曝光点作为参考，其他曝光的位置结合 参考曝光点来检测运动，通过检测的结果，对每一帧，能够产生一个二元权重位图；对于参 考曝光点的图像，所有的区域都会与最后的结果相关联，而对于其他图像，运动的区域将会 被忽略；
[0011] 在本发明中，跳过了映射和直接比较同一曝光的图像两个阶段，通过帧差法，可以 检测到每一帧的运动区域。
[0012] 3)高动态范围生成:采用基于权重调整的曝光融合方法；即在传统的曝光融合方 法的计算中添加了一个偏移值At，能够避免在边界值的曝光融合中产生的权重为零;使得 最后得到的高动态范围视频无斑点。
[0013] 进一步的，所述在传统的曝光融合方法的计算中添加了一个偏移值At，能够避免 在边界值的曝光融合中产生的权重为零，具体如下：
[0014]淡>4,=獅1% (蛑+汾）
[0015] 其中，嘗辦美为权重，Mi表示三种不同像素的度量值，分别是对比（Contrast)、饱和 (3已1：1?^1：；[011)11和暴露(￥611-61卩086(111688)。把八1：加到每个度量值上，能够避免权重变为 零，BM k代表了权重位图，在非参考图像上，运动区域上的值取为0,非运动区域上的值取为 10
[0016] 进一步的，步骤3)所述曝光融合方法是通过图像金字塔和多种度量把不同曝光的 图像融合成为最后的结果。
[0017] 进一步的，使用Canny边缘算子来生成边缘位图，具体如下：
[0018] Axi, ^ ? (!)
[0019] ^ ⑵
[0020] 其中：公式(1)中，EF和EF分别表示了参考图像的边缘检测结果和曝光率为e的图 像的边缘检测结果；A xdP A ^是-1，〇或1，表示每个分辨率下不同方向的偏移量，由EF和 EF的最小误匹像素数决定;公式(2)中，排列的偏移量是由A &和A yi的和得到的。
[0021] 有益效果:在一些传统的方法中，基于相同场景的不同曝光的帧的中值是不可区 分的，通过使用从相同曝光的帧中获得的信息来排列图像，可以对不同方向上错误匹配的 像素进行计数，选择错误最少的。然而这样可能会在一些太亮或太暗的极端像素点上失效。 本发明中，则是利用了相同曝光的临近的帧，这样可以有效避免以上错误。其次在帧差法的 应用中，得到令人满意的结果是比较困难的，第一个原因，是帧差通常是由每帧的运动域组 成的，区分运动是属于哪一帧是比较困难的；第二个原因就是噪声的影响。对于第一个问 题，解决方案是标记可能的错误检测的区域，通常是过度曝光或曝光不足的区域，然后使用 图像修复的技术解决阻塞的问题;对于第二个问题，一些形态学的方法可以移除噪声影响。
【附图说明】
[0022]图1为整个方法的具体流程；
[0023] 图2为隧道的不同曝光帧的中值图；
[0024] 图3左侧图为新娘图像的不同曝光帧的中值图，右侧图为新娘图像在相同曝光帧 的边缘检测图；
[0025]图4为本发明中提供的方法(下图）和传统曝光融合方法(上图）的详细实验结果对 比；
[0026]图5为不同曝光下的输入图像；
[0027]图6通过文献[3]提供的曝光融合方法生成的高动态范围图像；
[0028]图7通过文献[1]的Debevec和文献[2]提供的MTB方法生成的高动态范围图像； [0029]图8通过文献[4]中提供的Pece方法生成的最终高动态范围图像；
[0030] 图9通过本发明建议的方法生成的最终高动态范围图像。
【具体实施方式】
[0031] 本发明使用的主要技术有:Canny边缘检测算子，曝光融合，下面具体说明本发明 所使用的各项技术的实施方式。解决的问题是:提供一种基于边缘检测和帧差法的高动态 范围视频去鬼影的方法(附图1)，包括以下步骤：
[0032] 1)鬼影检测：即运动区域的检测；由于在相同曝光图像中的物体的轮廓边缘是相 似的，可以利用边缘检测的方法来把图像映射为二元图像。这个方法是从Greg Ward的MTB [2]方法中获得启发，他的方法是基于相同场景下不同曝光的中值是难以区分的（附图2)。 但是他的方法在一些情况下会失败，比如图像中包含一些极端像素点，亮度要么太高要么 太低（附图3左侧）。使用Canny边缘算子来生成边缘位图（附图3右侧），这样不同分辨率下的 错误像素被检测出来。因为帧之间的运动非常小，所以相邻帧的运动可以通过上述方法检 测出来。这样可以使算法不受到图片曝光的影响，得到较好的结果。
[0033] 2)鬼影移除：图像配准之后，鬼影的移除可以通过检测物体运动来实现。首先需要 选择一个曝光点作为参考，其他曝光的位置结合参考曝光点来检测运动，通过检测的结果， 对每一帧，可以产生一个二元权重位图。对于参考的图像，所有的区域都会与最后的结果相 关联，而对于其他图像，运动的区域将会被忽略。
[0034] 在本发明中，跳过了映射和直接比较同一曝光的图像两个阶段，通过帧差发，可以 检测到每一帧的运动区域。
[0035] 3)高动态范围生成:本阶段使用了基于权重调整的曝光融合方法。曝光融合方法 是一种常见的高动态范围图像生成方法，通过图像金字塔和多种度量，曝光融合方法把不 同曝光的图像融合成为最后的结果。然而在一些边界位置，通过传统曝光融合方法获得的 权重可能会为〇,这种极端情况可能会使最后的高动态范围视频在一些区域产生斑点。所以 在本发明的方法中，对传统的曝光融合方法中的计算中添加了一个合适偏移值，可以避免 在一些边界值的曝光融合中产生的权重为零。
[0036] 1 .Canny边缘检测算子
[0037] Canny边缘检测算子是John F.Canny于1986年开发出来的一个多级边缘检测算 法，算法流程如下：
[0038] 1)图像平滑:任何边缘检测算法都不可能再未经处理的原始数据上很好地工作， 所以第一步是对原始数据与高斯mask作卷积，得到的图像与原始图像相比有些轻微的模 糊。这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。
[0039] 2)寻找图像中的强度梯度:Canny算法的基本思想是寻找一幅图像中灰度强度变 化最强的位置，所谓变化最强，即指梯度方向，。平滑后的图像中每个像素点的梯度可以由 Sobel算子来获得。首先利用如下的核来分别求沿水平(x)和垂直(y)方向的梯度 [0040] K_{GX} = {-101；-202；-101} ,K_{GY} = {121；000；-1-2-l}
[0041 ]之后便可利用公式来求得每一个像素点的梯度度量值
[0043] 3)非极大抑制:这一步的目的是将模糊的边界变得清晰。通俗的讲，就是保留了每 个像素点上梯度强度的极大值，而删掉其他的值，对于每个像素点，进行如下操作 [0044] a)将其梯度方向近似为一下值中的一个(0,45,90，135，180,225,270,315)
[0045] b)比较像素点，和其梯度方向正负方向的像素点的梯度强度
[0046] c)如果该像素点梯度强度最大则保留，否则抑制(删除，即置为0)
[0047] 4)双阈值:经过非极大抑制后图像中仍然有很多噪声点。Canny算法中应用了一种 叫双阈值的技术。即设定一个阈值上界和阈值下界，图像中的像素点如果大于阈值上界则 认为必然是边界，小于阈值下界则必然不是边界，两者之间的则认为是候选项，需进行进一 步的处理。
[0048] 5)利用滞后的边界跟踪：和强边界相连的弱边界认为是边界，其他的弱边界则被 抑制
[0049] 在本发明中，由于在相同曝光图像中物体的轮廓是相似的，可以利用Canny边缘检 测算法来生成边缘位图。帧间的运动很小，所以相邻帧之间的运动可以通过产生的边缘位 图来进行评估，同时该算法也不会受不同曝光率的影响。
[0050] Ay^ - (!)
[0051]丨碰碰(E产户, SU 你） （2)
[0052]公式1中，EIe和EF分别表示了参考图像的边缘检测结果和曝光率为e的图像的边 缘检测结果，A xdP A yi可以是-1，〇或1，表示每个分辨率下不同方向的偏移量，它们是由 EIe和EF的最小误匹像素数决定的。公式2中，排列的偏移量是由A A yi的和得到的。
[0053] 2.曝光融合:在图像处理过程中，曝光融合是一个把同一个场景的多重曝光融合 进一幅图像中的技术。使用图像金字塔和各种度量方式，曝光融合可以把不同曝光的图像 融合进一幅图像中，但是在一些情况下可能会失败。在一些边界位置，传统的曝光融合的方 法得到的权重可能是零，而它周围的点则是非零。本发明中，通过加入一个细小的偏移量， 得到的权重值的变化会更加平滑，噪声也会更少。
[0054] WMSP ^ BMk *
[0055] |热=^
[0056] 其中，Mi表示三种不同像素的度量值，分别是对比（Contrast)、饱和（Saturation) h和暴露(Well-exposedness)。把A t加到每个度量值上，能够避免权重变为零，BMk代表了 权重位图，在非参考图像上，运动区域上的值取为〇，非运动区域上的值取为1。W祀s是上一 步算出来权重图，4:?是要进行融合的图片的实际像素值。I uv是融合出来的图片。在附图4中 可以看到本发明建议的方法（图4下图）明显要比传统的方法（图4上图）能够得到更好的结 果。
[0057]实验结果：
[0058]本发明中的算法是在一台8G内存、CPU速度为3GHz的电脑上，通过matlab实现的。 一些主观和客观的实验结果展示了来自高动态范围视频中没有鬼影、高度细节的经曝光融 合生成的图像序列。附图5为实验输入的不同曝光下的图片，附图6到附图9展示了不同方法 获得的结果与本发明提供的方法实现的结果对比。
[0059]在高动态范围视频生成中的关键问题是鬼影的移除和图像排列。NIQE值代表了隐 藏图像质量评价，数值越低越好。在本发明中，提出了一个新的合成高动态范围视屏的方 法，在与其他传统方法的比较中，可以看出明显的优势，在高动态范围视频生成的方法中得 到了更低的NIQE值。
[0061] 文献：
[0062] [ 1 ]Debevec，Paul E?，and Jitendra Malik. "从照片中恢复高动态范围福射图" ACM计算机图像图像特别兴趣小组2008级.ACM，2008.
[0063] [2]Greg Ward，"从手持曝光上获得的对高动态范围图像合成的快速稳健的图像 配准"图像设备之旅.Vol. 8，no. 2，2003
[0064] [3]Mertens,Tom,Jan Kautz,and Frank Van Reeth. "曝光融合"计算机图形和应 用，2007 ? PG ' 07 ? 15th 太平洋会议 IEEE, 2007 ?
[0065] [4]Pece,Fabrizio,and Jan Kautz. "位图运动检测：对动态场景的高动态范围" 视觉媒体产品，2010会议IEEE，2010。
【主权项】
1. 基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，其特征在于:具体包括 以下步骤： 1) 鬼影检测：即利用图像配准检测相邻帧运动区域；由于在具有相同曝光率图像中的 物体的轮廓边缘是相似的，利用边缘检测的方法把图像映射为二元图像，并使用Canny边缘 算子来生成边缘位图，使得不同分辨率下的错误像素被检测出来，得到图像配准后的相邻 帧运动区域； 2) 鬼影移除：采用基于运动区域检测的帧差法;具体如下：图像配准之后，鬼影的移除 能够通过检测物体运动来实现;首先选择一个曝光点作为参考，其他曝光的位置结合参考 曝光点来检测运动，通过检测的结果，对每一帧，能够产生一个二元权重位图；对于参考曝 光点的图像，所有的区域都会与最后的结果相关联，而对于其他图像，运动的区域将会被忽 略； 3) 高动态范围生成：采用基于权重调整的曝光融合方法；即在传统的曝光融合方法的 计算中添加了一个偏移值At，能够避免在边界值的曝光融合中产生的权重为零;使得最后 得到的高动态范围视频无斑点。2. 根据权利要求1所述的基于边缘检测和帧差法的高动态范围视频区去鬼影的方法， 其特征在于:所述在传统的曝光融合方法的计算中添加了一个偏移值At，能够避免在边界 值的曝光融合中产生的权重为零，具体如下：其中，W射4=为权重，Mi表示三种不同像素的度量值，分别是对比、饱和和暴露;把A t加 到每个度量值上，能够避免权重变为零，BMk代表了权重位图，在非参考图像上，运动区域上 的值取为〇，非运动区域上的值取为1。3. 根据权利要求1或2所述的基于边缘检测和帧差法的高动态范围视频区去鬼影的方 法，其特征在于:步骤3)所述曝光融合方法是通过图像金字塔和多种度量把不同曝光的图 像融合成为最后的结果。4. 根据权利要求1所述的基于边缘检测和帧差法的高动态范围视频区去鬼影的方法， 其特征在于:使用Canny边缘算子来生成边缘位图，具体如下：其中：公式（1)中，ΕΓ和EF分别表示了参考图像的边缘检测结果和曝光率为e的图像的 边缘检测结果；A Xi和△ yi是-1，〇或1，表示每个分辨率下不同方向的偏移量，由EP和EF的 最小误匹像素数决定;公式(2)中，排列的偏移量是由AxdP Ay1的和得到的。
【文档编号】G06T7/00GK105931213SQ201610374771
【公开日】2016年9月7日
【申请日】2016年5月31日
【发明人】刘钦, 王豪, 宋强, 王子杰, 苏子权
【申请人】南京大学