用于对强噪声图像进行多帧融合的设备和方法
【专利摘要】提供一种用于对强噪声图像进行多帧融合的设备和方法。所述设备包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。
【专利说明】用于对强噪声图像进行多帧融合的设备和方法
【技术领域】
[0001]本申请涉及图像融合技术，更具体地说，涉及一种用于对强噪声图像进行多帧融合以增强图像细节的设备和方法。
【背景技术】
[0002]随着图像技术的发展，图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像(其中分辨率差别、灰度等级差别可能很大)的复合融合，为信息的高效提取提供了良好的处理手段，取得明显效益。
[0003]通常，由于拍摄环境复杂，在拍摄的图像中会存在一定强度的噪声。当对具有强噪声的图像进行融合时，由于强噪声具有类似于图像中的细节的特性，会造成强噪声和图像细节不易被区分，同时强噪声会影响在进行图像融合时所进行的运动估计的精度，这些都致使现有的图像融合技术的效果不佳，无法很好地保持图像中的细节和边缘信息。
[0004]总上所述，现有的图像融合方法不能在对强噪声图像进行有效融合的同时保持图像中的细节和边缘信息。
【发明内容】
[0005]本发明的目的在于提供一种对强噪声图像进行多帧融合的设备和方法。
[0006]根据本发明的一方面，提供一种用于对强噪声图像进行多帧融合的设备，包括:图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。
[0007]在所述设备中，图像预处理单元可计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。其中，图像预处理单元还可计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。
[0008]在所述设备中，图像预处理单元可计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。
[0009]在所述设备中，运动估计单元可包括:全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。
[0010]在所述设备中，图像融合单元可将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，可利用与融合点相应的权值对融合点和细节点或非细节点进行融合。
[0011]在所述设备中，图像融合单元可将基准图像中的像素点(DO)的像素值(do)与在DO的预定邻域范围内的像素点的像素平均值(mO)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，可将基准图像中的DO的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。
[0012]在所述设备中，当DO为非细节点时，如果1.5X IdO-mOl大于参考图像中的基于运动矢量的相应像素点(Dl)的像素值(dl)与在Dl的预定邻域范围内的像素点的像素平均值(ml)之差的绝对值(I dl-ml |)，则图像融合单元可将Dl确定为融合点并利用与Dl相应的权值对DO和Dl进行融合。当DO为细节点时，如果参考图像中满足|d0-dl|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元可将DO确定为强噪声点，并对Dl的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-dl|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将dO相对于mO的方向性和dl相对于ml的方向性一致的Dl确定为融合点，并可利用与Dl相应的权值对DO和Dl进行融
口 ο
[0013]根据本发明的另一方面，提供一种用于对强噪声图像进行多帧融合的方法，包括:从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；计算基准图像相对于参考图像的运动矢量；分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。
[0014]在所述方法中，选取基准图像的步骤可包括:计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。
[0015]在所述方法中，选取参考图像的步骤还可包括:计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。
[0016]在所述方法中，估计基准图像的噪声强度等级的步骤可包括:计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。
[0017]在所述方法中，计算参考图像的运动矢量的步骤可包括:在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。[0018]在所述方法中，对基准图像和参考图像进行融合的步骤可包括:将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融
口 ο
[0019]在所述方法中，可将基准图像中的像素点确定为细节点或非细节点的步骤可包括:将基准图像中的像素点(DO)的像素值(dO)与在DO的预定邻域范围内的像素点的像素平均值(mO)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的DO的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。
[0020]在所述方法中，对基准图像和参考图像进行融合的步骤可包括:
[0021]当DO为非细节点时，如果1.5X| d0-m0 I大于参考图像中的基于运动矢量的相应像素点(Dl)的像素值(dl)与在Dl的预定邻域范围内的像素点的像素平均值(ml)之差的绝对值(I dl-ml I)，则可将Dl确定为融合点并利用与Dl相应的权值对DO和Dl进行融合；
[0022]当DO为细节点时，如果参考图像中满足|d0-dl|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则可将DO确定为强噪声点，并对Dl的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-dl|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将dO相对于mO的方向性和dl相对于ml的方向性一致的Dl确定为融合点，并可利用与Dl相应的权值对DO和Dl进行融合。
[0023]根据本发明示例性实施例的用于对强噪声图像进行多帧融合的设备和方法，能够有效地消除强噪声图像中的强噪声。
【专利附图】
【附图说明】
[0024]通过下面结合附图对本发明示例性实施例的描述，本发明的上述和其它目的和特点将会变得更加清楚，其中:
[0025]图1是示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的设备的框图；
[0026]图2是示出根据本发明的示例性实施例的多帧图像融合设备中的运动估计单元的框图；
[0027]图3是示出根据本发明的示例性实施例的用于描述全图运动矢量确定过程的示例的示图；
[0028]图4是示出根据本发明的示例性实施例的用于描述在计算像素平均值和平均梯度时所使用的预定领域的示图；
[0029]图5是示出根据本发明的示例性实施例的基于噪声强度等级的权值曲线；
[0030]图6是示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的方法的流程图；
[0031]图7是示出根据本发明的示例性实施例的用于对图像进行预处理的过程的流程图；
[0032]图8是示出根据本发明的示例性实施例的用于计算基准图像相对于参考图像的运动矢量的过程的流程图。【具体实施方式】
[0033]现将详细描述本发明的示例性实施例，所述示例性实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
[0034]图1示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的设备(在下文中被称为“多帧图像融合设备”)的框图。这里，作为示例，所述多帧图像融合设备可用于针对用户通过桌上型计算机、膝上型计算机、智能手机、平板电脑、数字相机等各种电子产品捕获图像或进行图像处理时有效地去除图像噪声以保持图像细节。
[0035]如图1所示，多帧图像融合设备包括:图像预处理单元10，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元20，用于计算基准图像相对于参考图像的运动矢量；图像融合单元30，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。这些单元可由数字信号处理器、现场可编程门阵列等通用硬件处理器来实现，也可通过专用芯片等专用硬件处理器来实现，还可完全通过计算机程序来以软件方式实现。并且，本发明构思可适用于各种操作系统，例如，Window系列、Android系列、Mac系列等。
[0036]参照图1，图像预处理单元10用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级。具体说来，图像预处理单元10可计算多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。作为示例，图像预处理单元10可通过以下等式(I)来计算每个图像的平均梯度G_A:
[0037]
【权利要求】
1.一种用于对强噪声图像进行多帧融合的设备，包括: 图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级； 运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及 图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。
2.如权利要求1所述的设备，其中，图像预处理单元计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。
3.如权利要求2所述的设备，其中，图像预处理单元计算所述多帧图像中除基准图像之外的其他图像中的每 个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。
4.如权利要求1所述的设备，其中，图像预处理单元计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。
5.如权利要求1所述的设备，其中，运动估计单元包括: 全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量； 块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量， 其中，块的运动矢量为基准图像相对于参考图像的运动矢量。
6.如权利要求1所述的设备，其中，图像融合单元将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。
7.如权利要求6所述的设备，其中，图像融合单元将基准图像中的像素点(DO)的像素值(d0)与在DO的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的DO的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。
8.如权利要求6所述的设备，其中， 当DO为非细节点时，如果1.5X IdO-mOl大于参考图像中的基于运动矢量的相应像素点(Dl)的像素值(dl)与在Dl的预定邻域范围内的像素点的像素平均值(ml)之差的绝对值(I dl-ml I)，则图像融合单元将Dl确定为融合点并利用与Dl相应的权值对DO和Dl进行融合； 当DO为细节点时，如果参考图像中满足I do-dl I大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元将DO确定为强噪声点，并对Dl的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-dl|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则将dO相对于mO的方向性和dl相对于ml的方向性一致的Dl确定为融合点，并利用与Dl相应的权值对DO和Dl进行融合。
9.一种用于对强噪声图像进行多帧融合的方法，包括: 从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级； 计算基准图像相对于参考图像的运动矢量； 分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。
10.如权利要求9所述的方法，其中，选取基准图像的步骤包括: 计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。
11.如权利要求10所述的方法，其中，选取参考图像的步骤包括: 计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。
12.如权利要求9所述的方法，其中，估计基准图像的噪声强度等级的步骤包括: 计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。
13.如权利要求9所述的方法，其中，计算参考图像的运动矢量的步骤包括: 在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量； 将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量， 其中，块的运动矢量为基准图像相对于参考图像的运动矢量。
14.如权利要求9所述的方法，其中，对基准图像和参考图像进行融合的步骤包括: 将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。
15.如权利要求14所述的方法，其中，将基准图像中的像素点确定为细节点或非细节点的步骤包括: 将基准图像中的像素点(DO)的像素值(dO)与在DO的预定邻域范围内的像素点的像素平均值(mO)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的DO的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。
16.如权利要求14所述的方法，其中，对基准图像和参考图像进行融合的步骤包括: 当DO为非细节点时，如果1.5X IdO-mOl大于参考图像中的基于运动矢量的相应像素点(Dl)的像素值(dl)与在Dl的预定邻域范围内的像素点的像素平均值(ml)之差的绝对值(I dl-ml I)，则将Dl确定为融合点并利用与Dl相应的权值对DO和Dl进行融合； 当DO为细节点时，如果参考图像中满足I d0-dl I大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则将DO确定为强噪声点，并对Dl的像素值进行中值滤波来替换D0，如果参考图像中满足|dO-dl|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则将dO相对于mO的方向性和dl相对于ml的方向性一致的Dl确定为融合点，并利用与Dl相应的 权值对DO和Dl进行融合。
【文档编号】G06T5/50GK103985106SQ201410209880
【公开日】2014年8月13日 申请日期:2014年5月16日 优先权日:2014年5月16日
【发明者】王剑锋 申请人:三星电子（中国）研发中心, 三星电子株式会社