进行运动估计，由此找出待配准图像与参考图 像之间所有像素点的对应关系。进行运动估计的公式为：
[005引 I" TRs[I'…Ai，Aj]
[0056]其中，（X，y)为图像中的X和y方向上的坐标，S为图像I郝IH的运动估计函 数，（i，如为运动估计函数S中在X和y方向上的坐标，E表示进行求和运算，Rows和ColS 分别为矩阵S中最大值对应的行数和列数，Ai和Aj分别为求出的X和y方向上的运动 估计量，TRs[I'H，Ai，Aj]表示根据运动估计量Ai和Aj对图像ly进行运动估计， Ih为图像IH运动估计后的结果。
[0化7] 步骤走：将步骤六运动估计得到的图像I"y与Ii之间所有对应像素进行加权平 均，完成后输出去噪后的第i帖图像Ifusi。。。进行加权平均的公式为：
[005引
[0059]其中，表示去噪后的第i帖图像，Ifud?(x，y)表示去噪后的第i帖图像中坐 标（X，y)处的灰度值，Ih表示第i-1帖图像IH经过配准和运动估计后的图像，I康示第 i帖图像，I"i_i(x，y)和Ii(x，y)分别表示图像I"H和li中坐标（x，y)处的灰度值。
[0060]步骤八：读入下一帖（第S帖）图像作为参考图像，将上一帖输出的图像作 为待配准图像，循环操作第=步到第八步，直至完成视频所有帖图像的去噪。
[0061] 通过上述步骤可W看出，本发明能够有效保证配准精度，W达到较好的去噪效果， 尤其对含有大量噪声的微光视频图像去噪效果明显。此外无需对整幅图像所有像素进行运 动估计，只需要对运动目标对应像素进行运动估计，在保持较好的去噪效果前提下，显著提 高去噪处理速度，特别适用于微光视频中出现场景大范围运动的情况。
[0062]为了测试基于相位一致性和场景运动估计的微光视频去噪方法的去噪效果，我们 分别对3段不同噪声程度下的微光视频进行了去噪实验。实验中，微光视频图像大小为576 行768列，微光视频速率为30FPS。W低噪声情况下微光视频为例，取第10帖图像为当前帖 时（如图2 (a)所示），去噪后的第9帖图像则为前一帖（如图2化）所示）。根据相位一致 性求出的该两幅图像的边缘图像如图2(c)和2(d)所示。根据场景配准原理求出的两幅边 缘图像的匹配程度函数图如图2(e)所示，最终去噪后的第10帖图像如图2(f)所示。从图 2(a)和图2(b)中可W看出，第10帖图像相对于第9帖图像向左移动了几个像素的距离。 从图2(c)和图2(d)中可W看出，利用相位一致性原理可W精确的求出图像中的边缘信息。 从图2(e)中可W看出，利用场景配准原理求出的匹配程度函数包含一个明显的最大值，该 个最大值所在的坐标到图像中屯、的距离就是所要求的配准参数。相比于图2 (a)，图2 (f)更 加清晰，图像中的目标信息更容易分辨，说明本方法能够实现很好的微光视频去噪效果。
[0063]图3 (a)、图3化）、图3(C)分别表示的是高噪声情况下去噪前微光视频中第10帖、 第50帖、第200帖的原始图像，图3 (d)、图3 (e)、图3 (f)分别表示的是高噪声情况下去噪后 微光视频中第10帖、第50帖、第200帖的图像。图4(a)、图4化）、图4(c)分别表示的是中 等噪声情况下去噪前微光视频中第10帖、第50帖、第200帖的原始图像，图4(d)、图4(e)、 图4(f)分别表示的是中等噪声情况下去噪后微光视频中第10帖、第50帖、第200帖的图 像。图5 (a)、图5化）、图5(C)分别表示的是低噪声情况下去噪前微光视频中第10帖、第50 帖、第200帖的原始图像，图5 (d)、图5 (e)、图5 (f)分别表示的是低噪声情况下去噪后微光 视频中第10帖、第50帖、第200帖的图像。比较去噪前后的微光图像，明显可W看出去噪 后微光图像的清晰度远高于原始的微光图像。由此可W看出本方法基于相位一致性和场景 运动估计的微光视频去噪方法的优越性。
【主权项】
1. 一种基于相位一致性和场景运动估计的微光视频去噪方法，其特征在于步骤如下： 步骤一，读入视频第一帧图像，然后输出，并作为待配准图像Ig; 步骤二，读入视频第二帧图像，作为参考图像Ii; 步骤三，根据相位一致性方法求取待配准图像和参考图像Ii的边缘图像PCH和PCi； 步骤四，根据基于场景配准方法将边缘图像PCg对PCi进行配准； 步骤五，将配准后的图像Ih和Ii做差，求出运动目标对应像素； 步骤六，对运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所 有像素点的对应关系； 步骤七，将步骤六运动估计得到的图像I"H与Ii之间所有对应像素进行加权平均， 完成后输出去噪后的第i帧图像Ifusim; 步骤八，读入下一帧图像作为参考图像，将上一帧输出的图像Ifusim作为待配准图像， 循环操作第三步到第八步，直至完成视频所有帧图像的去噪。2. 根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特 征在于在步骤三中，根据相位一致性方法求取边缘图像的公式为： FI=fft2(Ii)其中，Ii为第i帧输入的参考图像，为输入图像I的频谱，fft2( ?)表示做二维快速 傅立叶变换，?为输入的图像I经过尺度n下的Gabor滤波器滤波后的结果的实部，6"为 尺度n下的Gabor滤波器，ifft2( ?)表示做逆二维快速傅立叶变换，re[ ?]表示取实部， 和分别表示输入的图像I经过尺度n下的Gabor滤波器和Hilbert滤波器滤波后的 结果的实部和虚部，H为Hilbert滤波器，im[ ?]表示取虚部，An为图像I在尺度n下的幅 值，E_分别为图像I在不同滤波器下的局部能量，A_为图像I在所有尺度下的 幅值的总和，ESUffl为图像I所有局部能量的总和，PCi为第i帧根据相位一致性求取的边缘 图像，W为频率传播加权系数，为一个数学运算符，当所求值为正时最终结果取自身，否 则为〇 ;T为噪声强度阈值，只有能量值超过噪声阈值T才被计入结果内；e为一个常量。3. 根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特 征在于在步骤四中，基于场景配准方法的公式为： fft2(PC Fi=fft2(PCi)I' Ax, Ay] 其中，PCg和PCi分别表示第i-1和i帧根据相位一致性求取的边缘图像，F^和F汾 别表示边缘图像PCh和PC^勺频谱，F;为频谱复共轭频谱，| *|表示取绝对值，F。。^% 频谱Fh和F^的协方差，C为边缘图像PC^和PCi的匹配程度函数，find_(?)表示求出 矩阵中最大值对应的行数和列数，Row。和Col。分别为矩阵C中最大值对应的行数和列数， Ax和Ay分别为求出的x和y方向的偏移量，N和M分别为图像^在x和y方向上的像 素个数，max(*)表示求矩阵的最大值，mean(*)表示求矩阵的平均值，TRjIg，Ax，Ay] 表示根据偏移量AX和Ay对图像Ig进行配准，I'h为图像1^配准后的结果。4. 根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特 征在于在步骤六中，对运动目标对应像素进行运动估计的公式为：I"h=TRS[I，h，Ai，Aj] 其中，（x，y)为图像中的x和y方向上的坐标，S为图像^和Ih的运动估计函数，（i，j)为运动估计函数S中在x和y方向上的坐标，E表示进行求和运算，RowjPCols分别为 矩阵S中最大值对应的行数和列数，△i和△j分别为求出的x和y方向上的运动估计量， TRjIg，Ai，Aj]表示根据运动估计量Ai和Aj对图像I' ^进行运动估计，I" ^为 图像I'h运动估计后的结果。5.根据权利要求1所述的基于相位一致性和场景运动估计的微光视频去噪方法，其特 征在于在步骤七中，进行加权平均的公式为：其中，Ifusim表不去噪后的第i帧图像，Ifusim(X，表不去噪后的第i帧图像中坐标 (x，y)处的灰度值，I"h表示第i-1帧图像Ih经过配准和运动估计后的图像，Ii表示第 i帧图像，I"h(x，y)和Ijx，y)分别表示图像I"h和Ii中坐标（x，y)处的灰度值。
【专利摘要】本发明公开了一种基于相位一致性和场景运动估计的微光视频去噪方法，首先根据相位一致性方法求取待配准图像和参考图像的边缘图像，然后根据基于场景配准方法将边缘图像进行配准，再将配准后的两图像做差，求出运动目标对应像素，进而对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系，最后将两图像之间所有对应像素进行加权平均，完成后输出去噪的图像。本发明能够有效保证配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。
【IPC分类】H04N5/21, H04N5/14
【公开号】CN104917933
【申请号】CN201510283869
【发明人】张玉珍, 孙佳嵩, 陈钱, 左超, 顾国华, 胡岩, 张良
【申请人】南京理工大学
【公开日】2015年9月16日
【申请日】2015年5月28日