一种基于投影梯度的稳像方法
【技术领域】
[0001] 本发明属于图像处理领域，尤其涉及一种基于投影梯度的稳像方法。
【背景技术】
[0002] 灰度投影算法常用于视频稳像以及图像匹配，相较于其它算法，灰度投影的优势 在于算法简单、时间复杂度低，具有很好的实时性。以灰度投影为基础，之后出现了分区灰 度投影、多方向投影等一系列改进型灰度投影算法，进一步增强了算法的实时性和鲁棒性。
[0003] 通常情况下，用于图像匹配和稳像的视频序列为自然光下拍摄的视频或低帧频 (30Hz)的视频。由于自然光无闪烁，室内照明灯闪烁频率一般为50-70HZ，因此此时拍摄的 视频中各帧图像亮度恒定，或亮度变化很小。然而现实情况中，有时会遇到需要拍摄室内照 明或夜间灯光照明下的高速视频，这种情况随着摄影设备的轻型化和高速化越发普遍，比 如如今市场上的主流手机都具备300Hz以上的高速摄影能力。对于闪烁灯光下的高速摄影， 视频图像各帧之间会产生亮度不均的问题，如附图1所示，并且该问题会随着拍摄帧频与照 明闪烁频率差异变大而更加明显。此外，视频帧频的增加也会导致图像噪声增大。
[0004] 传统的稳像与匹配算法均无法解决帧间亮度不均以及噪声大带来的配准误差:基 于灰度投影的算法依赖于图像灰度，亮度不均会导致参考帧与当前帧的灰度投影存在y方 向（灰度方向）上的位移，如附图2(a)所示，而亮度归一化处理也会因为大噪声的存在效果 受到影响，通常位移矢量误差在0.5个像素左右，如附图2(b)所示;基于光流的匹配算法由 于光流方程建立在亮度恒定的基础上，所以无法处理亮度非恒定的视频图像;而基于特征 的匹配算法，尽管对亮度和噪声不敏感，但相对高昂的时间和计算复杂度限制了算法的实 时性。
[0005] 梯度作为信号的基本特征之一，反应了信号的变化率，具有与信号本身大小无关 的特性，可解决信号幅值平移的匹配问题。对于图像来说，图像梯度反映了图像的边缘信 息，即高频信息。但图像梯度在突出边缘信息的同时，也丢失了低频信息，这使得梯度投影 曲线相较于灰度投影曲线波动剧烈，如附图3所示，因而更易产生匹配误差。此外，计算图像 梯度也增加了算法的时间，降低了算法的实时性。
【发明内容】
[0006] 本发明的目的是在视频图像的匹配和稳像中，针对室内拍摄的高帧频视频中帧间 亮度不均以及高噪声图像，提出一种基于投影梯度的稳像方法，利用图像投影梯度，通过相 对灰度差的判别函数对灰度投影位移函数和梯度位移函数进行加权，获得加权位移量。
[0007] 本发明的目的是通过以下技术方案来实现的：一种基于投影梯度的稳像方法，该 方法包括以下步骤：
[0008] (1)图像分块，具体是：
[0009] (1.1)将参考图像与当前图像分为对应的K个大小为N X N的图像块。
[0010] (2)计算图像块的灰度投影曲线，具体是：
[0011] (2.1)水平方向上的灰度投影为所有行的像素值在列方向上的累积;垂直方向上 的灰度投影为所有列像素值在行方向上的累积；
[0012] (2.2)去除方差小于方差阈值的图像块的灰度投影曲线。
[0013] (3)将灰度投影曲线中的第n+1项减第n-1项，得到投影梯度曲线；
[0014] (4)互相关运算，具体是：
[0015] (4.1)利用互相关公式对参考帧与当前帧对应图像块的水平灰度投影曲线和垂直 投影曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相对于 参考帧的灰度位移矢量Mk P;
[0016] (4.2)利用互相关公式对参考帧与当前帧对应图像块的水平投影梯度曲线和垂直 投影梯度曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相 对于参考帧的梯度位移矢量Mk g。
[0017] (5)计算判别函数，具体是：
[0018] (5.1)计算参考帧与当前帧对应图像块总灰度的相对灰度差rk;
[0020] 其中，Ikji, j)为当前帧的第k个图像块第i行第j列的灰度值，Ikr(i，j)为参考帧 的第k个图像块第i行第j列的的灰度值；
[0021] (5.2)将步骤(5.1)中计算所得rk作为判别函数λ(Γ)的输入：
[0023]其中，α为坡度参数，β为阈值参数。
[0024] (6)计算位移矢量Mk，公式如下：
[0025] Mk= (1-λ(τ) )Mkp+^(r)Mkg (3)
[0026] 去除图像块位移矢量Mk中由于步骤2.2中的误差和局部运动造成的偏差位移矢 量，将剩余位移矢量求平均得到当前帧与参考帧的位移矢量M。
[0028]其中，h为偏差位移矢量的个数，12为步骤2.2中方差小于方差阈值的图像块个数。 [0029] (7)将当前帧向参考帧移动-M，实现当前帧的稳像。
[0030] 进一步地，步骤1.1中，所述图像块大小N为128。
[0031] 进一步地，步骤5.2中，所述α = 250，β=10。
[0032] 本发明的有益效果:本发明针对室内拍摄的高帧频视频中帧间亮度不均以及高噪 声的情况，提出了一种基于投影梯度的稳像方法。首先，本发明引入图像投影梯度用于处理 亮度不等的问题，使用投影梯度而非梯度投影的优势在于投影梯度不需要对二维图像求梯 度，而只需对一维的灰度投影曲线求梯度，因此不会增加额外的计算量，保证了算法的实时 性。其次，针对梯度曲线波动大、对噪声敏感的问题，采用分块处理的方式，从而减少了曲线 波动带来的相关运算误差。最后，利用相对灰度差的判别函数来判断当前帧和参考帧图像 是否存在亮度不等的问题，判别函数为一平滑函数，并以权重的形式对灰度位移矢量和梯 度位移矢量加权求和，从而降低了位移矢量的绝对误差。本发明提出的方法在不增加算法 计算时间的前提下能很好地解决灰度投影在帧间亮度不均以及图像高噪声时误检问题，从 而得到更好的稳像效果。
【附图说明】
[0033] 图1 (a)为室内照明条件下的高速视频参考帧。
[0034] 图1(b)为室内照明条件下的高速视频当前帧。
[0035] 图2(a)为图1(a)所示图像垂直方向灰度投影曲线。
[0036] 图2(b)为图1(a)所示图像亮度归一化后垂直方向灰度投影曲线。
[0037]图3为图1(a)所示图像的垂直梯度投影曲线。
[0038]图4为本发明方法流程图。
[0039]图5(a)为参考图像块。
[0040] 图5(b)为当前图像块。
[0041] 图6(a)为图5所示图像块垂直方向灰度投影曲线。
[0042] 图6(b)为图5所示图像块垂直方向投影梯度曲线。
[0043] 图7(a)为图5所示图像块垂直方向灰度投影曲线的SAD曲线。
[0044] 图7(b)为图5所示图像块垂直方向投影梯度曲线的SAD曲线。
[0045] 图8为判别函数。
【具体实施方式】
[0046] 以下结合附图对本发明作进一步说明。
[0047] 如图4所示，本发明提供的一种基于投影梯度的稳像方法，主要包括图像分块、计 算投影曲线、互相关运算、阈值计算和位移矢量计算等几个步骤。
[0048] 步骤1.图像分块
[0049] 1-1为了减小互相关运算时投影梯度曲线波动带来的估计误差，将参考图像与当 前图像分为对应的K个不重叠图像块，图像块大小为NXN，如附