一种全景视频降噪与增强方法与流程

本发明涉及视频处理领域，具体涉及一种全景视频降噪与增强方法。

背景技术：

随着技术的发展，全景视频技术越来越在视频监控，视频会议，虚拟现实等领域得到广泛地应用。全景视频在获取的过程中，受到环境的影响要远大于普通视频。因为全景相机的视角是全方位的，所以全景相机所要面临的光照动态范围要远大于普通相机，当环境中存在强光源的情况下，全景相机因为要压缩更大的光照动态范围，会导致图像中部分区域过暗。当环境光照不足的情况下，会导致视频本身曝光不足，并且引入大量的噪声。因此全景视频的降噪与增强的需求，要远大于普通视频。

为了提高全景视频的质量，可以采用视频降噪和视频增强算法对全景视频进行处理。视频的噪声通常会建模成均值为0的高斯噪声，这种噪声同一像素位置帧间互相独立，帧内不同像素也互相独立。因此可以采用时域和空域降噪方法进行视频降噪。时域降噪利用图像帧间噪声不相关的特点进行降噪，可以采用多帧加权或者递归加权的方法进行多帧降噪，虽然能有效的降低帧间噪声，但是也会导致运动物体拖尾的现象。空域降噪算法利用图像相邻像素的相关性而噪声不相关的特点进行噪声消除，多采用例如高斯滤波，局部平均的低通滤波方法，虽然能有效降低噪声的影响，但是图像的边缘和细节也被模糊。对于视频增强方法，传统的直方图均衡算法可以有效地提高图像的对比度的同时也提高噪声的幅度水平，retinex算法是一种比较优秀的图像增强算法，但是会对图像中亮度变化剧烈的区域引入光晕，并且引入色彩失真现象。

技术实现要素：

本发明公开了一种全景视频降噪方法和全景视频增强方法。全景视频降噪方法利用参考图像，求取图像中的运动区域，对于非运动区域采用多帧递归加权方法进行降噪，对于运动区域采用帧内中值滤波的方法进行降噪，这样既有效地去除噪声，又提高了运算速度，并且避免了运动区域拖尾的现象。全景视频增强方法采用了一种自适应光照补偿的增强方法，引入了全局光照和局部光照参数，可以对低光照，普通光照和高光照图像和图像区域进行自适应的光照补偿，自动调整增强后的图像亮度对比度，并且确保不会引入更大的噪声。本文提出的视频降噪方法和视频增强方法互相结合，可以极大提高全景视频的质量。

一种全景视频降噪与增强方法，其特征在于：包括以下步骤：

(1)利用参考图像，估计当前图像相对于参考图像的全局运动失量；

(2)利用全局运动失量和参考图像，把当前图像分为运动区域和非运动区域；

(3)对视频中非运动区域进行递归加权降噪，对视频中的运动区域采用中值滤波器进行降噪，并保存降噪后的图像作为下一帧的参考图像；

(4)对降噪后的视频图像利用自适应曝光补偿的图像增强方法进行增强。

上述步骤1中利用当前图像和参考图像的y通道计算全局sad，求取当前图像的运动失量：

mv＝argmin(σ|y(x+u，y+v)-y′(x，y)|)(1)

其中，mv为二维运动失量，y(x，y)为当前图像的y通道图像，y’(x，y)为参考图像y通道图像。

上述步骤2中估计当前图像的运动区域的方法：

(1)如果

|mv.u|+|mv.v|≤thmm(2)

其中thmv为全局运动失量阈值，如果图像尺寸小于1280×640时，thmv的取值范围为15～25，如果尺寸更大，为1920×960时，thmv可以取20～40。对于当前图像和参考图像交叠区域内的区域，按照尺寸为s，在窗口(i，j)，计算y通道当前图像与参考图像的差值的绝对值：

如果diffij＞th，则该窗口中所有的像素为运动区域，运动区域标记mflag(i，j)＝1，如果diffij≤th，则该区域为非运动区域，运动区域标记mflag(i，j)＝0。其中窗口的尺寸取值根据图像的大小而定，例如图像尺寸小于等于1280×640，s取值为3～9，如果图像尺寸大于等于1920×960时，s取值为5～15。阈值th的取值范围为9～15。

(2)对于当前图像与参考图像交叠区域以外的区域的所有窗口(i，j)，则标记为运动区域，运动区域标记mflag(i，j)＝1。

(3)去除不合理的运动区域。计算每个运动区域联通域的包含窗口数目，如果某个运动区域的窗口数目小于阈值ths，则认为该运动区域的属性认定不可靠，把位于该联通域内所有的窗口标记为mflag(i，j)＝0，ths一般取值为3。

(4)如果

|mv.u|+|mv.v|＞thmv(4)

表明当前图像相对于参考图像运动幅度过大，此时当前图像所有窗口(i，j)运动区域标记mflag(i，j)＝1。

上述步骤3中对于窗口标记mflag(i，j)＝0的窗口中的图像进行递归加权降噪的方法为：

ydenoise(x，y)＝γy(x+mv.u，y+mv.v)+(1-γ)y(x，y)(5)

在这里γ取值区间为0.1～0.3，窗口(i，j)中图像的uv通道也按照上式同样的方法进行滤波。

对于窗口标记mflag(i，j)＝1的窗口中的图像进行中值滤波的方法为：

其中窗口s′的大小为3或者5。窗口(i，j)中图像的uv通道也按照上式进行降噪处理。

保存降噪后的图像作为下一帧图像的参考图像。

述步骤4中，对降噪后的视频图像利用自适应曝光补偿的图像增强方法进行增强，其步骤如下：

(1)计算降噪后y通道图像的整体平均值μ；

(2)计算降噪后y通道图像的局部平均值μ(x，y)，计算公式如下：

计算局部平均值得窗口尺寸s1为4～16，视图像尺寸大小而定，例如图像尺寸小于1280×640，可以采用4～8的窗口尺寸计算局部平均值，如果窗口尺寸大于1280×640，可以采用6～12的窗口尺寸，如果窗口大于等于1920×960，可以采用8～16的窗口尺寸。

(3)利用局部均值和整体均值对输入图像进行曝光补偿，提升图像的整体亮度，补偿方法为：

a(x，y)＝α(μ)(ln(f(μ(x，y)))-ln(μ(x，y)))(8)

其中α()与图像的整体亮度有关，其函数为：

其中w取值范围为0.2～0.7，建议取值为0.3；thhigh为高亮度图像阈值，在方法中取值为180。

函数fi(k)由如下公式计算：

在这里fmin取值为130～160之间，建议值为150。

(4)求取y通道在对数域增强图像：

ln(yout(x，y))＝ln(ydenoise(x，y))+a(x，y)(11)

那么y通道的输出图像为：

(5)为每个像素点计算uv通道的增强比例：

对于输出图像每个像素点的uv通道，按照如下公式计算：

uout(x，y)＝max(0，min(255，(udenoise(x，y)-128)ratiouv+128)(14)

vout(x，y)＝max(0，min(255，(vdenoise(x，y)-128)ratiouv+128)(15)

附图说明

图1为本发明整体流程图。

图2为本发明图像y通道增强处理流程图。

图3为本发明图像uv通道增强处理流程图。

具体实施方式

下面结合附图，对本发明做进一步说明：

本发明实施提出了一种全景视频降噪与增强方法。其执行过程如下：

第一步，利用参考图像，估计当前图像的相对于参考图像的全局运动失量。

利用当前图像和参考图像的y通道计算全局sad，求取当前图像的运动失量：

mv＝argmin(∑|y(x+u，y+v)-y’(x，y)|)(1)

其中mv为二维运动失量，y(x，y)为当前图像的y通道图像，y’(x，y)为参考图像y通道图像。

第二步，利用全局运动失量和参考图像，分块计算当前图像与参考图像在局部窗口(i，j)内的差值的绝对值，估计当前图像的运动区域，其执行步骤如下：

(1)如果

|mv.u|+|mv.v|≤thmv(2)

其中thmv为全局运动失量阈值，如果图像尺寸小于1280×640时，thmv的取值范围为15～25，如果尺寸更大，为1920×960时，thmv可以取20～40。对于当前图像和参考图像交叠区域内的区域，按照尺寸为s的窗口，在y通道中计算窗口(i，j)当前图像与参考图像的差值的绝对值：

如果diffij＞th，则该窗口中所有的像素为运动区域，运动区域标记

mflag(i，j)＝1，如果diffij≤th，则该区域为非运动区域，运动区域标记

mflag(i，j)＝0。其中窗口的尺寸取值要根据图像的大小而定，例如图像尺寸小于等于1280×640，s取值为3～9，如果图像尺寸大于等于1920×960时，s取值为5～15。阈值th的取值范围为9～15。

(2)对于当前图像与参考图像交叠区域以外的区域中的窗口(i，j)，则标记为运动区域，运动区域标记mflag(i，j)＝1。

(3)去除不合理的运动区域。计算每个运动区域联通域的所包含窗口数目，如果某个运动区域包含窗口数目小于阈值ths，则认为该运动区域的认定不可靠，则把位于该联通域内所有的窗口标记为mflag(i，j)＝0，ths一般取值为3。

(4)如果

|mv.u|+|mv.v|＞thmv(4)

表明当前图像相对于参考图像运动幅度过大，此时所有窗口(i，j)运动区域标记mflag(i，j)＝1。

第三步，对视频中非运动区域进行递归加权降噪，对视频中的运动区域采用中值滤波器进行降噪，并保存降噪后的图像作为下一帧的参考图像。

对于窗口标记mflag(i，j)＝0中窗口中的图像进行递归加权降噪的方法为：

ydeniose(x，y)＝γy(x+mv.u，y+mv.v)+(1-γ)y(x，y)(5)

在方法中，γ取值区间为0.1～0.3，窗口(i，j)中图像的uv通道也按照上式同样的方法进行滤波。

对于窗口标记mflag(i，j)＝1的窗口中的图像进行中值滤波的方法为：

其中窗口s′的大小为3或者5。窗口(i，j)中图像的uv通道也按照上式进行降噪处理。

第四步，对降噪后的视频图像利用自适应曝光补偿的图像增强方法进行增强，其执行步骤如下：

(1)计算降噪后ydenoise通道图像的整体平均值μ；

(2)计算降噪后ydenoise通道图像的局部平均值μ(x，y)，计算公式如下：

计算局部平均值得窗口尺寸s1为4～16，视图像尺寸大小而定，例如图像尺寸小于1280×640，可以采用4～8的窗口尺寸计算局部平均值，如果窗口尺寸大于1280×640，可以采用6～12的窗口尺寸，如果窗口大于等于1920×960，可以采用8～16的窗口尺寸。

(3)利用局部均值和整体均值对输入图像进行曝光补偿，提升图像的整体亮度和对比度，补偿方法为：

a(x，y)＝α(μ)(ln(f(μ(x，y)))-ln(μ(x，y)))(8)

其中α()与图像的整体亮度有关，其函数为：

其中w取值范围为0.2～0.7，建议取值为0.3；thhigh为高亮度图像阈值，在方法中取值为180。

函数fi(k)由如下公式计算：

在这里fmin取值为130～160之间，建议值为150。

(4)求取y通道在对数域增强图像：

ln(yout(x，y))＝ln(ydenoise(x，y))+a(x，y)(11)

那么y通道的输出图像为：

(5)为每个像素点计算uv通道的增强比例：

对于输出图像每个像素点的uv通道，按照如下公式计算：

uout(x，y)＝max(0，min(255，(udenoise(x，y)-128)ratiouv+128)(14)

vout(x，y)＝max(0，min(255，(vdenoise(x，y)-128)ratiouv+128)(15)

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。