一种夜间人脸视频图像增强与降噪方法与流程

本发明属于信息处理技术领域，具体涉及一种夜间人脸视频图像增强与降噪方法。

背景技术：

目前，视频监控技术广泛应用于社会治理与公共安全领域，成为公安机关辨识违法嫌疑人的重要技术手段。在白天光照良好的情况下，采集得到的视频图像可满足应用要求，而在傍晚或夜间采集的图像质量严重恶化，图像呈现大量暗区，且包含噪声，导致图像内容模糊不清，细节丢失；在夜晚人工光源下，采集到的人脸图像又会出现高光区，使图像整体亮度不均匀，这些问题都给夜间视频图像的人脸辨识带来巨大挑战，因此研究夜间人脸视频图像增强与降噪方法具有重要意义。

目前图形增强与降噪方法主要包括：基于直方图的增强与降噪方法、基于同态滤波的增强与降噪方法和基于retinex理论的增强与降噪等方法，这些方法都有其局限性，如基于直方图的增强算法没有考虑图像的频率及细节信息，容易出现过增强，增强后会减弱图像的层次感；基于同态滤波的增强方法的应用前提是假设光照均匀，对高光区和暗区图像增强效果很差；基于retinex理论的增强方法基于照明-反射模型，这类算法在图像边缘区存在光晕问题，且照射分量难以估计，使图像增强效果不佳。

技术实现要素：

针对现有技术中存在的上述技术问题，本发明提出了一种夜间人脸视频图像增强与降噪方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种夜间人脸视频图像增强与降噪方法，包括以下步骤：

步骤1：读取图像到计算机；

傍晚或夜晚，在人工光源情况下，使用连接摄像头的计算机连续采集人脸视频并存储在计算机内，从存储的视频中抽取一帧夜间人脸图像，存储为bmp格式，记为i(x,y)；

步骤2：图像空间转换；

对于待处理图像i(x,y)，将其从rgb空间转换到hsv空间，在转换后的hsv空间中，记色调分量为h(x,y)、饱和度分量为s(x,y)、亮度分量为v(x,y)；

步骤3：对亮度分量v(x,y)进行bemd分解，具体包括如下步骤：

步骤3.1：初始化分解层数n＝5；令e(x,y)＝v(x,y)；k＝0；i＝1；

步骤3.2：令k＝k+1；e(x,y)为二维信号，其包络曲面的极大值和极小值分别记为e+(x,y)和e-(x,y)，将二者的均值作为e(x,y)的包络均值，即：

步骤3.3：使用e(x,y)减去包络均值，得到：

步骤3.4：判断是否为imf分量，定义imf分量的判定特征指数sd为：

imf分量的判定特征指数sd<0.25；

如果k＝1或者sd≥0.25，则不符合imf分量的定义，需重复上述过程，此时令然后转步骤3.2；

否则，符合imf的定义，转步骤3.5；

步骤3.5：计算图像分量v(x,y)的第i阶imf分量，即：

步骤3.6：将imfi(x,y)从图像e(x,y)中分离，得到余项r(x,y)，即：

r(x,y)＝e(x,y)-imfi(x,y)(5)；

步骤3.7：如果i≤n,则将余项r(x,y)作为新信号，即令e(x,y)＝r(x,y)，重复步骤3.2至步骤3.7，直至i>n，然后转步骤3.8；

步骤3.8：将亮度分量v(x,y)进行分解，得到：

此时亮度分量v(x,y)分解得到5个imf和一个余项r(x,y)，即6个频带；对分解得到的6个频带转步骤4处理：

步骤4：对分解得到的低频imf分量和余项r(x,y)进行消噪滤波，去除照射分量，具体包括如下步骤：

步骤4.1：定义滤波器，如公式(7)所示：

式中，g(x,y)为滤波器输出结果，表示输出(x,y)位置的像素值g依赖于邻域内像素值f的加权组合，(k,l)表示像素(x,y)的邻域像素位置；权重系数w(x,y,k,l)等于空间域核d(x,y,k,l)和值域核r(x,y,k,l)的乘积，即：

w(x,y,k,l)＝d(x,y,k,l)·r(x,y,k,l)(8)；

其中，

则有：

式中，σd为空间域方差，σr为值域方差；

步骤4.2：利用公式(7)定义的滤波器分别对低频imf分量imf4(x,y)、imf5(x,y)和余项r(x,y)进行滤波处理，消除噪声成分，滤波后的结果记为：imf4′(x,y),imf5′(x,y),r′(x,y)；

步骤5：对分解得到的高频imf分量imf1(x,y),imf2(x,y),imf3(x,y)分别进行边缘、纹理细节信息自适应增强与降噪，具体包括如下步骤：

步骤5.1：分别对高频imf分量imf1(x,y),imf2(x,y),imf3(x,y)进行小波分析；

步骤5.2：利用式(12)对小波系数进行自适应调节：

f(w)＝a[sigm(c(w-b))-sigm(-c(w+b))](12)；

其中，

式(12)、(13)中，w为小波系数，f(w)为增强后的小波系数，b和c为控制增强幅度的参数；

步骤5.3：重构增强后的小波系数，得到边缘、纹理细节信息自适应增强后的高频子带imf1′(x,y),imf2′(x,y),imf3′(x,y)；

步骤6：重构经步骤4、5处理后的imf分量，得到新的图像分量v′(x,y)；

按照式(14)重构经过步骤4、步骤5处理后的低、高频子带，得到去除照射分量和边缘细节信息增强的图像分量，记为v′(x,y)：

步骤7：对新的图像分量v′(x,y)进行对比度自适应增强处理，具体包括如下步骤：

步骤7.1：计算图像分量v′(x,y)的灰度统计直方图：

式中，sk为图像分量v′(x,y)的第k级灰度值，nk是灰度值sk的像素个数，n是像素总数，l是图像的灰度级总数；

步骤7.2：计算图像分量v′(x,y)的灰度累积概率密度p′(sk)：

步骤7.3：建立灰度值映射，即：

sk′＝μ×(l-1)×p′(sk),k＝0,1,2,...,l-1(17)；

式中，μ为灰度映射系数；

步骤7.4：将图像分量v′(x,y)中的灰度值sk变换成s′k，得到对比度增强后的图像分量v″(x,y)；

步骤8：对分量h(x,y)，s(x,y)分别进行小波自适应阈值降噪处理，得到降噪后的分量h′(x,y)、s′(x,y)；

步骤9：将对比度增强后的图像分量v″(x,y)与降噪后的分量h′(x,y)、s′(x,y)重构，得到去噪与增强后的图像，即：

i′(x,y)＝h′(x,y)+s′(x,y)+v″(x,y)(18)；

将经过处理的图像i′(x,y)从hsv空间转换到rgb空间；

至此，完成了夜间人脸视频图像的增强处理。

优选地，在步骤4.1中，取σd∈[3,5]，σr∈[0.05,0.15]。

优选地，在步骤5.2中，取b＝0.4，c＝50。

优选地，在步骤7.3中，取μ∈[0.85,0.95]。

本发明所带来的有益技术效果：

根据夜间人脸视频图像的特点，首先将图像从rgb空间转换到hsv空间，设计bemd分解算法将图像v分量的高、低频分量进行有效分离，对低频分量设计专用滤波器滤除噪声并去除照射分量，对高频分量设计算法增强边缘、纹理等细节信息；根据直方图分布特点设计算法对v分量进行对比度自适应增强，实现夜间人脸图像对比度的自适应增强；本方法在有效增强图像对比度的同时可锐化边缘、纹理等细节信息，有效提高了图像的清晰度，且能够去除夜间人脸图像增强中的光晕问题。

附图说明

图1为本发明中夜间人脸视频图像增强方法流程图；

图2为本发明中像素(x,y)与邻域像素(k,l)的位置关系示意图；

图3为本发明中夜间人脸图像转换到hsv空间的结果示意图；

图3(a)为夜间人脸图像；图3(b)为图像(a)的h分量示意图；图3(c)为图像(a)的s分量示意图；图3(d)为图像3(a)的v分量示意图；

图4为本发明中图像v分量经过bemd分解后生成的imf示意图；

图4(a)为imf1(x,y)的示意图；图4(b)为imf2(x,y)的示意图；图4(c)为imf3(x,y)的示意图；图4(d)为imf4(x,y)的示意图；图4(e)为imf5(x,y)的示意图；图4(f)为余项r(x,y)的示意图；

图5为本发明中经过降噪与增强处理后的imf示意图；

图5(a)为处理后的imf1(x,y)的示意图；图5(b)为处理后的imf2(x,y)的示意图；图5(c)为处理后的imf3(x,y)的示意图；图5(d)为处理后的imf4(x,y)的示意图；图5(e)为处理后的imf5(x,y)的示意图；图5(f)为处理后的余项r(x,y)的示意图；

图6为本发明中经过降噪与增强处理后的h、s、v分量及h、s、v分量的合成结果示意图；

图6(a)为降噪后的h分量；图6(b)为降噪后的s分量；图6(c)为降噪后的v分量；图6(d)为合成结果示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

一种夜间人脸视频图像增强与降噪方法，其流程如图1所示，包括以下步骤：

步骤1：读取图像到计算机；

傍晚或夜晚，在人工光源情况下，使用连接摄像头的计算机连续采集人脸视频并存储在计算机内，从存储的视频中抽取一帧夜间人脸图像，存储为bmp格式，记为i(x,y)；该图像包含有大量噪声且人脸细节信息较为模糊，且图像内容较暗，如图3(a)所示；

步骤2：图像空间转换；

对于待处理图像i(x,y)，将其从rgb空间转换到hsv空间，在转换后的hsv空间中，记色调分量为h(x,y)、饱和度分量为s(x,y)、亮度分量为v(x,y)，如图3(b)、(c)、(d)所示；

步骤3：对亮度分量v(x,y)进行bemd分解，具体包括如下步骤：

步骤3.1：初始化分解层数n＝5；令e(x,y)＝v(x,y)；k＝0；i＝1；

步骤3.2：令k＝k+1；e(x,y)为二维信号，其包络曲面的极大值和极小值分别记为e+(x,y)和e-(x,y)，将二者的均值作为e(x,y)的包络均值，即：

步骤3.3：使用e(x,y)减去包络均值，得到：

步骤3.4：判断是否为imf分量，定义imf分量的判定特征指数sd为：

imf分量的判定特征指数sd<0.25；

如果k＝1或者sd≥0.25，则不符合imf分量的定义，需重复上述过程，此时令然后转步骤3.2；

否则，符合imf的定义，转步骤3.5；

步骤3.5：计算图像分量v(x,y)的第i阶imf分量，即：

步骤3.6：将imfi(x,y)从图像e(x,y)中分离，得到余项r(x,y)，即：

r(x,y)＝e(x,y)-imfi(x,y)(5)；

步骤3.7：如果i≤n,则将余项r(x,y)作为新信号，即令e(x,y)＝r(x,y)，重复步骤3.2至步骤3.7，直至i>n，然后转步骤3.8；

步骤3.8：将亮度分量v(x,y)进行分解，得到：

此时亮度分量v(x,y)分解得到5个imf和一个余项r(x,y)，即6个频带，如图4所示；对分解得到的6个频带转步骤4处理：

步骤4：对图4(d)，(e)，(f)中的低频imf分量和余项r(x,y)进行滤波，去除照射分量，具体包括如下步骤：

步骤4.1：定义滤波器，如公式(7)所示：

式中，g(x,y)为滤波器输出结果，表示输出(x,y)位置的像素值g依赖于邻域内像素值f的加权组合，(k,l)表示像素(x,y)的邻域像素位置；权重系数w(x,y,k,l)等于空间域核d(x,y,k,l)和值域核r(x,y,k,l)的乘积，即：

w(x,y,k,l)＝d(x,y,k,l)·r(x,y,k,l)(8)；

其中，

则有：

式中，σd为空间域方差，σr为值域方差；特别地，取σd∈[3,5]，σr∈[0.05,0.15]。

步骤4.2：利用公式(7)定义的滤波器分别对低频imf分量imf4(x,y)、imf5(x,y)和余项r(x,y)进行滤波处理，消除噪声成分，滤波后的结果记为：imf4′(x,y),imf5′(x,y),r′(x,y)；如图5(d)，(e)，(f)所示；

步骤5：对图4(a)，(b)，(c)中的高频imf分量imf1(x,y),imf2(x,y),imf3(x,y)分别进行边缘、纹理细节信息自适应增强与降噪，具体包括如下步骤：

步骤5.1：分别对高频imf分量imf1(x,y),imf2(x,y),imf3(x,y)执行小波分析；

步骤5.2：利用式(12)对小波系数进行自适应调节，

f(w)＝a[sigm(c(w-b))-sigm(-c(w+b))](12)；

其中，

式(12)、(13)中，w为小波系数，f(w)为增强后的小波系数，b和c为控制增强幅度的参数；特别地，取b＝0.4，c＝50。

步骤5.3：重构增强后的小波系数，得到边缘、纹理细节信息自适应增强后的高频子带imf1′(x,y),imf2′(x,y),imf3′(x,y)；如图5(a)，(b)，(c)所示；

步骤6：重构分量v′(x,y)；

按照式(14)重构图5中所有经过处理的imf分量和余项，得到去除照射分量和边缘细节信息增强的图像分量，记为v′(x,y)：

步骤7：对图像分量v′(x,y)进行对比度自适应增强处理，具体包括如下步骤：

步骤7.1：计算图像分量v′(x,y)的灰度统计直方图：

式中，sk为图像分量v′(x,y)的第k级灰度值，nk是灰度值sk的像素个数，n是像素总数，l是图像的灰度级总数；

步骤7.2：计算图像分量v′(x,y)的灰度累积概率密度p′(sk)：

步骤7.3：建立灰度值映射，即：

sk′＝μ×(l-1)×p′(sk),k＝0,1,2,...,l-1(17)；

式中，μ为灰度映射系数，特别地，取μ∈[0.85,0.95]；

步骤7.4：将图像分量v′(x,y)中的灰度值sk变换成s′k，得到对比度增强后的图像分量v″(x,y)；如图6(c)所示；

步骤8：对分量h(x,y)，s(x,y)分别进行小波自适应阈值降噪处理，得到降噪后的分量h′(x,y)、s′(x,y)；如图6(a)、(b)所示；

步骤9：将对比度增强后的图像分量v″(x,y)与降噪后的分量h′(x,y)、s′(x,y)重构，即将图6中(a)、(b)、(c)三图重构，得到去噪与增强后的图像，如图6(d)所示，即：

i′(x,y)＝h′(x,y)+s′(x,y)+v″(x,y)(18)；

将经过处理的图像i′(x,y)从hsv空间转换到rgb空间；

至此，完成了夜间人脸视频图像的增强处理。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。