一种低照度图像实时增强方法与流程

本发明属于嵌入式图像处理
技术领域：
，涉及一种低照度图像实时增强方法。
背景技术：
：针对低照度视频图像的特点，国内外学者提出了很多降噪和图像增强方法。多数算法着眼于如何提高低照度图像的对比度和亮度，而对于如何对噪声进行处理的算法还比较少。事实上，低照度图像的信噪比是很低的，如果不先降低图像的噪声，直接进行对比度和亮度的增强获得的效果很有限。针对低照度的图像降噪方法可分为单帧图像内处理和多帧图像间处理的方法。基于单帧图像的降噪算法很难获得比较好的效果。例如多尺度强度区间标准差截断法，BM3D算法等图像降噪方法，这些方法均对原始图像有信噪比要求，如果图像信噪比很低，则很难进行块匹配，失去降噪效果。基于多帧图像纵向处理减小图像噪声的方法可以增加时间轴信息，对处理低照度图像降噪有明显优势。如典型的小目标探测方法首先通过多帧图像的能量累积减小随机噪声，然后通过改进的顶帽算法去掉背景，能够有效提取和识别小目标。典型的时空域联合降噪算法首先通过帧间比较去噪技术减小闪烁噪声的尺寸，然后进一步使用中值滤波和超快中值滤波方法将噪声除去，实验结果显示，该方法能够有效提高微光图像的信噪比。这两种方法都是首先利用视频图像帧间的相关性，使用多帧图像纵向处理的方法减小噪声，再进一步使用基于单帧图像的增强算法提高信噪比，都是有效的多帧图像增强算法。但是，小目标探测法中去掉背景的方法复杂度很高，如果不能实时处理，将大大限制低照度电视系统的应用范围；而时空降噪算法虽然有效减小了闪烁噪声，提高了信噪比，但是缺少后续图像增强的算法，不能有效解决低照度图像整体亮度小、对比度低的问题。技术实现要素：本发明为了解决目前低照度图像降噪实时性以及完善降噪后对比度低的问题，提出一种低照度图像实时增强方法。为了解决上述技术问题，本发明的技术方案如下：一种低照度图像实时增强方法，其特征是，该方法基于图像处理单元和驱动信号控制单元实现，且两个单元由同一块FPGA完成，驱动信号控制单元控制低照度相机以最高帧频输出，图像处理单元对接收的原始图像进行处理，图像处理单元由能量累计模块和直方图均衡化模块共同组成；该方法过程是首先通过能量累积模块提高图像信噪比，然后通过直方图均衡化模块提高图像对比度。本发明的有益效果：采用能量累积方法提高信噪比，在能量累积模块中，在读取图像时，由于各帧图像在各自的RAM缓存位置相同，所以只需要共用一个读地址产生器，控制简单；进一步，在读取第m个像元值之后的写操作的地址也恰恰是第m个像元值的地址，所以读、写操作可以共用一个地址发生器，进一步节省了FPAG内部开销。而使用FPGA内部RAM而非外部RAM，也节约了FPGA的IO开销。直方图均衡化模块将生成累积直方图和输出同时进行，代替映射查找表，避开了除法运算，不仅满足了图像处理的实时性要求，而且相比于传统算法结构没有了帧缓存，节约了片上资源。该方法具有实时处理的特性，能够满足低照度相机工作在50pfs的要求。附图说明图1：本发明一种低照度图像实时增强方法所应用的硬件结构组成示意图。图2：本发明所述多片小容量RAM累加模块组成图。图3：本发明所述控制时序图。图4：本发明所述直方图均衡化算法模块流水处理流程图。图5：本发明所述由计数器替代RAM的累积直方图实现结构。图6：本发明所述的一种低照度图像，(a)为原图像；(b)为处理后的图像。具体实施方式下面结合附图对本发明做进一步详细说明。如图1所示，一种低照度图像实时增强方法基于图像处理单元和驱动信号控制单元实现，且两个单元由同一块FPGA完成；驱动信号控制单元控制低照度相机以最高帧频输出；图像处理单元由能量累计模块和直方图均衡化模块共同组成，图像处理单元对接收的原始图像进行处理；首先通过F(F≥2)帧的能量累积模块提高图像信噪比，然后通过直方图均衡化模块提高图像对比度，实现低照度图像实时增强。一种低照度图像实时增强方法，具体包括以下步骤：第一步，能量累积模块提高图像信噪比。下面以M帧图像累加阐述如何通过图像累加提高图像信噪比的算法原理。Di(x,y)＝S(x,y)+Ni(x,y)(1)其中，S(x,y)表示目标真实像素值，Ni(x,y)表示噪声，Di(x,y)表示图像实际的像素值。假设噪声服从均值为0的高斯分布，并且相邻的帧不相关，即：E{Ni(x,y)}＝0(2)E{Ni(x,y)+Nj(x,y)}＝E{Ni(x,y)}+E{Nj(x,y)}(i≠j)(3)E{Ni(x,y)Nj(x,y)}＝E{Ni(x,y)}E{Nj(x,y)}(i≠j)(4)定义功率信噪比Pi为：Pi=S2(x,y)E{Ni2(x,y)}---(5)]]>对M幅图像进行累加，求均值，表达式为：D‾(x,y)=1MΣi=0M-1Di(x,y)=1MΣi=0M-1[S(x,y)+Ni(x,y)]---(6)]]>则处理后图像的功率信噪比为：P‾=S2(x,y)E{[(1M)Σi=0M-1Ni(x,y)]2}=M2S2(x,y)ME{Ni2(x,y)}=MPi---(7)]]>可以看出，经过M幅图像相加、求平均，图像的功率信噪比可以提高M倍，而振幅信噪比的平方为功率信噪比，所以振幅信噪比将提高倍，如式(8)所示：SNR=P‾=M×Pi---(8)]]>通过以上分析，在相邻帧不相关的前提下，通过能量累积的方法可有效减小视频图像的随机噪声，提高信噪比。以4帧图像为例说明提高信噪比的实现过程。如图2所示，能量累积模块在FPGA内部采用多片RAM结构，共用一个读地址，在一个时钟周期完成能量累积计算，RAM的读写速率与像素值输入速率相同，并且读、写地址使用同一个地址发生器。能量累积模块针对第1、2、3、4幅图像做第一次累加，第2、3、4、5幅图像做第二次累加，第3、4、5、6幅图像做第三次累加，以此类推。处理前后，帧频不变。每个RAM存放一帧图像。当第n+4帧图像输入时，将每个像素值与前3帧(第n+1、n+2、n+3帧)图像的对应像素值做累加，将累加结果求平均，然后将该像元值存储到第n帧的对应位置处覆盖原来的像元值。在具体实现时，该结构不需要频繁更改读写地址，使用双口RAM，其时序控制如图3所示。假设在某一个上升沿，第n+4帧图像第m个像元值输入，则同时将第n+3、n+2、n+1帧图像的对应像元值一起读出，并改变写地址；在下降沿进行累加计算，并将第n+4帧图像第m个像元值写入RAM，覆盖第n帧图像第m个像元值；在下一个时钟上升沿，第n+4帧图像第m+1个像元值输入，则同时将第n+3、n+2、n+1帧图像的对应像元值一起读出，并改变写地址，如此循环实现以4帧图像为一个单元的图像累加。所述累加结果求平均的方法为：使用12位输入寄存器的后10位接收探测器输出的像元值，为节省RAM空间，以10位格式写入和读出，读出的数据存储到12位寄存器组当中，最后将4幅图像累加计算结果的前10位作为有效数据输出，完成求取均值的操作，后两位舍弃。第二步，直方图均衡化模块提高图像对比度。在利用能量累积有效减小噪声后，使用直方图均衡化模块提高图像对比度，有效显示图像细节。sk=T(rk)=LΣj=0knjn,k=1,2,3......L-1---(9)]]>直方图均衡化的离散形式如式(9)所示，n是图像中像素的总数，nk是灰度级为rk的像素个数，L为图像最大灰度值。通过该变换，将输入图像中灰度级为rk的各像素映射到输出图像中灰度级为sk的对应像素得到输出图像。为实现实时处理，同时减少帧缓存器，直方图均衡化模块采用如下操作流程如图4所示，利用上一帧图像查找表作为本次处理的依据映射输出，同时通过直方图累加器生成新的查找表，提供给下一帧图像使用。对式(9)变形，通过累积直方图来替代映射查找表，如式(10)所示：sk=T(rk)=LnΣj=0knj,k=1,2,3......L-1---(10)]]>式中L/n为浮点小数，在FPGA中可以通过乘一个整数，再除以一个2的幂的方式来近似。按公式(10)对一幅图像中所有像素点进行遍历计算后，生成的新的图像及为直方图均衡化结果。实施例：本发明实施以CIS411型号相机为成像部件，在实验室提供的低照度环境下，对探测器进行配置，输出帧频为50fps，像素输出速率为22.5Mpixel/s。该成像器件输出为768*576个有效像素，灰度等级为10bit，最大灰度为1023。能量累积模块以4帧图像作为一个累积单元，在FPGA内部开辟4个大小为768*576*10bit的RAM，分别存放第n、n+1、n+2、n+3帧图像，完成4帧图像存储后，同时读取每个帧图像中相同位置的像素值做累加，然后将结果存储到第n帧的对应位置覆盖原来的像素值。直方图均衡化模块操作分两步实现：第一步，生成累积直方图替代映射查找表(即求出公式10中的nj)，如图5所示。每一个像素值Data[9:0]在输入以后都同时与0-1023分别进行比较，结果存储到相应的计数器中(共1023个计数器)，当一帧图像中所有像素值比较完毕后，1023个计数器的值就是累积直方图。第二步，根据公式(10)按累积直方图映射输出得出直方图均衡化结果。其中L/n，L为最大灰度1023，n为768*576，在FPGA中可以通过乘一个整数，再除以一个2的幂的方式来近似。计算后得出整数位9，然后除以2的12次幂，结果如公式(11)所示Ln=1023768*576≈0.0023≈9212---(11).]]>FPGA主频设定为45MHz，通过能量累积模块和直方图均衡化模块操作后，结果显示上位机收到的图像像素速率也是22.5Mpixel/s，验证了实时性。将原始图像和处理后的图像进行对比，如图6所示。其中，(a)为原图像，(b)为经过本图像处理系统增强后的图像。可以明显看出，处理后的图像整体质量优于原始图像。进一步使用信噪比、weber对比度、均方根对比度三个客观指标来评价图像处理效果，结果如表1所示。表1去噪性能分析上述数据表明经过实时处理系统处理，图像信噪比大幅度提高，对比度明显增大，图像质量显著提高。当前第1页1 2 3