专利名称：基于fpga的红外图像细节增强系统及其方法
技术领域：
本发明属于红外热成像技术领域，特别是一种基于FPGA的红外图像细节增强系统及其方法。
背景技术：
现代高性能红外热像仪能够输出动态范围很大的红外原始图像，原始的探测器数据范围一般在12-14位数据，这显然超出了显示设备的动态范围。一般典型的显示设备，如监视器，其只能够接收8位图像信号。此外一般人眼只能够分辨128个灰度级。因此，当获得高动态范围的原始图像后，一个必须的过程就是将该高动态范围的原始图像进行重新映射，将其动态范围压缩。这个过程通常需要达到两个目的:第一:使输出图像的动态范围能够与显示的动态范围相匹配。第二:在完成第一点的同时，尽可能保留原始图像中存在的细节，使观测者能够观察到较好视觉效果的图像，且能够尽早区分隐藏在背景中的微弱目标。对于红外图像的对比度增强问题，国内外学者已经做了广泛的研究，许多使用的算法也在文献中广泛可见(1.K.Zuiderveld, “Contrast limited adaptivehistogram equalizaiton,，，in Graphics Gems IV, pp.474-485, Academic PressProfessional, Inc., San Diegol994.2.S.M.Pizer, E.P.Amburm, J.D.Austin, R.Cromartie, A.Geselowitz, T.Greer, B.T.H.Romeny, and J.B.Zimmerman, “Adaptivehistogram equalization and its variations, ^Comput.Vis.Graph.1mageProcess.39 (3)，355-3681987.)。然而这些对比度增强方法大部分是针对低动态范围红外图像的，也就是8位的红外图像，并且，大部分算法仅仅考虑了静止图像的增强问题，没有考虑到实时系统中的应用。显然，对比度改善与细节增强这个工序应该针对原始的高动态范围图像才更有意义，因为通过AD采样得到的原始图像信号中包含了场景中最完整的信息，且存在许多微弱的细节信息。但是`，不得不承认，将对比度增强转移到原始图像上将会是一个更具挑战性的工作。必须采用一些复杂的技术才能将原始信号映射到适合显示的动态范围，并且保持，甚至提升微弱细节的可见性与图像的整体对比度。自动增益控制与正方图均衡是红外成像系统中使用最广泛的图像显示技术。自动增益控制首先剔除场景中的极端值，然后将整体的动态范围线性映射到8位。直方图均衡图像的灰度映射函数采用原始图像的累积分布函数，通过直方图均衡后图像的像素分布近似满足均匀分布。所以直方图均衡更加强调出现频率较大的灰度级，所以经过直方图均衡的图像不可避免的出现过增强，均匀区域噪声放大，漂白效应等问题。考虑到自动增益控制与直方图均衡方法的不足，许多更加复杂的方法被提出:如 Retinex，BF&DRP 方法(3.WANG Yan-chen,LI Shu-jie, HUANGLian-qing, “Enhancement of radiography based multiscale Retinex，，，Optics andPrecisio Engineering, Vol.14, N0.1, 2005.4..F.Branchitta, M.Diani, G.Corsini, andA.Porta, “New technique for the visualization of high dynamic range infraredimages, ”0pt.Eng.48(9)，0964012009.)等,但这些方法主要是针对可见光图像而已，即对于可见光图像具有良好的效果，但是对红外图像效果不佳，特别是噪声放大的问题。此外算法的普适性与实时性不佳，难以真正应用到实际系统中。目前效果好的细节增强算法大多相对复杂，多用于计算机视觉或嵌入式DSP处理。使用FPGA实现复杂的红外图像细节增强算法相当空白，处理效果也无法达到人们的期望。
发明内容
本发明的目的在于提供一种基于FPGA的红外图像细节增强系统及其方法，提高图像的对比度，增强细节信息，抑制背景噪声，解决了目前红外热像仪成像系统中图像普遍边缘模糊，对比度和细节区分区低，视觉效果差的技术问题。实现本发明目的的技术解决方案为:一种基于FPGA的红外图像细节增强系统及其方法，包括双边滤波模块、高斯滤波模块、投影直方图模块和自动增益控制模块，双边滤波模块与高斯滤波模块连接，高斯滤波模块分别与投影直方图模块和自动增益控制模块连接，原始输入数据先经过双边滤波模块，得到图像图形基频信息；基频信息再经过高斯滤波模块，将基频信息平滑处理，并将结果与原始输入数据做差，得到图像细节信息；细节信息经过自动增益控制模块放大处理，同时，基频信息经过投影直方图模块进行压缩处理，最后将两者的输出求和，即得到输出图像。本发明与现有技术相比，其显著优点:(1)本发明能将输入的大动态范围图像数据压缩到适合显示的动态范围，在这个压缩过程中，提高图像的对比度，增强细节信息，抑制背景噪声，解决了目前红外热像仪成像系统中图像普遍边缘模糊，对比度和细节区分区低，视觉效果差的技术问题，实现了现有细节增强手段达不到的场景目标区分能力。(2)本发明提供了多个可调节参数，可移植性强，且对于不同的场景信息均能有相当好的处理，并能广泛应用于红外检测、化学成像、夜视驾驶辅助、安全监控以及目标跟踪等对红外图像质量要求较高的红外热像仪成像系统中。下面结合附图对本发明作进一步详细描述。
图1是本发明基于FPGA的红外图像细节增强系统架构图。图2是双边滤波模块实现流水线架构图。图3是投影直方图模块实现示意图。图4 Ca)是在室外场景情况下通过普通平台直方图处理得到的效果图像。图4 (b)是在室外场景情况下通过本发明直方图处理得到的效果图像。图5 Ca)是在大面积、高温物体场景情况下通过普通平台直方图处理得到的效果图像。图5 (b)是在大面积、高温物体场景情况下通过本发明直方图处理得到的效果图像。
具体实施例方式结合图1，本发明基于FPGA的红外图像细节增强系统及其方法，包括双边滤波模块、高斯滤波模块、投影直方图模块和自动增益控制模块，双边滤波模块与高斯滤波模块连接，高斯滤波模块分别与投影直方图模块和自动增益控制模块连接，输入的原始图像数据一方面经过双边滤波模块和高斯滤波模块得到图像的基频信息，一方面缓存上述处理的延迟时间并与基频信息做差，得到图像的细节层数据。图像细节层数据和基频数据单独处理:细节层经过自适应增益控制增强处理；基频信息经过投影直方图压缩至显示范围。两者求和，并做适当的防溢出操作即得到输出图像数据。在上述处理中，最重要的是要设计好复杂计算过程中的关键时序以及数据位宽。在设计过程中要尽量优化FPGA内部在综合过程中的关键时序，如建立保持时间等，避免出现时序警告而导致图像异常。所有模块均由一片FPGA实现，整个系统呈流水线，包括4个子模块，分别是双边滤波模块、高斯滤波模块、投影直方图模块和自动增益控制模块。输入数据先经过双边滤波模块，得到图像图形基频信息；再经过高斯滤波模块，将基频信息适度平滑处理，并将结果与原始图像做差，得到图像细节信息；细节信息经过自动增益控制模块放大处理，同时，基频信息经过投影直方图模块进行压缩处理，最后将两者的输出求和，即得到输出图像。各个模块提供多个可调参数，可适应不同热像仪参数要求以及不同场景内容。图2是双边滤波模块实现的详细流程图。双边滤波模块接收输入的14位(或16位)原始图像数据(即高动态范围图像)，在7X7的处理窗口中，对其中的49个数据进行空间域和强度域的联合滤波处理，窗口中心像素值最终由窗口中各个像素的加权均值替代，并作为双边滤波模块的输出图像数据，后接高斯滤波模块处理。由空间域与强度域想乘求得的加权系数将作为自动增益控制模块中的自适应系数。双边滤波模块工作原理与具体硬件实现描述如下:非线性滤波器中，最具有代表性的是双边滤波，对输入的高动态范围图像进行双边滤波处理公式如下:
权利要求
1.一种基于FPGA的红外图像细节增强系统，其特征在于包括双边滤波模块、高斯滤波模块、投影直方图模块和自动增益控制模块，双边滤波模块与高斯滤波模块连接，高斯滤波模块分别与投影直方图模块和自动增益控制模块连接，原始输入数据先经过双边滤波模块，得到图像图形基频信息；基频信息再经过高斯滤波模块，将基频信息平滑处理，并将结果与原始输入数据做差，得到图像细节信息；细节信息经过自动增益控制模块放大处理，同时，基频信息经过投影直方图模块进行压缩处理，最后将两者的输出求和，即得到输出图像。
2.根据权利要求1所述的基于FPGA的红外图像细节增强系统，其特征在于在双边滤波模块中，输入原始图像数据，在7X7的处理窗口中，对其中的窗口数据进行空间域和强度域的双边滤波处理，窗口中心像素值最终由窗口中各个像素的加权均值替代，并作为双边滤波模块的输出图像数据，后接高斯滤波模块处理；由空间域与强度域想乘求得的加权系数作为自动增益控制模块中的自适应系数，具体如下:在双边滤波模块中，首先对输入的高动态范围图像进行双边滤波处理:
3.根据权利要求1所述的基于FPGA的红外图像细节增强系统，其特征在于高斯滤波模块使用滤波器窗口为固定模板，如下所示:
4.根据权利要求1所述的基于FPGA的红外图像细节增强系统，其特征在于投影直方图模块包含一个控制模块连接两片片内RAM，在图像帧信号为高时，RAMl以像素时钟频率统计当前帧图像的直方图信息，RAM2存储的是上一帧图像投影均衡处理完的直方图，为减少缓存一帧图像数据带来的存储器资源压力，当前帧图像在做直方图处理时，采用上一帧图像的直方图输出；在图像帧信号为低时，RAMl中的直方图信息先二值化，即当某个灰度级的数据高于设定阈值时，该灰度标记为1，否则为O ;二值化的直方图进行累加，结果存储在RAM2中，用于下一帧输出，同时RAMl清零，以便下一帧开始统计新的直方图信息。
5.根据权利要求4所述的基于FPGA的红外图像细节增强系统，其特征在于存储在RAMl的投影直方图H(X)表示为
6.根据权利要求4所述的基于FPGA的红外图像细节增强系统，其特征在于自动增益控制模块从双边滤波模块处理后缓存过来的自适应系数，作为细节层的增益控制因子，对细节层进行自适应的增强，即该系数先归一化处理，然后以一固定的增益和偏置因子，将该系数调整至人眼感知范围得到相应像素的增强因子； 细节图像的增益取值范围在Gmin到Gmax,通过线性映射的方式获得细节图像的增益表达式:
7.根据权利要求6所述的基于FPGA的红外图像细节增强系统，其特征在于在自适应的增强处理中，将归一化的自适应系数放大512*512/256倍，16位，其中由两个左移9位的双边滤波器系数产生18位放大，然后舍弃系数低2位保存，获得16位的放大，处理的公式如下:
8.一种基于FPGA的红外图像细节增强方法，其特征在于原始输入数据先经过双边滤波，得到图像图形基频信息；基频信息再经过高斯滤波，将基频信息平滑处理，并将结果与原始输入数据做差，得到图像细节信息；细节信息经过自动增益控制放大处理，同时，基频信息经过投影直方图进行压缩处理，最后将两者的输出求和，即得到输出图像； 在双边滤波中，输入原始图像数据，在7X7的处理窗口中，对其中的窗口数据进行空间域和强度域的双边滤波处理，窗口中心像素值最终由窗口中各个像素的加权均值替代，并作为双边滤波的输出图像数据，由空间域与强度域想乘求得的加权系数作为自动增益控制中的自适应系数，具体如下: 首先对输入的高动态范围图像进行双边滤波处理:
9.根据权利要求8所述的基于FPGA的红外图像细节增强方法，其特征在于投影直方图在一个控制模块连接的两片片内RAM中进行实现，在图像帧信号为高时，RAMl以像素时钟频率统计当前帧图像的直方图信息，RAM2存储的是上一帧图像投影均衡处理完的直方图，为减少缓存一帧图像数据带来的存储器资源压力，当前帧图像在做直方图处理时，采用上一帧图像的直方图输出；在图像帧信号为低时，RAMl中的直方图信息先二值化，即当某个灰度级的数据高于设定阈值时，该灰度标记为1，否则为O ;二值化的直方图进行累加，结果存储在RAM2中，用于下一帧输出，同时RAMl清零，以便下一帧开始统计新的直方图信息； 所述的存储在RAMl的投影直方图H(X)表示为
10.根据权利要求8所述的基于FPGA的红外图像细节增强方法，其特征在于自动增益控制从双边滤波处理后缓存过来的自适应系数，作为细节层的增益控制因子，对细节层进行自适应的增强，即该系数先归一化处理，然后以一固定的增益和偏置因子，将该系数调整至人眼感知范围得到相应像素的增强因子； 细节图像的增益取值范围在Gmin到Gmax,通过线性映射的方式获得细节图像的增益表达式:G(i，j) = Gmin+(l-f(i，j)) (Gmax-Gmin)=Gmin+d_k(i, j)) (Gmax-Gmin) Gmin设为1，Gmax=2.5-3获得较好的人眼视觉效果。
全文摘要
本发明公开了一种基于FPGA的红外图像细节增强系统及其方法，包括双边滤波模块、高斯滤波模块、投影直方图模块和自动增益控制模块，双边滤波模块与高斯滤波模块连接，高斯滤波模块分别与投影直方图模块和自动增益控制模块连接，原始输入数据先经过双边滤波模块，得到图像图形基频信息；基频信息再经过高斯滤波模块，将基频信息平滑处理，并将结果与原始输入数据做差，得到图像细节信息；细节信息经过自动增益控制模块放大处理，同时，基频信息经过投影直方图模块进行压缩处理，最后将两者的输出求和，即得到输出图像。本发明提高图像的对比度，增强细节信息，抑制背景噪声，解决了目前红外热像仪成像系统中图像普遍边缘模糊，视觉效果差的问题。
文档编号G06T5/00GK103177429SQ201310133168
公开日2013年6月26日 申请日期2013年4月16日 优先权日2013年4月16日
发明者隋修宝, 赵耀, 陈钱, 顾国华, 黄熙燕, 陶远荣, 匡小东, 沈雪薇, 季天慈 申请人:南京理工大学