一种基于fpga的实时图像自适应增强系统及方法
【技术领域】
[0001] 本发明涉及一种基于FPGA的实时图像自适应增强系统及方法。属于图像增强处 理领域。
【背景技术】
[0002] 近年来，图像增强技术广泛用于生物医学、机器视觉、遥感航天领域。其中，获得高 品质的实时图像是一个难点，主要因素有：在图像的产生过程中，不可避免的由于环境、光 照、运动、曝光等因素，影响图像的质量；随着图像分辨率和帧频的提高，图像数据量越来越 大，图像的实时性处理难度增加。因此，频率域图像增强方法，这些需要存在域之间变换和 反变换、计算复杂的方法难以满足实时性要求。
[0003] 针对实时图像自适应增强，比较常用方法有直方图均衡化和分段线性变换法。直 方图均衡法的优点是能自动地增强整个图像的对比度，但它的具体增强效果不易控制，往 往在增强目标的同时，也增强了背景和噪声，并且可能出现大量灰度合并的现象。而分段线 性变换法算法简单，它的形式可以任意组合，适应性强。但是分段线性变换法需要较多的用 户输入，以便确定分段区域、比例系数，获得最佳增强效果。
[0004] 目前国内，针对分段线性变换法，发表的文献有《红外技术》的《基于FPGA的红外 图像自适应分段线性增强算法》和《光电子技术》的《一种红外测量图像自适应分段线性灰 度变换方法》。此类技术主要采用三段线性增强方法，把一幅图像分成三部分，灰度级较高 的目标、灰度较低的背景和介于背景和目标的过渡区域，对目标区域进行拉伸，对背景区域 进行压缩，对过渡区域不拉伸。此类方法对红外图像取得了较好的效果，但是对可见光等其 它类型图像，适应性不好，况且如果图像目标区域已经很亮，继续采用此类方法，对目标区 域进行拉伸，效果将变差。
【发明内容】
[0005] 本发明的技术解决问题是：针对现有技术中，一幅图像采用，对目标区域进行拉 伸，对背景区域进行压缩，对过渡区域不拉伸。这种三段线性增强方法适应性不强，对过亮 区域处理失效的问题，提供了一种基于FPGA的实时图像自适应增强系统及方法，不仅能够 对不同类型图像进行有效增强，而且对偏暗图像进行增强，对偏亮图像进行减弱，达到了自 适应增强效果。
[0006] 本发明的技术解决方案是：一种基于FPGA的实时图像自适应增强系统，包括Y分 量变换模块、统计直方图模块、计算比例系数模块、数据转换模块、图像插值模块、YUV变换 模块、缓存延时模块、分段线性变换模块，在FPGA中能实现。
[0007] 外部传感器将采集的Bayer格式图像数据，包括多比特数据、lbit场同步信号和 lbit行同步信号，分别送至数据转换模块和Y分量变换模块；
[0008] Y分量变换模块，根据lbit场同步信号和lbit行同步信号，将外部传感器采集的 Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信 号、Y分量变换后的行同步信号，变换公式如下：
[0009] Y= 0. 299XR+0. 587G+0. 114B
[0010] 式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的 均值，B为2x2像素中的一个蓝Blue分量；
[0011] 将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同 步信号，送至统计直方图模块；
[0012] 统计直方图模块，根据Y分量变换后的场同步信号、Y分量变换后的行同步信号， 把Y分量变换后的Y分量的灰度值分成5段区域，分别是[0, 50]、（50, 100]、（100, 150]、 (150, 200]、（200, 255]，统计[0, 50]区域的Y分量像素个数为R1，统计（50, 100]区域的Y 分量像素个数为R2,统计（100, 150]区域的Y分量像素个数为R3,统计（150, 200]区域的 Y分量像素个数为R4,统计（200, 255]区域的Y分量像素个数为R5,然后把[0, 50]区域的 Y分量像素个数为R1、（50, 100]区域的Y分量像素个数为R2、（100, 150]区域的Y分量像 素个数为R3、（150, 200]区域的Y分量像素个数为R4、（200, 255]区域的Y分量像素个数为 R5,送至计算比例系数模块；
[0013] 计算比例系数模块，根据[0, 50]区域的Y分量像素个数为R1、（50, 100]区域的Y 分量像素个数为R2、（100, 150]区域的Y分量像素个数为R3、（150, 200]区域的Y分量像 素个数为R4、（200, 255]区域的Y分量像素个数为R5,按照线性比例关系，产生[0, 50]区 域的比例系数K1、（50, 100]区域的比例系数K2、（100, 150]区域的比例系数K3、（150, 200] 区域的比例系数K4、（200, 255]区域的比例系数K5,线性比例关系公式如下：
[0014]
其中 0 彡b< 1，n= 1，2-5
[0015] 式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调 节的参数，通过改变该参数来控制增强强度；
[0016] 产生的[0, 50]区域的比例系数K1、（50, 100]区域的比例系数K2、（100, 150]区域 的比例系数K3、（150, 200]区域的比例系数K4、（200, 255]区域的比例系数K5,送至分段线 性变换模块；
[0017] 数据转换模块，根据外部传感器采集的Bayer格式图像数据中的lbit行同步信号 和lbit场同步信号，将外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转 换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接 口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像 的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数 据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图 像插值模块；
[0018] 图像插值模块，根据按行读出Bayer格式图像的行同步信号、按行读出Bayer格式 图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图 像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、 三基色RGB彩色图像的场同步信号，送至YUV变换模块；
[0019] YUV变换模块，根据三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场 同步信号，对三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同 步信号、YUV图像的行同步信号，变换公式如下：
[0020]
[0021] 变换后的YUV图像包括Y分量、U分量、V分量；
[0022] 将该YUV图像的U分量、V分量，送至缓存延时模块；
[0023] 将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线 性变换模块；
[0024] 分段线性变换模块，根据YUV图像的场同步信号、YUV图像的行同步信号，对YUV图 像的Y分量按照[0, 50]区域的比例系数K1、（50, 100]区域的比例系数K2、（100, 150]区域 的比例系数K3、（150, 200]区域的比例系数K4、（200, 255]区域的比例系数K5,进行分段线 性变换，公式如下：
[0025]
[0026] 式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的 Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信 号、分段线性变换后的行同步信号；
[0027] 缓存延时模块，对YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分 量、缓存延时后的V分量与分段线性变换后的Y分量、分段线性变换后的场同步信号、分段 线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。
[0028] 所述图像插值模块，根据Bayer格式图像的行同步信号、Bayer格式图像的场同步 信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像采用双线性内 插法。
[0029] 基于上述系统的一种基于FPGA的实时图像自适应增强方法，步骤如下：
[0030] (1)外部传感器将采集的Bayer格式图像数据，包括多比特数据、lbit场同步信号 和lbit行同步信号，分别送至数据转换模块和Y分量变换模块；
[0031] (2)Y分量变换模块，根据步骤（1)lbit场同步信号和lbit行同步信号，对步骤 (1)将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、 Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：
[0032] Y= 0. 299XR+0. 587G+0. 114B
[0033] 式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的 均值，B为2x2像素中的一个蓝Blue分量；
[0034] 将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同 步信号，送至统计直方图模块；
[0035] (3)统计直方图模块，根据步骤（2)Y分量变换后的场同步信号、Y分量变换后的 行同步信号，把步骤（2)Y分量变换后的Y分量的灰度值分成5段区域，分别是[0, 50]、 (50, 100]、（100, 150]、（150, 200]、（200, 255]，统计[0, 50]区域的Y分量像素个数为R1，统 计（50, 100]区域的Y分量像素个数为R2,统计（100, 150]区域的Y分量像素个数为R3,统 计（150, 200]区域的Y分量像素个数为R4,统计（200, 255]区域的Y分量像素个数为R5,然 后把[0, 50]区域的Y分量像素个数为R1、（50, 100]区域的Y分量像素个数为R2、（100, 150] 区域的Y分量像素个数为R3、（150, 200]区域的Y分量像素个数为R4、（200, 255]区域的Y 分量像素个数为R5,送至计算比例系数模块；
[0036] (4)计算比例系数模块，根据步骤（3)[0,50]区域的Y分量像素个数为R1、 (50, 100]区域的Y分量像素个数为R2、（100, 150]区域的Y分量像素个数为R3、（150, 200] 区域的Y分量像素个数为R4、（200, 255]区域的Y分量像素个数为R5,按照线性比例关系， 产生[0, 50]区域的比例系数K1、（50,100]区域的比例系数K2、（100,150]区域的比例系 数K3、（150, 200]区域的比例系数