红外与可见光图像融合的汽车抗晕光视频图像处理方法
【专利摘要】本发明公开了一种红外与可见光图像融合的汽车抗晕光视频图像处理方法，从规避碰撞物的角度，解决了夜间汽车晕光现象引起的交通安全问题，其实现包括有：采集夜间道路红外图像和可见光图像；以红外图像为准，做图像配准；分别对红外和可见光图像增强处理；提取增强后可见光图像的亮度信号分量Y和两个色度信号分量U和V；Y和增强后红外图像小波融合得到新的亮度信号分量Y′；Y′与U和V做YUV反变换得到最终的彩色融合图像。本发明在配准后增加了图像增强处理，并对其参数进行优化，在消除晕光的同时，对融合后图像的亮度和暗处细节信息有较大的保留和提升。本发明能够有效规避因晕光引起的碰撞问题。适用于汽车抗晕光领域。
【专利说明】
红外与可见光图像融合的汽车抗晕光视频图像处理方法
技术领域
[0001] 本发明属于汽车抗晕光技术领域，主要设及一种利用图像数据增强及融合技术对 红外热像仪与普通可见光摄像机同步采集的图像进行融合，具体是一种红外与可见光图像 融合的汽车抗晕光视频图像处理方法，用于夜间行驶汽车的抗晕光领域。
【背景技术】
[0002] 驾驶员灯光使用习惯对夜间道路车辆行驶安全有很大影响，远光灯的不正确使用 会使对向来车的驾驶员受晕光干扰造成视觉盲区，无法看清两车间的行人W及前车两侧和 后方的事物，极易诱发交通事故。抗晕光的方法主要有物理格挡处理、车载图像传感器改进 和视频图像处理=个方向。物理格挡是较为传统和原始的方法，例如在双向车道中间设置 植物隔离带或者隔光板，该类方法效果较好，但受城建规划、经济条件等因素影响，目前一 般只应用于新建城市主干道和高速公路。改进图像传感器可W部分消除晕光效果，如中国 专利《抗晕光面阵CCD图像传感器》，专利号为化200710018244.2，公开了 一种可W单独控制 每个像素点积分时长的面阵CCD传感器消除晕光的方法，提升了图像抗晕光的整体效果，但 实现难度较大。随着忍片技术和视频处理技术的进步，各种各样的抗晕光视频图像处理技 术不断出现，基于视频图像处理的抗晕光技术克服了物理格挡的弊端，但不同的视频图像 处理方法之间仍有较大的差别和不足。目前视频图像处理的抗晕光技术主要有红外抗晕光 技术、视频图像融合抗晕光技术等。红外抗晕光技术是采用红外热成像仪采集前方道路的 红外图像达到消除晕光的目的，例如德国汽车制造商在奔驰S500L等高档轿车上配备了红 外夜视系统，来解决晕光干扰问题。利用红外热成像技术检测物体热福射的红外线特定波 段信号，并转换成可供人眼视觉分辨的图像，其波长在0.75WI1到500WI1之间，采集信号时不 受波长在0.4WI1到0.75WI1之间的可见光影响，而晕光又集中在可见光波长范围内，因此加装 红外热相仪能完全消除晕光现象，但其存在颜色单一，图像重要细节信息如:车牌号、车身 颜色、交通信号灯颜色等无法获取的问题。视频融合抗晕光技术结合红外图像完全消除晕 光的特点和可见光图像图像信息丰富的特点，采用把红外图像和可见光图像融合的方法来 达到消除晕光的目的，本发明的工作前期着眼于晕光的消除，也采用了此类融合方式，其中 《基于YUV与小波变换的可见光与红外图像融合》W及《基于可见光和红外图像融合的汽车 抗晕光方法》中，都采用红外图像和可见光图像融合的方式来消除晕光，但由于特殊的夜间 道路环境，可见光图像也存在图像画面整体较暗，肉眼可识别的图像信息较少的不足。另 夕h通过对夜间晕光引起的交通安全事故分析发现，事故多发生在驾驶人员避让对向车辆 过程中，碰撞的物体多为对向车辆周围阴暗处的车辆、行人等。因此，如果不能提高图像暗 处细节信息，而仅仅依赖于提高消除晕光的效果，并不能完全有效地避免交通安全事故的 发生。
[0003] 本发明项目组对国内外专利文献和公开发表的期刊论文检索，尚未发现与本发明 密切相关和一样的报道或文献。
【发明内容】
[0004] 本发明的目的在于针对现有图像融合抗晕光技术存在融合后图像亮度低，暗处细 节信息缺失的缺点，提供一种在消除晕光的同时，能够提高图像亮度和增强图像暗处信息 的红外与可见光图像融合的汽车抗晕光视频图像处理方法。
[0005] 本发明是一种红外与可见光图像融合的汽车抗晕光视频图像处理方法，其特征在 于，红外与可见光图像融合的汽车抗晕光视频图像处理方法包括有W下步骤：
[0006] 步骤1车载红外热相仪和普通可见光摄像机采集到对应于同一时间空间的夜间道 路红外图像和可见光图像；
[0007] 步骤2W红外图像为参考图像，对两幅图像进行图像配准，得到在时间和空间上一 致性更高的红外图像和可见光图像；
[0008] 步骤3通过MSRCR图像增强算法对配准后的可见光图像进行增强处理，得到亮度更 高、图像信息更丰富的可见光图像；
[0009] 步骤4通过MSR图像增强算法对红外图像进行增强处理，得到对比度更高的红外图 像；
[0010] 步骤5对增强后的可见光图像进行YUV正变换提取出亮度信号分量Y和两个色度信 号分量U和V;
[0011] 步骤6把亮度信号分量Y和增强后的红外图像进行小波融合得到新的消除了晕光 的亮度信号分量r;
[0012] 步骤7对新的亮度信号分量r，色度信号分量U和V进行YUV反变换得到最终的融合 图像，完成对夜间道路图像的抗晕光处理，输出消除了晕光、增强了暗处细节信息的彩色融 合图像。
[0013] 本发明的思路在于各数据处理模块的先后顺序、整体数据处理步骤及参数设定取 值固定。
[0014] 与现有技术相比，本发明技术优势：
[0015] (1)本发明采用图像增强算法与图像融合算法相结合的方式，先增强再融合，优点 在于从消除晕光和避免实际碰撞情况发生两个角度来解决夜间行车晕光引起的安全问题。 图像融合可W消除晕光，让驾驶人员不再受到强光干扰。图像增强提高了图像质量，让夜晚 采集到的图像中的暗处信息变得容易观察，使驾驶人员能够对路况进行判断，做出正确的 行车路线选择。运是汽车抗晕光领域其他视频图像融合处理技术所不具备的
[0016] (2)本发明采用MSRCR图像增强算法对夜间道路的可见光图像进行增强，显著提高 了可见光图像的亮度，丰富了暗处细节信息。
[0017] (3)本发明采用MSR图像增强算法对红外图像进行增强，显著提高了红外图像的对 比度和亮度，提高了融合后图像的对比度和亮度。
[0018] (4)本发明采用的增强算法中各参数针对不同的图像特点有不同的取值，本发明 所确定的针对夜间道路图像增强的优选取值，在数据处理复杂度和性能取得了理想效果， 其中尺度C的个数和值的选取在图像的细节信息和整体视觉效果之间取得了理想权衡，权 重系数值的分配有效凸显了图像中的暗处细节信息。
【附图说明】：
[0019] 图1是本发明的流程框图；
[0020] 图2是针对实际路况获取的红外图像；
[0021] 图3是针对实际路况获取的可见光图像；
[0022] 图4是配准后的可见光图像；
[0023] 图5是增强后的可见光图像；
[0024] 图6是增强后的红外图像；
[0025] 图7是可见光亮度信号分量与红外图像融合后的新的亮度信号分量；
[0026] 图8是最终输出的消除了晕光的融合图像。
【具体实施方式】：
[0027] 下面结合附图对本发明作详细说明。
[0028] 实施例1
[0029] 通过对夜间晕光引起的交通安全事故分析发现，事故多发生在驾驶人员避让对向 车辆过程中，碰撞的物体多为前车周围阴暗处的车辆、行人等。因此，如果不能提高图像暗 处细节信息，而仅仅依赖于提高消除晕光的效果，并不能完全有效地避免交通安全事故的 发生。
[0030] 针对上述现状，本发明提出了一种红外与可见光图像融合的汽车抗晕光视频图像 处理方法，见图1，红外与可见光图像融合的汽车抗晕光视频图像处理方法包括有W下步 骤：
[0031] 步骤1车载红外热相仪和普通可见光摄像机采集到对应于同一时间空间的夜间道 路红外图像和可见光图像；
[0032] 步骤2W红外图像为参考图像，对两幅图像进行图像配准，得到在时间和空间上一 致性更高的红外图像和可见光图像；
[0033] 步骤3通过MSRCR图像增强算法对配准后的可见光图像进行增强处理，得到亮度更 高、图像信息更丰富的可见光图像；
[0034] 步骤4通过MSR图像增强算法对红外图像进行增强处理，得到对比度更高的红外图 像；
[0035] 步骤5再对增强后的可见光图像进行YUV正变换提取出亮度信号分量Y和两个色度 信号分量U和V。
[0036] 步骤6把亮度信号分量Y和增强后的红外图像进行小波融合得到新的消除了晕光 的亮度信号分量r。
[0037] 本发明将采集到的夜间道路红外图像和带有晕光的可见光图像，首先进行了图像 增强，然后进行了图像融合，提高了融合后图像的对比度和亮度。
[0038] 步骤7对新的亮度信号分量r，色度信号分量U和V进行YUV反变换得到最终的融合 图像，完成对夜间道路图像的抗晕光处理，输出的融合图像有效消除了晕光并增强了暗处 细节信息。
[0039] 本发明在处理的过程中各数据处理模块的先后顺序、整体数据处理步骤及参数取 值固定等保证了本发明消除晕光的效果W及对暗处细节信息的显示。
[0040]本发明采用图像融合与图像增强算法结合的方式。利用红外图像没有晕光和可见 光图像图像信息丰富、更适用于人眼观察的优点，将两种图像进行融合，消除了晕光;对采 集到的夜间道路的可见光图像进行图像增强可W提高图像亮度，丰富了图像的暗处细节信 息，让驾驶人员在受到晕光干扰时可W提前观察前车两侧事物，避免在避让的过程中发生 碰撞。对红外图像的增强提高了原红外图像的对比度，有效减轻了融合后图像模糊的现象。 图像融合与图像增强相结合，有效消除了晕光，并提高了图像亮度、丰富了图像暗处细节信 息。
[0041 ] 实施例2
[0042] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1，其中，步骤3 中所述通过MSRCR图像增强算法对可见光图像进行增强处理，包括有如下处理步骤：
[0043] 3.1根据下式，确定高斯环绕函数计算出相应的高斯模板，选取各模板对应的尺度 C；
[0044] F(x,y)=]i ? exp((-(x^+y^)^)/C^)&//F(x,y)dxdy= 1 (I)
[0045] 式中：F(x，y)表示所选用的高斯环绕函数模型；（x，y)表示像素点的坐标;ii表示对 应通道的归一化常数;C表示F(x，y)的尺度常数，尺度C越大，图像的动态范围压缩越大，与 之对应的图像细节越突出，尺度C越小，与之对应的图像整体效果越好，颜色越自然。
[0046] 3.2根据下式，计算巧巾尺度C下得到结果的加权平均，确定各尺度对应的权重系数 W的值；
[0047]
(2)
[004引式中：RMSRi(x，y)是不带色彩恢复的增强输出；N表示增强算法所采用的尺度数;Wn 是与F(x，y)对应的权重系数;Ii(x，y)为第i个颜色通道的像素点，iGR，G，B。本发明中的3 种尺度值是指C在特定区间的小、中、大取值。
[00例 3.3根据下式，计算彩色恢复因子。
[(K)加 ]
(3)
[0051] 式中：Ci(x，y)表示与此增强算法对应的彩色恢复因子，i表示其颜色通道;0表示 的是增益常数;a为受控制的非线性强度系数。
[0052] 3.4根据下式，将彩色恢复因子代入，得到增强后的可见光图像。
[0化3]
(4)
[0054] 式中：RMSRCRi(x，y)是带颜色恢复的MSRCR增强算法的输出，用于对可见光图像的增 强。
[0055] 本发明采用MSRCR图像增强算法对采集到的夜间道路环境下的可见光图像的处 理，可W提高夜间图像的亮度，丰富图像的暗处细节信息，使原本不易被察觉的前车两侧的 车辆、行人等暗处清晰变得可见，让驾驶人员在受到晕光干扰时可W提前观察前车两侧事 物，避免在避让的过程中发生碰撞。
[0056] 实施例3
[0057] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1-2,其中步骤4 中所述通过MSR图像增强算法对红外图像进行增强处理，包括有如下处理步骤：
[0058] 4.1根据下式，确定高斯环绕函数计算出相应的高斯模板，选取各模板对应的尺度 数C;
[0059] F(x,y)=y ? exp((-(x^V)^)/C^)&//F(x,y)dxdy= 1 (I)
[0060] 4.2根据下式，将红外图像类比成可见光图像的一个颜色通道，计算3种尺度下得 到结果的加权平均，权重系数W的值，并根据各权值获得增强后的红外图像；
[0061 ]
(勺）
[0062] 式中：RmsrU, y)是不带色彩恢复的增强输出；N表示增强算法所采用的尺度数;Wn 是与F(x，y)对应的权重系数;I(x，y)为像素点。
[0063] 本发明采用MSR增强算法对夜间道路环境下的红外图像进行处理，提高了红外图 像的对比度和亮度，使其纹理信息更明显，在与可见光图像融合后，图像更清晰，亮度更高。
[0064] 实施例4
[0065] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1 -3。
[0066] 图像增强的参数设置包括有：
[0067] 尺度个数N = 3，表示选取3个尺度;各个尺度对应的尺度数C在[1，249]范围内小、 中、大各取一个值，其中小值在[5,20]之间，中值在[100,130]之间，大值在[220,249]之间； 与小、中、大尺度数C对应的权重系数W分别为〇.3〇、〇.35、〇.35;增益常数0取值在[45,55]之 间；非线性强度系数a取值在[115,125]之间。本发明增强算法中的各参数在W上范围内取 值能够得到较好的增强效果。或者说，本发明中采用上述参数的优选取值，可见光图像和红 外图像的增强效果最为理想。
[0068] 下面给出一个完整的处理过程，对本发明做进一步说明。
[0069] 实施例5
[0070] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1 -4。
[0071] 本发明红外与可见光图像融合的汽车抗晕光视频图像处理方法，包括有图像配 准、图像增强、YUV正变换、小波融合及YUV反变换。车载红外热相仪和普通可见光摄像机采 集到对应于同一时间空间的夜间道路红外图像，见图2, W及可见光图像，见图3。本发明中 W红外图像为参考图像，对两幅图像进行图像配准，得到在时间和空间上一致性更高的红 外图像和可见光图像，见图4。通过图像增强算法对两幅图像分别进行增强处理，得到亮度 更高、图像暗处细节信息更丰富的可见光图像，见图5和对比度更高的红外图像，见图6。再 对增强后的可见光图像进行YUV正变换提取出亮度信号分量Y和两个色度信号分量U和V，然 后把亮度信号分量Y和增强后的红外图像进行小波融合得到消除了晕光的亮度信号分量 ，见图7。最后对新的亮度信号分量r，色度信号分量U和V进行YUV反变换得到最终的融合 图像，见图8,从图8可见，经本发明处理后不仅有效消除了晕光，而且还增强了图像中暗处 的细节信息。
[0072] 太发巧奸外图像台前化井:图像的图像配准模型如下；
[0073]
(6)
[0074] 可见光图像中的各像素点（XI'，yi'）经过仿射变换后对应红外图像中的点（XI， yi);k，0分别是两幅图像的比例系数和旋转因子；Ax、Ay对应图像在两个坐标轴上的平移 量。k，0和Ax、Ay就是图像进行配准的参数，当运几个参数取值合适时，红外图像和可见光 图像刚好相互匹配。在本发明中，红外图像为参考图像，选择可见光图像为待配准图像，选 择四组对称点进行配准。提取两幅图像的特征点，通过特征点求出两幅图像之间的变换参 数。使用变换参数对待配准图像坐空间变换，再重采样，完成两幅图像空间上的配准，配准 后的图像如图4所示。
[0075] 配准后，对針外与可化化阁像A别讲行增强，增强公式如下：
[0076] 间
[0077] (1)
[007引 （4)
[0079] 巧
[0080] 式中，RMSRi(x，y)是不带色彩恢复的MSR增强算法的输出，红外图像可W类比成可 见光图像的一个颜色通道;RMSRCRi(x，y)是带颜色恢复的MSRCR增强算法的输出，用于对可见 光图像的增强；Ii(x，y)为第i个颜色通道的像素点，iGR，G，B;N表示增强算法所采用的尺 度个数;F(x，y)表示所选用的高斯环绕函数模型，Wn是与之对应的权重系数;CiU, y)表示与 此增强算法对应的彩色恢复因子，i是其颜色通道;e表示的是增益常数;Cl为受控制的非线 性强度系数；
[0081] MSRCR算法是把多个固定尺度的色彩通道进行线性加权综合来提高增强，在增强 过程中，图像可能增加噪声，而造成图像局部细节色彩失真，不能显示出物体的真正颜色效 果。针对运一不足，引进色彩恢复因子Ci(x，y)，从而把相对暗区域的信息突显出来W达到 消除图像色彩失真的缺陷。本发明在增强算法各参数取值范围内进一步优化给出如下最佳 参数，各参数取值如表1所示。最终就可得到增强后的可见光图像，见图5,与红外图像，见图 6。
[0082] 表1增强算法参数表
[0083]
[0084] 现有的抗晕光的技术方案并不是很多，本发明前期也做过夜间道路晕光消除的研 究，但是在消除晕光的过程中，图像亮度低，图像中的暗处细节信息变得难W观察，影响了 驾驶人员对路况的判断。
[0085] 本发明在处理的过程中，专口针对现有的视频融合算法处理后亮度低、暗处信息 不易获取的不足，对可见光图像和红外图像进行了增强，丰富了暗处的信息。
[0086] 在YUV色彩空间中，每一个像素点有一个亮度信号分量Y，和两个色度信号分量U和 V。增强后的可见光图像需要进行YUV正变换，YUV空间模型与RGB相互转化的公式各系数是 固定的，如下所示：
[0087] (7)
[0088] R进行小波分解，分解公式如下：
[0089] 焊）
[0090] 上式中h()，g()分别表示低通滤波器系数和高通滤波器系数，Ck-i(m，n)为待分解 图像，Ck，泣f，和df为源图像的低频、水平高频、垂直高频和对角高频分量，（i，j)为分 解出的像素点坐标。图像分解后，图像的轮廓、边缘等信息一般存在与高频分量中，其他与 源图像较为接近的信息一般存在于低频分量中。
[0091 ]分解后的可见光图像与红外图像小波融合过程如公式下：
[0092]
[0093] (10)
[0094] 式中化为亮度分量的低频分量；I化为红外图像的低频分量;Yh为亮度分量的高频 分量；IRh为红外图像的高频分量。首先把可见光图像亮度分量Y的低频分量与红外图像的 低频分量进行加权平均，相应的权值Wi、W2都取0.5,把可见光图像亮度分量Y的高频分量和 红外图像的高频分量进行绝对值取大处理，然后对新的低频分量和高频分量进行小波逆变 换处理，逆变换的过程为将上一步得到的低频和高频分量对应的Ck,或"，<'和rff与镜像滤 波器h()，g〇分别卷积，进行行列重构，每两列和两行重构时进行补零采样，小波逆变换公 式如下：
[0095]
}
[0096] 即可得到可见光图像的亮度信号分量Y与红外图像经小波变换融合后的新的亮度 信号分量r，见图7。最后对r、U、V进行YUV反变换，YUV转化到RGB表达式下：
[0097]
(12)
[0098] 运样就得到最终的红外与可见光融合后的图像，见图8。实现了有效地抗晕光且保 留了暗处的景物信息，对于整个路况反映更加真实，为驾驶人员在夜间会车时提供了更开 阔的视野和更清晰的路况影像，让驾驶人员有更多的时间确定最佳行驶路线。
[0099] 本发明的图像配准采用的仿射变换算法只需要确定红外热相仪和可见光摄像机 所采集到图像之间的比例系数和旋转因子，进行平移和放大，计算量少，配准效果好，可W 实现红外图像与可见光图像空间上的配准。
[0100] 本发明采用的多尺度MSRCR增强算法对夜间道路下的可见光图像进行增强，在道 路照明不是很理想的情况下，车辆周围的图像往往难W看清，通过运种方式增强后可W明 显提高背景环境的亮度和对比度。对红外图像进行MSR增强后，图像轮廓更加分明，对比度 提高。对夜晚采集到图像的视觉增强，更易于人眼观察。
[0101] 本发明的图像融合采用YUV变换和小波融合结合的方式，结构简单，可见光图像由 RGB格式转化成YUV格式，并且只用Y分量与红外图像进行小波融合，提高了整体的处理速 度，实时性更高。
[0102] 本发明简单实用，只需加载红外图像与可见光图像两路图像，按照表1中设置好各 参数，即可得到融合图像，过程中不需要手动调节参数。
[0103] 本发明的抗晕光技术效果也可W通过仿真来验证
[0104] 实施例6
[0105] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1-5,本例给出 一个具体仿真的实例。
[0106] 仿真条件:WindowsS操作系统、MATLAB软件。
[0107] 当红外热相仪和普通可见光摄像机采集到图像数据后，经配准、增强、YUV变换、小 波融合、YUV反变换后得到红外与可见光融合的图像，本发明运用仿射变换、图像增强、YUV 变换、小波融合，W特定的顺序和参数设置来对红外图像和可见光图像进行处理，得到消除 晕光并增强暗处信息的图像，具体的的步骤是：
[0108] -.图像采集:红外热相仪和普通可见光摄像机采集到同一对象的视频图像，并选 取同一时刻的红外图像，见图2和可见光图像，见图3。
[0109] 二.图像配准：
[0110] (1)通过imread函数打开可见光图像和红外图像的原始图像。
[0111] (2)通过cpselect函数从可见光图像和红外图像中选取4个特征点，并存入在b_ f e曰化的和i_f e曰ture中。
[0112] (3)通过cp2tform函数算出变换参数。
[0113] (4)通过inrtransform函数，单独对可见光图像根据上步求得的参数进行空间位置 的变换。
[0114] 图像增强，本发明针对可见光图像和红外图像的处理方式不同：
[0115] (1)将配准后的可见光图像分解为R、G、B运=幅图像，依次将其数据类型转化为 double型。根据公式（1)，确定高斯环绕函数计算出相应的高斯模板，选取尺度C的值。
[0116] (2)根据公式(2)，计算巧巾尺度下得到结果的加权平均，权重系数W的值。
[0117] (3)根据公式(3)，计算彩色恢复因子，代入公式(4)，得到RmsrcriU, y)。
[0118] (4)对可见光图像的R、G、B运3个通道的图像分别进行第S步，对红外图像只需要 第一步和第二步的相应处理，最后整合成完整的增强图像，其中图5是可见光图像增强，图6 是红外图像增强。
[0119] 四.YUV正变换:按照公式(7)，使用巧b2yuv函数把增强后的RGB格式可见光图像转 换为YUV格式。
[0120] 五.小波融合：
[0121] (I)对Y信号分量和红外图像使用wavedec函数进行小波变换分解，选定小波基，确 定分解层数。
[0122] (2)对分解后的红外与Y信号分量按照公式(9)、（10)所示对低频分量进行加权平 均，对高频分量进行绝对值取大。
[0123] (3)按照公式（11)使用waverec2函数进行小波融合，得到新的可见光亮度分量r， 见图7。
[0124] 六.YUV逆变换：按照公式（12)，使用yuv2rgb函数把YUV格式的图像转化成RGB格 式。
[0125] 屯.得到红外图像与可见光图像的融合图像，见图8,从图中可W看出，与原可见光 图像相比，融合后的图像晕光基本被消除，图像亮度得到明显提升，车辆两侧的道路W及后 方的路口、建筑物等信息清晰可见，从避免实际碰撞发生的角度解决了夜间行车时的晕光 问题。
[0126] 通过人眼视觉从图8中已经可W明显看到本发明对晕光的消除W及对暗处信息的 保留取得了理想的效果，对向行驶的车辆信息W及车辆周围的路况信息都清晰明了，为了 客观分析图像处理效果，将融合后图像与原可见光图像进行客观对比，如下表所示。
[0127] 表2融合结果对比
[012 引
[0129] 从表2中的客观数据也可W看出，与據阁像相比，采用本发明赌值提高了 19.7 %， 表明融合后的图像包含信息更多；均值提高了 22.3%，表明融合后的图像亮度明显提高;平 均梯度提高了 46.5%，表明图像清晰度更高;标准差提高了 14.8%，表明图像纹理信息更 高。通过增强算法对融合前图像质量进行提升，很好的解决了图像融合后画面亮度低，暗处 信息不明显的缺点。
[0130] 实施例7
[0131] 红外与可见光图像融合的汽车抗晕光视频图像处理方法同实施例1-6,仿真条件 同实施例6。
[0132] 本发明的实现方案是:通过红外热相仪与普通可见光摄像机采集到视频图像，其 中红外图像见图2,可见光图像见图3。启动MA化AB，使用imread函数读取两幅图像，使用 cpselect函数从两幅图像中选取4个特征点，保存在base_points和i吨ut_points中，使用 cp2tfo;rm函数通过获得的特征点W及所用变换类型求出变换参数，使用inrtransform函数 对待配准图像应用变换参数进行变换，base_points和input_points分别为参考图像红外 图像和待配准可见光图像所对应的特征点。4对控制点为：
[0133] base_points = [284,189；379,184；489,289；548,392],
[0134] i吨ut-points = [269，159;379，155;550，296;588，417]，
[0135] 得到可见光图像的配准图像。将配准后的图像分解为R、G、B运=幅图像，依次将其 数据类型转化为double型。按照表1中各参数设定，根据公式(9)，确定高斯环绕函数计算出 相应的高斯模板，选取尺度C的值为10,120,240。利用公式(2)，计算巧巾尺度下得到结果的 加权平均，权重系数W的值分别取0.30,0.35,0.35。利用公式(3)，计算彩色恢复因子，代入 公式(4)，得到3?51^〇^^，7)。对1?、6、8运3个通道分别进行如上增强，最后整合成完整的增强 图像，改变了夜间可见光图像画面昏暗的缺点，红外图像的细节也得到了很大提高。按照公 式(7)，使用rgb巧UV函数把增强后的RGB格式可见光图像进行YUV格式转化。对Y信号分量和 红外图像使用wavedec函数进行小波变换分解，选定小波基化2,两层分解。对分解后的红外 与Y信号分量的低频分量进行加权平均，权值取0.5和0.5,对高频分量进行绝对值取大。使 用waverec2函数进行小波融合，得到新的可见光亮度信号分量r。按照公式（12)，使用 yuv化gb函数把YUV格式的图像转化成RGB格式。得到红外图像与可见光图像的融合图像。如 图8所示，可见汽车远光灯晕光基本消除，图像信息比可见光图像信息丰富，比红外图像细 节轮廓更分明。
[0136] 本发明经过大量的实验对比，针对夜间道路图像的特点，对图像增强过程中各参 数的取值进行了优选设定，在数据处理复杂度和性能上取得了理想效果，尺度C的个数和值 的选取在图像的细节信息和整体视觉效果之间取得了理想权衡，权重系数值的分配有效凸 显了图像中的暗处细节信息。
[0137] 本发明的特点
[0138] 综上所述，针对夜间汽车晕光现象引起的交通安全问题，本发明从规避碰撞物的 角度出发，设计了一种基于红外与可见光图像融合的汽车抗晕光视频图像处理方法，W提 高夜间驾驶安全性，该方法由图像配准、图像增强、YUV正变换、小波融合及YUV反变换构成。 其中图像配准采用基于仿射变换的方式。图像增强采用基于Retinex理论的增强算法，通过 对可见光图像做MSRCR图像增强和红外图像做MSR图像增强，解决了夜间可见光图像亮度 低，暗处信息不易获取的问题，并提高了红外图像对比度;通过YUV与小波变换结合的方式 对增强后的可见光图像和红外图像进行融合，消除了晕光现象。该视频图像数据处理方法 结构新颖，把图像增强引入抗晕光领域，与图像融合方法相结合，不仅能有效消除晕光，还 对融合后图像的亮度和暗处细节信息有较大提升，从规避碰撞的角度解决了夜间汽车晕光 引起的交通安全问题。本发明适用于汽车抗晕光领域。
【主权项】
1. 一种红外与可见光图像融合的汽车抗晕光视频图像处理方法，其特征在于，红外与 可见光图像融合的汽车抗晕光视频图像处理方法包括有以下步骤： 步骤1车载红外热相仪和可见光摄像机采集到对应于同一时间空间的夜间道路红外图 像和可见光图像； 步骤2以红外图像为参考图像，对两幅图像进行图像配准，得到在时间和空间上一致性 更高的红外图像和可见光图像； 步骤3通过MSRCR图像增强算法对配准后的可见光图像进行增强处理，得到亮度更高、 图像信息更丰富的可见光图像； 步骤4通过MSR图像增强算法对红外图像进行增强处理，得到对比度更高的红外图像； 步骤5对增强后的可见光图像进行YUV正变换提取出亮度信号分量Y和两个色度信号分 量I^PV; 步骤6把亮度信号分量Y和增强后的红外图像进行小波融合得到新的消除了晕光的亮 度信号分量Y7 ; 步骤7对新的亮度信号分量Y'，色度信号分量U和V进行YUV反变换得到最终的融合图 像，完成对夜间道路图像的抗晕光处理，输出消除了晕光、增强了暗处细节信息的彩色融合 图像。2. 根据权利要求1所述的红外与可见光图像融合的汽车抗晕光视频图像处理方法，其 特征在于，步骤3中所述通过MSRCR图像增强算法对配准后的可见光图像进行增强处理，包 括有如下处理步骤： 3.1根据下式，确定高斯环绕函数计算出相应的高斯模板，选取各模板对应的尺度C;式中：F(x，y)表示所选用的高斯环绕函数模型；（x，y)表示像素点的坐标;μ表示对应通 道的归一化常数;C表示F(x，y)的尺度常数，尺度C越大，图像的动态范围压缩越大，与之对 应的图像细节越突出，尺度C越小，与之对应的图像整体效果越好，颜色越自然。 3.2根据下式，计算3种尺度下得到结果的加权平均，确定各尺度对应的权重系数W的 值；式中：RMSRl(x，y)是不带色彩恢复的增强输出；N表示增强算法所采用的尺度个数;1"是 与F(x，y)对应的权重系数;Ii(x，y)为第i个颜色通道的像素点坐标，ieR，G，B。 3.3根据下式，计算彩色恢复因子：式中=C1(Xd)表示与此增强算法对应的彩色恢复因子，i表示颜色通道;β表示的是增益 常数;α为受控制的非线性强度系数。 3.4将彩色恢复因子代入下式，得到增强后的可见光图像：式中：RMSRCRl(x，y)是带颜色恢复的MSRCR增强算法的输出，用于对可见光图像的增强。3. 根据权利要求1所述的红外与可见光图像融合的汽车抗晕光视频图像处理方法，其 特征在于，将步骤4中所述通过MSR图像增强算法对红外图像进行增强处理，包括有如下处 理步骤： 4.1同样根据高斯环绕函数计算出相应的高斯模板，选取各模板对应的尺度数C;4.2根据下式，将红外图像类比成可见光图像的一个颜色通道，计算3种尺度下得到结 果的加权平均，权重系数W的值，并根据各权值获得增强后的红外图像；式中：RMSR(x，y)是不带色彩恢复的增强输出；N表示增强算法所采用的尺度数;Wn是与F (X，y)对应的权重系数;Kx，y)为像素点坐标。4. 根据权利要求2或3所述的红外与可见光图像融合的汽车抗晕光视频图像处理方法， 其特征在于，图像增强的参数设置包括有： 尺度个数N = 3，表示选取3个尺度;各个尺度对应的尺度数C在[1，249 ]范围内小、中、大 各取一个值，其中小值在[5,20]之间，中值在[100,130]之间，大值在[220,249]之间；与小、 中、大尺度C对应的权重系数W分别为〇.3〇、〇.35、〇.35;增益常数0取值在[45,55]之间；非线 性强度系数α取值在[115，125]之间，增强算法中的各参数在以上范围内取值能够得到较好 的增强效果。5. 根据权利要求4所述的红外与可见光图像融合的汽车抗晕光视频图像处理方法，其 特征在于，增强算法中参数的优选取值为： 尺度个数N = 3;较小尺度值C1 = 10;中间尺度值C2 = 120;较大尺度值C2 = 240;非线性强 度系数α = 120;增益常数β = 50;较小尺度值C1对应的权重系数1 = 0.30;中间尺度值C2对应 的权重系数W2 = O. 35;较大尺度值C2对应的权重系数11 = 0.35。
【文档编号】G06T3/00GK106023129SQ201610363585
【公开日】2016年10月12日
【申请日】2016年5月26日
【发明人】郭全民, 董亮, 田英侠, 巩兆伟, 周芸, 李晓玲, 郑少锋
【申请人】西安工业大学