基于dm642的三路图像金字塔融合算法的实现方法
【专利摘要】本发明提供一种基于DM642的三路图像金字塔融合算法的实现方法，涉及光电图像处理【技术领域】，用于解决现有技术中还未有能够直接有效实施三路图像的融合算法的问题，该方法包括步骤：实时采集三路传感器当前帧图像并在DM642中缓存；分别构造当前缓存的三路传感器的当前帧图像的高斯金字塔图像；分别构造三路传感器的当前帧图像的拉普拉斯金字塔图像；对三路传感器的当前帧图像的拉普拉斯金字塔图像的对应级进行融合得到融合图像拉普拉斯金字塔；对融合图像拉普拉斯金字塔进行重构运算。上述方案中，基于DM642软硬件资源，实时实现了三路图像尤其是中波红外、长波红外和可见光图像的拉普拉斯金字塔融合。
【专利说明】基于DM642的三路图像金字塔融合算法的实现方法
【技术领域】
[0001] 本发明涉及光电图像处理【技术领域】，特别是指一种基于DM642的三路图像金字塔 融合算法的实现方法。
【背景技术】
[0002] 图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形成一 幅新的图像。其目的是通过对多幅图像信息的提取与综合，从而获得对同一场景/目标的 更为准确、更为全面、更为可靠的图象描述。根据融合处理所处的不同阶段，图像融合可分 为三个层次：像素级、特征级和决策级融合。像素级图像融合指的是直接对各幅图像的像素 点进行信息综合的过程。特征级图像融合是对图像进行特征抽取后，将边沿、形状、轮廓等 信息进行综合处理的过程。而在进行决策级图像融合前，每种传感器已经独立地完成了决 策或分类任务，融合工作实质上是做出全局的最优决策。
[0003] 目前，大部分融合算法都是在像素级展开的，主要有：加权平均法、逻辑滤波法、多 分辨金字塔算法、小波变换法、卡尔曼滤波算法等。在上述几种算法中，加权平均法易实时 实现，但效果不理想。多分辨塔式图像融合算法中的高斯-拉普拉斯金字塔和高斯-对比度 金字塔是效果比较好的两种方法。但对比度金字塔因为重构时的乘法关系，导致了在融合 灰度相差较大的图像时会带来较明显的灰度失真，而且对比度金字塔算法中有除法运算， 使得整个算法的运算量比拉普拉斯金字塔算法大许多。小波变换效果较好，但由于该算法 主要是基于Matlab算法实现的，大量的卷积运算使得该算法计算量大，计算复杂度高，对 存储空间的要求高，不利于硬件实现。综合考虑算法效果和硬件实现难度，目前主要采用拉 普拉斯金字塔算法作为实时图像融合实现算法。
[0004] 在多路图像融合算法实现方面，当前主要是采取以下三种方案：①单DSP(数字信 号处理器）或多DSP并行处理方案。该方案通过单个或多个高性能的信号处理器件来实现 相应的预处理与融合算法。②DSP+FPGA处理方案。③大规模FPGA处理方案。该方式通过 FPGA器件内部所带的丰富的逻辑资源、加法器和乘法器等资源来实现预处理与融合算法。 但是，目前业内只有理论上的多路图像拉普拉斯金字塔融合算法，仍未有能够实现该算法 的有效方法，尤其是针对中波红外、长波红外和可见光三路图像的融合处理方法，这给实际 的多路图像融合工作带来了一定的困难，因此，急需一种能够实现多路图像尤其是中波红 夕卜、长波红外和可见光三路图像的融合的实际方法。
【发明内容】
[0005] 为了解决现有技术中还未有能够直接有效实施三路图像的融合算法的问题，本发 明提供一种基于DM642的三路图像金字塔融合算法的实现方法，通过该方法实现中波红 夕卜、长波红外和可见光三路图像融合处理功能，同时该方法也可用于红外中波/长波、红外 中波/可见、红外长波/可见等三种模式的双路融合处理。
[0006] 本发明提供的一种基于DM642的三路图像金字塔融合算法的实现方法，包括步 骤：
[0007] 实时采集三路传感器当前帧图像并在DM642中缓存；
[0008] 分别构造当前缓存的三路传感器的当前帧图像的高斯金字塔图像；
[0009] 以三路传感器的当前帧图像的高斯金字塔图像为基础，分别构造三路传感器的当 前帧图像的拉普拉斯金字塔图像；
[0010] 对三路传感器的当前帧图像的拉普拉斯金字塔图像的对应级进行融合，得到融合 图像拉普拉斯金字塔；
[0011] 对融合图像拉普拉斯金字塔进行重构运算，得到最终融合图像。
[0012] 其中，在所述实时采集三路传感器当前帧图像之前，还包括步骤：预先在 DM642DSP的外部SDRAM中开辟三块乒乓缓冲区作为三路传感器的采集图像的缓存区；
[0013] 所述实时采集三路传感器当前帧图像并在DM642中缓存，包括：通过DM642的DSP 的3个视频口作为视频捕捉口实时采集三路传感器的当前帧图像、GJms ,同时 利用DM642的DSP中EDM的自动搬运数据功能，在CPU不干涉的情况下将3个视频口采集 的三路传感器的当前帧图像Giw、<7(f1w、（?%缓存到预先开辟的所述缓存区。
[0014] 其中，所述分别构造当前缓存的三路传感器的当前帧图像的高斯金字塔图像，包 括步骤：
[0015] 对三路传感器的当前帧图像、Giw、<^7|8分别进行高斯分解，得到三路传 感器的当前帧图像的第一层高斯金字塔图像G1mwAG1viS并缓存到所述缓存区；
[0016] 读取缓存的所述三路传感器的当前帧图像的第一层高斯金字塔图像Gjlw、 G1mW、G1viS并分别对其进行高斯分解，得到三路传感器的当前帧图像的第二层高斯金字 塔图像_(社w、G2MW、62^并缓存到所述缓存区；
[0017] 对三路传感器的当前帧图像的第一层高斯金字塔图像-Gjlw,GiMW、G1viS 和第二层高斯金字塔图像Gfw、（72MW、<^VIS分别进行EXPAND运算，得到三路 传感器的当前帧图像的第零层插值图像G/f、Ggw、Gff以及第一层插值图像 W、（7严、句:丨s。
[0018] 其中，对三路传感器的当前帧图像Cfw、Gfis分别进行高斯分解以及对 第一层高斯金字塔图像（^w、Gfw、分别进行高斯分解的方法为采用REDUCE函 数进行计算，REDUCE函数定义如下： m=2n-2
[0019] REDUCEiG-,) =G；{Lj)= 4 ^w(nun)G；, (2/ +m,2j+/?) m=-2n=-2
[0020] 其中，所述I彡I彡N，N是高斯金字塔的总级数，I彡i彡C1,I彡j彡R1ApR1是 高斯金字塔第1级的大小；W(m，η)为5X5的Gaussian模板，S为LW、MW或VIS，G/采用不 同的s上标分别表示对应于长波红外热像仪、中波红外热像仪、可见光相机三路传感器的 图像。
[0021] 其中，所述EXPAND运算定义为：
【权利要求】
1. 一种基于DM642的三路图像金字塔融合算法的实现方法，其特征在于，包括步骤：实时采集三路传感器当前帧图像并在DM642中缓存；分别构造当前缓存的三路传感器的当前帧图像的高斯金字塔图像；以三路传感器的当前帧图像的高斯金字塔图像为基础，分别构造三路传感器的当前帧 图像的拉普拉斯金字塔图像；对三路传感器的当前帧图像的拉普拉斯金字塔图像的对应级进行融合，得到融合图像 拉普拉斯金字塔；对融合图像拉普拉斯金字塔进行重构运算，得到最终融合图像。
2. 如权利要求1所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征 在于，在所述实时采集三路传感器当前帧图像之前，还包括步骤：预先在DM642DSP的外部 SDRAM中开辟三块乒乓缓冲区作为三路传感器的采集图像的缓存区； 所述实时采集三路传感器当前帧图像并在DM642中缓存，包括：通过DM642的DSP的3个视频口作为视频捕捉口实时采集三路传感器的当前帧图像、G^mw、Gj;IS，同时利 用DM642的DSP中EDM的自动搬运数据功能，在CPU不干涉的情况下将3个视频口采集的 三路传感器的当前帧图像、Gf s缓存到预先开辟的所述缓存区。
3. 如权利要求2所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，所述分别构造当前缓存的三路传感器的当前帧图像的高斯金字塔图像，包括步骤： 对三路传感器的当前帧图像Gjw、GtJ4w、Gfis分别进行高斯分解，得到三路传感器 的当前帧图像的第一层高斯金字塔图像、^vis并缓存到所述缓存区；读取缓存的所述三路传感器的当前帧图像的第一层高斯金字塔图像Gfw、 G1Mw、G1viS并分别对其进行高斯分解，得到三路传感器的当前帧图像的第二层高斯金字 塔图像(g' w、G2MW、G2vlS并缓存到所述缓存区；对三路传感器的当前帧图像的第一层高斯金字塔图像6iw、GiMW、G1 viS和第二层高 斯金字塔图像G2LW、G2MW、（\VIS别进行 EXPAND运算，得到三路传感器的当前帧图像的第零层插值图像G/f、G1^iw、Gff以及第一层插值图像、G^w、G 2vP。
4. 如权利要求3所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，对三路传感器的当前帧图像Ciw、（7 (fv、Gfs分别进行高斯分解以及对第一层高斯 金字塔图像、GlMw、G1viS分别进行高斯分解的方法为采用REDUCE函数进行计算， REDUCE函数定义如下：m-2 n=2REDUCE(G； . ) - G；(L j) = 4 ΣΣ h-(/?7,n)Gs, . (2/ + m2j + n)Yn--IM--I其中，所述I彡I彡N，N是高斯金字塔的总级数，I彡i彡C1, I彡j彡RpCpR1是高斯金字塔第1级的大小；W(m，η)为5X5的Gaussian模板，S为LW、MW或VIS，G/采用不同的s上标分别表示对应于长波红外热像仪、中波红外热像仪、可见光相机三路传感器的图像。
5. 如权利要求4所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，所述EXPAND运算定义为：
其中，表示对G/进行EXPAND运算k次后得到的图像，w(m，n)为5X5的
为整数坐标时方计算入上述和式。
6. 如权利要求5所述的基于DM642的三路图像金字塔融合算法的实现方法，其特 征在于，所述以三路传感器的当前帧图像的高斯金字塔图像为基础，分别构造三路传感 器的当前帧图像的拉普拉斯金字塔图像，包括：读取缓存的三路传感器的当前帧图像 G^LW、G^w、G^vis和第零层插值图像，根据二者生成三路传感 器的第零层拉普拉斯金字塔图像、gIS并缓存到所述缓存区；同时读取缓存 的三路传感器的当前帧图像的第一层高斯金字塔图像、6f w、Gfs和第一层插 值图像GDv、Ggw、G 2vIs,根据二者生成三路传感器的第一层拉普拉斯金字塔图像 < w、Zfw、Z^is并缓存到所述缓存区；同时读取缓存的三路传感器的当前帧图像的第 二层高斯金字塔图像 w、G2MW、（^is并将其作为三路传感器的第二层拉普拉斯金字塔图像、Zfv、I^is后将其缓存到所述缓存区。
7. 如权利要求6所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，第1层拉普拉斯金字塔图像#的生成方法为：
其中，N是拉普拉斯金字塔的总级数，s上标为LW、丽或VIS。
8. 如权利要求7所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，所述对三路传感器的当前帧图像的拉普拉斯金字塔图像的对应级进行融合，得到融合 图像拉普拉斯金字塔，包括： DM642的CPU依次从所述缓存区中读取三路传感器的当前帧图像的第零层、第一层和 第二层拉普拉斯金字塔图像，同时采用加权平均融合规则计算对应层的融合拉普拉斯金字塔图像，并将处理得到的第零层融合图像拉普拉斯金字塔^、第一层融合图像拉普拉斯金 字塔和第二层融合图像拉普拉斯金字塔依次缓存到所述缓存区中。
9.如权利要求8所述的基于DM642的三路图像金字塔融合算法的实现方法，其特征在 于，所述对融合图像拉普拉斯金字塔进行重构运算，包括： DM642的CPU从所述缓存区中读取所述第二层融合图像拉普拉斯金字塔，同时利用 所述EXPAND运算进行处理，得到第一层融合插值图像并缓存到所述缓存区；(PU依次从所述缓存区中读取所述第一层融合图像拉普拉斯金字塔和所述第一层 融合插值图像，同时利用公式：
进行处理，得到融合图像第一层高斯金字塔并缓存到所述缓存区；读取缓存的融合图像第一层高斯金字塔〇?，同时利用所述EXPAND运算进行处理，得 到第零层融合插值图像Gf1并缓存到所述缓存区；读取缓存的第零层融合图像拉普拉斯金字塔^和所述第零层融合插值图像Gf1，同时 利用公式：
进行处理，得到最终融合图像G'i并存储到所述缓存区中。
【文档编号】G06T5/50GK104376546SQ201410585061
【公开日】2015年2月25日 申请日期:2014年10月27日 优先权日:2014年10月27日
【发明者】宋亚军, 杨舒 申请人:北京环境特性研究所