一种飞行器态势感知用多源图像实时融合方法及其装置与流程

本发明属于图像融合处理领域，涉及一种飞行器态势感知用多源图像实时融合方法；还涉及一种飞行器态势感知用多源图像实时融合的装置。

背景技术：

随着传感器技术的发展，飞行器态势感知系统大都含有多种传感器对同一目标区域进行感知，如红外传感器、可见光传感器。传感器的阵列的增大，给数据的实时传输带来一定困难，并且在不同的环境下，单一传感器获取的目标信息有限，上传的数据目标信息含量较少，而多源图像融合技术成为解决这一难题的关键。多源图象配准与融合是多源图像融合系统中的关键技术，直接决定着融合的成败，现有专利中融合的输入图像大都是经过配准的图像，或尺度变化不大，或几何特征比较明显的图像，且在地面站实现。

现有的图像融合技术中图像配准还采用的突显目标、区域分割、梯度相关方法难以解决尺度变化较大条件下异源图像的配准，如相机随意变焦；另外，还有直接采用sift或surf等方法，但上述方法还是难以实现异源图像灰度纹理差异较大的配准，如红外与可见光的配准，且计算复杂度较高难以实现机载嵌入式实时图像配准，未能解决机载多源图像的实时融合问题。

公开号为cn104574332a的发明专利还提出了一种机载光电吊舱用图像融合方法，以可见光成像系统的焦距值为基准进行联动计算得到红外图像的相应焦距值，进而将焦距映射为尺度变换，并对平移参数进行补偿，实现了图像的实时融合。该方法对成像系统焦距的精度要求极高(误差<0.001m)，才能实现亚像素的图像配准，并且无法抗旋转变换，难以解决大尺度变换及旋转变换的实时精确融合问题。

技术实现要素：

本发明的目的在于提供一种飞行器态势感知用多源图像实时融合方法；解决了飞行器机载多源图像实时融合问题，丰富下传图像的信息量，减少图像下传带宽，提高后续图像处理的有效性。

本发明的目的还在于提供上述飞行器态势感知用多源图像实时融合的装置，该装置能够实现可见光与红外相机的随机变焦引起的大尺度变化时的图像配准与融合，实现昼夜全天可见光与红外灰度差异较大的图像配准与融合，同时该装置能够在飞行环境下实现机载多源图像数据的实时融合。

本发明的目的是通过以下技术方案来实现的：

这种飞行器态势感知用多源图像实时融合方法，包括以下步骤：

步骤1，以可见光图像为基准图像，通过图像配准方法获取变换参数tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；

步骤2，将可见光图像从彩色空间变换到hsi空间，并提取i分量；

步骤3，通过fambed分解算法将可见光图像的i分量、变换后的红外图像分解到不同的频率层上；

步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；

步骤5，通过fambed重构以及hsi逆变换，获得融合图像。

更进一步的，本发明的特点还在于：

其中步骤1中变换参数tfin的计算步骤是：步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；步骤1.2，计算红外图像和可见光图像的尺度变化参数s，其中s＝ivf*psir/irf/psiv，ivf为可见光相机的焦距，psiv为可见光相机的像元尺寸，irf为红外相机的焦距，psir为红外相机的像元尺寸；步骤1.3，s＜3&s＞0.3时，采用topn-surf匹配算法，否则采用带通纹理信息匹配算法；步骤1.4，根据相应的匹配算法确定并输出变换参数tfin。

其中步骤1.3中topn-surf匹配算法包括以下步骤：步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点hessian响应值进行排序；步骤1.3.2，确定图像之间的初始变换参数tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过s＝ivf*psir/irf/psiv计算图像之间的尺度变化参数s，进而对特征匹配区域范围进行限定。

其中步骤1.3中带通纹理信息匹配算法包括以下步骤：步骤1.3.a，根据尺度变化参数s和初始变换参数tor，计算变换参数tnew；步骤1.3.b，使用变换参数tnew对待配准图像i_sen进行变换，得到变换后的图像ti_sen，其中ti_sen＝i_sen*tnew；步骤1.3.c，分别对参考图像i_ref和变换后图像ti_sen的某一区域进行不同方差的高斯滤波进行带通纹理信息提取，分别得到bp_ref和bp_sen；步骤1.3.d，计算bp_ref和bp_sen的相关系数corr，并确定最终的平移变换参数tran_xf和tran_yf；步骤1.3.e，输出变换参数tfin。

其中步骤3中fambed分解可见光包括以下步骤：步骤3.1，将可见光图像iv提取出的i分量赋给初始图像ivi，并按照滤波器窗口的大小确定统计次序；步骤3.2，对初始图像ivi进行最大/小滤波，并平滑，获得极大/小包络曲面ue和le，并且获得平均包络曲面me；步骤3.3，将初始图像ivi与平均包络面me差分得到第一层高频分量imf1，并将平均包络面me传回输入端；步骤3.4，将重复步骤3.1-3.3，获得第二层高频分量imf2、第三层高频分量imf3和低频分量residue。

其中步骤5中fambed重构为：将得到的融合后的频率层求和。

本发明的另一技术方案是，一种飞行器态势感知用多源图像实时融合的装置，包括图像输入模块，fpga模块将输入的图像进行帧同步处理，并转发至dsp配准模块；dsp配准模块计算输入图像间的尺度变换参数s，并根据s匹配相应的匹配模块，并获得变换参数tfin；fpga模块通过变换参数tfin对待配准图像进行变换，变换后的图像通过fambed分解模块进行分解，得到多个频率层；fambed重构模块将频率层进行重构计算，输出融合图像。

更进一步的，本发明的特点还在于：

其中fambed分解模块包括存储器，存储器与存储器调度器连接，存储器调度器与包络曲面计算模块连接，包络曲面计算模块与输出模块连接。

其中fambed重构模块包括存储器，存储器与存储器调度器连接，存储器调度器与融合计算模块连接，融合计算模块与输出模块连接。

其中dsp配准模块判断尺度变换参数s在0.3-3之间，通过topn-surf匹配模块，计算匹配点对>8时，将变换参数tfin发送至fpga模块；尺度变换参数s＜0.3或s＞3或计算匹配点对<8时，通过bpti匹配模块将变换参数tfin发送至fpga模块。

与现有技术相比，本发明的有益效果是：解决了在相机实时变焦引起的大的几何形变、环境变化引起的灰度变化的条件下的多源图像的实时融合问题。该方法采用优化特征描述topn-surf与带通纹理信息bpti相结合的配准技术、优化的快速自适应二维经验模式分解fambed融合技术，并对上述技术进行嵌入式实现，利用该系统对真实飞行数据进行了测试，实现了可见光与红外相机在不同焦距下的图像实时融合。

更进一步的，topn-surf匹配算法使图像纹理较丰富，尺度变化在0.3～3之间时，可实现对可见光图像(1024×768)与红外图像(640×512)的嵌入式实时配准。

本发明的有益效果还在于：采用特征描述与带通纹理信息相结合的配准技术，可实现尺度变化在20倍之内，任意旋转与平移的1080p可见光图像与红外图像的机载实时配准与融合(30f/s)，融合后的图像能够发挥红外图像对热目标敏感、穿透能力强等特点，且能保持可见光图像对比度高、目标细节明显的优势。该装置可应用于双光非共轴成像系统中，以解决多路异源监控视频传输带宽不足问题、解决观测终端切换相机过程中的目标观察的连续性问题。

本发明可应用于军用侦察机、无人机、无人飞艇、导弹、航空炸弹等军用武器的多源图像融合感知，为后续深层次图像处理提供稳定可靠的信息源。

附图说明

图1为本发明的方法流程图；

图2为本发明中图像配准流程图；

图3为本发明装置嵌入式实现流程图；

图4为本发明中dsp配准模块的工作流程图；

图5为本发明中fambed的分解流程图；

图6为本发明中fambed分解模块的示意图；

图7为本发明中fambed重构模块的示意图；

图8为本发明第一组实施例的输入图片；

图9为本发明第一组实施例topn-surf算法的匹配结果示意图；

图10本发明第一组实施例的融合结果示意图；

图11为发明第二组实施例的输入图片；

图12为发明第二组实施例bpti算法相关性最大的带通纹理图像；

图13为发明第二组实施例的融合结果示意图；

图14为本发明第三组实施例的输入图片；

图15为本发明第三组实施例bpti算法相关性最大的带通纹理图像；

图16为本发明第三组实施例的融合结果示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

本发明提供了一种飞行器态势感知用多源图像实时融合方法，其具体过程如图1所示，包括以下步骤：

步骤1，以可见光图像为基准图像，通过图像配准方法获取变换参数tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；如图2所示，变换参数tfin的计算步骤是：步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；步骤1.2，计算红外图像和可见光图像的尺度变化参数s，其中

s＝ivf*psir/irf/psiv(1)

ivf为可见光相机的焦距，psiv为可见光相机的像元尺寸，irf为红外相机的焦距，psir为红外相机的像元尺寸；步骤1.3，s＜3&s＞0.3时，采用topn-surf匹配算法，否则采用带通纹理信息匹配算法；步骤1.4，根据相应的匹配算法确定并输出变换参数tfin。

步骤1.3中topn-surf匹配算法包括以下步骤：步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点hessian响应值进行排序；步骤1.3.2，确定图像之间的初始变换参数tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过s＝ivf*psir/irf/psiv计算图像之间的尺度变化参数s，进而对特征匹配区域范围进行限定。

在步骤1.3中，带通纹理信息匹配算法包括以下步骤：步骤1.3.a，根据尺度变化参数s和初始变换参数tor，假设

则参考图像、待配准图像及待配准图像变换后图像的中心坐标分别为(row_sen,col_sen)、(row_ref,col_ref)和(row_new,col_new)，更新平移参数tran_x和tran_y分别为：

tran_x＝col_ref-(col_sen*t11+row_sen*t21)/sor(3)，

tran_y＝row_ref-(col_sen*t12+row_sen*t22)/sor(4)，

其中由此可得更新的变换参数tnew为：

步骤1.3.b，使用变换参数tnew对待配准图像i_sen进行变换，得到变换后的图像ti_sen，其中ti_sen＝i_sen*tnew；步骤1.3.c，分别对参考图像i_ref和变换后图像ti_sen的某一区域进行不同方差的高斯滤波进行带通纹理信息提取，分别得到bp_ref和bp_sen，其中

bp_ref＝gauss(δ1)*i_ref-gauss(δ2)*i_ref(6)，

bp_sen＝gauss(δ1)*ti_sen-gauss(δ2)*ti_sen(7)；

步骤1.3.d，对平移换参数tran_x和tran_y进行(-10,10)范围内的抖动，计算bp_ref和bp_sen的相关系数corr：

corr＝corr2(bp_ref,bp_sen)(8)，

并确定最终的平移变换参数tran_xf和tran_yf；步骤1.3.e，输出变换参数tfin，

步骤2，将可见光图像rgb从彩色空间变换到hsi空间，并提取i分量；

步骤3，通过fambed分解算法将可见光图像的i分量、变换后的红外图像分解到不同的频率层上；其中fambed分解可见光包括以下步骤：步骤3.1，将可见光图像iv提取出的i分量赋给初始图像ivi，并按照滤波器窗口的大小确定统计次序；步骤3.2，对初始图像ivi进行最大/小滤波，并平滑，获得极大/小包络曲面ue和le，并且获得平均包络曲面me；步骤3.3，将初始图像ivi与平均包络面me差分得到第一层高频分量imf1，并将平均包络面me传回输入端；步骤3.4，将重复步骤3.1-3.3，获得第二层高频分量imf2、第三层高频分量imf3和低频分量residue。

步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；

步骤5，通过fambed重构，即将得到的融合后的频率层求和，然后进行hsi逆变换，获得融合图像。

本发明还提供了一种飞行器态势感知用多源图像实时融合的装置，该装置基于上述方法设计，如图3所示，图像输入模块包括可见光图像输入模块vimg(i)和红外图像输入模块fimg(i)，图像输入模块将获取到的可见光图像和红外图像输入到fpga模块内，fpga模块将输入的图像进行帧同步处理，并将处理后的图像发送至dsp配准模块；dsp配准模块计算输入图像间的尺度变换参数s，如图4所示dsp配准模块的工作流程是：dsp配准模块判断尺度变换参数s在0.3-3之间，通过topn-surf匹配模块，计算匹配点对>8时，将变换参数tfin发送至fpga模块；尺度变换参数s＜0.3或s＞3或计算匹配点对<8时，通过bpti匹配模块将变换参数tfin发送至fpga模块；fpga模块通过变换参数tfin对待配准图像进行变换，变换后的图像通过fambed分解模块进行分解，得到多个频率层；fambed重构模块将频率层进行重构计算，输出融合图像。

如图6所示，fambed分解模块包括存储器，存储器与存储器调度器连接，存储器调度器与包络曲面计算模块连接，包络曲面计算模块与输出模块连接。

如图7所示，fambed重构模块包括存储器，存储器与存储器调度器连接，存储器调度器与融合计算模块连接，融合计算模块与输出模块连接。

如图5所示，可见光图像和红外图像经过fambed分解模块分解成多个频率层，包括第一层高频分量imf1，第二层高频分量imf2……第n层高频分量imfn和低频分量residue；然后fambed重构模块将其融合后的频率层求和后得到融合图像。

本发明一种飞行器态势感知用多源图像实时融合的装置，采用dsp+fpga架构实现，对外由连接器与外部系统互联。电缆需进行双绞和屏蔽处理；图像的输入和输出通过lvds芯片实现，dsp配准模块由tms320c6713芯片实现，其与fpga模块之间通过upp接口互联，传输速率可达到70m×8bit，满足实时传输图像的要求，spi接口用于为dsp配准模块和fpga模块之间传递配准参数，实现红外图像的配准和分解。

图像的坐标变换、图像的同步、给dsp配准模块发送/接收数据、输出图像的控制及时序生成由转接fpga模块实现。

输入电源要求为16v-36v，使用4.5v-36v输入的lt3680芯片，其最大输出电流能力为3a。

如图4所示，dsp配准模块的工作流程为：a初始化寄存器，配置upp接口，rs422串口，spi接口，中断、申请缓存；b打开upp接收fpga模块发送的红外图像与可见光图像数据，读取红外图像与可见光图像的焦距信息，连续5帧图像焦距不变进行步骤d；c根据焦距计算尺度因子是否在0.3～3之间，是进行步骤d，否则进行步骤e；d运行topn-surf配准算法，判断有效匹配对是否大于8，是进行步骤f，否则运行步骤e；e运行bpti配准算法；f通过spi向fpga发送配准参数。

本发明的具体实施例为：

对某无人机采集的3组真实数据进行处理的实施例，第一组数据为尺度变化不大，纹理信息相对丰富，融合系统采用topn-surf进行配准，并采用fabemd进行融合给出结果；第二组数据尺度变化较大且纹理信息清晰，融合系统采用bpti实现图像配准，然后利用fabemd给出融合结果；第二组数据尺度变化不大但纹理信息较为模糊，融合系统在topn-surf失效的情况下采用bpti实现图像配准，然后利用fabemd实现融合。

第一组实施例

如图8所示，第一组实施例中，两幅图像的尺度变化不大且纹理信息丰富，其中图8a为可见光图像，图8b为红外图像。

根据融合系统的实现流程，dsp接收到图像后首先根据图像的焦距参数ivf＝6.5mm,irf＝25mm及传感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)计算图像之间的尺度变换s＝0.821，根据判决准则将可见光作为参考图像(i_ref)，红外为待配准图像(i_sen)，则系统调用topn-surf算法，计算得到的匹配结果如图9所示，匹配点对ncm＝130大于8，故系统采用得到的变换参数tfin进行后续的融合计算。

融合系统的fpga利用dsp给出的参数tfin，对参考图像进行变换：

ti_sen＝i_sen*tfin，并采用fabemd算法对i_ref和ti_sen进行融合处理，最终融合结果如图10所示。

第二组实施例

如图11所示，第二组实施例两幅图像的尺度变化较大，其中图11a为可见光图像，图11b为红外图像。topn-surf算法的特征描述向量差异较大，难以实现精确匹配。根据融合方法，dsp接收到图像后首先根据图像的焦距参数ivf＝130.2mm,irf＝44.3mm及传感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)计算图像之间的尺度变换s＝9.28，根据判决准则将红外作为参考图像i_ref，可见光为待配准图像i_sen，则系统调用bpti方法，计算得到相关性最大带通信息图如图12所示，其中图12a为可将光图像某区域，图12b为红外图像对应的某区域。

融合系统的fpga利用dsp运算bpti算法给出的参数tfin，对参考图像进行变换：

ti_sen＝i_sen*tfin，并采用fabemd算法对i_ref和ti_sen进行融合处理，最终融合结果如图13所示。

第三组实施例

如图14所示，第三组实施例的输入的两幅图像的尺度变化不大，但纹理信息不够丰富，其中图14a为可见光图像，图14b为红外图像。

根据融合方法，dsp接收到图像后首先根据图像的焦距参数ivf＝130.2mm,irf＝300mm及传感器像元的尺寸psir＝15μm,psiv＝4.75μm，由方程(1)计算图像之间的尺度变换s＝1.37，根据判决准则将红外作为参考图像i_ref，可见光为待配准图像i_sen，系统采用topn-surf算法得到的正确匹配点对数小于8个，因此，系统自动调用bpti匹配算法，计算得到相关性最大带通信息图如图15所示，其中图15a为可见光图像某区域，图15b为红外图像对应的某区域。

融合系统fpga利用dsp的bpti给出的参数tfin，对参考图像进行变换：

ti_sen＝i_sen*tfin，并采用fabemd算法对i_ref和ti_sen进行融合处理，最终融合结果如图16所示。