一种基于多核dsp的图像融合与目标跟踪系统的制作方法
【技术领域】
[0001] 本发明属于图像处理领域，具体涉及一种基于多核DSP的图像融合与目标跟踪系 统。
【背景技术】
[0002] 图像融合（Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据 经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质 量的图像。简而言之，就是通过算法将两幅或者多幅图像合成一幅新图像，将多幅图像的丰 富信息合并到一个新的数据集中，从而使图像的可信度更高，场景更丰富。它在许多领域都 得到了广泛的应用，包括遥感图像的分析和处理、自动识别、计算机视觉、医学图像处理。在 军事领域，图像融合技术在经精确制导、自主式炮弹、微型军用机器人、战场侦察车及目标 跟踪等系统中发挥了重要作用。而运动目标的跟踪技术就是在视频图像的每一帧图像中确 定出我们感兴趣的运动目标的位置，它在智能视频监控、交通检测等系统中有广泛的应用。
[0003] 图像融合技术，常见的有基于金字塔的图像融合方法和基于小波及改进模型的图 像融合方法。然而，这些方法均侧重于软件实现，且一般采用Matlab仿真软件以及Visual C++等平台，没有完整地阐述整个软硬件系统，不能有效地将算法在硬件平台上实施，无法 工程化和产品化。另外，这些方法一般在达芬奇系列的硬件处理平台实现，因而无法实时跟 踪目标并显示目标跟踪结果。另外，这些方法一般基于达芬奇系列的硬件处理平台实现，虽 然在图像采集与输入方法较为便捷，但是无法适应快速处理及并行处理的要求。
【发明内容】
[0004] 本发明提出一种基于多核DSP的图像融合与目标跟踪系统，能够对图像进行实时 和快速地处理，并且能及时地将处理结果反馈到计算机上进行实时显示。
[0005] 为了解决上述技术问题，本发明提供一种基于多核DSP的图像融合与目标跟踪系 统，包括共轴光学系统平台、通信模块、图像预处理模块、图像融合处理模块、目标增强处理 模块和目标跟踪模块，计算机；通信模块、图像预处理模块、图像融合处理模块、目标增强处 理模块和目标跟踪模块分别在DSP的五个处理器里通过软件编程实现；
[0006] 所述共轴光学系统平台由半透半反镜、可见光C⑶以及个红外CXD构成；半透半反 镜、可见光CCD以及红外CCD处于同一平面内；半透半反镜用于将目标场景的入射光分离成 可见光和红外光；可见光CCD采集目标场景中被分离出来的可见光图像；红外CCD采集目 标场景中被分离出来的红外图像；
[0007] 计算机用于将可见光CXD和红外C⑶采集的可见光图像和红外图像的图像数据传 输给通信模块，计算机同时用于显示目标跟踪的结果；
[0008] 通信模块用于接收和存储图像数据，并通过触发信号触发图像预处理模块工作；
[0009] 图像预处理模块用于对可见光图像和红外图像进行双边滤波处理，去除图像中的 噪声，并通过触发信号触发图像融合处理模块工作；
[0010] 图像融合处理模块用于对可见光图像和红外图像进行图像融合，并通过触发信号 触发目标增强处理模块工作；
[0011] 目标增强处理模块用于对融合后的图像进行分区间映射彩色的伪彩色处理，增强 图像中的目标，并通过触发信号触发目标增强处理模块工作；
[0012] 目标跟踪模块用于在图像中标记出运动目标，获得目标跟踪结果，并通过触发信 号触发通信模块将目标跟踪结果发送给计算机进行显示。
[0013] 本发明与现有技术相比，其显著优点在于：（1)利用共轴光路平台产生可见光图 像和红外图像，这种共轴光学平台搭建方便，体积小，光利用率高，得到的可见光图像和红 外图像的图像质量较高；(2)利用DSP的多核配置，将可见光图像和红外图像的图像融合和 目标跟踪处理流程分成若干子流程，通过核间通信及合作，提高了整个处理过程的效率，另 外，利用该DSP特有的四倍累乘累加能力和内部的并行部件，将可见光图像和红外图像的 图像融合和目标跟踪处理程序优化多数据流的操作及流水线操作，从而节省了大量时间， 很大程度上提高了图像处理的速度，并且能实时返回屏幕，便于进行图像质量检测和监控 等处理。
【附图说明】
[0014] 图1是本发明基于多核DSP的图像融合与目标跟踪系统工作流程图。
[0015] 图2是本发明所述的共轴光学系统平台示意图。
[0016] 图3是本发明中图像融合处理模块所使用的大小为5*5时的窗口邻域。
[0017] 图4是使用本发明方法进行实验时，采集到的可见光图像和红外图像。
[0018] 图5是使用本发明方法进行实验时，对图4中的可见光图像和红外图像融合后的 图像。
[0019] 图6是使用本发明方法进行实验时，对图5进行伪彩色处理，得到伪彩色处理后的 图像。
[0020] 图7是使用本发明方法进行实验时，对图6进行目标跟踪处理，用白色方框标记出 目标的跟踪结果图。
【具体实施方式】
[0021] 可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不 佳时的可见光图像（即微光图像）的对比度较低；红外图像是辐射图像，灰度由目标与背景 的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，对于这两 种具有互补性的图像，图像融合技术能够有效地综合和发掘它们的特征信息，增强场景理 解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。为此本发明提 出一种基于多核DSP的图像融合与目标跟踪系统。
[0022] 系统构成
[0023] 本发明一种基于多核DSP的图像融合与目标跟踪系统，其构成包括共轴光学系统 平台、通信模块、图像预处理模块、图像融合处理模块、目标增强处理模块和目标跟踪模块， 计算机；通信模块、图像预处理模块、图像融合处理模块、目标增强处理模块和目标跟踪模 块分别在DSP的五个处理器里通过软件编程实现，五个处理器之间分工合作，相互通信，最 终共同完成图像融合与目标跟踪处理；
[0024] 如图2所示，所述共轴光学系统平台由半透半反镜、可见光CCD(图像传感器）以 及个红外光CXD (图像传感器）构成；半透半反镜、可见光C⑶以及红外光CXD处于同一平面 内；半透半反镜用于将目标场景的入射光分离成两个波段的光，即分离为可见光和红外光； 可见光CCD采集目标场景中被分离出来的可见光图像；红外CCD采集目标场景中被分离出 来的红外图像。前述共轴光学系统与平行光路相比，系统体积小、搭建方便，光利用率也比 较高。另外，采用平行光路，对于近距离目标的观察会出现图像错位、畸变等问题，而共轴光 学光路，相当于同一入射光分离出来的两种波段的光，所以观察远近目标的差别较之平行 光路系统会减小很多。
[0025] 计算机用于将可见光C⑶和红外光CXD采集的可见光图像和红外图像的图像数据 传输给通信模块，并显示目标跟踪的结果；
[0026] 通信模块用于接收和存储图像数据，并通过触发信号触发图像预处理模块工作；
[0027] 图像预处理模块用于对可见光图像和红外图像进行双边滤波处理，去除图像中的 噪声，并通过触发信号触发图像融合处理模块工作；
[0028] 图像融合处理模块用于对可见光图像和红外图像进行图像融合，并通过触发信号 触发目标增强处理模块工作；
[0029] 目标增强处理模块用于对融合后的图像进行分区间映射彩色的伪彩色处理，增强 图像中的目标，并通过触发信号触发目标增强处理模块工作；
[0030] 目标跟踪模块用于在图像中标记出运动目标，获得目标跟踪结果，并通过触发信 号触发通信模块将目标跟踪结果发送给计算机进行显示。
[0031] 工作过程
[0032] 如图1所示，使用本发明系统对场景中的目标进行跟踪时，目标场景的入射光以 与半透半反镜成45°夹角的方式入射到半透半反镜上，入射光被半透半反镜分离成两个波 段的光，其中，入射光中的可见光部分透过半透半反镜后射出，入射光中的红外光部分经半 透半反镜反射后射出，用可见光CCD采集透射的可见光获得目标场景的可见光图像，用红 外CCD采集反射的红外光获得目标场景的红外图像；
[0033] 计算机将可见光图像和红外图像的图像数据发送给通信模块；
[0034] 通信模块接收到图像数据后进行图像数据存储，当接收并存储一帧可见光图像数 据和一帧红外图像数据后，通信模块向图像预处理模块发送触发信号；
[0035] 图像预处理模块接收到通信模块传送的触发信号后，调用通信模块中存储的图像 数据，分别对可见光图像和红外图像进行双边滤波处理，去除图像噪声，并保存双边滤波处 理后的图像数据，然后向图像融合处理模块发送触发信号；
[0036] 图像融合处理模块接收到图像预处理模块传送的触发信号后，调用图像预处理模 块存储的