一种基于dm642的三路图像融合处理器设计方法
【专利摘要】本发明属于光电图像处理【技术领域】，具体涉及一种基于DM642的三路图像融合处理器设计方法。通过采用DSP+FPGA处理方案，设计实现了中波红外、长波红外和可见光三路图像四种模式的融合处理。利用FPGA芯片较强的并行处理能力和外部输入信息，实现了三路图像缩放和像素级配准的并行处理，解决了可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像分辨力不一致的问题，拓展了图像融合处理器的应用范围。利用时分复用DSP数据总线技术，解决了多路数据读取带来的数据总线宽度不够和数据输入输出冲突的问题。通过FPGA控制电路设计和FIFO模块的采用，克服了DM642DSP三个视频口作为输入接口后没有视频输出口的问题，进一步发挥了DM642DSP芯片的能力。
【专利说明】一种基于DM642的三路图像融合处理器设计方法
【技术领域】
[0001]本发明属于光电图像处理【技术领域】，具体涉及一种基于DM642的三路图像融合处理器设计方法。
【背景技术】
[0002]图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形成一幅新的图像。其目的是通过对多幅图像信息的提取与综合，从而获得对同一场景/目标的更为准确、更为全面、更为可靠的图象描述。
[0003]根据融合处理所处的不同阶段，图像融合可分为三个层次:像素级、特征级和决策级融合。像素级图像融合指的是直接对各幅图像的像素点进行信息综合的过程。特征级图像融合是对图像进行特征抽取后，将边沿、形状、轮廓等信息进行综合处理的过程。而在进行决策级图像融合前，每种传感器已经独立地完成了决策或分类任务，融合工作实质上是做出全局的最优决策。
[0004]目前，大部分图像融合处理器都是针对像素级融合，基本都只具有双路图像融合功能，而且相关融合处理器很少考虑探测器视场切换或连续变焦等带来的问题，实际应用受到了不同程度的限制。
[0005]图像融合处理器的硬件实现方式主要有以下三种方案:
[0006]①单DSP或多DSP并行处理方案。该方案通过单个或多个高性能的信号处理器件来实现相应的预处理与融合算法。该方案设计简单，易于实现。但在实现复杂算法时存在比较多的困难，特别是在多DSP处理中，如何合理的分配各DSP的处理任务，更好地实现处理的并行性，对算法的最终实现起关键作用。
[0007]②DSP+FPGA处理方案。本方案通过FPGA来完成预处理部分和相应的逻辑控制，而DSP主要来完成核心算法部分。该方式有较好的灵活性，充分发挥了 FPGA和DSP各自的优势。但该方案需要解决的问题是如何协调DSP和FPGA之间的通信和数据传输，保证整个处理可以快速有效地进行。
[0008]③大规模FPGA处理方案。该方式通过FPGA器件内部所带的丰富的逻辑资源、力口法器和乘法器等资源来实现预处理与融合算法。该方案易于实现并行处理，提高系统的处理速度。本方案的难点在于如何合理的利用FPGA内部资源实现相应的算法。
[0009]因此，亟需研制一种可实现中波红外、长波红外和可见光三路图像像素级融合处理的图像融合处理器，针对性地解决探测器视场切换或连续变焦等带来的问题，从而更好地实际应用。
【发明内容】
[0010]本发明要解决的技术问题是提供一种具有红外中波/长波、红外中波/可见、红外长波/可见和红外中波/长波/可见四种模式的图像融合处理器，从而有效解决可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像缩放和配准等问题。[0011 ] 为了实现这一目的，本发明采取的技术方案是:
[0012]一种基于DM642的三路图像融合处理器设计方法，采用DSP (数字信号处理器)+FPGA (现场可编程门阵列)的处理方案，主要包括2个CL (相机链接)接收器、I个A/D (模拟/数字)视频转换器、I个FPGA模块、I个DSP模块、I个FIFO (先入先出)模块，I个通信模块、I个D/A (数字/模拟)视频转换器、2个外部SDRAM (同步动态随机存储器)、I个电源模块，具体包括以下步骤:
[0013]I)在三路融合模式下，分别用2个CL接收器和I个A/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和I个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明；
[0014]2)电源模块为融合处理器各电路模块提供符合要求的电压；
[0015]3) 2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式；
[0016]4)1个A/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像；
[0017]5)通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收；
[0018]6) FPGA模块完成三路输入图像的接收及预处理；预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同；
[0019]7) DSP模块对输入的三路图像进行采集，利用视频捕捉口内置256k_Byte缓存和DSP片外32M-Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中；
[0020]8)在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中；
[0021]9)当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中；
[0022]10)根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口 ；
[0023]11)D/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS (复合电视广播信号)接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。
[0024]进一步的，如上所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于:步骤6)中，FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。
[0025]进一步的，如上所述的一种基于DM642的三路图像融合处理器设计方法，步骤7)中，DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行米集。
[0026]本发明技术方案与传统的技术方案对比，具有如下有益技术效果:
[0027]①通过采用DSP+FPGA处理方案，设计实现了中波红外、长波红外和可见光三路图像四种模式的融合处理。
[0028]②利用FPGA芯片较强的并行处理能力和外部输入信息，实现了三路图像缩放和像素级配准的并行处理，解决了可见光相机连续变焦，中波和长波热像仪双视场切换带来的图像分辨力不一致的问题，拓展了图像融合处理器的应用范围。
[0029]③利用时分复用DSP数据总线技术，解决了多路数据读取带来的数据总线宽度不够和数据输入输出冲突的问题。
[0030]④通过FPGA控制电路设计和FIFO模块的采用，克服了 DM642DSP三个视频口作为输入接口后没有视频输出口的问题，进一步发挥了 DM642DSP芯片的能力。
[0031]⑤通过改变相应的输入输出接口，本融合处理器还可以应用到其他光电成像传感器的双路或三路融合处理。
【专利附图】
【附图说明】
[0032]图1是本发明技术方案中三路图像融合处理器结构示意图。
【具体实施方式】
[0033]由于本处理器既需要完成大量的预处理运算，同时还需要完成多个模式的复杂融合算法的处理以及通信处理。同时考虑上述三种方案的优缺点，最终本方案选择了DSP+FPGA处理方案。实际设计的图像融合处理器结构示意图如图1所示。
[0034]一种基于DM642的三路图像融合处理器设计方法，采用DSP (数字信号处理器)+FPGA (现场可编程门阵列)的处理方案，主要包括2个CL (相机链接)接收器、I个Α/D (模拟/数字)视频转换器、I个FPGA模块、I个DSP模块、I个FIFO (先入先出)模块，I个通信模块、I个D/Α (数字/模拟)视频转换器、2个外部SDRAM (同步动态随机存储器)、I个电源模块，具体包括以下步骤:
[0035]I)在三路融合模式下，分别用2个CL接收器和I个Α/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和I个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明；
[0036]2)电源模块为融合处理器各电路模块提供符合要求的电压；
[0037]3) 2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式；
[0038]4)1个Α/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像；
[0039]5)通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收；
[0040]6)FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同；
[0041]7)DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行采集。利用视频捕捉口内置256k-Byte缓存和DSP片外32M_Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中；
[0042]8)在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中；
[0043]9)当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中；
[0044]10)根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口 ；
[0045]1DD/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS (复合电视广播信号)接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。
【权利要求】
1.一种基于DM642的三路图像融合处理器设计方法，其特征在于: 采用DSP (数字信号处理器)+FPGA (现场可编程门阵列)的处理方案，主要包括2个CL(相机链接)接收器、1个A/D (模拟/数字)视频转换器、1个FPGA模块、1个DSP模块、1个FIFO (先入先出)模块，1个通信模块、1个D/A (数字/模拟)视频转换器、2个外部SDRAM(同步动态随机存储器)、1个电源模块，具体包括以下步骤: 1)在三路融合模式下，分别用2个CL接收器和1个A/D视频转换器接收外部中波与长波热像仪和可见光相机发送过来的视频信号。对于两路融合模式，只需要接收对应的两路视频信号即可，以中波和可见光两路融合为例，只需要用一个CL接收器和1个A/D视频转换器接收对应的中波热像仪和可见光相机视频信号。下面以三路融合模式作具体说明； 2)电源模块为融合处理器各电路模块提供符合要求的电压； 3)2个CL接收器分别将中波和长波热像仪发送过来的中波和长波红外图像信号由差分方式转换为TTL方式； 4)1个A/D视频转换器将变焦可见光相机发送过来的模拟图像信号转换为数字图像； 5)通信模块通过RS232接口完成融合模式外部控制指令以及中波和长波热像仪视场角、可见光相机焦距等信息的接收； 6)FPGA模块完成三路输入图像的接收及预处理；预处理部分根据通信模块发送过来的中波和长波热像仪视场角信息和可见光相机的焦距信息，对输入的各路图像通过缩放处理保证三路图像的大小和分辨力相同，通过像素级配准保证三路图像中目标的空间位置相同； 7)DSP模块对输入的三路图像进行采集，利用视频捕捉口内置256k-Byte缓存和DSP片外32M-Byte大容量SDRAM，实现三路输入图像数据同步，并将同步后的三路图像数据暂存在SDRAM中； 8)在存储当前帧三路图像的同时，通过时分复用DSP数据总线，DSP处理器从片外SDRAM读取存储好的上一帧图像并进行融合处理，具体融合模式由通信模块通过接收外部指令来确定；处理后的融合图像存储在片外SDRAM中； 9)当一帧图像融合处理完毕后，DSP通过中断方式通知FPGA模块进行融合数据读取，FPGA将DSP从SDRAM中输出的融合图像数据写入到FIFO模块中； 10)根据D/A转换器输入数据格式和时序要求，FPGA从FIFO模块读取融合图像数据输出给D/A转换器数据接口 ； 1DD/A转换器将输入融合图像数据转换为模拟视频信号，并通过CVBS (复合电视广播信号)接口输出，通过带有CVBS输入接口的监视器可实时显示融合图像。
2.如权利要求1所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于:步骤6)中，FPGA模块采用Xilinx公司的Spartan3系列FPGA完成三路输入图像的接收及预处理。
3.如权利要求1所述的一种基于DM642的三路图像融合处理器设计方法，其特征在于:步骤7)中，DSP模块采用TI公司的DM642DSP的3个视频口作为视频捕捉口对输入的三路图像进行采集。
【文档编号】G06T5/50GK104463774SQ201310452970
【公开日】2015年3月25日 申请日期:2013年9月25日 优先权日:2013年9月25日
【发明者】宋亚军, 杨舒 申请人:北京环境特性研究所