专利名称：低功耗红外实时信号处理系统的信号处理方法
技术领域：
本发明涉及数字信号处理技术，具体来说是一种低功耗红外实时信号处理系统的信号处理方法。它主要用于红外成像跟踪系统中的红外实时信号处理。
背景技术：
红外成像跟踪系统通过红外探测器获得目标的红外图像，然后对红外图像进行预处理和潜目标检测，最后利用一定的算法对目标进行跟踪。处理能力强、可靠性高的实时信号处理系统是红外成像跟踪系统的关键技术。以往的红外实时信号处理系统典型的架构如下红外探测器的输出图像到信号处理系统，进行图像预处理(非均勻性校正、图像增强)和潜目标检测。由于以前的红外实时信号处理系统大多是基于定点DSP，导致性能优异但计算复杂的跟踪算法实现起来较为困难，所以潜目标和图像数据需要再传输到PC平台，由PC机完成目标轨迹的确认跟踪。由此可见，传统的实时信号处理系统造成红外成像跟踪系统结构复杂、体积庞大、功耗巨大、可靠性差、实时性不够等缺点。因此设计一个体积小巧，低功耗、具有强大数据处理能力、可靠稳定的实时信号处理系统非常必要。采用低功耗高性能浮点信号处理系统的设计方案可以将图像处理、目标检测、多目标跟踪等系统功能集成于一块板卡之中，具有系统功耗低、实时性好、可维护性好、体积小、结构简洁等优点。
发明内容
本发明的目的，在于提出一种低功耗红外实时信号处理方法，实现红外图像的实时处理、潜目标提取、多目标跟踪、存储及显示。为实现上述目的，本发明所采用的硬件装置为一块嵌入式信号处理板卡，其中包括一片低功耗DSP芯片，一片FPGA，一个光纤模块，一个LCD模块，外围设备接口。各个硬件组成部分需要满足所述的低功耗DSP芯片必须为低功耗浮点处理器， 并且支持SYS/B0IS实时操作系统内核。所述的FPGA需要足够多的逻辑资源和内嵌存储单元(Block Ram)，并支持嵌入式微处理器软核(MicroBlaze)。所述的光纤模块必须包含发送、接收端口，通信速率大于500Mb/s。所述的IXD模块为TFT液晶模块。所述的其他外围设备接口包括用于实时存储红外图像数据的SATA接口 ；用于和其他外部平台通信的SPI、 USB2. 0、串口和以太网接口。各个硬件组成部分的连接关系为红外探测器和FPGA之间通过光纤接口连接； DSP和FPGA之间的数据通信通过DSP的EMIFA接口实现；DSP通过内部集成的设备控制器实现对外部设备的控制。红外实时信号处理系统实现红外信号实时处理的流程如下(1)红外探测器将采集到的红外图像通过光纤接口模块发送到FPGA。(2)在FPGA内实现红外图像的解包、缓冲、非均勻性校正、图像增强等预处理。
(3)DSP在基于SYS/B0IS操作系统的软件环境中对FPGA预处理后的图像做目标检测提取出的潜目标数据，并进行多目标跟踪。(4)将处理完成的红外图像结果用IXD模块显示，并照需求存储及传输。本发明的显著特点在于以下几点(1)采用低功耗的设计方案。DSP采用了高性能低功耗浮点处理器，并带有LCD 显示模块，这可以完成原有红外成像跟踪系统中PC平台处理机的功能，所有信号处理功能和原有PC平台的多目标跟踪、显示控制都在一块处理器板卡上实现，从而大大降低系统功
^^ O(2)实时性好。基于本架构对红外信号处理做适当的模块和软硬件划分，充分利用 FPGA的时序控制、并行计算、高速传输特性，将对速度算法简单的模块由FPGA完成，将需要大量复杂浮点计算、分支管理算法的算法模块由DSP完成。DSP软件基于SYS/B0IS构建，具有性能优越的内核和高效的多任务管理与调度机制，系统的实时性能够得以保证。(4)可维护性好。由于整个信号处理系统只有一块板卡，所以在系统故障时可迅速定位，系统出现故障时减少了排错时间，紧急维护时只需简单更换整个板卡即可。(5)体积小、结构简洁。由于整个信号处理系统的功能模块都集中在一块板卡上， 大大减少了系统的体积。同时系统的结构也变的更为简洁。
图1是低功耗红外实时信号处理系统的系统框图。图2是红外信号处理的流程图。
具体实施例方式下面根据附图对本发明的具体实施方式
作进一步的详细说明。图1是低功耗红外实时信号处理系统的系统框图。本发明所采用的硬件装置为一块嵌入式信号处理板卡，其中包括一片低功耗 DSP芯片，一片FPGA，一个光纤模块，一个IXD模块，外围设备接口。DSP和FPGA间通过DSP的EMIFA接口连接，24位地址总线、16位数据总线，将FPGA 作为DSP的一个外围设备来访问，同时为了系统扩展功能需要，FPGA和DSP间还保留了一个I2C接口以及16个GPIO接口。所述的DSP芯片是低功耗高性能浮点DSP，支持SYS/BI0S实时操作系统内核。本发明中的DSP选用了 TI公司的TMS320C6748，属于TI的C6000系列高性能DSP，是业界功耗最低的浮点数字信号处理器，可满足高能效、高连通性设计对高集成度外设、更低功耗的需求。TMS320C6748的主频最高可达456M，拥有强大的浮点运算能力，峰值运算能力可达3648/2746MIPS/MFL0PS。拥有丰富的外设资源，包括3个串口、2个SPI,2个I2C、1个 USB2. 0、一个 USB1. 1、一个 100M 网口、一个 SATA、一个 LCD 接口。具有 2 个 EMIF 接口，除了常见的Nor Flash, Nand flash, SDRAM接口外，还提供了对DDR2的支持。拥有64个独立 DMA通道，可完成片内存储器、片外存储器、存储器映射外设、主处理器与外设的高速传输。 TMS320C6748支持TI最新的CCS4. 0开发环境和SYS/B0IS实时操作系统内核。所述的FPGA芯片选用了 Xilinx公司的Spartan6系列的XC6slxl6，这款FPGA的片内逻辑资源有2278个slices，最大用户I/O 口有232个，576KbBlockRam，可以为系统设计提供足够多的硬件资源。同时这款FPGA支持MicroBlaze软核，为系统提供了简单易用的软件平台。所述的光纤模块包括一个光纤接头HFBR-5208，一片串并转换芯片MAX9218，一片并串转换芯片MAX9217。光纤模块的数据发送接收由FPGA控制，FPGA通过操作MAX9217、 MAX9218接收或发送光纤数据。光纤模块在本系统中主要有两个用途一是作为接收红外探测器发来的数据；另一个是将目标跟踪结果和系统处理后的图像传输给别的设备。所述的IXD模块包括一块夏普TFT液晶屏。IXD模块用来显示系统的处理后图像， 并将红外目标跟踪结果用波门标示出来。所述的外部设备包括以下用于实时存储红外图像数据的SATA接口 ；用于和其他外部平台通信的USB、SPI、串口和以太网接口。DSP通过内部集成的控制器实现对外部设备的控制。图2是红外信号处理的流程图。FPGA主要包括2个功能模块红外图像非均勻性校正、图像预处理。从红外探测器接收到的图像首先进入非均勻性校正模块，运用两点校正算法，对得到的红外图像进行校正。校正后的红外图像进入图像预处理模块，采用图像增强算法，提高图像质量。FPGA模块的软件基于MicroBlaze构建，嵌入式MicroBlaze软核接收外部命令，控制校正系数的计算、更新等。首先由数据接收模块接收由光纤得到的图像数据，启动非均勻性流水线处理，然后把数据写入到SDRAM中去，然后数据输出模块将经过预处理的图像数据以DMA方式送DSP做后续处理。DSP应用软件系统基于TI的SYS/B0IS设计，开发环境为CCS(Code Composer Studio) 4. O。软件划分为4个任务模块图像输入模块、目标检测模块、多目标跟踪模块、图像以及跟踪结果输出模块。利用SYS/B0IS的多任务调度特性，以任务进程的方式运行，任务进程间通过信号量和消息机制来同步、通信。其中的main进程只运行一次然后退出，对 EDMA、中断、信号量等进行设置，启动各任务进程。图像输入模块采用双缓存BufferA、BufferB,实现图像输入的乒乓操作。当目标检测模块处理其中的一个Buffer的图像数据时，图像输入模块获得图像数据存入另一 Buffer,下一次则相互交换。乒乓操作是通过EDMA提供的LINK功能来实现的，BufferA, BufferB各有自己的EDMA传输参数，将它们的参数RAM LINK互相指向对方，这就形成了一个循环传输链，一次传输结束后则自动装载对方的传输参数，从而实现了无限循环自动乒乓图像输入。目标检测模块通过一个数据指针访问存储的缓冲图像，每次EDMA完成后，图像输入模块的中断服务程序将访问指针指向刚完成传输的缓存Buffer。目标检测模块每次开始运行前读取并保存访问指针，这样就实现了乒乓缓存对目标检测模块的透明化。目标检测模块对得到的红外图像做阈值分割，目标检测，提取出潜目标。目标跟踪模块收到目标检测模块的信号后，即读取潜目标数据，启动多目标跟踪进程。多目标跟踪算法采用SB/MHT算法。从图中可以看出算法的处理流程SB/MHT算法主要包括门限关联，卡尔曼滤波和轨迹评价3个部分。卡尔曼滤波给出轨迹的当前状态估计和预测；然后用轨迹的预测位置、与潜目标做门限关联；门限关联后，记录各条轨迹的状态属性，做出轨迹评价，最后根据置信度对轨迹做出确认和删除操作。
目标跟踪模块输出跟踪结果后，跟踪结果及图像输出模块将跟踪结果和FPGA处理后的红外图像结合起来，把跟踪的结果用波门在红外图像上标注，然后将跟踪结果和图像送IXD模块显示。
权利要求
1. 一种低功耗红外实时信号处理系统的信号处理方法，它是在含有一片低功耗DSP芯片，一片FPGA，一个光纤模块，一个LCD模块及其他外围设备接口的低功耗红外实时信号处理系统上实现的，其特征在于包括以下步骤(1)红外探测器将采集到的红外图像通过光纤接口模块发送到FPGA；(2)在FPGA内实现红外图像的解包、缓冲、非均勻性校正、图像增强等预处理；(3)DSP在基于SYS/B0IS操作系统的软件环境中对FPGA预处理后的图像做目标检测提取出的潜目标数据，并进行多目标跟踪；(4)将处理完成的红外图像结果用LCD模块显示，并照需求存储及传输。
全文摘要
本发明公开了一种低功耗红外实时信号处理系统的信号处理方法，它主要用于红外成像跟踪系统。系统主要包括一块信号处理板卡(其中以一片DSP作为核心处理机，一片FPGA做数据控制器，一个光纤数据收发模块，一个LCD模块，以及其他外围设备)。其方法为在DSP上构建了基于SYS/BOIS实时操作系统内核的软件平台，在FPGA上构建了基于嵌入式微处理器软核的红外图像处理平台，系统数据输入输出通过光纤模块实现，系统显示通过LCD模块实现，通过对红外信号处理各功能模块合理划分并分别分配到DSP和FPGA上，可以实现红外实时信号处理。本发明的主要优点在于采用了低功耗的设计方案，将整个红外信号处理系统集成在一块板卡上，整个系统外部接口丰富，架构简洁，实时性好，功耗低。
文档编号H04N5/33GK102510481SQ20111035531
公开日2012年6月20日 申请日期2011年11月10日 优先权日2011年11月10日
发明者刘士建, 刘鹏, 李争, 李燕, 汤心溢, 盛春雨 申请人:中国科学院上海技术物理研究所