一种气动光学效应校正识别一体化实时处理的系统和方法
【技术领域】
[0001]本发明属于航天技术与图像处理相结合的交叉科学技术领域，具体涉及一种气动光学效应校正识别一体化实时处理系统和方法。
【背景技术】
[0002]二十世界末以来，高超声速飞行器逐渐成为航空航天领域的重要发展方向。无论是在高科技产业，还是在经济领域都具有极高的战略意义，主要体现在洲际飞行器以及空天飞机等飞行器的大力发展。但是由于飞行器的高速性带来的严酷的成像环境使得成像传感器成像品质劣化，信噪比、信杂比大幅降低，探测距离大幅下降；此外飞行器的高速运动导致处理器在完成探测处理时间间隔更短，对有限的处理能力提出了更加严峻的挑战。所以超高声速飞行器的发展还面临着这样一系列的气动光学效应问题以及对应的校正算法计算相当复杂的难题。
[0003]气动光学效应主要包括气动光学传输效应和气动热辐射效应。气动光学传输效应通常是指带有光学成像探测系统的高速飞行器在大气层内飞行时，光学头罩与来流之间形成复杂的流场，对光学成像探测系统造成除热辐射外的光学波前传输畸变或传输干扰，弓丨起被观测对象图像的偏移、抖动、模糊；而气动热辐射效应指的是在高温高压气体的影响下，原本光学特性均匀的窗口外形将产生畸变，并且在内部形成了折射率梯度分布，当平面波入射到畸变窗口时，出射后的等光程波面偏离了理想波面，波面发生畸变，从而导致成像模糊。
[0004]目前已经具备相应的气动光学传输效应校正算法以及气动热辐射效应校正算法，但还没有同时具备这两种校正算法，带有识别功能并且具有体积小、重量轻、功耗低、处理速度快以及结构明确等特点的实时处理系统。
【发明内容】
[0005]针对现有技术的以上缺陷或不足，本发明提出了一种气动光学效应校正识别一体化实时处理系统及方法，有效解决了飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题。本发明同时具备硬件系统的结构设计和算法软件系统的流程设计，主要针对气动光学效应退化图像的去噪、气动热辐射校正、气动光学传输效应校正以及目标检测与识别的实时处理展开，并采取任务分配和多核并行的处理方式，使得整个系统的实时性大大提升。
[0006]为实现上述目的，本发明提出了一种气动光学效应校正识别一体化实时处理系统，其特征在于，所述系统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC:
[0007]所述FPGA模块，与所述多核主处理器DSP相连，用于接收并缓存气动光学效应退化图像数据及接收处理后的图像数据以及对应的图像信息；
[0008]所述多核主处理器DSP，与FPGA模块相连，用于读取FPGA模块端退化图像信息及接收退化图像数据，并通过调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对退化图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测、识别，并将处理后的图像数据以及对应的图像信息发送给FPGA模块；
[0009]所述多个协处理器ASIC，用于对按其功能划分，分别用于对图像的预处理、算法的加速处理以及目标检测与识别；
[0010]所述红外图像非均匀性校正片上系统SoC，用于对退化的红外图像数据进行非均匀性校正。
[0011 ] 作为进一步优选的，所述多核主处理器DSP包括CoreO?Core7:
[0012]所述Core7，与FPGA模块相连，一方面用于读取FPGA模块图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；另一方面用于接收FPGA模块写入相应图像缓冲区的退化图像数据并通知CoreO进行后续的图像数据处理;还用于接收处理后的图像数据及图像信息并将其发送给FPGA模块；
[0013]所述CoreO，一方面用于对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测。
[0014]作为进一步优选的，所述CoreO可通过OpenMP来引导CoreO?Core6对退化图像数据进行并行处理。
[0015]作为进一步优选的，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
[0016]作为进一步优选的，所述FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC均可配有扩展存储器，所述FPGA模块、多核主处理器DSP以及红外图像非均匀性校正片上系统SoC还可配置有掉电不易失FLASH器件。
[0017]按照本发明的另一方面，提出了一种气动光学效应校正识别一体化实时处理方法，其特征在于，所述方法包括:
[0018](I)利用FPGA模块接收并缓存气动光学效应退化图像数据；
[0019](2)多核主处理器DSP读取FPGA模块端退化图像信息，并接收退化图像数据；
[0020](3)多核主处理器DSP调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测；
[0021](4)多核主处理器DSP将处理后的图像数据以及图像信息发送给FPGA模块。
[0022]作为进一步优选的，所述步骤(3)具体包括:
[0023](3.1)所述多核主处理器DSP的Core7，读取FPGA模块退化图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；
[0024](3.2)所述Core7接收FPGA模块写入图像缓冲区的退化图像数据并通知CoreO进行后续的图像数据处理；
[0025](3.3)所述CoreO对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测；
[0026](3.4)所述Core7将处理后图像数据及图像信息发送给FPGA模块。
[0027]作为进一步优选的，所述CoreO可通过OpenMP来引导CoreO?Core6对图像数据进行并行处理。
[0028]作为进一步优选的，所述多个协处理器ASIC具体包括FFT运算ASIC、旋转ASIC、多级滤波ASIC及标记ASIC。
[0029]作为进一步优选的，所述目标检测具体包括:
[0030]首先，多核主处理器DSP通过FPGA模块将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪处理。
[0031]总体而言，按照本发明点的以上技术方案与现有技术相比，主要具备以下的技术优点:
[0032]1、本发明系统包括红外图像的非均匀性校正、旋转、图像去噪、气动热辐射效应校正、气动光学传输效应校正以及目标识别等过程，其中图像非均匀性校正、旋转以及目标识别过程中的多级滤波和标记均采用自主研发设计的专用ASIC来处理，显著提升了整个系统的实时性；
[0033]2、此外，本发明系统及方法中多核主处理器DSP主导退化图像数据处理过程的执行，且对任务进行合理分配并采用多核并行的方式执行，大大缩短了退化图像的处理时间；同时，本发明中的FPGA模块充当系统互连的角色，将各个单元合理的连接到一块形成整个系统的闭环，进一步提高了系统的稳定性。
[0034]3、按照本发明提出的气动光学效应校正识别一体化实时处理系统和方法，能有效的解决气动光学效应问题以及飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题，且未存在过多的计算复杂度，便于操控，因而具有一定的可实施性及实用推广价值。
【附图说明】
[0035]图1为气动校正识别一体化处理系统的硬件系统结构框图；
[0036]图2为专用FFT运算ASIC(FFT8092V1.0)的整体框图；
[0037]图3为标记ASIC的系统框图；
[0038]图4为多级滤波ASIC的系统框图；
[0039]图5为校正SoC的系统框图；
[0040]图6为旋转ASIC的互连框图；
[0041 ]图7为气动光学效应校正软件框图；
[0042]图8为热辐射效应校正算法流程及任务分配图；
[0043]图9为图像去噪算法流程及任务分配图；
[0044]图10(a)为气动光学传输效应校正算法的外迭代流程图；
[0045]图10(b)为气动光学传输效应校正算法的点扩展函数(PSF)估计流程图；
[0046]图10(c)为气动光学传输效应校正算法的目标图像估计流程图；
[0047]图10(d)为气动光学传输效应校正算法任务分配图；
[0048]图11为DSP多核调度图；
[0049]图12(a)为DSP Core7处理流程图；
[0050]图12(b)为DSP CoreO?Core6处理流程图； [0051 ]图13为目标识别流程图。
【具体实施方式】
[0052]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0053]硬件系统:
[0054](I)硬件系统的核心器件为一颗TI公司生产的TMS320C6678多核主处理器DSP，一颗XILINX公司生产的Kintex7FPGA模块;ASIC均采用的是自主研发的芯片，包括一颗专用FFT(Fast Fourier Transform)运算的ASIC(FFT8192V1.0)、一颗红外图像非均勾性校正片上系统SoC、一颗旋转ASIC、一颗多级滤波AISC以及一颗标记ASIC。每颗器件根据需求均配有扩展存储器，此外FPGA模块、DSP以及SoC还配置有掉电不易失的FLASH器件，便于程序的固化。
[0055](2)在本发明中DSP作为主处理器，控制算法流程;ASIC作为协处理器，校正SoC和旋转ASIC用在图像预处理方面，多级滤波ASIC和标记ASIC用在目标检测和识别方面，专用FFT运算ASIC则用来计算消耗较大的FFT运算;FPGA主要用来做接口设计。DSP与FPGA之间采用一组4XSR10(Serial Rapid I/O)进行数据传输;DSP与FFT运算ASIC之间采用并行输入输出总线进行数据传输并通过I2C总线或同步串口的方式对其工作方式进行设置。
[0056](3)图像数据通过LVDS(Low Voltage Differential Signaling)信号接口进入FPGA模块，FPGA模块先对对数据进行缓存，由于红外相机的成像因素，需要通过调用校正SoC对红外图像进行非均