匀性校正;然后DSP通过SR1将数据读入到DSP的存储器中然后对数据进行处理。当算法涉及到FFT或IFFT运算部分时，DSP会将该数据送入到ASIC进行计算，然后再将数据读回DSP进行后续处理。由于飞行器在飞行过程中会有旋转的过程，此时DSP会通过FPGA调用旋转ASIC对图像进行校正。完成一帧处理后DSP调用多级滤波ASIC和标记ASIC进行目标识别，并将校正后的图像以及目标位置信息通知FPGA，FPGA收到消息后在将数据传送出去，至此完成整个气动光学效应校正以及目标识别算法。
[0057]软件系统:
[0058](I)软件系统包括气动热辐射效应校正、图像去噪、气动光学传输效应校正，目标检测与识别等过程。根据气动光学效应退化机理，整个校正过程的框架为:首先进行气动热辐射校正，然后进行去噪处理，之后在做气动光学传输效应校正，经以上处理完成对图像的恢复，最后在进行目标检测与识别。
[0059](2)针对气动光学效应的复杂性，通过对算法有效性的研究，对以上三种处理过程分别提出了适合并有效的校正算法分别为:基于梯度拟合的气动热辐射校正算法、利用目标频域特性的频域滤波方法和Hu矩约束下的最大似然估计算法。由于以上算法中涉及到大量的FFT/IFFT运算，并且这部分运算消耗较大，所以在本发明中使用了自主研发的专用FFT运算ASIC来对算法进行加速，并且将相对成熟的非均匀性校正、旋转、标记、多级滤波等算法做成ASIC来使用，进而提升处理的实时性。
[0060]基于ASIC+FPGA+DSP结构的气动校正识别一体化实时处理系统的硬件框图如图1所示，软件流程如图7所示。[0061 ]具体实现过程为:
[0062](I)气动光学效应退化图像数据通过LVDS信号接口传输至FPGA，FPGA对数据进行缓存。
[0063](2)DSP Core7通过SR1与FPGA进行通信，通过NREAD事务读取FPGA端退化图像信息(分辨率、图像格式)创建相应大小的图像缓冲区，然后将缓冲区的信息通过NWRITE_I^务发送给FPGA。
[0064](3)DSP Core7通过Doorbell事务通知FPGA地址信息已发送完成表示FPGA可以向该缓冲区写入退化图像数据，然后FPGA根据地址映射表将退化图像数据通过NWRITE_R事务写入相应的缓冲区，完成后通过Doorbell事务通知DSP Core7当前退化图像数据完整。
[0065](4)DSP Core7通知CoreO退化图像数据已就绪可以进行后续的处理；
[0066](5)COre0在接收到第一帧退化图像数据后，先通过调用校正SoC对图像进行非均匀性校正，如图5所示为校正SoC的系统框图。然后对图像进行全图热辐射校正、去噪以及传输效应校正，然后对全图进行预检测，并提取出分辨率为64 X 64大小的感兴趣区域，之后在对该区域进行校正，将校正后的子图还原到原图中检测目标位置，此时可以确定目标的精确位置。
[0067]具体而言，全图热辐射校正方法采用的是基于梯度拟合的气动热辐射校正算法，该方法是通过对气动光学效应退化图像进行灰度偏移场拟合，然后用该退化图像减去估计出的灰度偏移场，从而得到气动热辐射校正图像，其流程图如图8所示。全图去噪采用的是利用目标频域特性的频域滤波方法，以点源目标为例进行具体说明，根据点源目标以及噪声的频谱分布特性构建不同半径的高斯环状滤波器，然后对含有噪声的图像进行傅里叶变换(这部分计算在FFT运算AISC中实现)，然后将其与滤波器作点乘然后进行傅里叶逆变换操作得到去噪后的图像，如图9所示。传输效应校正方法采用的是Hu矩约束下的最大似然估计算法，该算法的特性就是通过对点扩展函数(PSF)和图像进行反复的迭代来进行图像的复原，整个算法流程以及其在硬件系统上实现的分布如图10所示。
[0068](6)在进行连续多帧处理时，由于帧频较快，下一帧和上一帧目标所在的位置偏差很小，所以在对下一帧处理时首先进行全图热辐射校正，然后直接以上一帧目标所在的位置为中心提取出分辨率为64X64大小的感兴趣区，然后直接对该区域进行去噪与校正处理，最终再进行目标检测，所有算法在DSP中执行的具体过程如图12所示。
[0069]目标检测的具体过程为:DSP通过FPGA将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪等处理，整个过程由DSP作为主导，其处理流程如图13所示。图3和图4分别展示了标记ASIC与多级滤波ASIC的结构框图。
[0070](7)CoreO在执行过程中，需要使用FFT/IFFT运算时，将退化图像数据通过FPGA传送到FFT运算ASIC，其系统结构如图2所示，并对该ASIC进行配置，ASIC处理完成后再将数据送回至DSP，COre0继续执行;在需要将图像旋转时，通过调用旋转ASIC进行旋转操作，图6显示了旋转ASCI的典型连接方式;在遇到大量复杂循环操作时，CoreO通过调用OpenMP来引导CoreO?Core6对这部分循环进行并行处理，多核调度过程如图11所示，处理完成后将图像信息(分辨率，图像格式，存储地址)发送给Cor e7。
[0071](8)Core7通过SR1将图像数据以及图像信息发送给FPGA，FPGA收到数据后最终通过LVDS信号接口将数据传输到下一级处理系统，完成整个气动光学效应校正识别过程。
[0072]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种气动光学效应校正识别一体化实时处理系统，其特征在于，所述系统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC: 所述FPGA模块，与所述多核主处理器DSP相连，用于接收并缓存气动光学效应退化图像数据及接收处理后的图像数据以及对应的图像信息； 所述多核主处理器DSP，与FPGA模块相连，用于读取FPGA模块端退化图像信息及接收退化图像数据，并通过调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对退化图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测，并将处理后的图像数据以及对应的图像信息发送给FPGA模块； 所述多个协处理器ASIC，用于对退化图像数据进行全图热辐射校正、去噪、传输效应校正以及目标检测； 所述红外图像非均匀性校正片上系统SoC，用于对退化图像数据进行非均匀性校正。2.如权利要求1所述的系统，其特征在于，所述多核主处理器DSP包括CoreO?Core7: 所述Core7，与FPGA模块相连，一方面用于读取FPGA模块图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块；另一方面用于接收FPGA模块写入相应图像缓冲区的退化图像数据并通知CoreO进行后续的图像数据处理;还用于接收处理后的图像数据及图像信息并将其发送给FPGA模块； 所述CoreO，一方面用于对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测。3.如权利要求1所述的系统，其特征在于，所述CoreO可通过OpenMP来引导CoreO?Core6对退化图像数据进行并行处理。4.如权利要求1-3任一项所述的系统，其特征在于，所述多个协处理器ASIC具体包括FFT运算AS IC、旋转AS IC、多级滤波AS IC及标记AS IC。5.如权利要求1所述的系统，其特征在于，所述FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC均可配有扩展存储器，所述FPGA模块、多核主处理器DSP以及红外图像非均匀性校正片上系统SoC还可配置有掉电不易失FLASH器件。6.—种气动光学效应校正识别一体化实时处理方法，其特征在于，所述方法包括: (1)利用FPGA模块接收并缓存气动光学效应退化图像数据； (2)多核主处理器DSP读取FPGA模块端退化图像信息，并接收退化图像数据； (3)多核主处理器DSP调用红外图像非均匀性校正片上系统SoC及多个协处理器ASIC对图像数据进行全图热辐射校正、去噪、传输效应校正及目标检测； (4)多核主处理器DSP将处理后的图像数据以及图像信息发送给FPGA模块。7.如权利要求6所述的方法，其特征在于，所述步骤(3)具体包括: (3.1)所述多核主处理器DSP的Core7，读取FPGA模块退化图像信息并创建相应大小的图像缓冲区，并将缓冲区的信息发送至FPGA模块； (3.2)所述Core7接收FPGA模块写入图像缓冲区的退化图像数据并通知CoreO进行后续的图像数据处理； (3.3)所述CoreO对接收到的退化图像数据，先通过调用校正SoC对其进行非均匀性校正，然后通过调用多个协处理器ASIC进行全图热辐射校正、去噪、传输效应校正以及目标检测； (3.4)所述Core7将处理后图像数据及图像信息发送给FPGA模块。8.如权利要求7所述的方法，其特征在于，所述CoreO可通过OpenMP来引导CoreO?Cor e6对图像数据进行并行处理。9.如权利要求6-8任一项所述的方法，其特征在于，所述多个协处理器ASIC具体包括FFT运算AS IC、旋转AS IC、多级滤波AS IC及标记AS IC。10.如权利要求6-8任一项所述的方法，其特征在于，所述目标检测具体包括: 首先，多核主处理器DSP通过FPGA模块将处理后的图像数据传送到多级滤波ASIC进行多级滤波操作，然后将滤波后的结果传送到标记ASIC对图像进行标记，最终将标记结果送回DSP进行特征提取以及目标形心跟踪处理。
【专利摘要】本发明公开了一种气动光学效应校正识别一体化实时处理系统，统包括FPGA模块、多核主处理器DSP、多个协处理器ASIC及红外图像非均匀性校正片上系统SoC，通过上述系统完成气动光学效应退化图像的全图热辐射校正、去噪、传输效应校正及目标检测过程。相应的，本发明提出了一种与之对应的方法。本发明能够有效解决气动光学效应问题以及飞行器高速飞行条件下要求处理器在完成探测处理时间间隔短的问题，通过采用自主研发的专用ASIC，使得整个系统的实时性大大提升；对各任务进行合理分配并采用多核并行的方式，大大缩短了图像的处理时间；同时，本发明中的FPGA模块将各单元连接成闭环系统，进一步提高了系统的稳定性。
【IPC分类】G06T5/00
【公开号】CN105469370
【申请号】CN201511002876
【发明人】张天序, 侯旋, 章川, 刘立, 陈泉, 钟奥, 许明星, 周雨田
【申请人】华中科技大学
【公开日】2016年4月6日
【申请日】2015年12月28日