一种消像移成像的实时自适应处理方法

专利名称：一种消像移成像的实时自适应处理方法
技术领域：
本发明涉及图像获取技术，具体指一种高速运动小目标运动补偿消像移成 像的自适应实时处理方法，它应用于对远处快速运动小目标高可靠性信息的获 取。
背景技术：
高速运动小目标是红外图像获取的一个重要目标，近年来也在可见光图像中得到应用。对该类目标成像具有目标尺寸较小(约不足lm)、成像距离远(数 公里)、成像背景相对单一且变化较慢、目标运动速度特别快(最高可达lkm/s)、 目标成像所占像元不少于4X4个等特征。传统的成像方法一般空间分辨率较 低，对像移模糊不敏感，基本上只需满足目标监视的要求。而为了获取该运动 目标的高可靠性信息，实现对其的清晰成像，则需保证在积分时间内目标运动 像移不能超出1个瞬时视场，而假定目标成像占有4 X 4个像元，目标尺寸0.5m， 成像相对运动速度为lkm/s，积分时间为5ms，则在积分时间内目标将移动了 40个像素，这样采用传统的成像方法则存在严重的像移模糊问题。同时由于目 标运动速度非常快，根据上述的目标运动速度，假定探测器像元数为lkXlk， 则目标横向穿过视场的时间仅为125ms，为了保证系统能捕获到目标进行像移 补偿成像，则系统的实时处理性要求显得尤为重要。传统的消像移成像方式有很多，如普通DC运动模式采用的曝光控制，航 测相机采用的光机方式驱动相机或探测器运动补偿、TDI方式的电子学运动补 偿、北京凌云光视数字图像技术有限公司在2007年申请的专利航空全帧转移 型面阵CCD相机像移补偿方法(专利申请号200710117666.5)所述的电子学像移补偿等，但目前这些像移补偿方式主要面对分辨率不是很高或目标运动特 性完全已知的情况，如航测或同步弹道摄影等，它们一般只需将运动补偿方向 调整为与目标像运动方向一致，并提前设定好像移运动补偿参数适时开启即 可，而图像数据则直接回传，不存在在线实时图像处理，对于远处高速运动的 小目标且目标轨迹和速度未知的情况尚不能很好地自适应处理和响应。目前具 有实时在线自适应处理机制的成像系统主要应用于目标监视的任务，其面向的 对象大多为点目标或运动速度较慢的固定目标，它们在成像平面上的运动速度 并不高，基本不存在目标轻易逃离出视场或成像中像移完全模糊的情况。综上 所述，对于速度未知的高速运动小目标的清晰成像目前还没有较好的在线实时 自适应处理的解决方法。 发明内容本发明的目的在于提供一种高速运动小目标消像移成像的实时自适应处 理方法，通过自适应调整像移补偿机制来消除目标高速相对运动带来的像移模 糊的影响。本发明方法是在如图3所示的高速运动小目标成像系统上来实现的。整个 成像系统安装在一个具有较高精度的二维跟踪指向转台4上，该装置首先利用 二维跟踪指向转台4运行分行扫描目标搜索模式，光学信号通过成像光学系统 1进入大面阵焦平面探测器3实现图像获取，实时处理系统5对探测器3获取 的图像进行处理找到目标并获取消像移成像运动补偿量，进而控制高精度二维 消像移压电倾斜镜2进行像移补偿，同时控制二维跟踪指向转台4的指向将目 标保持在成像视场中，从而实现对高速运动小目标的清晰成像。 本发明方法的流程图如图l所示，其实时处理的主要步骤包括 A.采用相关双尺度滤波对获取的存在运动模糊的图像进行遍历实现图像滤波预处理，移除缓变的背景获得目标增强图像；B.采用相邻像元累加的算法对可能目标像元进行记录，提取出亮度超过背景亮度一定阈值的可能目标像元，同时抑制随机噪声的影响；c.对可能目标像元的位i进行归类，记录下候选目标的个数及每个目标的外形、大小、中心位置及亮度等信息；D. 按A、 B、 C步骤连续获取3帧存在可能目标的图像，采用帧间相关的 办法对相对位置固定的从背景中提取的部分伪目标进行移除，并根据目 标的多帧运动一致性原则挑选出需跟踪的目标；E. 针对步骤D选择出来的目标，根据成像的帧频、探测器像元尺寸、像移 补偿镜的安装位置等特性，计算出跟踪成像的像移补偿量，发送给控制 器进行像移补偿成像。上述步骤采用FPGA+DSP硬件实现。实时处理系统硬件实现框图如图2 所示，系统启动后，FPGA产生探测器驱动时序进行图像获取，并读取探测器 输出的数据进行图像滤波预处理与可能目标像元提取，将提取出的可能目标通 过DSP的EMIF 口发送给DSP作进一步处理，即上述的步骤A和B; DSP对 接收到的可能目标像元进行归类，在连续获取了 3帧具有目标的图像后运行帧 间相关伪目标移除算法找出目标并进行运动一致性检测，估算出目标的位置和 成像所需的运动补偿量，并通过DSP的GPIO 口将这些信息发送给二维指向转 台与高精度二维压电倾斜镜控制其进行像移补偿成像，即上述的步骤C、 D、 E。在步骤A: FPGA的目标增强滤波处理采用通用的相关双尺度滤波算法， 即对原始图像采用尺度为SXS的高通滤波算子进行小尺度滤波完成对具有高 频特性的小目标的保护，S的取值范围为1 5之间的奇数；同时原始图像采用 尺度为LXL的平滑滤波算子进行大尺度滤波实现图像背景的估计，其中L的选择范围在5~9之间取奇数,且L>S;将双尺度滤波得到的图像进行减操作， 即得到了背景移除后的目标增强图像，同时还抑制了随机噪声。在步骤B: FPGA对存在的可能目标像元进行检测实际上是在对图像进行遍 历滤波的同时实现的，它对图像象元的4X4邻域进行累加，若某个像元邻域 亮度累加的值超过了给定的阈值，则认为是可能存在目标，记录下其位置和亮 度值。其中给定的阈值为大尺度滤波得到的背景估计值的1.2 2倍之间选取， 具体数值的选择根据实际应用的目标与背景特性来定。经过FPGA的上述操 作，若没有检测到可能的目标像元，则丢弃图像并继续进行图像获取，否则将 记录下来的亮点发送给DSP作进一步处理。在步骤C:经过FPGA的检测后，DSP需对检测出来的为数不多的可能目标 像元作进一步处理。DSP首先对这些可能目标像元进行循环检测归类，计算出 图像中共有的可能目标数目，即若记录的某些目标像元位置相邻，则将其归为 同一个可能目标。待归类完成后记录可能目标的个数，并统计出每个可能目标 类的中心位置、亮度均值、占有的象元数及X和Y方向分别延伸的象元个数等 信息。在步骤D:系统若连续获取了3帧(帧号N-1 N+1)含有目标亮点的图像， 则DSP采用帧间相关的算法进行伪目标移除与目标轨迹一致性检测。首先以第 N-l和第N帧的归类后可能目标中中心点位置X和Y方向均最小的目标为原点， 计算出其它目标中心点与该点的相对位置；然后比较这两帧，若对于它们的大 部分可能目标(不少于可能目标数目的一半)其X和Y方向的相对位置误差均 在Nf (取0~4)个像元内，则认为这些可能目标均为背景中的伪目标并记录下 它们的位置，否则则挑选与原来设定的原点的X位置相差最小的象元为原点， 继续进行上述操作，直到可以移除一半以上的伪目标为止，若挑选了所有像元为原点仍然不能移除伪目标，则将第N-1帧丢弃，继续读取第N+2帧。同上述 方法对第N帧和第N+l帧进行伪目标査询，并将三帧中两次记录的伪目标均移 除，经过这一操作可以移除大部分的伪目标。若剩余的可能目标仍然不止1个， 则选取三帧的剩余可能目标中亮度差别不超过均值的20%、所占像元数差别不 超过Np (取0~8)个、目标在X和Y方向的象元延伸长度的差别均不超过Nxyl (取0~4)的目标为候选目标组，判断它在三帧中的运动一致性，若某组候选 目标的运动位置差别在X与Y方向均不超过Nxy2 (取0 4)个像元，则断定它 为系统搜索的目标，否则若没有类似的目标，则丢弃第N-l帧继续进行第N+2 帧的分析直到找到目标为止。参数Nf、 Np、 Nxyl、 Nxy2根据判断严格程度取 值，按从严至松顺序，各参数从小到大进行取值。在步骤E: DSP在针对搜索出来的目标，计算出目标像移在X和Y方向的平 均运动速度，即第N+l帧与第N-l帧目标位置差/(2—贞周期)，单位为像元/s。 假定像移速度在X方向和Y方向分别为Sx和Sy，探测器像元间隔距离为AX A um2， 二维压电倾斜扫描镜的镜面中心与探测器感光单元的距离为H um，则二维 压电倾斜扫描镜的运动补偿速度在X方向为SxXA/2H rad/s，在Y方向为Sy XA/2H rad/s。本方法的优点在于1. 系统采用运算复杂度低的算法可以满足实时性和准确性的要求，适于对 高速划过成像视场进行处理。其中相关双尺度滤波算法和邻域累加的方 法可以较好地移除变化不大的背景并判断出可能的目标象元，而采用多 帧相关的算法可以较准确地移除背景中相对位置不变的伪目标，并根据 一致性检验可以准确地检测出高速运动的小目标。2. 实时处理硬件系统采用FPGA与DSP相结合的方式，既可以充分发挥FPGA硬件处理在图像遍历滤波方面速度快的特性，又可以发挥DSP指令运算频率高的优点，它们互相配合一起完成图像的遍历滤波、目标搜 索与轨迹估算等数据处理工作，从而很好地满足系统实时处理的要求。


图1是实时处理系统工作流程图。图2为实时处理系统硬件框图。 图3是高速运动小目标成像系统； 图中， 1-成像光学系统；2- 二维像移补偿压电倾斜镜；3- 焦平面探测器；4- 二维跟踪指向转台；5- 实时处理与控制机构。具体实施方法根据说明书中所述的实时自适应处理方法，它实现平台的结构示意图如图3 所示，平台由成像光学系统l、 二维像移补偿压电倾斜镜2、焦平面探测器3、 二维跟踪指向转台4和实时处理与控制机构5构成，其中成像光学系统1采用普通的光学望远镜，口径为150mm，焦距1800mm， F 数为12，分辨率〈1"，系统瞬时视场为8urad，总视场0. 47°;二维像移补偿压电倾斜镜2采用四支点XY轴倾斜平台，其闭环倾斜角度可 达土2mrad，分辨率达0. 05urad，镜面直径为50mm，闭环线性度0. 2%，共振频 率3. 3KHz，其镜面与焦平面的距离H为50mm;大面阵焦平面探测器3采用具有全局快门的单色面阵CMOS器件，其面阵大 小为lkXlk，响应波长为400 1000nm，像元尺寸为14umX 14um，帧频20fps，积分时间可控制达US量级；二维跟踪指向转台4采用具有俯仰旋转和方位旋转的普通二维转台，方位旋转角度为(T360度，转速0.57s、。/s,精度<0.05°，俯仰旋转角度为0°~90°， 转速0.57s 4。/s，精度〈0.r，负载达200Kg。实时处理系统的硬件结构如图2所示，它由FPGA+DSP的实时图像处理与识 别模块和高精度二维控制器构成，其中FPGA逻辑单元数为12060LEs，内置2 个PLL和234Kbits RAM，外部时钟为40腿z;选择的定点DSP外部时钟为50MHz， 运算频率为600腿z，具有GPIO接口和32位的EMIF接口 ，程序存储在Flash 中。实时处理算法中，选择大尺度平滑滤波的滤波尺度L=7，加权值均为1; 小尺度滤波的尺度为S二3，中心点加权值为4，邻域加权值为l;可能目标象元 判断阈值为背景亮度估计的1.5倍，在伪目标移除时，判断是否具有伪目标特 性的位置误差Nf取为2个像元，判断目标类似的亮度差取为20%，目标外形所 占象元差不超过Np=6个像元，目标象元在X和Y方向的延伸等的差别均不超 过Nxyl^2个像元，在判断目标运动一致性时，其运动量之差在X与Y方向均 不超过Nxy2二2个像元。
权利要求
1. 一种消像移成像的实时自适应处理方法，其特征在于该方法包括以下步骤A.采用相关双尺度滤波对获取的存在运动模糊的图像进行遍历实现图像滤波预处理，移除缓变的背景获得目标增强图像；B.采用相邻像元累加的算法对可能目标像元进行记录，提取出亮度超过背景亮度一定阈值的可能目标像元，同时抑制随机噪声的影响；C.对可能目标像元的位置进行归类，记录下候选目标的个数及每个目标的外形、大小、中心位置及亮度等信息；D.按A、B、C步骤连续获取3帧存在可能目标的图像，采用帧间相关的办法对相对位置固定的从背景中提取的部分伪目标进行移除，并根据目标的多帧运动一致性原则挑选出需跟踪的目标；E.针对步骤D选择出来的目标，根据成像的帧频、探测器像元尺寸、像移补偿镜的安装位置等特性，计算出跟踪成像的像移补偿量，发送给控制器进行像移补偿成像。
2.根据权利要求1所述的一种消像移成像的实时自适应处理方法，其特征 在于所说的步骤A采用相关双尺度滤波算法，对原始图像SXS小尺度滤波 的S的取值范围为1 5之间的奇数；对LXL的大尺度滤波的L的取值范围为 5 9之间的奇数，且L〉S。
3.根据权利要求l所述的一种消像移成像的实时自适应处理方法，其特 征在于在所说的步骤C中，可能存在目标的判断阈值为大尺度滤波得到的背 景估计值的1.2 2倍。
4.根据权利要求1所述的一种消像移成像的实时自适应处理方法，其特征在于在所说的步骤D中，伪目标的移除按以下方法进行a. 以第N-l和第N帧的归类后可能目标中中心点位置X和Y方向均最小的目标为原点，计算出其它目标中心点与该点的相对位置；然后比较这两帧，若对于它们的大部分可能目标的X和Y方向的相对位置误差均在设定的误差范围Nf内，则认为这些可能目标均为背景中的伪目标并记录下它们的位置，否则则挑选与原来设定的原点的X位置相差最小的象元为原点，继续进行上述操作，直到可以移除一半以上的伪目标为止，若挑选了所有像元为原点仍然不能移除 伪目标，则将第N-1帧丢弃，继续读取第N+2帧，同上述方法对第N帧和第N+l 帧进行伪目标查询，并将三帧中两次记录的伪目标均移除；b. 经过a方法操作可以移除大部分的伪目标，若剩余的可能目标仍然不止1个，则选取三帧的剩余可能目标中亮度差别不超过均值的20%、所占像元数差别不超过Np个像元、目标在X和Y方向的象元延伸长度的差别均不超过 Nxyl的目标为候选目标组，判断它在三帧中的运动一致性，若某组候选目标的运动差别在X与Y方向均不超过Nxy2个像元，则断定它为系统搜索的目标，否则若没有类似的目标，则丢弃第N-l帧继续进行第N+2帧的分析直到找到目 标为止；其中参数Nf、 Nxyl、 Nxy2在0 4个像元范围内取值，参数Np在0~8个像元范围内取值，各参数根据判断严格程度取值，按从严至松顺序，各参数从小到大进行取值。
5.根据权利要求l所述的一种消像移成像的实时自适应处理方法，其特征在于所说的消像移成像的实时自适应处理方法采用FPGA+DSP硬件实时处理来实现。
全文摘要
本发明公开了一种消像移成像的实时自适应处理方法，它是一种高速运动小目标成像系统中消像移成像的实时自适应处理方法。该方法可自动搜索找到并指向高速运动中的小目标，以FPGA和DSP作为实时在线处理平台，采用算法复杂度较低的图像增强与帧间相关识别算法，去除伪目标的影响获取目标的运动特性，以驱动高精度二维压电倾斜镜完成成像自适应运动补偿，实现对高相对运动速度小目标的清晰成像。
文档编号G06T5/00GK101276463SQ200810035329
公开日2008年10月1日 申请日期2008年3月28日 优先权日2008年3月28日
发明者雷 丁, 鑫 蒋 申请人:中国科学院上海技术物理研究所