一种多窗口跟踪的稳像方法
【专利摘要】本发明是一种多窗口跟踪的稳像方法，包括获取目标场景的大视场图像；根据跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像并作为参考图像；更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量加权处理，得到成像光学系统焦平面图像整体偏移量；利用每个窗口图像偏移量的统计特性，将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量并转换成模拟量，用于控制摆镜驱动器驱动成像光学系统中的摆镜偏转；直至成像光学系统完成高分辨率图像成像。
【专利说明】一种多窗口跟踪的稳像方法
【技术领域】
[0001]本发明属于高分辨率成像领域，具体地说，它涉及一种多窗口跟踪的稳像方法。
【背景技术】
[0002]稳像系统是空间太阳望远镜和地面遥感卫星实现高分辨率成像的关键器件。在空间太阳观测和地面遥感过程中，卫星平台姿态控制的残余抖动引起光学系统指向不稳定，导致成像相机采样积分时间内的图像抖动，进而严重地影响光学系统的成像分辨率。解决这一问题的方法有两种:一种是提高航天器姿态控制系统的控制精度以改进卫星平台随机抖动特性降低其对成像分辨率的影响，这种方法技术难度大、成本高；另一种是在空间太阳望远镜和地球遥感卫星上安装补偿图像偏移的稳像系统以获得高质量的图像。
[0003]稳像系统实时探测、校正主光轴随机抖动的原理图如图1所示。从光学系统主镜来的主光线经摆镜镜面反射后成像在主成像相机和高帧频探测相机上。当稳像系统不工作时，摆镜静止，由于光学系统平台抖动等原因造成主光线在摆镜镜面上的入射角发生变化，主光线出射角相应变化，最终导致图像在主成像相机上晃动，得到模糊的图像，严重降低了光学系统的空间分辨率。当稳像系统工作时，由于高帧频探测相机的积分时间非常短，对于高频分量少的扰动仍可以采集到清晰的图像，根据这一图像序列与起始参考图像的相关计算结果，可以得到图像运动的方向和大小，进而用伺服控制算法得到实际的控制量，经过D/A转换驱动摆镜偏转，使经摆镜镜面反射的光线仍然趋向于原来的主光线，从而衰减图像的运动，达到在主成像相机的积分时间内稳定图像的目的，得到空间高分辨率的图像。
[0004]图像互相关算法作为稳像系统探测图像运动方向和大小的关键算法，其计算精度和计算效率是影响系统的跟踪精度和稳定性的重要因素之一。在十多年的稳像技术研究中，我们发现用互相关算法计算图像相对偏移量的方法具有以下特点:(I)互相关计算量巨大，一般随图像尺寸N成4次方增长；(2)受图像内容的影响，在图像的相互垂直方向上的两个偏移量的计算精度通常是不一样的，有时会出现一个方向计算精度尚可，另一个方向计算结果出错的情况，严重时导致稳像系统振荡、无法正常工作；(3)探测视场内目标的时变特性会对探测精度产生不利影响，即随时间的推移，探测精度逐渐下降。
[0005]传统稳像系统采用单一的小探测窗口(32X32像元或64X64像元)进行目标图像运动相关探测，运算量小，但同时也因探测窗口小且位置固定，探测相机拍摄到的图像即为相关探测目标图像，不具备目标图像选择功能，也无法考虑目标图像时变特性的影响。这样的稳像系统和探测方法虽具有简单和计算量较少的特点，但相关探测精度因相关目标图像不同而不同，在某些情况下相关探测结果出现振荡、甚至出错，导致稳像系统工作不稳定，严重影响光学系统成像质量。
【发明内容】
[0006](一 )要解决的技术问题
[0007]为提高稳像系统的跟踪精度、稳定性和可靠性，本发明的目的是研究一种新型的考虑了目标图像内容和时变特性影响且计算效率高的稳像系统和探测方法，为此本发明的目的是提出了一种应用范围广、适用性强、且能适用于时变特性目标的在多窗口跟踪的稳像方法。
[0008]( 二)技术方案
[0009]本发明提供一种多窗口跟踪的稳像方法的步骤如下:
[0010]步骤S1:获取目标场景的大视场图像；
[0011]步骤S2:根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；
[0012]步骤S3:对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；
[0013]步骤S4:更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量；
[0014]步骤S5:利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学系统焦平面图像整体偏移量；
[0015]步骤S6:利用每个窗口图像偏移量的统计特性，判断成像光学系统的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤SI ；
[0016]步骤S7:利用伺服控制器将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量，并将位置控制量转换成模拟量；
[0017]步骤S8:根据模拟量控制摆镜驱动器驱动成像光学系统中的摆镜偏转；重复步骤S4?步骤S8，直至成像光学系统完成高分辨率图像成像。
[0018]优选实施例，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。
[0019]优选实施例，获取稳像跟踪时的多个跟踪窗口的步骤包括:根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。
[0020]优选实施例，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量。
[0021]优选实施例，所述成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为O。
[0022](三)有益效果
[0023]本发明与现有技术相比的优点如下:
[0024](I)本发明方法可动态优化选择多个跟踪窗口，提高成像光学系统焦平面图像整体偏移量的计算精度和可靠性，使稳像系统工作时的稳定性更好、可靠性更高。现有方法中探测相机成像视场很小，在稳像系统稳像跟踪时仅有一个跟踪窗口，且窗口大小不变、位置固定，无法主动选择跟踪图像，而跟踪图像的内容对成像光学系统焦平面图像偏移量的计算精度和可靠性具有决定性作用，严重时将影响稳像系统的稳定性和可靠性。例如，当探测相机对准地球海面或是太阳黑子中心时，跟踪窗口图像为对比度极低的均匀图像，用这样的图像序列进行相关计算得到的计算结果无法正确描述成像光学系统焦平面真实移动量，相关计算失效，稳像系统不能正常工作。本发明方法采用开窗探测相机对大视场目标场景成像，视场范围较现有方法中的探测视场增大了数百倍从而使得视场内图像内容较之更为丰富，在这样的大视场图像中采用适于稳像跟踪的图像特征优化选择了多个跟踪窗口，跟踪窗口的个数、大小和位置可以动态调整。各跟踪窗口图像均包含明显内容且适于进行相关计算，相比现有方法的单一跟踪窗口随机图像，从跟踪图像内容方面降低了相关计算失效的概率，从而提高了稳像系统的稳定性和可靠性，使稳像系统通用性更好、适用范围更广。同时，本发明方法采用多个跟踪窗口主要是考虑了对于同一光轴抖动所引起的成像光学系统焦平面图像运动的相关探测精度因不同跟踪图像而不同，各个跟踪窗口的图像偏移量加权得到成像光学系统焦平面图像偏移量可减小相关计算误差，提高稳像系统的闭环跟踪精度，从而使成像光学系统拍摄到的高分辨率图像更清晰。
[0025](2)本发明方法考虑了跟踪图像的时变特性对相关探测精度的影响，根据各个窗口图像相关峰值的变化情况修正其在成像光学系统焦平面图像运动中的加权系数，减缓了相关探测精度随时间延长而下降的趋势，使得稳像效果更好，尤其是对成像光学系统长时间的曝光拍摄。现有方法是单一跟踪窗口的随机图像相关探测，跟踪场景不同，图像变化情况不同。例如太阳观测时，米粒组织的寿命只有8分钟，而太阳黑子的寿命可长达数小时甚至几天，当跟踪视场对准米粒组织时，对于长于I分钟的成像光学系统高分辨率图像拍摄，稳像效果会明显下降。本发明方法中成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0，使得图像内容变化快的跟踪窗口偏移量在焦平面图像整体偏移量加权计算中的占比减少，从而减缓相关探测精度随时间延长而下降的趋势。对于相同场景、相同曝光时间(尤其是长曝光时间)的高分辨率图像拍摄，本发明方法的稳像效果优于现有方法。
[0026](3)采用本发明方法的稳像系统的实时性与现有系统实时性基本相同。本发明方法在多个跟踪窗口选定后仅输出多个跟踪窗口图像，当跟踪窗口为I时，采用本发明方法的实时性与现有系统相同，当跟踪窗口多于I个时，研制的计算控制单元可采用并行处理技术，同时计算多个跟踪窗口的图像偏移量，使系统实时性与现有系统基本相同。所以采用本发明方法的稳像系统与现有系统实时性基本相同，但稳像效果和适用范围却优于现有系统。
【专利附图】
【附图说明】
[0027]图1为稳像系统工作原理示意图；
[0028]图2为采用本发明方法的稳像系统组成框图；
[0029]图3为本发明方法的流程图；
[0030]图4为本发明的跟踪窗口选择示意图。【具体实施方式】
[0031]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0032]如图2示出本发明方法所采用多窗口跟踪的稳像系统。该稳像系统由开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元组成的稳像系统，其中:
[0033]开窗探测相机，用于在稳像跟踪前的单一窗口大视场成像和稳像跟踪时的多窗口小视场成像，采用高速CMOS (互补金属氧化物半导体)相机或具有多窗口开窗功能的(XD(电荷耦合元件)相机，开窗探测相机分辨率达到1280X 1024像素，输出帧频500帧/秒，并可根据用户需要设置相机输出图像的大小、位置和帧频，开窗探测相机将探测到的数字图像信号(单窗口大视场图像或多窗口小视场图像)传输到计算控制单元的现场可编程逻辑门阵列(FPGA)和数据处理器(DSP)，并接收来自计算控制单元的相机控制指令；
[0034]计算控制单元是由现场可编程逻辑门阵列(FPGA)、数据处理器(DSP)和DA转换器组成，现场可编程逻辑门阵列与数据处理器连接，DA转换器与数据处理器连接。计算控制单元分别与开窗探测相机、计算机监控单元和摆镜驱动器连接，用于接收开窗探测相机输出的大视场图像，由图像特征函数优选多个跟踪窗口，设定开窗探测相机小视场成像窗口并接收小视场图像，对多跟踪窗口进行相关计算再加权得到探测焦面上图像的运动量，稳像跟踪过程中根据各窗口相关系数的变化修改加权系数，由伺服控制器得到摆镜的位置控制数字量，并由DA转换成模拟数据输出到摆镜驱动器，计算控制单元将开窗探测相机输出图像的大小、位置和帧频的相机工作模式控制指令经计算控制单元的DSP后到FPGA再传输到开窗探测相机，稳像跟踪时计算控制单元的DSP将摆镜的位置控制数字量输出到DA并转换成摆镜位置控制电压模拟量输出到摆镜驱动器，根据接收到的计算机监控单元的监控指令，计算控制单元的DSP还将计算控制单元的伺服控制器参数等状态信息输出到计算机监控单元；
[0035]摆镜驱动器，将计算控制单元输出的摆镜位置控制电压模拟量放大为摆镜驱动电压模拟量输出到摆镜，采用市场上供应的摆镜驱动器；
[0036]摆镜，由摆镜驱动器输出的摆镜驱动电压模拟量驱动偏转以减小成像光轴的抖动达到稳像的目的，采用市场上供应的摆镜平台，摆镜镜片为自研产品，口径由成像光学系统决定;
[0037]计算机监控单元，与计算控制单元相连，用于监控稳像系统工作状态，采用Windows操作系统的商业计算机，计算机监控单元可根据监控内容(稳像系统控制器参数等)输出监控计算控制单元的监控指令到计算控制单元，并接收计算控制单元返回的监控信息。
[0038]本发明方法在该稳像系统中的具体实现步骤如图3所示。
[0039]步骤1:启动稳像系统所有组件:开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元，系统进入窗口搜索模式；
[0040]开窗探测相机为单一窗口大视场成像输出模式，帧频设置为flOT，单位为帧每秒，200 ( flow ( 500 ;接收目标场景的光信号，目标场景的光信号经光电转换和模拟数字转换产生目标场景大视场数字图像I，以下简称为大视场图像I。大视场图像I长度为A个像素、宽度为B个像素。[0041]步骤2:根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，选取稳像系统稳像跟踪时的多个跟踪窗口。
[0042]图4示出跟踪窗口选取示意图，确定跟踪窗口长度为P个像素、跟踪窗口宽度为Q个像素，其中P〈A、Q<B ;如图4虚线所示，将大视场图像I分割为Nwindtjw个跟踪窗口大小的小视场图像；以序列号标识每个小视场图像，如图4中数字所示;第i个小视场图像表示为Wi, i为小视场图像的序列号，i = 1,2,……，Nwindtjw ;图4中第i个小视场图像Wi左上角第一个像素在大视场图像I中的坐标为(aybj，用以表示第i个小视场图像Wi的位置，ai，bi是坐标(ai； bi)的坐标点。
[0043]选用能够描述小视场图像内容且计算量小、抗噪声干扰能力强的图像特征算子S，计算各小视场图像的特征值，如公式(I)~(4)示出:
[0044]
【权利要求】
1.一种多窗口跟踪的稳像方法，该方法包括步骤如下: 步骤S1:获取目标场景的大视场图像； 步骤S2:根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口 ； 步骤S3:对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像； 步骤S4:更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量； 步骤S5:利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学系统焦平面图像整体偏移量； 步骤S6:利用每个窗口图像偏移量的统计特性，判断成像光学系统的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤SI ； 步骤S7:利用伺服控制器将有效焦平面图像偏移量转换成成像光学系统中摆镜转动的位置控制量，并将位置控制量转换成模拟量； 步骤S8:根据模拟量控制摆镜驱动器驱动成像光学系统中的摆镜偏转；重复步骤S4?步骤S8，直至成像光学系统完成高分辨率图像成像。
2.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。
3.如权利要求2所述的多窗口跟踪的稳像方法，其特征在于，获取稳像跟踪时的多个跟踪窗口的步骤包括:根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。
4.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量。
5.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，所述成像光学系统焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为O。
【文档编号】H04N5/232GK104010130SQ201410185423
【公开日】2014年8月27日 申请日期:2014年5月5日 优先权日:2014年5月5日
【发明者】姜爱民, 戴妍峰, 王景宇 申请人:中国科学院国家天文台