专利名称：基于航空tdi-ccd成像误差振动模型的图像恢复方法
技术领域：
本发明涉及航空TDI-C⑶成像误差补偿技术，具体涉及基于对低空飞行器 TDI-CCD成像振动状态的分析和对由振动引起的TDI-CCD成像姿态变化的分析下的成像误 差模型建立方法，以及利用所建模型的图像恢复方法。本方法用于在光机和电子补偿后， TDI-CCD拍摄图像的算法补偿过程，以获得更高精度的成像效果。
背景技术：
通常，航空飞行器上承载的时间延迟积分电荷耦合器件(TDI-C⑶)成像装置会采 用光机补偿、电子补偿和软件补偿三种补偿方式，对成像进行补偿。其中，光机补偿、电子补 偿的方式固然有效，但由于系统构建的复杂度和成本问题、时间反应的灵敏度等因素，这两 种补偿方式的补偿精度具有一定的局限性。软件补偿可以用于拍摄后的图像恢复，但如果不结合TDI-C⑶成像的环境和特 点，通用的方式也只能在一定程度上补偿成像误差，图像的恢复效果不易达到更理想的状 态。因此，正确分析TDI-C⑶的成像误差状态，获得可以正确反映TDI-C⑶成像时的调制传 递函数(MTF)，对于提高基于软件补偿的图像恢复精度具有十分重大的意义。那么，对于已经生成的图像，软件补偿最应该考虑的是哪些方面的成像误差呢？ 难以用硬件补偿修正的误差是需要考虑的因素。经分析发现振动和无法弥补的前向像移 弓I起的成像误差，才是真正应该由软件方式补偿的方面。低空TDI-C⑶成像时，成像误差主要发生在下面两个方面前向像移和成像姿态 的变化。前向像移是景物在TDI-CCD积分方向上的像移速率与数据向外传递的速率不同步 造成的。目前的文献中，针对TDI-C⑶成像过程中的前向像移造成的成像误差描述已经十 分成熟，补偿方面也具备了很丰富的算法；关于成像姿态的变化带来的成像误差的描述，主 要集中在星载TDI-C⑶成像方面，对于航空环境下成像的全面分析比较少。实际上，航空条件下，TDI-C⑶成像时的姿态是会随着当时所处的环境而变化的。 当姿态发生了变化，不仅前向像移参数，一些其它方向的位移量也一定会受到相应的影响。 所以，除了前向像移的成像不同步问题，再考虑成像姿态的变化带来的各个方向的位移误 差，才有可能比较真实地描述当时的成像状态。然而，目前成像的软件补偿方法没有将大气环境的描述与成像姿态的变化建立联 系，因此不能真实地描述成像状态，使得成像恢复精度难以提高。
发明内容
本发明提供了一种基于航空TDI-C⑶成像误差振动模型的图像恢复方法，该方法 综合考虑了环境引起的振动状态与成像姿态之间的关系，认为低频振动是成像姿态变化的 原因，并将低频振动和成像姿态的变化关联起来，从而合理地勾画出振动状态下的TDI-CCD 成像误差描述公式，利用该成像误差描述公式恢复图像可以提高成像恢复精度。该方法包括以下步骤
将环境振动频率分为低频振动和高频振动，不考虑超高频振动；将低频振动认为是随机振动，由此建立低频振动模型；基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，分别建立X、Y、 Z方向上的位移表达式；其中，方向X为CCD积分方向，方向Y垂直于CCD积分方向，方向Z 垂直于(XD成像平面；在进行软件恢复时，在TDI-C⑶成像瞬间，根据X、Y、Z方向上的位移表达式计算各 方向的位移量，根据各方向上的位移量大小，选择X、Y、Z方向中的一个或多个方向对应的 恢复算法，通过将相应方向上的位移表达式代入选定的恢复算法，对采集图像进行低频振 动误差补偿；根据低频振动误差补偿后的图像，确定高频振动的方向和频率，将高频振动认为
是所确定方向和频率上的简谐振动，用零阶一类贝塞尔函数对图像进行高频振动误差补 m其中，将振动频率分为低频振动和高频振动为设te是TDI-CCD的积分周期，T是振动周期；当^ < ^时为低频振动，当i < ^《3
时为高频振动；当3时为超高频振动。其中，所述基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，为X方向的位移量为 Y 方向的位移量为:
； Z方向的位移量为 其中，N是TDI-C⑶的积分级数，dn表示基于TDI-C⑶的积分级数积分；x，y是各 像素点的空域坐标值，K为一选定的常数；e _ = K o ； e _是e的最大值，根据随机模 型的特点，e =、= 9y= ep，、，ey，ep分别为飞行器的横滚角、偏航角和俯仰角。其中，对于X方向，选取X方向的恢复函数为 其中，u，v是图像各像素点在频域内的位置坐标值，Slow_x为根据低频振动模型分 解得到的X方向的位移表达式；当X方向的位移量大于或等于1/3个像素点的大小时，使用该X方向的恢复函数 恢复图像；否则，不进行X方向的图像恢复；其中，对于Y方向，Slow Y为根据低频振动模型分解得到的Y方向的位移表达式；当 Y方向的位移量大于4个像素点，则使用Y方向的恢复函数Y = Y0-S1ow_y恢复图像；否则，不 进行Y方向图像恢复；其中，I表示像素点的原坐标。由以上所述可以看出，本发明与现有技术相比的优点在于
1)本发明在考虑振动的时候，根据振动频率的特点，划分了低频、高频和超高频振动区域，利于对不同的振动区域选择不同的成像误差模型。确立了 TDI-CCD成像过程中的 高频振动、低频振动和超高频振动的频率分类标准。这个标准有利于十分清晰地分解振动 频率的范围，从而基于低频和高频振动对成像的不同影响效果，选择不同的恢复模型作用 于图像的恢复过程2)本发明将低频振动作为TDI-CCD运动姿态变化的主要原因，对于低频振动，不 考虑某个具体的振动频率，而是按照具有高斯白噪声特点的随机振动进行处理。因此，认为 飞行器姿态变化的角度具有高斯随机分布的特点，振动的幅度与ο值相关，从而减少了模 型描述的变量，降低了模型复杂程度。 3)本发明考虑到不同方向的位移会造成不同的成像误差效果，在低频振动模型与 TDI-CCD成像姿态之间建立了直接的联系。所以，将低频振动分解成三个方向的位移，对于 低频振动造成的不同方向的成像误差，分别使用不同的误差描述方法进行恢复，从而提高 了图像恢复精度。
图1为本发明的一种高精度航空TDI-C⑶成像误差振动模型分析的方法原理图；图2(a)本发明中有关偏航角状态下位移速度在X、Y、Z三个方向的分解示意图。图2 (b)为本发明中有关俯仰角状态下位移速度在X、Y、Z三个方向的分解示意图。图2(c)本发明中有关横滚角状态下位移速度在Χ、Υ、Ζ三个方向的分解示意图。图3为本发明基于航空TDI-C⑶成像误差振动模型的图像恢复方法的流程图。图4为本发明中有关偏航角、俯仰角、横滚角状态时的各方向位移速度振动模量 之间的关系示意图。
具体实施例方式下面将结合附图对本发明进一步详细说明。该发明是针对存在光机补偿和电子补偿的航空TDI-CCD成像系统进行图像效果 的软件补偿而设计的。航空TDI-C⑶的成像姿态是会随着当时所处的环境而变化的。当成像姿态发生了 变化，成像误差也会随之发生。在已经具备光机补偿和电子补偿的TDI-C⑶成像系统中，造 成成像姿态改变的主要因素是振动。振动可以分为低频振动、高频振动和超高频振动。低频振动是飞行器在低空飞行 时大气湍流引起的振幅相对较大的振动，低频振动形式对成像姿态的影响最为明显。高频 振动是频率高和振幅小的振动形式，高频振动因为它的特点，根本无法引起飞行器整体状 态的较大幅度的偏转，从而不会影响飞行器的运动姿态，因此高频振动通常不影响成像姿 态，但会造成图像一定程度的模糊。而超高频振动可以认为不影响成像质量。可见，在已经具备光机补偿和电子补偿的TDI-C⑶成像系统中，造成成像姿态改 变的因素包括低频振动和高频振动，在建立飞行器误差振动模型时，不需要考虑超高频振 动的影响。而且，低频振动对成像姿态的影响最为明显，因此把低频振动模型与成像姿态的 变化结合起来，无疑是分析TDI-CCD成像过程的好想法。
低频和高频两种振动方式，因为对飞行器的作用特征不一样，无法用相同的模型 来描述，从而恢复算法的考虑角度也存在差异。所以，如何划分低频和高频振动，也是解决 TDI-C⑶图像软件补偿的关键问题之一。鉴于以上分析，本发明提供了一种基于航空TDI-C⑶成像误差振动模型的图像恢 复方法，该方法首先是根据振动环境的振动频率建立低频误差振动模型和高频误差振动模 型，再将低频误差振动模块分解成三个方向的位移表达式，针对三个方向的位移表达式和 高频误差振动模型设置相应的恢复算法，在恢复图像时，根据低频和高频误差振动模型对 应的恢复算法恢复图像。如图1所示，航空TDI-C⑶成像系统在处于振动环境下时，可能 会兼有低频和高频 振动的影响。因为振动会造成成像系统姿态的变化，从而在χ，γ，ζ三个方向产生位移向量。 如果没有其它外界因素的影响，低频振动是最可能引起飞行器姿态变化的外界因素。所以， 在图1中期望将低频振动的相关特征与俯仰角、偏振角和横滚角之间建立联系。图2(a)、图2(b)和图2(c)是基于低频振动模型，飞行器各方向的速度分解图。其 中，Vfmy、Vfmp和Vfnff分别是各姿态下的位移速度。其中θ y、θ ρ、θ ^分别表示偏航角、俯仰角 和横滚角。各姿态下的位移速度，沿Χ、Υ、Ζ各方向分解得到如图2所示的分量。综合分析， 就可以得到在这三个不同方向位移量的描述，基于此可以对不同方向使用符合各自特征的 模型进行图像的恢复处理。下面对本发明基于航空TDI-C⑶成像误差振动模型的图像恢复方法进行详细描 述。步骤1、将环境振动频率分为低频振动和高频振动，不考虑超高频振动。设TDI-CCD的积分时间为te，环境的振动周期为T。本发明高频振动和低频振动
的频率分类，是基于来划分的。具体来说，将的区域确定为低频振动区域，即一次振动会让至少4个像素点的区域发
T 4
生成像误差。因为低频振动被认为是大气湍流造成，所以，根据大气湍流本身的特点，认为 在大气湍流影响下的飞行器的偏航角、俯仰角、横滚角的分布都符合随机变化的规律性。将的区域确定为高频振动区域。也就是说，振动周期小于积分时间的4
4 T
倍，而又大于积分时间1/3的范围。这一个区域，是大于1/3个成像像素点，而小于4个成 像像素点的范围内；被认为是符合某个单频率的某个角度方向上的简谐振动规则。将争> 3的区域确定为超高频振动区域，即一个振动周期发生在小于1/3个像素点
的成像时间内。这种超高频振动，被认为对图像没有明显的成像误差的作用，本发明不需要 考虑超高频振动环境下的图像恢复问题。步骤2、将低频振动认为是随机振动，由此建立低频振动模型。低频振动被认为可以用随机振动模型来模拟。因为大气湍流引起的低频振动频率 分布宽，随机性强。所以，用高斯白噪声模型对点扩散函数(PSF)加以描述 在高斯白噪声模型中，飞行器的姿态用极坐标方式表示，如图4。因为高斯白噪声 模型的功率谱为常数，平均位移为零的振动形式，而低频振动下的频率范围是在一定的限 制范围内。所以，模量值IRI可以认为是与标准离差成正比例关系的常数。要得到PSF函 数，则可以用σ代替这个常数来使用，S卩ι R| = O。根据图4，Vfmy、Vfmp和Vf 分别位于相互垂直的三个平面上。则R可以表示成这三 个量直和的形式，即
(3)也可以认为
(4)将各方向位移速度定义为TDI-C⑶一个积分级内移动的像素点距离，单位为像素 /级。可以认为，在各方向的位移量，是各方向的位移速度基于TDI-CCD积分级数的积分值， 以像素为单位。以此推导出各位移速度下的位移量描述公式。步骤3、基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，分别建 立Χ、Υ、Ζ方向上的位移表达式。这三个方向为C⑶积分方向X、垂直于CXD积分方向的方 向Y、以及垂直于C⑶成像平面的方向Z ；其中方向X造成前向像移，方向Y造成行错位的像 差，方向Z造成径向模糊误差。低频振动发生时，飞行器前向移动速度不为零。在低频振动的影响下，飞行器的姿 态容易发生变化，造成飞行方向的偏转，造成偏航角、俯仰角、横滚角的变化，引起各方向瞬 间位移量的变化。所以将偏航、俯仰、横滚状态按照这三个方向进行分解，就可以得到各方 向的位移变化模型。本实施例正是考虑到不同方向的位移会造成不同成像误差效果，因此基于具有高 斯分布特征的低频振动模型，对TDI-CCD的偏航角、横滚角和俯仰角的变化趋势进行了推 导描述；根据偏航角、横滚角和俯仰角的变化趋势，推导出三个方向的位移表达式。在分解过程中，因为低频振动本身可以用高斯分布来描述，将偏航角、横滚角和俯 仰角的姿态，以及由此产生的在TDI-CCD的积分时间内的瞬间位移速率与高斯随机分布的 描述建立联系，然后通过积分获得当前像素点在一个完整积分周期内，分别在X，Y，Z方向 的位移变化描述。具体来说，本步骤3包括以下子步骤1)建立低频振动状态下，基于偏航角描述的成像位移量。设在某个低频振动时刻，飞机的偏航角为θ y，在偏航方向上的位移速度为Vfmy，则 Vfmy可以分解成X和γ两个方向的速度，分别是IvfmyI -Cos ey, Ivfffly -Siney0则可以得 到在X方向的位移函数为Shw y X^,y) = Y^\Vfiny \-Cos θ々(5)其中，N是TDI-C⑶的积分级数；dn表示基于TDI-C⑶的积分级数积分。
在Y方向的位移函数为Slow yY(x,y) =|.彻 θ ydn(6)2)建立低频振动状态下，基于俯仰角描述的成像位移量。设在低频振动状态下，飞机的俯仰角为θ p，在偏航方向上的位移速度为Vfmp，则 Vfmp可以分解成X和Z两个方向的速度，分别是|VfmphC0S ΘΡ, IvfmpI -Sin ΘΡ。则得到在X方向的位移函数为 在Z方向的位移函数为 3)建立低频振动状态下，基于横滚角的成像位移量。设在低频振动状态下，飞机的横滚角为θ ρ在偏航方向上的位移速度为Vf ，则 Vf 可以分解成Y和Z两个方向的速度，分别是|Vf | · Sin 6r, Vfmr -Cos 0rO则可以 得到在Y方向的位移函数为 在Z方向的位移函数为 4)根据低频振动状态下，基于偏航角、俯仰角和横滚角描述的成像位移量，推导 X、Y、Z方向的成像位移量。因为随机模型的特点，假定Vf = Vfffly = Vfmp，结合公式(4)则有这样的结果 又假定
。则低频振动下X、Y、Z三个方向的位移模型分别 是X方向的位移量可以表示为 Y方向的位移量可以表示为 Z方向的位移量可以表示为 在公式(12)、(13)、(14)中，认为θ是符合高斯正态分布的数值，将 θ描述成正态分布的形式，代入上述公式，则(12)、(13)、(14)式可以表示成 (15) 其中，K是常数；x，y是各像素点的空域坐标值。设θ _是θ的最大值，拟认为
L = K. 0，其中K取值礙θ一、賴K營 營)。K值是一个与擺
本身特性、以及大气湍流的能量相关的一个常数指标。本发明中认为大气湍流的能量与描 述大气湍流特征的随机振动模型中的O值成正比关系。为了统一和减少位移描述公式中 的参数，故引入了 K参数值。K值需要在图像恢复过程中根据采集图像的特征判定。步骤4、针对Χ、Υ和Z方向的位移量分别设置相应的恢复算法，利用针对各方向设 置的恢复算法恢复图像。具体来说，(1)对于X方向设X方向的恢复函数为公式(19)描述的SINC函数，将本发明利 用低频振动模型获得了 X方向的位移量S1otxR入公式(18)中，获得X方向的成像MTF函 数。即 U，V是图像各像素点在频域内的位置坐标值，当位移量S1ot x小于1/3个像素点的 大小时，视为对X方向的成像质量无影响，该模型不被使用，即不进行X方向的图像恢复。(2)对于Y方向Y方向的位移产生像素行的错位效果。如果S1oty <4，则认为可 以不需要进行坐标的平移变换，只需按照模糊效果由公式(18)进行图像恢复。如果位移量 大于4个像素点的尺寸，则使用坐标变换的方式，按公式(19)修正像素点的位置，否则不进 行Y方向图像恢复；Y = Yci-S1oty(19)式中，Y。表示像素点的原坐标。(3)对于Z方向Ζ方向的位移会造成x，y两个坐标维度方向的放射状模糊。像素
在成像平面上的模糊度与+ J;2 *Slow-z值有关，根据+ Z可以确定Z方向
LL
的恢复函数，其中，L值是地面景物与成像器之间的距离。在获知樽糊度与V3c2 +^2
值有关的基础上，根据递推求逆的方法，即可获得恢复后的图像。(4)在进行软件恢复时，在TDI-C⑶成像瞬间，根据X、Y、Z方向上的位移表达式计 算各方向的位移量，根据各方向上的位移量大小，选择X、Y、Z方向中的一个或多个方向对 应的恢复算法，通过将相应方向上的位移表达式代入选定的恢复算法，对采集图像进行低频振动误差补偿。其中，选择哪一个或那几个方向对应的恢复算法的方式已经在本步骤4 的第(1) (3)点中进行了阐述。步骤5、建立高频振动模型和进行高频振动误差补偿。高频振动被认为是飞行器发动机等因素造成的高频率、低幅度的振动方式。经验 上认为，它属于有固定方向和幅度的简谐振动方式。因此本发明将高频振动认为是某个方 向上某个频率的简谐运动，从而建立高频振动模型。其中，简谐运动的方向和频率是根据频 域内的图像特征选定的，具体选定方法采用常规技术。因此，本步骤中，在低频振动误差补偿后，根据低频振动误差补偿后的图像，确定 高频振动的方向和频率，将高频振动认为是所确定方向和频率上的简谐振动，用代表简谐 振动的零阶一类贝塞尔函数对图像进行高频振动误差补偿。上述零阶一类贝塞尔函数的描述形式，如公式(20)所示。 其中，‘是积分时间，!! = !!^)^^-“^^…θ h是选定的振动方向；f是选定的振 动频率；A是振动幅度，u, V指的是图像各像素点在频域内的位置坐标值。综合上述，基于俯仰角、偏航角和横滚角在高斯白噪声型低频振动下状态下相互 关系的分析，在进行图像恢复时，X和Y方向需要考虑两个参数的变化常数值K和标准偏 差ο ；而Z方向的恢复可能会更复杂一些。不过，有了位移量的描述，各方向的恢复处理会 更明确。
权利要求
一种基于航空TDI-CCD成像误差振动模型的图像恢复方法，其特征在于包括了以下步骤将环境振动频率分为低频振动和高频振动，不考虑超高频振动；将低频振动认为是随机振动，由此建立低频振动模型；基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，分别建立X、Y、Z方向上的位移表达式；其中，方向X为CCD积分方向，方向Y垂直于CCD积分方向，方向Z垂直于CCD成像平面；在进行软件恢复时，在TDI-CCD成像瞬间，根据X、Y、Z方向上的位移表达式计算各方向的位移量，根据各方向上的位移量大小，选择X、Y、Z方向中的一个或多个方向对应的恢复算法，通过将相应方向上的位移表达式代入选定的恢复算法，对采集图像进行低频振动误差补偿；根据低频振动误差补偿后的图像，确定高频振动的方向和频率，将高频振动认为是所确定方向和频率上的简谐振动，用代表简谐振动的零阶一类贝塞尔函数对图像进行高频振动误差补偿。
2.根据权利要求1所述的基于航空TDI-C⑶成像误差振动模型的图像恢复方法，其特 征在于将振动频率分为低频振动和高频振动，为设、是TDI-C⑶的积分周期，T是振动周期；当^《！时为低频振动，当时为 高频振动；当时为超高频振动。
3.根据权利要求1所述的基于航空TDI-C⑶成像误差振动模型的图像恢复方法，其特 征在于所述基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，为 X方向的位移量为 Y 方向的位移量为 Z方向的位移量为 其中，N是TDI-C⑶的积分级数，dn表示基于TDI-C⑶的积分级数积分；x，y是各像素 点的空域坐标值，K为一选定的常数；e _ = K o ； e _是e的最大值，根据随机模型的 特点，e =、= ey= ep，、，ey，ep分别为飞行器的横滚角、偏航角和俯仰角。
4.根据权利要求1所述的基于航空TDI-C⑶成像误差振动模型的图像恢复方法，其特 征在于对于X方向，选取X方向的恢复函数为 其中，U，V是图像各像素点在频域内的位置坐标值，SlM X为根据低频振动模型分解得 到的X方向的位移表达式；当X方向的位移量大于或等于1/3个像素点的大小时，使用该X方向的恢复函数恢复 图像；否则，不进行X方向的图像恢复；
5.根据权利要求1所述的基于航空TDI-C⑶成像误差振动模型的图像恢复方法，其特 征在于对于Y方向，Slw Y为根据低频振动模型分解得到的Y方向的位移表达式；当Y方向 的位移量大于4个像素点，则使用Y方向的恢复函数Y = Y0-S1ow_y恢复图像；否则，不进行Y 方向图像恢复；其中，I表示像素点的原坐标。
全文摘要
本发明提供了一种基于航空TDI-CCD成像误差振动模型的图像恢复方法，该方法将振动频率分为低频振动和高频振动，不考虑超高频振动；将低频振动认为是随机振动，建立低频振动模型；基于低频振动模型，将低频振动分解为X、Y、Z这三个方向的位移，建立X、Y、Z方向上的位移表达式；将高频振动认为是以设定方向上一设定频率的简谐振动，建立高频振动模型；在进行软件图像恢复时，在各方向上采用不同的图像恢复算法，分别校正各方向因低频振动造成的位移变化产生的成像误差。该方法可以更合理地模拟航空成像的实际情况，利用本发明建立的模型可以提高TDI-CCD图像恢复的精度。
文档编号G06T7/00GK101872471SQ20101019907
公开日2010年10月27日 申请日期2010年6月4日 优先权日2010年6月4日
发明者倪国强, 冯亮, 梁炯, 石明珠, 许廷发 申请人:北京理工大学