基于单次曝光视频重建的颤振探测和遥感图像恢复方法
【专利摘要】本发明提出了一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，该方法将曝光时间分为若干等长时间片段，根据基于压缩感知理论的单次曝光视频重建方法，对探测器边缘位置处的若干小块中的每一个像素进行编码曝光，获得调制后的模糊图像块，使用重建算法重建出清晰的视频图像，再由重建出的视频图像估计帧间像移，进而估计出点扩散函数，最后利用点扩散函数对未调制部分的模糊图像反卷积，消除平台振动影响，得到清晰遥感图像。本发明解决了传统基于压缩感知的图像去模糊方法时间复杂度高的问题，更具有实时性；同时相较于一般盲复原方法，本方法有着更高的复原精度。
【专利说明】基于单次曝光视频重建的颤振探测和遥感图像恢复方法
【技术领域】
[0001] 本发明涉及一种基于单次曝光视频重建的相机颤振探测和高分辨遥感图像恢复 方法。
【背景技术】
[0002] 在遥感成像中，图像的清晰度至关重要，因此如何获得高分辨率的图像具有十分 重要的现实意义。然而在空间相机成像过程中，由于卫星姿态变化、挠性组件的扰动以及指 向控制等因素，导致卫星平台颤振，同时由于相机曝光需要一定的时间，使得成像目标的光 学图像与成像器件焦平面之间存在相对运动，拍摄图像产生拖影，造成图像模糊，降低图像 分辨率，无法完全达到成像系统设计的分辨能力。在光照条件不理想的情况下，相机曝光时 间更长，使得图像模糊问题更加严重。
[0003] 为了消除平台振动等对成像质量的影响，人们设计了各种方法，如更新硬件使平 台更稳定、对所成图像进行不同的后期处理等。从硬件的角度来看，为消除曝光过程中传感 器与被摄物体之间的相对运动，可分为机械补偿与光学补偿等方法。机械补偿法利用机械 结构及其组件，在曝光时根据平台振动量及时移动传感器，使剩余像移量尽可能小，从而达 到抑制运动模糊的目的。光学式像移补偿法思想是旋转或移动光路元件以改变光线方向， 使之与相机焦面上像移速度一致，从而达到抑制运动模糊的目的。通过机械或光学的补偿 后，一般情况下可以获得较好质量的图像，但是对于一些频率过高，或者幅度过大的振动仍 然会存在较大的残差，得到的图像不够理想。再加上系统成本较高、系统复杂度较大，因此 硬件补偿的方法不是解决问题的最佳方式。计算机处理技术的提高，使后期软件对拍摄图 像的复原提升技术得到了发展。已有的常规复原算法如直接逆滤波、维纳滤波、TV正则化 图像复原、盲复原等，都存在各自的问题，或结果中所包含的噪声及振铃效应严重，或算法 复杂度较高，运算速度较慢等。
[0004] 近年来，随着压缩感知理论的提出，出现了基于压缩感知的运动图像复原方法，这 类方法通过在曝光时间内对像素调制，得到经过编码的模糊图像，再利用重建算法获得一 系列去模糊的图像。尽管该方法不需要增加额外的硬件，并且能较好的处理由于物体本身 运动造成的运动模糊，但较高的时间复杂度制约了其应用范围，使其未能很好的运用于颤 振模糊图像的恢复。
【发明内容】
[0005] 本发明的目的在于针对现有技术的不足，提供一种基于单次曝光视频重建的颤振 探测和遥感图像恢复方法。
[0006] 本发明的目的是通过以下技术方案来实现的：一种基于单次曝光视频重建的颤振 探测和遥感图像恢复方法，包括以下步骤：
[0007] (1)数据与图像的获取，具体是：
[0008] (1. 1)选取相机探测器边缘位置处的若干小块，并将总曝光时间T平均分为m个时 间片段，每一个时间片持续的时间为T/m ;
[0009] (1. 2)在相机曝光时，控制探测器对选取小块内的所有像素，按照保证每个像素的 曝光时间相同、曝光片段连续的原则进行曝光编码，从而得到调制后的图像小块和未调制 处的模糊图像；
[0010] (2)视频图像重建与颤振估计，具体是：
[0011] (2. 1)利用重建算法和编码时使用的调制函数，对步骤1. 2中获得的调制后的图 像小块进行重建，重建得到清晰的视频图像，视频帧数与时间片段数相同；
[0012] (2. 2)利用相位像移估计方法，对步骤2. 1得到的各视频图像进行帧间像移估计， 剔除估计像移中误差较大的数据，并对剩余数据求平均，作为最终的像移量数据，插值后得 到像面上的颤振轨迹；
[0013] (2. 3)统计颤振轨迹上落入每个像素内的点数，经过归一化处理得到点扩散函数 PSF ；
[0014] ⑶图像复原，具体是：
[0015] 利用步骤2. 3得到的点扩散函数PSF对获得的模糊遥感图像进行去模糊复原，得 到清晰图像。
[0016] 所述步骤1. 1中，采取延长采样小块曝光时间的方法避免由于重建图像首末帧相 较于中间帧的重建精度低而造成的像移估计误差，具体为：采样块处的像素提前曝光并延 后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，采样块用于估计像移 的各帧与模糊图像的曝光时间相对应。
[0017] 所述步骤2. 1中，所述重建算法为0ΜΡ算法。
[0018] 所述步骤2. 1中，所述重建过程中采用KSVD字典训练的方法获得更高的视频图像 重建精度。
[0019] 本发明的有益效果：本发明将压缩感知理论应用于颤振探测与图像恢复中，采用 取小块调制和重建，并由重建出的视频图像估计点扩散函数进行图像复原的方法，解决了 传统基于压缩感知的图像去模糊方法时间复杂度高的问题，更具有实时性。同时相较于一 般盲复原方法，本方法有着更高的复原精度。在重建过程中，使用字典训练的方法，提高了 图像重建精度，进而提高像移估计精度。此外，本发明不需要额外的硬件，仅需对探测器边 缘处像素进行调制，在系统复杂度和成本等方面，也有着明显优势。一般来说，通过重建视 频估算模糊核的方法，复原后可以获得清晰的图像，效果较好。
【专利附图】
【附图说明】
[0020] 图1为本发明方法流程示意图；
[0021] 图2为曝光时间分片段的颤振采样示意图；
[0022] 图3为像素曝光编码示意图；
[0023] 图4为压缩感知理论示意图；
[0024] 图5为采样小块重建过程；
[0025] 图6为过完备字典示意图；
[0026] 图7为字典训练前后对比图，（a)为训练前三维余弦基字典，（b)为训练后三维字 血.
[0027] 图8为由重建视频信号估计的像移轨迹；
[0028] 图9为重建图像对比图，（a)为清晰图像，（b)为因相机颤振得到的模糊图像，（c) 为盲复原图像，（d)为本方法复原图像；
[0029] 图10为图9中各图像放大图。
【具体实施方式】
[0030] 以下结合附图对本发明作进一步说明。
[0031] 本发明一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，方法将曝光 时间分为若干等长时间片段，从而将曝光时间内产生的颤振模糊看作各个时间片段上的清 晰图像的叠加结果，根据基于压缩感知理论的单次曝光视频重建方法，对探测器边缘位置 处的若干小块中的每一个像素进行编码曝光，获得调制后的模糊图像块，使用重建算法重 建出清晰的视频图像，再由重建出的视频图像估计帧间像移，进而估计出点扩散函数，最后 利用点扩散函数对未调制部分的模糊图像进行去模糊复原，消除平台振动影响，得到清晰 遥感图像。本发明的整体流程如图1所示，主要包括编码曝光、信号重建、像移估计和图像 去模糊等几个步骤。具体如下：
[0032] 步骤1 :数据与图像的获取
[0033] 1-1选取相机探测器边缘位置处的若干小块，如图1所示。将总曝光时间T平均分 为m个时间片段，每一个时间片持续的时间为T/m，从而可将曝光时间内产生的颤振模糊看 作各个时间片段上的清晰图像的叠加结果。为了避免由于重建图像首末帧相较于中间帧的 重建精度低而造成的像移估计误差，这里采取延长采样小块曝光时间的方法，如图2所示， 横坐标为曝光时间，纵坐标为曝光时间内由颤振引起的像素像移。将曝光时间分为若干片 段，采样块处曝光时间为[0, 20]，探测器中间位置曝光时间为[2, 18]，从而采样块处的像 素提前曝光并延后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，用于 估计像移的各帧与模糊图像的曝光时间相对应。仿真中将曝光时间分为20个片段，重建视 频中间17帧对应模糊图像曝光时间段。
[0034] 1-2控制相机探测器边缘位置处的像素，对每一个像素进行曝光编码，得到若干编 码后的图像小块。像素编码按照所有像素曝光时间相同、曝光时间片段连续的原则，如图3 所示，像素曝光起始时间随机。单个像素曝光时间控制在总曝光时间的1/10到1/3之间， 仿真中曝光时间为总时间的1/7。
[0035] 步骤2 :视频图像重建与颤振估计
[0036] 2-1利用重建算法和编码时使用的调制函数，对步骤1-2中获得的调制后的图像 小块进行重建。
[0037] 压缩感知理论指出，设长度为N的信号X在某组基或字典Ψ上的变换系数是稀疏 的，如果我们用一个与变换基Ψ不相关的观测基Φ :MXN(M << N)对系数向量进行线性 变换，并得到观测集合Y:MX 1，即可利用优化求解方法从观测集合中精确或高概率地重构 原始信号X，感知过程如图4所示。
[0038] 视频信号可以看作空间和时间的体数据，定义E(x，y，t)为MXM像素的未知视频 信号数据体，则数据体E的大小为MXMXN，其中N为视频帧数。S(x，y，t)为每个像素在全 部曝光时间上的采样函数（S(x，y，t) e {〇，1})，那么获得的观测图像I(x，y)表示为：
[0039]
【权利要求】
1. 一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，其特征在于，该方法 包括以下步骤： (1) 数据与图像的获取，具体是： (1. 1)选取相机探测器边缘位置处的若干小块，并将总曝光时间T平均分为m个时间片 段，每一个时间片持续的时间为T/m ; (1. 2)在相机曝光时，控制探测器对选取小块内的所有像素，按照保证每个像素的曝光 时间相同、曝光片段连续的原则进行曝光编码，从而得到调制后的图像小块和未调制处的 模糊图像； (2) 视频图像重建与颤振估计，具体是： (2. 1)利用重建算法和编码时使用的调制函数，对步骤1. 2中获得的调制后的图像小 块进行重建，重建得到清晰的视频图像，视频帧数与时间片段数相同； (2. 2)利用相位像移估计方法，对步骤2. 1得到的各视频图像进行帧间像移估计，剔除 估计像移中误差较大的数据，并对剩余数据求平均，作为最终的像移量数据，插值后得到像 面上的颤振轨迹； (2. 3)统计颤振轨迹上落入每个像素内的点数，经过归一化处理得到点扩散函数PSF ; (3) 图像复原，具体是： 利用步骤2. 3得到的点扩散函数PSF对获得的模糊遥感图像进行去模糊复原，得到清 晰图像。
2. 根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法， 其特征在于，所述步骤1. 1中，采取延长采样小块曝光时间的方法避免由于重建图像首末 帧相较于中间帧的重建精度低而造成的像移估计误差，具体为：采样块处的像素提前曝光 并延后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，采样块用于估计 像移的各帧与模糊图像的曝光时间相对应。
3. 根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法， 其特征在于，所述步骤2. 1中，所述重建算法为OMP算法。
4. 根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法， 其特征在于，所述步骤2. 1中，所述重建过程中采用KSVD字典训练的方法获得更高的视频 图像重建精度。
【文档编号】H04N5/235GK104243837SQ201410429329
【公开日】2014年12月24日 申请日期:2014年8月28日 优先权日:2014年8月28日
【发明者】陈跃庭, 唐超影, 徐之海, 李奇, 冯华君 申请人:浙江大学