同步轨道卫星姿态欠采样量测下超分辨率图像重建的方法
【技术领域】
[0001] 本发明涉及一种基于星载画幅式相机姿态量测信息欠采样条件下的多画面超分 辨率图像重建技术的方法，适用于提高空间遥感成像分辨率，提升影像质量的遥感应用领 域，尤其适用于地球同步轨道卫星的凝视成像模式，在获取的姿态量测信息更新速率低于 相机输出画面速率的情况下，利用欠采样量测信息约束下的低分辨率图像序列重建出超分 辨率的高清图像，具体地说，是涉及一种同步轨道卫星姿态欠采样量测下超分辨率图像重 建的方法。
【背景技术】
[0002] 地球同步轨道卫星搭载的画幅式相机采用对地凝视成像的观测机制，具有对同一 地区持续获取图像的能力，时间分辨率大大提高。然而，在图像获取过程中，诸多因素如光 学系统的像差、大气的扰动、目标与成像器件之间的相对运动、离散采样和系统噪声等等会 导致影像退化而降低了分辨率。而且受C⑶成像器件像元尺寸的限制，离散采样间距过大 造成的欠采样效应也会导致图像空间分辨力的降低。如何在不改变现有探测器的前提下提 高光电成像系统整体指标，获得具有更高空间分辨率的图像，是超分辨重建技术旨在解决 的问题。利用多幅低分辨率图像，可以有效降低空间离散采样间距，实现图像在空间上的过 采样，从而重建出更高分辨率的图像。该技术可以在不改变现有成像设备的前提下，克服成 像系统的固有分辨率局限，提高现有数字图像处理系统的性能，具有经济实用的特点，应用 前景十分广阔。
[0003] 传统的图像过采样技术主要围绕着单帧图像的最邻近插值、双线性插值、立方样 条插值等方法。其仅利用了图像的空间信息，改变了图像的视觉效果，但没有提高图像的信 息量，得到的图像分辨率有很大的限制，并不能满足实际应用要求。所以目前的研究主要集 中在多帧图像的重建，但是如果仅仅只是对光电系统拍摄的序列图像进行处理，序列图像 之间的相对位移具有不确定性，这样重建出来的图像，其分辨率并不能有很大的改观。所以 应用新的信息获取及处理技术实现超分辨成像，在光学系统参数和探测器基本不变的情况 下，提高光电成像系统分辨能力和识别概率的方法成为当前最具潜力的技术手段。其有效 途径之一是通过特定的光电成像手段获取内容相关但存在相对位移的序列图像，通过有针 对性软件重建算法，重建出更高分辨率的图像。这样重建的图像，包含了多帧图像序列的信 息，大大增加了图像信息内容，因此可以真正实现在现有的探测器及光学系统不变的前提 下，有效提高了成像分辨力。
[0004] 图1为当今主要使用的超分辨率图像重建方法步骤，而空域超分辨率重建算法中 的大多算法（如迭代反向投影、凸集投影、最大后验概率估计等）把插值和消除模糊与噪声 这两个环节综合成了一个过程。
[0005] 当今基于低分辨率图像序列的超分辨重建技术需要对每幅图像估计相对于基准 图像的运动位移，普通的航摄相机需要在拍摄每一幅图片的时候都给出当时的相机姿态信 息，用于帧间相对位移估计和后续的几何校正等处理。但对于同步轨道卫星的姿态量测信 息的获取时间间隔远长于拍摄的时间间隔，相对于输出图像帧频处于欠采样状态，无法采 用传统航摄相机的处理手段来进行超分辨率重建。
【发明内容】
[0006] 为解决上述技术问题，本发明提供了一种同步轨道卫星姿态欠采样量测下超分辨 率图像重建的方法，包括步骤：
[0007] 读取同步轨道卫星时间欠采样的低分辨率序列图像Iu;
[0008] 视同步轨道卫星姿态变化为简谐运动，利用已有的低分辨率图像Iu序列进行建 模，得到符合其基本变化规律的模型方程，然后通过得到的模型方程推导出卡尔曼滤波状 态方程和量测方程，接着根据离散卡尔曼滤波基本方程进行预测，得到时间信息充分的同 步轨道卫星姿态变化的低分辨率图像序列Iu;
[0009] 采用泰勒级数法对所述低分辨率图像序列込运动估计结果进行图像配准；
[0010] 采用时间信息标志的凸集投影POCS算法对低分辨率图像序列込2进行空域超分辨 率重建。
[0011] 优选地，所述步骤视同步轨道卫星姿态变化为简谐运动，利用已有的低分辨率图 像Iu序列进行建模，得到符合其基本变化规律的模型方程，然后通过得到的模型方程推导 出卡尔曼滤波状态方程和量测方程，接着根据离散卡尔曼滤波基本方程进行预测，得到时 间信息充分的同步轨道卫星姿态变化的低分辨率图像序列込，进一步为，
[0012] 同步轨道卫星姿态变化为两维变化，将相机和星体设为一个完整刚体，仅考虑其 振动的低频信息，根据下式建立一个反映同步轨道卫星运动变化的低阶模型，得到同步轨 道卫星姿态变化引起的完整图像序列Iurough:
[0014] X(t)指图像X方向随时间变化发生的位移，A指图像在X方向的振幅，ωχ指图像 在X方向的振动频率，A指图像在X方向的相位，Y(t)指图像y方向随时间变化发生的位 移，B指图像在y方向的振幅，图像在y方向的振动频率，％指图像在y方向的相位；
[0015] 通过二维卡尔曼滤波预测法递推得到较高精度，
[0016] 低分辨率图像尚散系统的状态方程：
[0017] X(xk, yk) = φ (k|k-l)x(xk !, yk !)+G(k)w(k)
[0018] 低分辨率图像离散系统的量测方程：
[0019] Z (xk, yk) = H (k) X (xk, yk) +v (k)
[0020] 其中，Z(xk，yk)为k时刻的量测矩阵，w(k)和v(k)分别为状态噪声和量测噪声， 均为互不相关的高斯白噪声向量序列，其协方差矩阵分别为Q(k)和R(k) ;Φ(1〇 e RnXn， G(k) eRnXp和H(k) e Rmxn分别为状态转移矩阵，输入转移矩阵和量测转移矩阵，这里的n和P指矩阵的维度，所述量测转移矩阵指测量得到的已知值；
[0021] 已知状态方程 X (Xk, yk) = φ (k I k-1) X (xk yk i) +G (k) w (k)和所述量测方程 Z(xk，yk) = H(k)X(xk，yk)+v(k)，假设现在的系统状态是k，贝IJ根据系统的模型，可以基于系 统的上一状态k-1而预测出现在的状态：
[0022] X (xk，yk I Xk η yk D = Φ (k I k_l) X (Xk !，yk ! I Xk !，yk !)
[0023] 其中X (xk η yk! I xk D yk D代表上一状态最优结果。
[0024]则 X (xk，yk I Xk i，yk i)对应的协方差：
[0025] P (k I k-1) = Φ (k I k-1) X (xk !, yk ! I xk !, yk i) ΦT (k I k-1) +G (k-1) Q (k-1) Gt (k-1)
[0026] 得到现在状态k的预测结果，再收集现在状态的量测值，结合这二者，得到现在状 态k的最优化估算值X (xk, yk I xk, yk):
[0027] X (xk, yk I xk, yk) = X (xk, yk | xk 1; yk ^ +K (k) [Z (xk, yk) -H (k) X (xk, yk | xk 1; yk ,)]
[0028] 其中K(k)为卡尔曼增益：
[0029] K (k) = P (k I k-1) Ht (k) [H (k) P (k I k-1) Ht (k) +R (k) ] 1
[0030] 再更新k状态下X (xk, yk I xk, yk)的协方差：
[0031] P(k|k) = (I-K(k)H)P(k|k-l)
[0032] 其中I为I的矩阵，对于单模型单测量，I = 1。
[0033] 优选地，所述步骤采用泰勒级数法对所述低分辨率图像序列込运动估计结果进 行图像配准，进一步为，
[0034] 令参考图像为f，待配准的图像为g，假设相互之间的位移为a和b，将图像g通过 泰勒级数展开，并忽略高次项得：
[0036] 定义误差函数E为：
[0038] 则配准的过程为：
[0040] 优选地，所述步骤采用时间信息标志的凸集投影POCS算法对低分辨率图像序列 L进行空域超分辨率重建，进一步为，
[0041] 对于每一个低分辨率图像的像素 y On1, m2，t)定义如下凸约束集合：
[0043] 其中y Oii1, m2, t)表示t时间的低分辨率图像的Oii1, m2)像素值，f Oi1, n2, k)表示高 分辨率图像Oi1, n2)的像素值，r(f) Oii1, m2, t)为与y Oii1, m2, t)有关的残差，δ Jm1, m2, t)是阈 值，
[0045] f Oi1, n2，k)向凸集多次投影，最终可确定改点处的像素值，得到矩阵： CN 105184762 A 说明书 4/9 页
[0047] 与现有技术相比，本发明所述的同步轨道卫星姿态欠采样量测下超分辨率图像重 建的方法，达到了如下效果：
[0048] 超分辨率图像重建成功的关键是低分辨率图像序列含有非冗余的互补信息。从 统计学意义上讲，上述的互补信息称为样本信息，它们为超分辨率图像重建过程提供了数 据样本，互补性的样本信息越充分，增加的信息量越大，超分辨率重建的效果越好。与普通 航摄相机不同，地球同步轨道卫星搭载的画幅式相机无法获取与相机拍摄同步的姿态量测 信息，因此无法按照传统相机共面方程的形式做变形校正；而且地面场景复杂，成像画幅 大，没有姿态量测信息约束的盲重建方法存在着运动估计偏差大，处理时间长等缺点。本发 明的优点在于利用欠采样量测信息约束下的低分辨率图像序列重建出超分辨率的高清图 像，其中针对星体姿态的周期性变化规律开展简谐振动建模和利用二维卡尔曼滤波的方法 完成对每帧图像运动位移的估计，解决了姿态量测信息欠采样的影响，完成了序列图像的 时-空配准，保证了重建图像分辨率提升的质量。
【附图说明】
[0049] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0050] 图1为传统超分辨率重建的方法流程图；
[0051] 图2为本发明基于同步轨道卫星姿态欠采样量测下超分辨率图像