一种星载超分辨成像系统设计方法与流程

本发明涉及光谱成像技术领域，尤其涉及一种星载超分辨成像系统设计方法。

背景技术：

高分辨率遥感是衡量一个国家光电技术水平的重要标志，具有巨大的商业与军事价值。传统星载成像系统中，要实现高几何分辨率成像，就要设计大口径、长焦距的光学镜头，使得系统的重量居高不下，通常运行于LEO轨道的米级高分辨率遥感卫星的成像系统重量在300kg以上，系统研制的周期十分漫长，成本高昂。特别是当前微小卫星以造价低、周期短、发射灵活，容易组成星座完成大卫星难以实现的任务等优点成为遥感领域技术创新方向，市场需求高速增长，其整星一般重量小于100kg，传统的高分辨率成像系统必然无法应用于微小卫星。

无论是传统的大卫星还是微小卫星，要在不牺牲分辨率的前提下降低成像系统的重量和研制成本，就必须发展新型成像系统。超分辨成像技术是计算光学领域的重要分支，它利用计算数学、信号处理等理论解决光学成像问题，通过提取具有亚像元位移的多帧影像之间的冗余信息重建高分辨率影像，打破了传统光电成像系统的空间分辨率极限，提高系统的整体指标，开辟了遥感成像探测的新思路。多帧图像超分辨率重建技术要求各帧低分辨率图像的之间除平移和旋转之外没有其它类型的仿射变换，卫星由于飞行高度高，很容易满足这个要求，因此，将超分辨率重建技术与卫星遥感结合的重点在于亚像元采集和提取设计、适用于超分辨成像的光学系统设计、以及超分辨重建算法设计。

现有超分辨率重建技术仅从图像处理算法角度设计超分辨率重建方法，未与成像系统和搭载平台相结合，一定程度上造成了物理先验信息的缺失，难以实现更精确的重建结果。

技术实现要素：

本发明的目的是提供一种星载超分辨成像系统实现方法，具有重量轻、体积小、研制周期短、研制成本低的优点。

本发明的目的是通过以下技术方案实现的：

一种星载超分辨成像系统实现方法，包括：

利用星载超分辨成像系统的探测器通过凝视模式或凝扫模式采样获得具有亚像元位移的低分辨率图像序列；

根据低分辨率图像的分辨率大小以及超分辨成像的像素数放大率，建立高分辨率网格；

基于全链路超分辨算法对低分辨率图像序列进行配准，将所有低分辨率图像的像元按照配准关系投影到所述高分辨率网格中；

再根据投影结果并结合图像恢复方法，对高分辨率网格对应的像元进行重建获得超分辨率成像结果。

所述星载超分辨成像系统中光学系统的各个参数关系式为：

2.44λF#＝2.44λf/D＝Dairy＝pixel

其中，pixel为探测器像元尺寸；f/D＝F#表示光学系统F数，f为焦距，D为口径；Dairy为光学系统弥散斑直径；λ为入射光波长；

在超分辨成像时，M倍像素数放大率等效于在探测器大小不变的情况下，使探测器像元尺寸减小为pixel/M，由于超分辨率重建并不改变光学系统弥散斑的大小，

在超分辨成像后，弥散斑直径为：D′airy＝Dairy/M，对应光学系统设计时的F数F#′为：F#′＝F#/M。

利用星载超分辨成像系统的探测器通过凝视模式采样获得具有亚像元位移的低分辨率图像序列包括：

凝视模式采样时，卫星中的星载超分辨成像系统的光轴始终对准成像目标，且通过机动调整，使光轴的晃动保持在一定范围内，并以一定周期对光轴的晃动进行测量和调整以使光轴的晃动量不随时间积累；

光轴的晃动用光轴指向稳定度来表示，表示在单位时间内光轴晃动的最大角度，在坐标系O-xyz中，Oz轴为光轴的理想指向，Oxy平面为成像目标所在平面，当指向精度为θ时，光轴将会在顶角为2θ的圆锥内晃动；

由于光轴的晃动，使星载超分辨成像系统在凝视模式下所拍摄的每帧图像之间会有一定随机的亚像元位移，从而获得具有亚像元位移的低分辨率图像序列；

当光轴的指向稳定度为θ时，在Oxy平面平面的Ox或Oy方向，1秒内第一帧低分辨率图像与最后一帧低分辨率图像之间的亚像元位移最大为：

若成像帧频为fp，则此时每帧之间的平均亚像元位移为

其中，Rem表示求余数操作，H表示卫星与目标距离之间的距离，GSD表示地面像元分辨率。

利用星载超分辨成像系统的探测器通过凝扫模式采样获得具有亚像元位移的低分辨率图像序列包括：

凝扫模式时，卫星需要进行地速补偿，星载超分辨成像系统进行高帧频成像采集，使成像目标被多帧图像所覆盖，在卫星运动方向各帧低分辨率图像的亚像元位移通过曝光间隔时间控制，在垂直于卫星的运动方向，亚像元位移由光轴的指向稳定度获得，通过一段时间的采集后，获得具有亚像元位移的低分辨率图像序列；

卫星地速补偿比为R(R＞1)，卫星运动速度为v，曝光间隔ti，光轴在卫星运动方向的指向偏差为De，超分辨成像像素数放大率为M，为获得较高的超分辨效果需满足沿轨方向亚像元位移为均匀分布，各个参量之间的关系为：

其中，Rem表示求余数操作。

根据低分辨率图像的分辨率大小以及超分辨成像的像素数放大率，建立高分辨率网格包括：

若低分辨率图像的分辨率大小为m×n，超分辨成像的像素数放大率为M，则建立mM×nM大小的高分辨率网格。

所述基于全链路超分辨算法对低分辨率图像序列进行配准包括：

基于全链路超分辨算法对低分辨率图像序列进行配准，从而提取出每一图像的亚像元位移信息；具体步骤如下：

超分辨成像的数学模型表示为：

yk＝DkBkMkx+nk(k＝1,2,...,K)

其中，yk指第k幅低分辨率图像，低分辨率图像序列的总数为K；x指超分辨率成像结果；nk表示加性噪声；Dk表示探测器的下采样函数，与超分辨像素数放大倍率M有关；Mk为运动函数，表示各低分辨率图像之间的位移关系，与亚像元位移有关，通过对低分辨率图像序列配准获得；Bk表示模糊函数；

采用光流法与特征法互校验来提高配准精度，准确提取亚像元位移信息，配准的互校验指标模型为：

其中，MSE表示待配准图像与参考图像的均方误差，所述的参考图像为低分辨率图像序列中任取的一幅图像，则其他低分辨率图像为待配准图像；SSIM表示结构相似度；α、β为权重系数，α和β取值与卫星成像时的太阳高度角和探测器暗电流噪声有关，通过α对MSE的调节和β对SSIM的调节使互校验指标模型取值在区间[0,1]内，J值越大表明配准精度越高，JC和JO分别为特征法和光流法的校验指标，Joptimal为互校验指标；

互校验过程如下：在低分辨率图像序列中任取一幅作为参考图像，其它低分辨率图像作为待配准图像，分别使用特征法和光流法对参考图像和待配准图像进行配准，得到各自方法对应的单应性矩阵HC和HO，分别用单应性矩阵HC和HO作用于待配准图像向参考图像坐标系进行变换，将互校验指标模型作用于参考图像和变换图像，分别得到特征法和光流法的校验指标JC和JO，比较JC和JO，获得最优的配准精度，从而提高亚像元信息的提取精度。

由上述本发明提供的技术方案可以看出，通过卫星在轨凝视成像和凝扫成像获得超分辨重建所需的亚像元位移信息，通过对光学系统F数设计控制光学弥散斑大小，提高超分辨重建效果，引入光流法与特征法互校验指标模型增强亚像元信息提取的鲁棒性，采用全链路超分辨算法重建超分辨图像，采用本发明方案设计的星载超分辨成像系统与相同分辨率尺度的传统星载成像系统相比，能够有效降低光学系统的口径、缩短焦距，从而降低系统的重量和成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种星载超分辨成像系统实现方法的示意图；

图2为本发明实施例提供的凝视模式成像示意图；

图3为本发明实施例提供的卫星成像系统光轴指向精度示意图；

图4为本发明实施例提供的凝视模式下成像位移关系示意图；

图5为本发明实施例提供的凝扫模式成像示意图；

图6为本发明实施例提供的凝扫模式各帧之间的位移关系示意图；

图7为本发明实施例提供的探测器像元与弥散斑关系示意图；

图8为本发明实施例提供的等焦距、等探测器像元尺寸时，不同弥散斑设计对超分辨成像的影响对比示意图；

图9为本发明实施例提供的超分辨率重建算法流程图；

图10为本发明实施例提供的配准互校验流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种星载超分辨成像系统实现方法，提高成像的几何分辨率，使在同等级别分辨率下，应用超分辨成像技术设计的成像系统具有重量轻、体积小、研制周期短、研制成本低的优点。

如图1所示，该方法主要包括：

a、利用星载超分辨成像系统的探测器通过凝视模式或凝扫模式采样获得具有亚像元位移的低分辨率图像序列。(图1(a)中的三角、圆、五角星、正方形分别表示低分辨率图像的像元)，若超分辨成像的像素数放大率为N，则低分辨率图像数量Ln应满足Ln≥N²。

b、根据低分辨率图像的分辨率大小以及超分辨成像的像素数放大率，建立高分辨率网格。

c、基于全链路超分辨算法对低分辨率图像序列进行配准，将所有低分辨率图像的像元按照配准关系投影到所述高分辨率网格中。

d、再根据投影结果并结合图像恢复方法，对高分辨率网格对应的像元进行重建获得超分辨率成像结果。(图1(d)中的十字代表通过重建获得的像素)。

需要说明的是，图1中仅以4幅低分辨率图像的2倍放大率超分辨成像为例进行说明；在实际应用中，用户可根据实际情况确定低分辨率图像的大小及超分辨成像的像素数放大率。

为了便于说明，下面结合如下三个部分对本发明做详细说明：1、采样系统设计；2、光学系统设计；3、超分辨率重建算法。

1、采样系统设计

采集具有亚像元位移信息的低分辨率图像序列是进行超分辨成像的先决条件。为了实现多帧图像采样就要使用高帧频的面阵CMOS或面阵CCD探测器，考虑到帧频、制冷、像移模糊等因素，在目前现有的技术条件下，应优先使用高帧频的面阵CMOS探测器。

本发明实施例中，低分辨率图像序列采集模式有两种，分别为凝视模式和凝扫模式。

1)凝视模式。

凝视模式采样如图2所示，虚线表示卫星的运动轨迹，ABC表示卫星任意三个运动位置，卫星中的星载超分辨成像系统的光轴始终对准成像目标，且通过机动调整，使光轴的晃动保持在一定范围内，并以一定周期对光轴的晃动进行测量和调整以使光轴的晃动量不随时间积累；

光轴的晃动用光轴指向稳定度来表示，表示在单位时间内光轴晃动的最大角度。如图3所示，在坐标系O-xyz中，Oz轴为光轴的理想指向，Oxy平面为成像目标所在平面，当指向精度为θ时，光轴将会在顶角为2θ的圆锥内晃动；

正是由于光轴的晃动，使系统在凝视模式下所拍摄的每帧低分辨率图像之间会有一定随机的亚像元位移，从而获得具有亚像元位移的低分辨率图像序列。图4中，以任意4帧成像为例(标号①②③④为4帧成像结果)说明每帧低分辨率图像之间的位移关系。

当光轴的指向稳定度为θ时，在Oxy平面平面的Ox或Oy方向，1秒内第一帧低分辨率图像与最后一帧低分辨率图像之间的亚像元位移最大为：

若成像帧频为fp，则此时每帧之间的平均亚像元位移为

其中，Rem表示求余数操作，H表示卫星与目标距离之间的距离，GSD表示地面像元分辨率。

2)凝扫模式

凝扫模式成像如图5所示，卫星需要进行地速补偿，降低卫星相对目标的运动速度，进行高帧频成像，使成像目标被多帧图像所覆盖(图5中阴影部分)，此时各帧低分辨率图像之间的位移关系如图6所示，在卫星运动方向各帧低分辨率图像的亚像元位移可以通过曝光间隔时间控制，在垂直于卫星的运动方向，亚像元位移的获得与凝视模式相同，由光轴的指向稳定度获得；通过一段时间的采集后，可获得具有亚像元位移的低分辨率图像序列；

卫星地速补偿比为R(R＞1)，卫星运动速度为v，曝光间隔ti，光轴在卫星运动方向的指向偏差为De，超分辨成像像素数放大率为M，为获得较高的超分辨效果需满足沿轨方向亚像元位移为均匀分布，各个参量之间的关系为：

其中，Rem表示求余数操作，N表示图像帧数。

2、光学系统设计

图7为本发明实施例提供的探测器像元与弥散斑关系示意图，其中，阴影圆型表示弥散斑。图7(a)为，在传统光学系统设计中，为了避免光学系统弥散斑引起的模糊，需使探测器的一个像元恰能分辨光学系统的弥散斑。

图7(b)与图7(c)分别为超分辨设计弥散斑与像元，以及超分辨重建后弥散斑与像元关系示意图；本发明实施例中，所述星载超分辨成像系统中光学系统的各个参数关系式如下：

2.44λF#＝2.44λf/D＝Dairy＝pixel

其中，pixel为探测器像元尺寸；f/D＝F#表示光学系统F数，f为焦距，D为口径；λ为入射光波长；Dairy为光学系统弥散斑直径。

在超分辨成像时，M倍像素数放大率等效于在探测器大小不变的情况下，使探测器像元尺寸减小为pixel/M，由于超分辨率重建并不改变光学系统弥散斑的大小，

在超分辨成像后，弥散斑直径为：D′airy＝Dairy/M，对应光学系统设计时的F数F#′为：F#′＝F#/M。

图8中给出了相同焦距光学系统、相同探测器尺寸、弥散斑直径相差一倍、超分辨像素放大数同为2倍的两个成像系统的低分辨率成像结果和超分辨成像结果，说明了本设计的有效性。其中，图8(a)与图8(b)分别为F数为16时低分辨率图像与超分辨成像结果，图8(c)与图8(d)分别为F数为8时低分辨率图像与超分辨成像结果。

3、超分辨率重建算法

本发明实施例中，基于全链路超分辨算法对低分辨率图像序列进行配准，从而提取出每一图像的亚像元位移信息，其步骤如图9所示。

如图9所示，通过估计低分辨率图像序列的亚像元位移参数重建高分辨率的图像是一个高度病态问题，需要充分考虑重建过程的各种不确定定因素。本发明实施例中需要建立卫星平台像移模糊模型、噪声模型、光学模糊模型、探测器模糊模型、大气模糊模型、图像下采样模型，同时利用图像特征建立图像光流约束模型对解空间和函数空间加以约束，通过多帧超分辨率重建算法对成像方程反复迭代，用一组与成像方程相邻近的适定问题的解去逼近原问题的真解，使病态问题尽可能良态化，从而得到超分辨率成像结果。

本发明实施例中，超分辨成像的数学模型可以表示为：

yk＝DkBkMkx+nk(k＝1,2,...,K)

其中，yk指第k幅低分辨率图像，低分辨率图像序列的总数为K；x指超分辨率成像结果；nk表示加性噪声；Dk表示探测器的下采样函数，与超分辨像素数放大倍率M有关；Mk为运动函数，表示各低分辨率图像之间的位移关系，与亚像元位移有关，通过对低分辨率图像序列配准获得；Bk表示模糊函数；

亚像元位移代表着星载成像系统所成低分辨率图像序列的冗余信息，是超分辨率重建的关键因素，任何配准算法都不可避免的会产生配准误差，而配准误差会成为超分辨重建算法的主要缺陷源。

本发明实施例中，采用光流法与特征法互校验来提高配准精度，准确提取亚像元位移信息，配准的互校验指标模型为：

其中，MSE表示待配准图像与参考图像的均方误差，所述的参考图像为低分辨率图像序列中任取的一幅图像，则其他低分辨率图像为待配准图像；SSIM表示结构相似度；α、β为权重系数，α和β取值与卫星成像时的太阳高度角和探测器暗电流噪声有关，通过α对MSE的调节和β对SSIM的调节使互校验指标模型取值在区间[0,1]内，J值越大表明配准精度越高，JC和JO分别为特征法和光流法的校验指标，Joptimal为互校验指标。

如图10所示为配准互校验流程，在低分辨率图像序列中任取一幅作为参考图像，其它低分辨率图像作为待配准图像，分别使用特征法和光流法对参考图像和待配准图像进行配准，得到各自方法对应的单应性矩阵HC和HO，用单应性矩阵作用于待配准图像向参考图像坐标系进行变换，将互校验指标模型作用于参考图像和变换图像，分别得到特征法和光流法的校验指标JC和JO，比较JC和JO，获得最优的配准精度，从而提高亚像元信息的提取精度。

配准后就可以提取出亚像元位移信息，再根据亚像元位移信息就可以将图像序列中的各个图像的像元位置投影到高分辨率网格中。

本发明实施例的上述方案中，通过卫星在轨凝视成像和凝扫成像获得超分辨重建所需的亚像元位移信息，通过对光学系统F数设计控制光学弥散斑大小，提高超分辨重建效果，引入光流法与特征法互校验指标模型增强亚像元信息提取的鲁棒性，采用全链路超分辨算法重建超分辨图像，采用本发明方案设计的星载超分辨成像系统与相同分辨率尺度的传统星载成像系统相比，能够有效降低光学系统的口径、缩短焦距，从而降低系统的重量和成本。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。