一种基于超分辨率重建的星载多光谱成像系统设计方法与流程
本发明涉及光谱成像技术领域，尤其涉及一种多光谱的星载超分辨成像系统设计方法。
背景技术：
高分辨率遥感是衡量一个国家光电技术水平的重要标志，具有巨大的商业与军事价值。传统星载成像系统中，要实现高几何分辨率成像，就要设计大口径、长焦距的光学镜头，使得系统的重量居高不下，通常运行于LEO轨道的米级高分辨率遥感卫星的成像系统重量在300kg以上，系统研制的周期十分漫长，成本高昂。特别是当前微小卫星以造价低、周期短、发射灵活，容易组成星座完成大卫星难以实现的任务等优点成为遥感领域技术创新方向，市场需求高速增长，其整星一般重量小于100kg，传统的高分辨率成像系统必然无法应用于微小卫星。
无论是传统的大卫星还是微小卫星，要在不牺牲分辨率的前提下降低成像系统的重量和研制成本，就必须发展新型成像系统。超分辨成像技术是计算光学领域的重要分支，它利用计算数学、信号处理等理论解决光学成像问题，通过提取具有亚像元位移的多帧影像之间的冗余信息重建高分辨率影像，打破了传统光电成像系统的空间分辨率极限，提高系统的整体指标，开辟了遥感成像探测的新思路。多帧图像超分辨率重建技术要求各帧低分辨率图像的之间除平移和旋转之外没有其它类型的仿射变换，卫星由于飞行高度高，很容易满足这个要求，因此，将超分辨率重建技术与卫星遥感结合的重点在于亚像元采集和提取设计、适用于超分辨成像的光学系统设计、以及超分辨重建算法设计。
另外，通过对高帧频面阵探测器的航天应用，除可获得具有亚像元位移的多帧影像之外，还可获得同一区域的视频影像，从而不再受卫星重访周期的限制。在探测器上覆以光谱滤光膜还可获得多光谱图像，提高成像的光谱分辨率。
现有超分辨率重建技术仅从图像处理算法角度设计超分辨率重建方法，未与成像系统和搭载平台相结合，一定程度上造成了物理先验信息的缺失，难以实现更精确的重建结果。
技术实现要素：
本发明的目的是提供一种星载超分辨成像系统实现方法，具有重量轻、体积小、研制周期短、研制成本低的优点。
本发明的目的是通过以下技术方案实现的：
一种星载超分辨成像系统实现方法，包括：
在星载超分辨成像系统的探测器表面覆盖全色滤光膜以及至少包含红、绿、蓝波段的多光谱滤光膜；
当所述星载超分辨成像系统利用凝视模式采样时，采集到全色图像和/或多光谱图像，对采集到的图像依次进行图像配准与图像裁剪后获得被测区域的视频影像；
当所述星载超分辨成像系统利用凝扫模式采样时，采集到全色图像与多光谱图像；对全色图像基于多帧序列图像超分辨率重建算法进行超分辨率重建；对多光谱图像依次进行图像配准与信噪比增强处理，之后再进行彩色合成并结合超分辨率重建后的全色图像进行全色增强处理。
所述星载超分辨成像系统中光学系统的各个参数关系式为：
2.44λF#＝2.44λf/D＝Dairy＝pixel
其中，pixel为探测器像元尺寸；f/D＝F#表示光学系统F数，f为焦距，D为口径；Dairy为光学系统弥散斑直径；λ为入射光波长；
在超分辨成像时，M倍像素数放大率等效于在探测器大小不变的情况下，使探测器像元尺寸减小为pixel/M，由于超分辨率重建并不改变光学系统弥散斑的大小，
在超分辨成像后，弥散斑直径为：D′airy＝Dairy/M，对应光学系统设计时的F数F#′为：F#′＝F#/M。
所述探测器为高帧频的面阵CMOS探测器，所述的全色滤光膜以及至少包含红、绿、蓝波段的多光谱滤光膜以条带形式沿卫星飞行方向排列，各个滤光膜之间镀有不透光的过渡带；其中，全色波段所覆盖的像元数多于多光谱滤光膜覆盖的像元数。
所述当所述星载超分辨成像系统利用凝视模式采样时，采集到全色图像和/或多光谱图像，对采集到的图像依次进行图像配准与图像裁剪后获得被测区域的视频影像包括：
当所述星载超分辨成像系统利用凝视模式采样时，卫星中的星载超分辨成像系统的光轴始终对准成像目标，且通过机动调整，使光轴的晃动保持在一定范围内，并以一定周期对光轴的晃动进行测量和调整以使光轴的晃动量不随时间积累；
光轴的晃动用光轴指向稳定度来表示，表示在单位时间内光轴晃动的最大角度，在坐标系O-xyz中，Oz轴为光轴的理想指向，Oxy平面为成像目标所在平面，当指向精度为θ时，光轴将会在顶角为2θ的圆锥内晃动；
由于光轴的晃动，使星载超分辨成像系统在凝视模式下所拍摄的每帧图像之间会有一定随机的位移，对采集的全色图像或多光谱图像均通过配准的方式将连续若干帧的图像变换到统一坐标系Oxy下，再对互不重叠的部分进行裁剪，剩余的重叠部分则为所覆盖区域的视频影像。
当所述星载超分辨成像系统利用凝扫模式采样时，采集到全色图像与多光谱图像包括：
凝扫模式时，卫星需要进行地速补偿，星载超分辨成像系统进行高帧频成像采集，使成像目标被多帧图像所覆盖，在每个光谱条带都能获得包含同一目标的多幅图像；随着卫星的运动，同一地物目标将在全色波段和各个多光谱波段依次成像；采集到的全色图像是用于超分辨成像的低分辨率图像序列，采集到的多光谱图像是用于彩色合成与全色增强所需的各个谱段的图像；
卫星地速补偿比为R(R＞1)，卫星运动速度为v，曝光间隔ti，曝光时间te，光轴在卫星运动方向的指向偏差为De，则在某一滤光膜上，沿飞行方向所重合的探测器像元行数imagerow与图像帧数N之间的关系为：
上式中，GSD表示地面像元分辨率，Ln为该滤光膜上所占探测器像元行数，Dej为每帧图像成像时光轴的指向偏差；若卫星能通过对指向的校准与控制，使每帧成像时的光轴在卫星运动方向的指向偏差相等，则某一滤光膜上，沿飞行方向所重合的探测器像元行数imagerow与图像帧数N之间的关系为：
在沿卫星飞行方向，低分辨率图像序列中的各帧图像之间的亚像元位移通过曝光间隔时间控制，若超分辨成像像素数放大率为M，为获得高的超分辨效果需满足沿飞行方向亚像元位移为均匀分布，各个参量之间的关系为：
上式中，Rem表示求余数操作。
所述对全色图像基于多帧序列图像超分辨率重建算法进行超分辨率重建包括：
凝扫模式采集到的全色图像为具有亚像元位移的多帧影像，其构成的图像序列称为低分辨率图像序列；
超分辨成像的数学模型表示为：
yk＝DkBkMkx+nk (k＝1,2,...,K)
其中，yk指第k幅低分辨率图像，低分辨率图像序列的总数为K；x指超分辨率成像结果；nk表示加性噪声；Dk表示探测器的下采样函数，与超分辨像素数放大倍率W有关；Mk为运动函数，表示各低分辨率图像之间的位移关系，与亚像元位移有关，通过对低分辨率图像序列配准获得；Bk表示模糊函数；
采用光流法与特征法互校验来提高配准精度，准确提取亚像元位移信息，配准的互校验指标模型为：
其中，MSE表示待配准图像与参考图像的均方误差，所述的参考图像为低分辨率图像序列中任取的一幅图像，则其他低分辨率图像为待配准图像；SSIM表示结构相似度；α、β为权重系数，α和β取值与卫星成像时的太阳高度角和探测器暗电流噪声有关，通过α对MSE的调节和β对SSIM的调节使互校验指标模型取值在区间[0,1]内，J值越大表明配准精度越高，JC和JO分别为特征法和光流法的校验指标，Joptimal为互校验指标。
所述对多光谱图像依次进行图像配准与信噪比增强处理包括：
对多光谱图像中的每一波段图像分别进行配准，获得多个相同波段滤光膜每帧之间的相同区域图像；
对于相同波段滤光膜每帧之间的相同区域图像中所有重叠部分直接相加，再取平均，从而提高图像的信噪比，其表示为：
其中，N'为相同波段滤光膜每帧之间的相同区域图像中所有重叠部分图像的数量，imagen表示相同波段滤光膜每帧之间的相同区域图像。
由上述本发明提供的技术方案可以看出，通过卫星在轨凝视成像获得同一区域的高时间分辨率视频影像，通过凝扫成像获得超分辨重建所需的亚像元位移信息以及各多光谱波段图像，通过对光学系统F数设计控制光学弥散斑大小，提高超分辨重建效果，引入光流法与特征法互校验指标模型增强亚像元信息提取的鲁棒性，采用全链路超分辨算法重建超分辨图像，从而同时实现了高时间分辨率、高空间分辨率、多光谱分辨率，采用本发明方案实现的星载超分辨成像系统，与相同分辨率尺度的传统星载成像系统相比，能够有效降低光学系统的口径、缩短焦距，从而降低系统的重量和成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种星载超分辨成像系统实现方法的流程图；
图2为本发明实施例提供的滤光膜结构示意图；
图3为本发明实施例提供的凝视模式成像示意图；
图4为本发明实施例提供的卫星成像系统光轴指向精度示意图；
图5为本发明实施例提供的凝视模式下连续4帧成像中任意波段条带成像位移关系示意图；
图6为本发明实施例提供的凝扫模式成像示意图；
图7为本发明实施例提供的凝扫模式各帧之间同一条带的位移关系示意图；
图8为本发明实施例提供的凝扫模式下同一地物在各波段成像示意图；
图9为本发明实施例提供的探测器像元与弥散斑关系示意图；
图10为本发明实施例提供的等焦距、等探测器像元尺寸时，不同弥散斑设计对超分辨成像的影响对比示意图；
图11为本发明实施例提供的亚像元位移示意图；
图12为本发明实施例提供的超分辨率重建算法流程图；
图13为本发明实施例提供的配准互校验流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种能够获得目标的高时间分辨率、高空间分辨率、多光谱分辨率的星载超分辨成像系统实现方法，与传统星载成像系统相比，在同等级别空间分辨率尺度下，采用本方法的成像系统具有重量轻、体积小、研制周期短、研制成本低的优点。
如图1所示，该方法主要包括：
在星载超分辨成像系统的探测器表面覆盖全色滤光膜以及至少包含红、绿、蓝波段的多光谱滤光膜；
当所述星载超分辨成像系统利用凝视模式采样时，采集到全色图像和/或多光谱图像，对采集到的图像依次进行图像配准与图像裁剪后获得被测区域的视频影像；
当所述星载超分辨成像系统利用凝扫模式采样时，采集到全色图像与多光谱图像；对全色图像基于多帧序列图像超分辨率重建算法进行超分辨率重建；对多光谱图像依次进行图像配准与信噪比增强处理，之后再进行彩色合成并结合超分辨率重建后的全色图像进行全色增强处理。
本发明实施例中，通过在探测器表面覆不同波段滤光膜的方式获得多光谱图像，通过探测器高帧频成像获得目标的高时间分辨率视频影像，对高帧频探测器所成的多幅图像通过超分辨重建方式提高成像的空间分辨率分辨率。成像系统的实现方案主要由三部分构成：1、采样系统设计；2、光学系统设计；3、超分辨率重建算法。下面分别对这三部分设计内容进行具体阐述。
1、采样系统设计
采样系统主要功能是：
①采集目标的多光谱图像；
②采集同一地物目标的具有亚像元位移的多帧图像(为与超分辨成像区分，本方案中把这些具有亚像元位移的多帧影像构成的图像序列叫做低分辨率图像序列)；
③采集同一区域的视频影像。
为具备以上能力，需选用高帧频的面阵CMOS或面阵CCD探测器，考虑到帧频、制冷、像移模糊等因素，在目前现有的技术条件下，优先使用高帧频的面阵CMOS探测器。
本发明实施例中，在探测器表面覆全色滤光膜以及至少包含红、绿、蓝波段的多光谱滤光膜，其中，全色波段用以提供视频影像和低分辨率图像序列，红、蓝、绿三个波段的图像用以进行彩色合成以及与全色波段进行全色增强。滤光膜除包含全色、红、蓝、绿波段外，也可以包含近红外等波段，视具体需求而定。每个波段以条带形式镀在滤光膜上，各个条带沿卫星飞行方向排列，条带的排列没有特定的顺序。为防止各波段的图产生混叠，在各个条带之间镀有不透光的过渡带。为获得低分辨率图像序列，全色波段所覆盖的像元数多于多光谱滤光膜覆盖的像元数，除全色外其他波段条带所覆盖的探测器像素数不一定相等。
如图2所示，以全色波段条带在探测器顶端(沿卫星飞行方向)为例，说明滤光膜的结构，图中全色波段条带所占探测器像元行数为L1，多光谱波段条带B1,B2,...,Bn(每一条带对应一个波段)所占探测器像元行数分别为L1,L2,...,Ln，带有“×”的矩形阴影为不透光的过渡带。
根据滤光膜的设计和探测器高帧频特性，采集系统的采集模式有两种，分别为凝视模式和凝扫模式。
1)凝视模式。
在凝视模式下，星载超分辨成像系统的功能是采集目标的视频影像，由于受各个波段所接收能量的限制，而全色波段由于其波段范围较大，能量也相对较高，因此凝视模式主要采集全色波段的视频影像(如果有需要也可采集各多光谱波段的视频，如红外波段的视频等)，如图3所示，虚线表示卫星的运动轨迹，ABC表示卫星任意三个运动位置，卫星靠姿态机动等措施将光轴始终对准成像目标，此时，由于卫星在轨时存在星体的振动，会带动成像系统的光轴一起晃动，需要进行机动调整，使光轴的晃动保持在一定范围内，并以一定周期对光轴的晃动进行测量和调整以使光轴的晃动量不随时间积累，通常光轴的晃动可用光轴指向稳定度来表示，表示在单位时间内光轴晃动的最大角度，如图4所示，在坐标系O-xyz中，Oz轴为光轴的理想指向，Oxy平面为成像目标所在平面，当指向精度为θ时，光轴将会在如图顶角为2θ的圆锥内晃动。
由于光轴的晃动，使星载超分辨成像系统在凝视模式下所拍摄的每帧图像之间会有一定随机的位移，对采集的全色图像或多光谱图像均通过配准的方式将连续若干帧的图像变换到统一坐标系Oxy下，再对互不重叠的部分进行裁剪，剩余的重叠部分则为所覆盖区域的视频影像。
如图5所示，表示了任意条带连续4帧之间成像关系的示意图，首先通过图像配准将这4帧图像(①～④)变换到同一坐标系OXY下，对互不重叠部分进行裁剪，可以获得图中阴影部分所覆盖区域的视频影像。
2)凝扫模式
凝扫模式成像如图6所示，凝扫模式时，卫星需要进行地速补偿，以降低卫星相对目标的运动速度，星载超分辨成像系统进行高帧频成像采集，使成像目标被多帧图像所覆盖(图6中阴影部分)，在每个光谱条带都能获得包含同一目标的多幅图像，此时任一条带的连续各帧图像之间的位移关系如图7所示。
卫星地速补偿比为R(R＞1)，卫星运动速度为v，曝光间隔ti，曝光时间te，光轴在卫星运动方向的指向偏差为De，则在某一滤光膜上，沿飞行方向所重合的探测器像元行数imagerow与图像帧数N之间的关系为：
上式中，GSD表示地面像元分辨率，Ln为该滤光膜上所占探测器像元行数，Dej为每帧图像成像时光轴的指向偏差；若卫星能通过对指向的校准与控制，使每帧成像时的光轴在卫星运动方向的指向偏差相等，则某一滤光膜上，沿飞行方向所重合的探测器像元行数imagerow与图像帧数N之间的关系为：
在垂直于卫星飞行方向，由于光轴指向稳定度的存在，与凝视模式相同，卫星的成像仍旧会存在晃动；在沿卫星飞行方向，低分辨率图像序列中的各帧图像之间的亚像元位移通过曝光间隔时间控制，若超分辨成像像素数放大率为M，为获得高的超分辨效果需满足沿飞行方向亚像元位移为均匀分布，各个参量之间的关系为：
上式中，Rem表示求余数操作。
随着卫星的运动，同一地物目标将在全色波段和各个多光谱波段依次成像，如图8所示；采集到的全色图像是用于超分辨成像的低分辨率图像序列，采集到的多光谱图像是用于彩色合成与全色增强所需的各个谱段的图像，由于谱段所吸收光能的限制，若多光谱波段获得的图像信噪比较低，还可通过配准后进行合成的方式提高各波段多光谱图像的信噪比；具体如下：
对多光谱图像中的每一波段图像分别进行配准，获得多个相同波段滤光膜每帧之间的相同区域图像；
对于相同波段滤光膜每帧之间的相同区域图像中所有重叠部分直接相加，再取平均，从而提高图像的信噪比，其表示为：
其中，N'为相同波段滤光膜每帧之间的相同区域图像中所有重叠部分图像的数量，imagen表示相同波段滤光膜每帧之间的相同区域图像。
2、光学系统设计
图9为本发明实施例提供的探测器像元与弥散斑关系示意图，其中，阴影圆型表示弥散斑。图9(a)为，在传统光学系统设计中，为了避免光学系统弥散斑引起的模糊，需使探测器的一个像元恰能分辨光学系统的弥散斑。
图9(b)与图9(c)分别为超分辨设计弥散斑与像元，以及超分辨重建后弥散斑与像元关系示意图；本发明实施例中，所述星载超分辨成像系统中光学系统的各个参数关系式如下：
2.44λF#＝2.44λf/D＝Dairy＝pixel
其中，pixel为探测器像元尺寸；f/D＝F#表示光学系统F数，f为焦距，D为口径；Dairy为光学系统弥散斑直径，λ为入射光波长。
在超分辨成像时，M倍像素数放大率等效于在探测器大小不变的情况下，使探测器像元尺寸减小为pixel/M，由于超分辨率重建并不改变光学系统弥散斑的大小，
在超分辨成像后，弥散斑直径为：D′airy＝Dairy/M，对应光学系统设计时的F数F#′为：F#′＝F#/M。
图10中给出了相同焦距光学系统、相同探测器尺寸、弥散斑直径相差一倍、超分辨像素放大数同为2倍的两个成像系统的低分辨率成像结果和超分辨成像结果，说明了本设计的有效性。其中，图10(a)与图10(b)分别为F数为16时低分辨率图像与超分辨成像结果，图10(c)与图10(d)分别为F数为8时低分辨率图像与超分辨成像结果。
3、超分辨率重建算法
凝扫模式采集到的全色图像为具有亚像元位移的多帧影像，其构成的图像序列称为低分辨率图像序列；亚像元位移示意图如图11所示，亚像元位移的定义如图11所示，在图像坐标系OXY中，地物目标上一点在实线表示的图B中对应像元O1，在虚线表示的图A中对应像元O2，O1和O2分别在OX和OY方向上相差的像元数不为整数。如果图A和图B的仿射变换除平移外还存在旋转，需把两幅图通过旋转变换转换至同一坐标系中。
在前文“凝扫模式”中获得了全色图像与多光谱图像，其中的“多光谱图像”处理方法也进行了简单的介绍；而对于其中的全色图像需要基于超分辨率重建算法进行处理，其流程如图12所示。
如图12所示，通过估计低分辨率图像序列的亚像元位移参数重建高分辨率的图像是一个高度病态问题，需要充分考虑重建过程的各种不确定定因素。本发明实施例中需要建立卫星平台像移模糊模型、噪声模型、光学模糊模型、探测器模糊模型、大气模糊模型、图像下采样模型，同时利用图像特征建立图像光流约束模型对解空间和函数空间加以约束，通过多帧超分辨率重建算法对成像方程反复迭代，用一组与成像方程相邻近的适定问题的解去逼近原问题的真解，使病态问题尽可能良态化，得到超分辨率成像结果。
本发明实施例中，超分辨成像的数学模型可以表示为：
yk＝DkBkMkx+nk (k＝1,2,...,K)
其中，yk指第k幅低分辨率图像，低分辨率图像序列的总数为K；x指超分辨率成像结果；nk表示加性噪声；Dk表示探测器的下采样函数，与超分辨像素数放大倍率W有关；Mk为运动函数，表示各低分辨率图像之间的位移关系，与亚像元位移有关，通过对低分辨率图像序列配准获得；Bk表示模糊函数；
亚像元位移代表着星载成像系统所成低分辨率图像序列的冗余信息，是超分辨率重建的关键因素，任何配准算法都不可避免的会产生配准误差，而配准误差会成为超分辨重建算法的主要缺陷源。
本发明实施例中，采用光流法与特征法互校验来提高配准精度，准确提取亚像元位移信息，配准的互校验指标模型为：
其中，MSE表示待配准图像与参考图像的均方误差，所述的参考图像为低分辨率图像序列中任取的一幅图像，则其他低分辨率图像为待配准图像；SSIM表示结构相似度；α、β为权重系数，α和β取值与卫星成像时的太阳高度角和探测器暗电流噪声有关，通过α对MSE的调节和β对SSIM的调节使互校验指标模型取值在区间[0,1]内，J值越大表明配准精度越高，JC和JO分别为特征法和光流法的校验指标，Joptimal为互校验指标。
如图13所示为配准互校验流程，在低分辨率图像序列中任取一幅作为参考图像，其它低分辨率图像作为待配准图像，分别使用特征法和光流法对参考图像和待配准图像进行配准，得到各自方法对应的单应性矩阵HC和HO，用单应性矩阵作用于待配准图像向参考图像坐标系进行变换，将互校验指标模型作用于参考图像和变换图像，分别得到特征法和光流法的校验指标JC和JO，比较JC和JO，获得最优的配准精度，从而提高亚像元信息的提取精度。
通过以上采样系统、光学系统、超分辨率重建算法，即可获得同一区域的视频影像，全色波段下的超分辨率成像，以及各个波段的多光谱图像；而对信噪比增强处理后的多光谱图像进行彩色合成并结合超分辨率重建后的全色图像进行全色增强处理的方法也可参考常规方案。
本发明实施例的上述方案中，通过卫星在轨凝视成像获得同一区域的高时间分辨率视频影像，通过凝扫成像获得超分辨重建所需的亚像元位移信息以及各多光谱波段图像，通过对光学系统F数设计控制光学弥散斑大小，提高超分辨重建效果，引入光流法与特征法互校验指标模型增强亚像元信息提取的鲁棒性，采用全链路超分辨算法重建超分辨图像，从而同时实现了高时间分辨率、高空间分辨率、多光谱分辨率，采用本发明方案设计的星载超分辨成像系统，与相同分辨率尺度的传统星载成像系统相比，能够有效降低光学系统的口径、缩短焦距，从而降低系统的重量和成本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！